13.3 HTTP库
HTTP(Hyper Text Transfer Protocol)是一个客户端和服务器端请求和应答的标准。客户端是终端用户,服务器端是网站。客户端发起一个到服务器上指定端口的HTTP请求,服务器向客户端发回一个状态行和响应的消息。
可以使用下面的模块创建Internet Server:
(1)socketserver:以socket为基础,创建一般性的IP Server。
(2)http:通过http模块中的子模块server和client提供各种网络服务。
socketserver模块提供了一个架构来简化网络(包括服务器)的编写工作,用户不需要使用低级的socket模块。
socketserver模块包含的基本类如下:
(1)TCPServer((hostname, port), handler):支持TCP的服务器。其中,hostname是主机名称,通常是空白字符串;port是通信端口号码;handler是BaseRequestHandler类的实例变量。
(2)UDPServer((hostname, port), handler):支持UDP的服务器。其中,hostname是主机名称,通常是空白字符串;port是通信端口号码;handler是BaseRequestHandler类的实例变量。
(3)UnixStreamServer((hostname, port), handler):使用UNIX网域socket支持串流导向协议(stream-oriented protocol)的服务器。其中,hostname是主机名称,通常是空白字符串;port是通信端口号码;handler是BaseRequestHandler类的实例变量。
(4)UnixDatagramServer((hostname, port), handler):使用UNIX网域socket支持数据通信协议(datagram-oriented protocol)的服务器。其中,hostname是主机名称,通常是空白字符串;port是通信端口号码;handler是BaseRequestHandler类的实例变量。
下面是socketserver模块中类的类变量:
(1)request_queue_size:存储要求队列的大小,该队列用于传给socket的listen()方法。
(2)socket_type:返回服务器使用的socket类型,可以是socket.SOCK_STREAM或socket.SOCK_DGRAM。
下面是socketserver模块中类的属性与方法:
(1)address_family:可以是socket.AF_INET或socket.AF_UNIX。服务器的通信协议群组。
(2)fileno():返回服务器socket的整数文件描述元(integer file descriptor)。
(3)handle_request():创建一个处理函数类的实例变量,以及调用handle()方法处理单一请求。
(4)RequestHandlerClass:存储用户提供的请求处理函数类。
(5)server_address:返回服务器监听用的IP地址与通信端口号码。
(6)serve_forever():操作一个循环来处理无限的请求。
下面的示例演示StreamRequestHandler类的使用。
import socketserver
port = 50007
class myRequestHandler(socketserver.StreamRequestHandler):
def handle(self):
print ("Connection by ", self.client_address)
self.wfile.write("data")
s = socketserver.TCPServer(("", port), myRequestHandler)
s.serve_forever()
http模块的子模块server提供了各种HTTP服务,主要包括BaseHTTPServer类、CGIHTTPServer类及SimpleHTTPServer类。
server模块以socketserver模块为基础,并且很少直接使用。server模块定义了两个基类来操作基本的HTTP服务器(网站服务器)。
server模块的第一个基类是HTTPServer类,其语法如下:
class HTTPServer((hostname, port), RequestHandlerClass)
HTTPServer类由socketserver.TCPServer类派生。此类先创建一个HTTPServer对象并监听(hostname, port),然后使用RequestHandlerClass来处理要求。
server模块的第二个基类是BaseHTTPRequestHandler类,其语法如下:
class BaseHTTPRequestHandler(request, client_address, server)
用户必须创建一个BaseHTTPRequestHandler类的子类来处理HTTP请求。如果要处理GET请求,就必须重新定义do_GET()方法;如果要处理POST请求,就必须重新定义do_POST()方法。
下面是BaseHTTPRequestHandler类的类变量:
(1)BaseHTTPRequestHandler.server_version。
(2)BaseHTTPRequestHandler.sys_version。
(3)BaseHTTPRequestHandler.protocol_version。
(4)BaseHTTPRequestHandler.error_message_format。
每一个BaseHTTPRequestHandler类的实例变量都有以下属性:
(1)client_address:返回一个2-tuple(hostname, port),为客户端的地址。
(2)command:识别请求的种类,可以是GET、POST等。
(3)headers:返回一个HTTP表头。
(4)path:返回请求的路径。
(5)request_version:返回请求的HTTP版本字符串。
(6)rfile:包含输入流。
(7)wfile:包含输出流。
每一个BaseHTTPRequestHandler类的实例变量都有以下方法:
(1)handle():请求分派器。此方法会调用以“do_”开头的方法,如do_GET()、do_POST()等。
(2)send_error(error_code [, error_message]):将错误信号传输给客户端。
(3)send_response(response_code [, response_message]):传输响应表头。
(4)send_header(keyword, value):写入一个MIME表头到输出流,此表头包含表头的键值及其值。
(5)end_header():用来识别MIME表头的结尾。
下面的示例演示BaseHTTPRequestHandler类的使用方法。
import http.server
htmlpage = """
<html><head><title>Web Page</title></head>
<body>Hello Python</body></html>"""
class myHandler(http.server.BaseHTTPRequestHandler):
def do_GET(self):
if self.path == "/":
self.send_response(200)
self.send_header("Content-type", "text/html")
self.end_headers()
self.wfile.write(htmlpage)
else:
self.send_error(404, "File not found")
myServer = http.server.HTTPServer(("", 80), myHandler)
myServer.serve_forever()
SimpleHTTPServer类可以处理HTTP server的请求,也可以处理所在目录的文件,即HTML文件。SimpleHTTPRequestHeader类的语法格式如下:
class SimpleHTTPRequestHandler(request, (hostname, port), server)
SimpleHTTPRequestHeader类有以下两个属性:
(1)SimpleHTTPRequestHeader.server_version。定义服务器模块的级别
(2)SimpleHTTPRequestHeader.extensions_map:一个字典集,用于映射文件扩展名与MIME类型。
下面的示例演示SimpleHTTPRequestHandler类的使用方法。
import http.server
myHandler = http.server.SimpleHTTPRequestHandler
myServer = http.server.HTTPServer(("", 80), myHandler)
myServer.serve_forever()
CGIHTTPRequestHeader类除了可以处理所在目录的HTML文件外,还可以运行客户端执行CGI(Common Gateway Interface)脚本。CGIHTTPRequestHeader类的语法格式如下:
class CGIHTTPRequestHandler(request, (hostname, port), server)
CGIHTTPRequestHeader类的属性cgi_directories包含一个可以存储CGI脚本的文件夹列表。
下面的示例演示CGIHTTPRequestHandler类的使用方法。
import cgihttpserver
import BaseHTTPServer
class myHandler(http.server.CGIHTTPRequestHandler):
cgi_directories = ["/cgi-bin"]
myServer = http.server.HTTPServer(("", 80), myHandler)
myServer.serve_forever()
client模块主要处理客户端的请求。client模块的HTTPConnection类创建并返回一个connection对象。HTTPConnection类的语法格式如下:
class HTTPConnection ([hostname [, port]])
如果参数port没有设置,默认值是80。如果所有的参数都没有设置,就必须使用connect()方法自行连接。以下3个HTTPConnection类的实例变量都会连接到相同的服务器:
import http.client
h1 = http.client.HTTPConnection ("www.cwi.nl")
h2 = http.client.HTTPConnection ("www.cwi.nl:80")
h3 = http.client.HTTPConnection ("www.cwi.nl", 80)
HTTPConnection类的实例变量的方法如下:
(1)endheaders():写入一行空白给服务器,表示这是客户端请求表头的结尾。
(2)connect([hostname [, port]]):创建一个连接。
(3)getresponse():返回服务器的状态。
(4)request():向服务器发送请求。
(5)putheader(header, argument1 [, ...]):写入客户端请求表头的表头行。每一行包括header、一个冒号(:)、一个空白及argument。
(6)putrequest(request, selector):写入客户端请求表头的第一行。参数 request可以是 GET、POST、PUT或HEAD,参数selector是要打开的文件名称。
(7)send(data):调用endheaders()方法后,传输数据给服务器。
下面的示例返回http://www.python.org/News.html文件,并将此文件保存为一个新文件。
【例13.3】使用HTTPConnection类(源代码\ch13\13.3.py)。
import http.client
#指定主机名称
url = "www.python.org"
#指定打开的文件名称
urlfile = "/News.html"
#连接到主机
host = http.client.HTTPConnection (url)
#写入客户端要求表头的第一行
host.request("GET", urlfile)
#获取服务器的响应
r1=host.getresponse()
#打印服务器返回的状态
print(r1.status,r1.reason)
#将file对象的内容存入新文件
file = open("13.1.html", "w")
#读取网页内容,以utf-8方式保存
str = r1.read().decode("utf-8")
#寻找文本
print(str.find("mlive"))
#写到文件并将'xa0'替换为空字符
file.write(str.replace('\xa0',''))
#关闭文件
file.close()
保存并运行程序,即可将http://www.python.org/News.html文件的内容保存在13.1.html文件中。
-------------------------------------------
本文节选自《Python编程从零开始学(视频教学版)》,本次内容发布,获得作者和出版社授权。