深入 Python

示例 11.17. openanything 函数

此函数在 openanything.py 中定义。

def openAnything(source, etag=None, lastmodified=None, agent=USER_AGENT):
    # non-HTTP code omitted for brevity
    if urlparse.urlparse(source)[0] == 'http':                                       
        # open URL with urllib2                                                     
        request = urllib2.Request(source)                                           
        request.add_header('User-Agent', agent)                                      
        if etag:                                                                    
            request.add_header('If-None-Match', etag)                                
        if lastmodified:                                                            
            request.add_header('If-Modified-Since', lastmodified)                    
        request.add_header('Accept-encoding', 'gzip')                                
        opener = urllib2.build_opener(SmartRedirectHandler(), DefaultErrorHandler()) 
        return opener.open(request)                                                  

	urlparse 是一个方便的实用程序模块，用于（您猜对了）解析 URL。它的主要函数（也称为 urlparse）接受一个 URL 并将其拆分为一个元组，其中包含（方案、域、路径、参数、查询字符串参数和片段标识符）。在这些内容中，您唯一关心的是方案，以确保您正在处理 HTTP URL（urllib2 可以处理的）。
	您使用调用函数传入的 User-Agent 向 HTTP 服务器标识自己。如果未指定 User-Agent，则使用先前在 openanything.py 模块中定义的默认值。您永远不会使用 urllib2 定义的默认值。
	如果给出了 ETag 哈希值，请在 If-None-Match 标头中发送它。
	如果给出了上次修改日期，请在 If-Modified-Since 标头中发送它。
	告诉服务器您希望尽可能使用压缩数据。
	构建一个使用 两个 自定义 URL 处理程序的 URL 打开程序：SmartRedirectHandler 用于处理 301 和 302 重定向，DefaultErrorHandler 用于优雅地处理 304、404 和其他错误情况。
	就是这样！打开 URL 并向调用者返回一个类似文件的对象。

示例 11.18. fetch 函数

此函数在 openanything.py 中定义。

def fetch(source, etag=None, last_modified=None, agent=USER_AGENT):  
    '''Fetch data and metadata from a URL, file, stream, or string'''
    result = {}                                                      
    f = openAnything(source, etag, last_modified, agent)              
    result['data'] = f.read()                                         
    if hasattr(f, 'headers'):                                        
        # save ETag, if the server sent one                          
        result['etag'] = f.headers.get('ETag')                        
        # save Last-Modified header, if the server sent one          
        result['lastmodified'] = f.headers.get('Last-Modified')       
        if f.headers.get('content-encoding', '') == 'gzip':           
            # data came back gzip-compressed, decompress it          
            result['data'] = gzip.GzipFile(fileobj=StringIO(result['data']])).read()
    if hasattr(f, 'url'):                                             
        result['url'] = f.url                                        
        result['status'] = 200                                       
    if hasattr(f, 'status'):                                          
        result['status'] = f.status                                  
    f.close()                                                        
    return result                                                    

	首先，使用 URL、ETag 哈希值、Last-Modified 日期和 User-Agent 调用 openAnything 函数。
	读取从服务器返回的实际数据。这可能是压缩的；如果是，您将在稍后对其进行解压缩。
	保存从服务器返回的 ETag 哈希值，以便调用应用程序下次可以将其传递回给您，您可以将其传递给 openAnything，后者可以将其粘贴到 If-None-Match 标头中并将其发送到远程服务器。
	同时保存 Last-Modified 日期。
	如果服务器说它发送了压缩数据，请对其进行解压缩。
	如果您从服务器获得了 URL，请保存它，并假设状态码为 200，直到您发现其他情况。
	如果其中一个自定义 URL 处理程序捕获了状态码，则也保存该状态码。

示例 11.19. 使用 openanything.py

>>> import openanything
>>> useragent = 'MyHTTPWebServicesApp/1.0'
>>> url = 'https://diveintopythonbook.pythonlang.cn/redir/example301.xml'
>>> params = openanything.fetch(url, agent=useragent)              
>>> params                                                         
{'url': 'http://diveintomark.org/xml/atom.xml', 
'lastmodified': 'Thu, 15 Apr 2004 19:45:21 GMT', 
'etag': '"e842a-3e53-55d97640"', 
'status': 301,
'data': '<?xml version="1.0" encoding="iso-8859-1"?>
<feed version="0.3"
<-- rest of data omitted for brevity -->'}
>>> if params['status'] == 301:                                    
...     url = params['url']
>>> newparams = openanything.fetch(
...     url, params['etag'], params['lastmodified'], useragent)    
>>> newparams
{'url': 'http://diveintomark.org/xml/atom.xml', 
'lastmodified': None, 
'etag': '"e842a-3e53-55d97640"', 
'status': 304,
'data': ''}                                                        

	第一次获取资源时，您没有 ETag 哈希值或 Last-Modified 日期，因此您将省略它们。（它们是可选参数。）
	您得到的是一个包含几个有用标头、HTTP 状态码和从服务器返回的实际数据的字典。openanything 在内部处理 gzip 压缩；您在此级别无需关心这一点。
	如果您收到 301 状态码，则表示永久重定向，您需要将 URL 更新为新地址。
	第二次获取相同资源时，您拥有各种要传递回的信息：（可能已更新的）URL、上次的 ETag、上次的 Last-Modified 日期，当然还有您的 User-Agent。
	您得到的是一个字典，但数据没有改变，因此您只得到一个 304 状态码，没有数据。