pycurl模块

通过调用该模块实现探测Web服务质量（HTTP状态码、请求延时、HTTP头信息等）

  • pycurl.Curl().close()：对应libcurl包中的curleasy_cleanup方法，无参数，实现关闭、回收 Curl对象。
  • pycurl.Curl().perform()：对应libcurl包中的curl_easy_perform方法，无参数，实现Curl对象请求的提交。
  • pycurl.Curl().setopt(option,value)：对应libcurl包中的curl_easy_setopt方法，参数option是通过libcurl的常量来指定的，参数value的值会依赖option，可以是一个字符串、整型、长整型、文件对象、列表或函数等。
    • pycurl.Curl().setopt(pycurl.CONNECTTIMEOUT,5) ：连接的等待时间，设置为0则不等待
    • pycurl.Curl().setopt(pycurl.TIMEOUT,5)： 请求超时时间
    • pycurl.Curl().setopt(pycurl.NOPROGRESS,0) ：是否屏蔽下载进度条，非0则屏蔽
    • pycurl.Curl().setopt(pycurl.MAXREDIRS,5) ：指定HTTP重定向的最大数
    • pycurl.Curl().setopt(pycurl.FORBID_REUSE,1) ：完成交互后强制断开连接，不重用
    • pycurl.Curl().setopt(pycurl.FRESHCONNECT1) ：强制获取新的连接，即替代缓存中的连接
    • pycurl.Curl().setopt(pycurl.DNS_CACHE_TIMEOUT60)：设置保存DNS信息的时间，默认为120秒
    • pycurl.Curl().setopt(pycurl.URL,"http://www.baidu.com") ：指定请求的URL
    • pycurl.Curl().setopt(pycurl.USERAGENT,"Mozi1la/5.2(compatible; MSIE 6.0: Windows NT 5.1;SV1;NETCLR1.1.4322;NETCLR20.50324)") ：配置请求HTTP头的User-Agent
    • pycurl.Curl().setopt(pycurl.HEADERFUNCTION,getheader)：将返回的HTTPHEADER定向到回调函数getheader
    • pycurl.Curl().setopt(pycurl.WRITEFUNCTION,getbody) ：将返回的内容定向到回调函数getbody
    • pycurl.Curl().setopt(pycurl.WRITEHEADER,fileobj) ：将返回的HTTPHEADER定向到fileobj文件对象
    • pycurl.Curl().setopt(pycurl.WRITEDATA,fileobj) ：将返回的HTML内容定向到fileobj文件对象
  • getinfo(option)：对应libcurl包中的curleasygetinfo方法，参数option是通过 libcurl的常量来指定的。
    • pycurl.Curl().getinfo(pycurl.HTTP_CODE) ：返回的HTTP状态码
    • pycurl.Curl().qetinfo(pycurl.TOTALTIME) ：传输结束所消耗的总时间
    • pycurl.Curl().getinfo(pycurl.NAMELOOKUP_TIME) ：DNS解析所消耗的时间
    • pycurl.Curl().getinfo(pycurl.CONNECTTIME) ：建立连接所消耗的时间
    • pycurl.Curl().getinfo(pycurl.PRETRANSFER_TIME) ：从建立连接到准备传输所消耗的时间
    • pycurl.Curl().getinfo(pycurl.STARTTRANSFER_TIME)：从建立连接到传输开始消耗的时间
    • pycurl.Curl().getinfo(pycurl.REDIRECT_TIME) ：重定向所消耗的时间
    • pycurl.Curl().getinfo(pycurl.SIZE_UPLOAD) ：上传数据包大小
    • pycurl.Curl().getinfo(pycurl.SIZE_DOWNLOAD) ：下载数据包大小
    • pycurl.Curl().getinfo(pycurl.SPEED_DOWNLOAD) ：平均下载速度
    • pycurl.Curl().getinfo(pycurl.sPEEDUPLOAD) ：平均上传速度
    • pycurl.Curl().getinfo(pycurl.HEADER_SIZE) ：HTTP头部大小
import os,sys
import time
import pycurl

URL="http://www.baidu.com" #探测的目标URL
c=pycurl.Curl() #创建Curl对象

c.setopt(pycurl.URL,URL) #定义请求的URL常量
c.setopt(pycurl.CONNECTTIMEOUT,5)#定义请求连接的等待时间 c.setopt(pycur1.TIMEOUT，5)#定义请求超时时间 c.setopt(pycurlNOPROGRESS，1)#屏蔽下载进度条
c.setopt(pycurl.FORBID_REUSE,1)#完成交互后强制断开连接，不重用 c.setopt(pycur1.MAXREDIRS，1)#指定HTTP重定向的最大数为1
c.setopt(pycurl.DNS_CACHE_TIMEOUT,30)#设置保存DNS信息的时间为30秒#创建一个文件对象，以”wb”方式打开，用来存储返回的http头部及页面内容
indexfile=open(os.path.dirname(os.path.realpath(__file__))+"/content.txt","wb")
c.setopt(pycurl.WRITEHEADER, indexfile) #将返回的HTTPHEADER定向到indexfile文件对象
c.setopt(pycurl.WRITEDATA,indexfile) #将返回的HTML内容定向到indexfile文件对象
try:
    c.perform()#提交请求
except Exception as e:
    print("connecion error:"+str(e))
    indexfile.close()
    c.close()
    sys.exit()
NAMELOOKUP_TIME= c.getinfo(c.NAMELOOKUP_TIME) #获取DNS解析时间
CONNECT_TIME = c.getinfo(c.CONNECT_TIME) #获取建立连接时间
PRETRANSFER_TIME = c.getinfo(c.PRETRANSFER_TIME) #获取从建立连接到准备传输所消耗的时间
STARTTRANSFER_TIME = c.getinfo(c.STARTTRANSFER_TIME) #获取从建立连接到传输开始消耗的时间
TOTAL_TIME=c.getinfo(c.TOTAL_TIME) #获取传输的总时间
HTTP_CODE=c.getinfo(c.HTTP_CODE) #获取HTTP状态码
SIZE_DOWNLOAD=c.getinfo(c.SIZE_DOWNLOAD) #获取下载数据包大小
HEADER_SIZE=c.getinfo(c.HEADER_SIZE) #获取HTTP头部大小
SPEED_DOWNLOAD=c.getinfo(c.SPEED_DOWNLOAD) #获取平均下载速度
#打印输出相关数据
print("HTTP状态码: %s" % (HTTP_CODE))
print("DNS解析时间: %.2f ms" % (NAMELOOKUP_TIME*1000))
print("建立连接时间: %.2f ms" % (CONNECT_TIME*1000))
print("准备传输时间: %.2f ms" % (PRETRANSFER_TIME*1000))
print("传输开始时间: %.2f ms" % (STARTTRANSFER_TIME*1000))
print("传输结束总时间: %.2f ms" % (TOTAL_TIME*1000))
print("下载数据包大小 :%d bytes/s" % (SIZE_DOWNLOAD))
print("HTTP头部大小: %d byte" % (HEADER_SIZE))
print("平均下载速度: %d bytes/s" % (SPEED_DOWNLOAD))
#关闭文件及Curl对象
indexfile.close()
c.close()

List of learning reference documents：

  • 《Python自动化运维技术与最佳实践-刘天斯》