pycurl是一个用C语言写的libcurl Python实现,功能非常强大,支持的操作协议后FTP、HTTP、HTTPS、TELNET等,可以理解成Linux下curl命令功能的Python封装,简单易用
本例通过调用pycurl提供的方法,实现探测Web服务质量的情况,比如响应HTTP状态码、请求延时、HTTP头信息、下载速度等,利用这些信息可以定位服务响应慢的具体环节。
pycurl.Curl()类实现创建一个libcurl包的Curl句柄对象,无参数。
close()方法,对应的libcurl包中的curl_easy_cleanup方法,无参数,实现关闭、回收Curl对象。
perform()方法,对应libcurl包中的curl_easy_perform方法,无参数,实现Curl对象请求的提交。
setopt(option,value)方法,对应libcurl包中的curl_easy_setopt方法,参数option是通过libcurl的常量来指定的,参数value的值依赖option,可以是一个字符串、整型、长整型、文件对象、列表或函数等
安装pycurl模块
[root@kurol ~]# python3 -m easy_install -i http://pypi.douban.com/simple/ pycurl
报错:
setuptools.sandbox.UnpickleableException: ConfigurationError("Could not run curl-config: [Errno 2] No such file or directory: 'curl-config'",)
先安装libcurl-devel解决:
[root@kurol ~]# yum -y install libcurl-devel[root@kurol ~]# python3 -m easy_install -i http://pypi.douban.com/simple/ pycurlFinished processing dependencies for pycurl
#!/usr/bin/python3# _*_ coding:utf-8 _*_import sys,osimport timeimport pycurlurl = "http://fm.mykurol.com" #探测的目标URLc = pycurl.Curl() #创建一个Curl对象c.setopt(pycurl.URL,url) #定义请求的URL常量c.setopt(pycurl.CONNECTTIMEOUT,5) #定义请求连接的等待时间c.setopt(pycurl.TIMEOUT,5) #定义请求超时时间c.setopt(pycurl.NOPROGRESS,1) #屏蔽下载进度条c.setopt(pycurl.FORBID_REUSE,1) #完成交互后强制断开连接,不重用c.setopt(pycurl.MAXREDIRS,1) #指定HTTP重定向的最大数为1c.setopt(pycurl.DNS_CACHE_TIMEOUT,30) #设置保存DNS信息的时间为30秒#创建一个文件对象,以"web"方式打开,用来存储返回的http头部及页面内容indexfile = open(os.path.dirname(os.path.realpath(__file__))+"/content.txt","wb")c.setopt(pycurl.WRITEHEADER, indexfile) #将返回的HTTP HEADER定向到indexfile文件c.setopt(pycurl.WRITEDATA, indexfile) #将返回的HTML内容定向到indexfile文件对象try: c.perform()except Exception as e: print ("connection error:"+str(e)) indexfile.close() c.close() sys.exit()NAMELOOKUP_TIME = c.getinfo(c.NAMELOOKUP_TIME) #获取DNS解析时间CONNECT_TIME = c.getinfo(c.CONNECT_TIME) #获取建立连接时间PRETRANSFER_TIME = c.getinfo(c.PRETRANSFER_TIME) #获取从建立连接到准备传输所消耗的时间STARTTRANSFER_TIME = c.getinfo(c.STARTTRANSFER_TIME) #获取从建立连接到传输开始消耗的时间TOTAL_TIME = c.getinfo(c.TOTAL_TIME) #获取传输的总时间HTTP_CODE = c.getinfo(c.HTTP_CODE) #获取HTTP状态码SIZE_DOWNLOAD = c.getinfo(c.SIZE_DOWNLOAD) #获取下载数据包的大小HEADER_SIZE = c.getinfo(c.HEADER_SIZE) #获取HTTP头部大小SPEED_DOWNLOAD = c.getinfo(c.SPEED_DOWNLOAD) #获取平均下载速度#打印输出相关数据print ("HTTP状态码:%s" % (HTTP_CODE))print ("DNS解析时间:%.2f ms" % (NAMELOOKUP_TIME*1000))print ("建立连接时间:%.2f ms" % (CONNECT_TIME*1000))print ("准备传输时间:%.2f ms" % (PRETRANSFER_TIME*1000))print ("传输开始时间:%.2f ms" % (STARTTRANSFER_TIME*1000))print ("传输结束总时间:%.2f ms" % (TOTAL_TIME*1000))print ("下载数据包大小:%d bytes/s" % (SIZE_DOWNLOAD))print ("HTTP头部大小:%d bytes/s" % (HEADER_SIZE))print ("平均下载速度:%d bytes/s" % (SPEED_DOWNLOAD))#关闭文件及curl对象indexfile.close()c.close()
执行结果:
HTTP状态码:200DNS解析时间:17.44 ms建立连接时间:17.88 ms准备传输时间:17.89 ms传输开始时间:39.79 ms传输结束总时间:39.88 ms下载数据包大小:2526 bytes/sHTTP头部大小:389 bytes/s平均下载速度:63333 bytes/s
查看获取的HTTP文件头部及页面内容content.txt
HTTP/1.1 200 OKDate: Fri, 09 Jun 2017 03:01:46 GMTServer: Apache/2.2.15 (CentOS)X-Powered-By: PHP/5.3.3Set-Cookie: PHPSESSID=qmhmq2hkbb3v5hs67rf38c5006; path=/Expires: Thu, 19 Nov 1981 08:52:00 GMTCache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0Pragma: no-cacheContent-Length: 2526Connection: closeContent-Type: text/html; charset=UTF-8MyKurol电影推荐网