风哥教程

培训 . 交流 . 分享
Make progress together!

使用Python HTTP库 Requests 进行数据采集

[复制链接]
内容发布:suger| 发布时间:2020-8-31 15:16:40
面对爬虫采集数据中出现的各种问题,如果使用Python,优先推荐 HTTP库: requests。Requests是通过Apache2协议开源的Python HTTP库,是研发应该熟练掌握的基础库之一。
    Python系统的urllib和urllib2也有功能完善的HTTP协议支持,但是封装太复杂,API接口说明不清楚使用不方便。requests作为更近一步的封装,相对而言更加的简洁明了,使用更加的方便。
    尤其是通过requests,使用爬虫代理进行数据采集的时候,可以直接配置代理服务器的认证信息,通过代理服务器进行http请求的自动转发,让目标网站对IP验证失效,快速实现海量数据的采集,方便快捷,适合快速启动项目。
    以下是Requests的爬虫demo,可以直接运行测试:
#! -*- encoding:utf-8 -*-   
import requests
import random
# 要访问的目标页面   
targetUrl = "http://httpbin.org/ip"
# 要访问的目标HTTPS页面   
# targetUrl = "https://httpbin.org/ip"      
# 代理服务器(产品官网 www.16yun.cn)     
proxyHost = "t.16yun.cn"     
proxyPort = "31111"     
# 代理验证信息     
proxyUser = "username"     
proxyPass = "password"      
proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
    "host" : proxyHost,
    "port" : proxyPort,
    "user" : proxyUser,
    "pass" : proxyPass,
}      
# 设置 http和https访问都是用HTTP代理     
proxies = {         
   "http"  : proxyMeta,         
   "https" : proxyMeta,     
}      
#  设置IP切换头     
tunnel = random.randint(1,10000)     
headers = {"Proxy-Tunnel": str(tunnel)}        
resp = requests.get(targetUrl, proxies=proxies, headers=headers)      
print resp.status_code
print resp.text



上一篇:国内知名Wchat团队荣誉出品顶级IM通讯聊天系统
下一篇:Puppeteer爬虫的实现
回复

使用道具 举报

1框架
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

热门文章教程

  • MySQL5权威指南(第3版)PDF电子版下载
  • 风哥Oracle数据库巡检工具V1.0(附2.6网页
  • PostgreSQL数据库中文培训手册
  • Navicat for MySQL最新版下载地址及注册码
  • Oracle OCP认证考试IZ0-053题库共712题数据
  • Oracle Database 12c 数据库100个新特性与
快速回复 返回顶部 返回列表