风哥教程

培训 . 交流 . 分享
Make progress together!

爬虫程序如何判断代理使用成功

[复制链接]
内容发布:suger| 发布时间:2020-7-15 17:21:20

在采集数据的时候我们为了更有效的采集大量的数据就选择添加代理ip,但是有时候我们的爬虫程序添加了代理,我们并不知道程序是否获取到了ip,尤其是在使用不是通过api直接去获取ip的动态转发模式时。这时候就需要进行检测了,以下是一种代理是否伪装成功的检测方式,借鉴了亿牛云提供的代码示例。
Python¶
requests
        #! -*- encoding:utf-8 -*-
        import requests
        import random
        # 要访问的目标页面
        targetUrl = "http://httpbin.org/ip"
        # 要访问的目标HTTPS页面
        # targetUrl = "https://httpbin.org/ip"
        # 代理服务器
        proxyHost = "t.16yun.cn"
        proxyPort = "31111"
        # 代理隧道验证信息
        proxyUser = "16ZKBRLB"
        proxyPass = "234076"
        proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
            "host" : proxyHost,
            "port" : proxyPort,
            "user" : proxyUser,
            "pass" : proxyPass,
        }
        # 设置 http和https访问都是用HTTP代理
        proxies = {
            "http"  : proxyMeta,
            "https" : proxyMeta,
        }

        #  设置IP切换头
        tunnel = random.randint(1,10000)
        headers = {"Proxy-Tunnel": str(tunnel)}
        resp = requests.get(targetUrl, proxies=proxies, headers=headers)
        print resp.status_code
        print resp.text
要检测代理是否获取到,直接在配置代理后访http://httpbin.org/ip网站,获取到ip后再访问www.ip138.com就知道是否获取到了ip,获取成功后就可以去访问自己的目标网站了。



上一篇:Style–CSS页面解析
下一篇:使用Scrapy进行爬虫
回复

使用道具 举报

1框架
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

热门文章教程

  • 风哥Oracle数据库巡检工具V1.0(附2.6网页
  • PostgreSQL数据库中文培训手册
  • Navicat for MySQL最新版下载地址及注册码
  • Oracle OCP认证考试IZ0-053题库共712题数据
  • MySQL5权威指南(第3版)PDF电子版下载
  • Oracle Database 12c 数据库100个新特性与
快速回复 返回顶部 返回列表