风哥教程

培训 . 交流 . 分享
Make progress together!

免费代理IP和爬虫代理的区别

[复制链接]
内容发布:laical| 发布时间:6 天前
作为一个资深的网络爬虫工作者,经常会在爬虫业务中,遇到各种疑难杂症。例如爬虫访问网站获取数据是IP受到限制等,一般遇到这种情况,我就会选择使用免费代理IP来进行数据采集。那如果获取免费代理IP呢?
免费代理IP的获取很简单,通过网站搜索关键词就能出现大量免费IP,我们可以通过爬虫程序去筛选可用的IP。一般免费代理IP适合那些业务小对IP数量小的爬虫用户。网上的免费代理IP种类有很多,其实对于许多爬虫用户来说,免费代理IP也是一种选择, 当然在使用免费代理IP的时候需要考虑IP的稳定性客户有效性。对于免费代理IP来说,稳定性和有效性刚好是它们的通用缺点,需要花费大量的时间精力来筛选可用IP资源。这样在爬虫业务中,大部分时间都花在了筛选有效的代理IP去了,而且浪费了业务的进展。如果网络爬虫是公司企业,需求量较大的,一般不推荐使用免费代理IP,毕竟网络上的免费代理IP质量,效率都比较低。建议可以使用更加高质量的自动隧道转发的爬虫代理加强版,这样对业务效果会好很多。
爬虫代理加强版:
[AppleScript] syntaxhighlighter_viewsource syntaxhighlighter_copycode
        package main[/b]
        import (
            "net/url"
            "net/http"
            "bytes"
            "fmt"
            "io/ioutil"
        )

        // 代理服务器(产品官网 www.16yun.cn)
        const ProxyServer = "t.16yun.cn:31111"

        type ProxyAuth struct {
            Username string
            Password string
        }

        func (p ProxyAuth) ProxyClient() http.Client {

            var proxyURL *url.URL
            if p.Username != ""&& p.Password!="" {
                proxyURL, _ = url.Parse("http://" + p.Username + ":" + p.Password + "@" + ProxyServer)
            }else{
                proxyURL, _ = url.Parse("http://" + ProxyServer)
            }
            return http.Client{Transport: &http.Transport{Proxy:http.ProxyURL(proxyURL)}}
        }

        func main()  {


            targetURI := "https://httpbin.org/ip"


            // 初始化 proxy http client
            client := ProxyAuth{"username",  "password"}.ProxyClient()

            request, _ := http.NewRequest("GET", targetURI, bytes.NewBuffer([] byte(``)))

            // 设置Proxy-Tunnel
            // rand.Seed(time.Now().UnixNano())
            // tunnel := rand.Intn(10000)
            // request.Header.Set("Proxy-Tunnel", strconv.Itoa(tunnel) )

            response, err := client.Do(request)

            if err != nil {
                panic("failed to connect: " + err.Error())
            } else {
                bodyByte, err := ioutil.ReadAll(response.Body)
                if err != nil {
                    fmt.Println("读取 Body 时出错", err)
                    return
                }
                response.Body.Close()

                body := string(bodyByte)

                fmt.Println("Response Status:", response.Status)
                fmt.Println("Response Header:", response.Header)
                fmt.Println("Response Body:\n", body)
            }
        }



上一篇:IM即时通讯源码仿微信源码出售转让 运营级IM聊天源码
回复

使用道具 举报

1框架
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

热门文章教程

  • Oracle 12cR2 九大新功能全面曝光_详解云数
  • MySQL5权威指南(第3版)PDF电子版下载
  • 风哥Oracle数据库巡检工具V1.0(附2.6网页
  • PostgreSQL数据库中文培训手册
  • Navicat for MySQL最新版下载地址及注册码
  • Oracle OCP认证考试IZ0-053题库共712题数据
快速回复 返回顶部 返回列表