风哥教程

培训 . 交流 . 分享
Make progress together!

Android平台下使用OkHttp采集数据

[复制链接]
内容发布:suger| 发布时间:2020-10-9 14:54:11
OkHttp是Android普遍应用的Http第三方库,可以直接使用OkHttp模拟客户端请求,配合爬虫代理IP进行APP或WAP数据采集。 OkHttp的优势:
• 套接字共享,连接池自动化管理减少请求延时。
• 支持GZIP压缩,减少了下载数据带宽。
• 响应缓存,提高了网络速度。
• 自动dns多IP主机解析,实行多机负载均衡
数据采集过程中,目标网站会限制ip请求频率,因此需要使用爬虫代理,示例如下:
    import okhttp3.*;
    import java.io.IOException;
    import java.net.InetSocketAddress;
    import java.net.Proxy;
    import java.util.concurrent.TimeUnit;
    public class OkHttp {
        // 代理服务器(产品官网 www.16yun.cn)
        final static String proxyHost = "t.16yun.cn";
        final static Integer proxyPort = 31111;
        // 代理验证信息
        final static String proxyUser = "USERNAME";
        final static String proxyPass = "PASSWORD";
        static OkHttpClient client = null;
        static {
            Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(proxyHost, proxyPort));
            Authenticator proxyAuthenticator = new Authenticator() {
                public Request authenticate(Route route, Response response) {
                    String credential = Credentials.basic(proxyUser, proxyPass);
                    return response.request().newBuilder()
                            .header("Proxy-Authorization", credential)
                            .build();
                }
            };
            client = new OkHttpClient().newBuilder()
                    .connectTimeout(5, TimeUnit.SECONDS)
                    .readTimeout(5, TimeUnit.SECONDS)
                    .proxy(proxy)
                    .proxyAuthenticator(proxyAuthenticator)
                    .connectionPool(new ConnectionPool(5, 1, TimeUnit.SECONDS))
                    .build();
        }
        public static Response doGet() throws IOException {
            // 要访问的目标页面
            String targetUrl = "http://httpbin.org/ip";
            Request request = new Request.Builder()
                    .url(targetUrl)
                    .build();
            Response response = client.newCall(request).execute();
            return response;
        }
        public static void main(String[] args) throws IOException {
            Response response1 = doGet();
            System.out.println("GET请求返回结果:");
            System.out.println(response1.body().string());
        }
    }


上一篇:Splash抓取javaScript动态渲染页面
下一篇:爬虫程序优化要点
回复

使用道具 举报

1框架
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

热门文章教程

  • Oracle 12cR2 九大新功能全面曝光_详解云数
  • MySQL5权威指南(第3版)PDF电子版下载
  • 风哥Oracle数据库巡检工具V1.0(附2.6网页
  • PostgreSQL数据库中文培训手册
  • Navicat for MySQL最新版下载地址及注册码
  • Oracle OCP认证考试IZ0-053题库共712题数据
快速回复 返回顶部 返回列表