风哥教程

培训 . 交流 . 分享
Make progress together!

GuzzleHttp爬虫技巧

[复制链接]
内容发布:suger| 发布时间:2020-9-14 16:35:03
       PHP是简单易用的web编程语言,研发人员可以很快的建立web项目,通过开源库可以成倍的提高效率,研发人员经常面临需要临时采集其它网站数据的需求,这种情况下相对来python等语言库就有所欠缺。GuzzleHttp通过代理IP的配合,就可以解决这一困惑,甚至通过异步请求和并发请求实现js扩展功能,结合symphony的Dom分析HTML页面Dom元素和XML文件就能快速采集数据啦。下面将部分代码列出:
<?php   
    namespace App\Console\Commands;   
    use Illuminate\Console\Command;
    class Test16Proxy extends Command
    {
        /**
         * The name and signature of the console command.
         *
         * @var string
         */
        protected $signature = 'test:16proxy';
        /**
         * The console command description.
         *
         * @var string
         */
        protected $description = 'Command description';
        /**
         * Create a new command instance.
         *
         * @return void
         */
        public function __construct()
        {
            parent::__construct();
        }
        /**
         * Execute the console command.
         *
         * @return mixed
         */
        public function handle()
        {
            $client = new \GuzzleHttp\Client();
            // 要访问的目标页面
            $targetUrl = "http://httpbin.org/ip";
            // 代理服务器(产品官网 www.16yun.cn)
            define("PROXY_SERVER", "t.16yun.cn:31111");
            // 代理身份信息
            define("PROXY_USER", "username");
            define("PROXY_PASS", "password");
            $proxyAuth = base64_encode(PROXY_USER . ":" . PROXY_PASS);
            $options = [
                "proxy"  => PROXY_SERVER,
                "headers" => [
                    "Proxy-Authorization" => "Basic " . $proxyAuth
                ]
            ];
            //print_r($options);
            $result = $client->request('GET', $targetUrl, $options);
            var_dump($result->getBody()->getContents());
        }
    }
?>


上一篇:我打算大苏打
下一篇:网络爬虫调用爬虫代理的常见方式
回复

使用道具 举报

内容发布:laical| 发布时间:2020-9-15 10:49:40
感谢分享:):):):):):)
回复

使用道具 举报

1框架
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

热门文章教程

  • MySQL5权威指南(第3版)PDF电子版下载
  • 风哥Oracle数据库巡检工具V1.0(附2.6网页
  • PostgreSQL数据库中文培训手册
  • Navicat for MySQL最新版下载地址及注册码
  • Oracle OCP认证考试IZ0-053题库共712题数据
  • Oracle Database 12c 数据库100个新特性与
快速回复 返回顶部 返回列表