风哥教程

培训 . 交流 . 分享
Make progress together!

爬虫代理的数据缓存及网络延迟

[复制链接]
内容发布:suger| 发布时间:2020-12-21 16:32:51
为了提高客户的爬虫采集效率,降低目标服务器的反爬风险,一般爬虫代理关闭了目标服务器的缓存特性,每一次用户请求都真实进行转发,避免了服务器或防火墙因为反爬而出现的返回缓存数据,从而导致采集数据失真的情况。
当研发进行爬虫代理对比测试的时候,可能会发现一个现象,有一些爬虫代理每次请求的延迟都很稳定,而另外一部分爬虫代理产品会出现第一次HTTP请求延迟很高,接下来大量的请求延迟非常低(甚至低于服务器响应时间)的假象,如下图
image.png
上图的情况就是这类代理服务器缓存了数据,然后爬虫程序请求相同链接的时候,会出现重复数据并且延迟很低的情况,这种情况下爬虫程序难以分辨是不是目标服务器反爬策略引起的,并且会给用户造成一种代理服务器网络延迟低的假象。因此一定要选择关闭了目标服务器缓存特性的爬虫代理产品。

回复

使用道具 举报

1框架
高级模式
B Color Image Link Quote Code Smilies |上传

本版积分规则

热门文章教程

  • PostgreSQL数据库中文培训手册
  • Oracle OCP认证考试IZ0-053题库共712题数据
  • Oracle19c数据库发布与下载地址
  • MySQL5权威指南(第3版)PDF电子版下载
  • Oracle 12cR2 九大新功能全面曝光_详解云数
  • 风哥Oracle数据库巡检工具V1.0(附2.6网页
快速回复 返回顶部 返回列表