程序猿对:飞猪IP爬虫代理分析评测( 三 )


测试数目
【程序猿对:飞猪IP爬虫代理分析评测】要做测评 , 那么样本不克不及太小 , 如只有十几回测试是不克不及等闲下结论的 , 这里我拔取了一个适中的测评数目 500 , 即每个套餐获取 500 个代办署理进行测试 。

13测评过程
嗯 , 测评过程这边本家儿要说一下测评的代码逻辑 , 起首测的时辰是取一个测一个的 , 所以这里界说了一个 test_proxy() 方式:

程序猿对:飞猪IP爬虫代理分析评测

文章插图

14这里需要传入一个参数 proxy , 代表一个代办署理 , 即 IP 加端口构成的代办署理 , 然后这里利用了 requests 的 proxies 参数传递给 get() 方式 。 对于代办署理无效的检测 , 这里判定了 ProxyError, ConnectTimeout, SSLError, ReadTimeout, ConnectionError 这几种异常 , 若是发生了这些异常十足视为代办署理无效 , 返回错误 。 若是在 timeout 60 秒内获得了响应 , 那么就计较其花费时候并返回 。
在本家儿法式里 , 就是获取 API 然后统计成果了 , 代码如下:

程序猿对:飞猪IP爬虫代理分析评测

文章插图

15测评得出的结论
用飞猪IP代办署理 , 进行收集爬虫 , 经由过程利用率很高 , 响应速度快 , 并且不变 , 价钱廉价 , 平安性也高 , 值得大师利用 , 保举指数5颗星 。

程序猿对:飞猪IP爬虫代理分析评测

文章插图


以上内容就是程序猿对:飞猪IP爬虫代理分析评测的内容啦 , 希望对你有所帮助哦!

推荐阅读