HTTP代理选择长效ip还是短效ip呢？

HTTP代理主要应用于抓取爬虫大数据，网络爬虫要在很短的时间内抓取大量数据，需要与HTTP代理IP合作，

网络爬虫没有代理IP，可以说是寸步难行。对于HTTP代理，常见的问题是什么？下面由小编为你详细分析一下。

1：代理IP的有效期是否越长越好？

IP时效分为有长效代理ip的和短效代理ip，长效的有几天到一年，短的从一分钟到几分钟不等，

这些代理IP的时效是如何选择的呢？是否代理IP的有效期越长越好？事实上，不存在越久越好的时效问题，

不同的时效只是项目不同的需求，要根据自己业务需求来定义的哦。比如有的业务是看视频播放，

这时可能需要长效的ip，有的是注册或投票，这时只需要短效的，1-3分钟即可。

2：所有代理IP是否具有相同的匿名？

在这种情况下，透明代理和普通代理不推荐使用，虽然也有代理的效果，但会被网站服务器识别为使用代理IP，

所以不适合于效果补、广告点击等业务。而且高度匿名的代理，不仅能很好的隐藏用户的真实IP，而且还能完美的伪装网站服务器，

就像一个真正的客户端在访问一样。

系统在启用HTTP、HTTPS代理时返回429TooManyRequests；在启用Socket5代理时，系统将主动降低TCP延迟或直接拒绝TCP请求超过部分。

没有任何一种处理方式会影响爬虫的运行，爬虫会基于返回的结果自动重新发起请求，这是HTTP、HTTPS和Socket5的标准响应模式。

文章部分内容来源于网络，如有侵权，联系客服删