爬虫采集选IP代理注意事项

                爬虫IP代理不能盲目选择，主要需要满足以下几点：

　　　1、IP资源最好独享，因为独享IP能直接影响IP的可用率，独享HTTP代理能确保每个IP同时只有一个用户在使用，能确保IP的可用率、稳定性。

2、并发要高：爬虫采集一般都是多线程进行的，需要短期内内获取海量的IP，如果并发不够，会大大降低爬虫采集的数据。一般需要单次调用200，间隔一秒，

3、IP池要大，众所周知，爬虫采集需要大量的IP，有的时候会每天需要几百万上千万的调用，如果IP数量不够，那爬虫的工作也无法进行下去。所以企业爬虫一般要找实测至少百万去重以上的IP，才能确保业务不受影响。

　4、可用率要高：IP池不但要大IP可用率还得高，因为许多通过扫描公网IP得来的资源，有可能上千万的IP实际可用率不到5%，这样来看能用的IP就非常有限了，而且还会浪费大量的时间去验证IP的可用性，而优秀的爬虫HTTP代理池的IP，一般要确保可用率在90%以上才行。