多个并发proxy管理的话,推荐用Scrapy的中间件功能,写个脚本自动分配和切换。
我之前也是手动搞,后来写了个简单的轮换逻辑,效率直接起飞。
IP被封的问题,建议用住宅IP,虽然贵点,但稳定性好很多。
可以看看Luminati或者Smartproxy,这两个口碑都不错。
我之前也是手动搞,后来写了个简单的轮换逻辑,效率直接起飞。
IP被封的问题,建议用住宅IP,虽然贵点,但稳定性好很多。
可以看看Luminati或者Smartproxy,这两个口碑都不错。
