如何高效管理和使用多个并发proxy?有什么最佳实践吗?

14 Replies, 1050 Views

多个并发proxy管理的话,推荐用Scrapy的中间件功能,写个脚本自动分配和切换。
我之前也是手动搞,后来写了个简单的轮换逻辑,效率直接起飞。

IP被封的问题,建议用住宅IP,虽然贵点,但稳定性好很多。
可以看看Luminati或者Smartproxy,这两个口碑都不错。

Messages In This Thread



Users browsing this thread: 1 Guest(s)