Title: 哪里可以找到靠谱的 datasets 使用代理?求推荐!
hey guys~ 最近在做项目需要一些 datasets 使用代理,但找了一圈不是要钱就是数据质量贼差...
有没有老哥知道哪里能搞到可靠的 datasets 使用代理?最好是免费的或者价格不坑的。
听说 Kaggle 和 UCI 不错,但不确定能不能用代理爬。还有别的推荐吗?
ps: 如果要用付费的,哪个平台最稳?不想踩雷啊 T_T
先谢了!
Kaggle和UCI确实不错,但如果你需要datasets 使用代理,可以试试Scraper API或者Bright Data的公开数据集部分。
免费的话,看看Common Crawl,数据量超大,就是得自己清洗。付费的推荐Oxylabs,贵但稳,适合长期需求。
代理爬的话记得看平台的TOS,别被封了hh
别光盯着Kaggle啊!
Reddit的r/datasets板块经常有人分享免费资源,偶尔还能蹲到大佬丢出来的代理可用datasets。
付费推一个:Apify Store,数据干净+自带代理支持,就是小贵。
免费datasets 使用代理的坑太多了...
建议直接上GitHub搜“free datasets proxy”,能扒到不少野生仓库。质量参差不齐,但胜在量大管饱。
付费的?ScraperStack我用过,API直接带代理,省心!
感谢各位老铁!原来还有这么多门道...
试了Google Dataset Search和Data.world,确实挖到几个能用的datasets 使用代理。
另外问下:用Bright Data爬Kaggle会被封号吗?看到有人说要挂住宅IP?
UCI能用代理爬,但速度慢到哭...
试试这个骚操作:用Wayback Machine扒过期数据集,配合ProxyBonanza的廉价IP轮换。白嫖党狂喜!
付费首推Smartproxy,性价比之王~
Kaggle允许代理爬,但别太狠,容易被ban。
冷门推荐:Zenodo.org,学术向datasets 使用代理完全无压力,欧盟服务器速度还行。
付费的怕踩雷就选Webz.io,贵但售后杠杠的!
代理爬公开datasets的话,记得关JS+模拟人类点击,不然分分钟吃验证码...
免费资源推两个:
- Data.gov(美国官方数据)
- Quandl(经济类数据集)
付费的?直接上Rayobyte,稳如老狗。
兄弟,免费datasets 使用代理都是玄学...
不如花点小钱买现成的:
- Coresignal(企业数据)
- Diffbot(自带代理API)
白嫖的话,试试Academic Torrents,BT下载不怕封IP!