????????? datasets ??????????? *(Translation: Where can I find reliable datasets ????? Any recommendations?

18 Replies, 1866 Views

Title: 哪里可以找到靠谱的 datasets 使用代理?求推荐!

hey guys~ 最近在做项目需要一些 datasets 使用代理,但找了一圈不是要钱就是数据质量贼差...

有没有老哥知道哪里能搞到可靠的 datasets 使用代理?最好是免费的或者价格不坑的。

听说 Kaggle 和 UCI 不错,但不确定能不能用代理爬。还有别的推荐吗?

ps: 如果要用付费的,哪个平台最稳?不想踩雷啊 T_T

先谢了!
Kaggle和UCI确实不错,但如果你需要datasets 使用代理,可以试试Scraper API或者Bright Data的公开数据集部分。

免费的话,看看Common Crawl,数据量超大,就是得自己清洗。付费的推荐Oxylabs,贵但稳,适合长期需求。

代理爬的话记得看平台的TOS,别被封了hh
老哥试试这个:
https://datasetsearch.research.google.com/

谷歌自家的,数据源挺靠谱的。代理爬的话建议用轮换IP的工具,比如Luminati(现在叫Bright Data)。

免费datasets 使用代理的还有个冷门的——Data.world,小众但质量能打!
别光盯着Kaggle啊!

Reddit的r/datasets板块经常有人分享免费资源,偶尔还能蹲到大佬丢出来的代理可用datasets。

付费推一个:Apify Store,数据干净+自带代理支持,就是小贵。
免费datasets 使用代理的坑太多了...

建议直接上GitHub搜“free datasets proxy”,能扒到不少野生仓库。质量参差不齐,但胜在量大管饱。

付费的?ScraperStack我用过,API直接带代理,省心!
感谢各位老铁!原来还有这么多门道...

试了Google Dataset Search和Data.world,确实挖到几个能用的datasets 使用代理。

另外问下:用Bright Data爬Kaggle会被封号吗?看到有人说要挂住宅IP?
UCI能用代理爬,但速度慢到哭...

试试这个骚操作:用Wayback Machine扒过期数据集,配合ProxyBonanza的廉价IP轮换。白嫖党狂喜!

付费首推Smartproxy,性价比之王~
Kaggle允许代理爬,但别太狠,容易被ban。

冷门推荐:Zenodo.org,学术向datasets 使用代理完全无压力,欧盟服务器速度还行。

付费的怕踩雷就选Webz.io,贵但售后杠杠的!
代理爬公开datasets的话,记得关JS+模拟人类点击,不然分分钟吃验证码...

免费资源推两个:
- Data.gov(美国官方数据)
- Quandl(经济类数据集)

付费的?直接上Rayobyte,稳如老狗。
兄弟,免费datasets 使用代理都是玄学...

不如花点小钱买现成的:
- Coresignal(企业数据)
- Diffbot(自带代理API)

白嫖的话,试试Academic Torrents,BT下载不怕封IP!



Users browsing this thread: 1 Guest(s)