大家都在用哪些数据集收集途径?有没有推荐的靠谱方法?

14 Replies, 1248 Views

hey guys, 最近在研究数据集收集途径,感觉有点头大...

大家都在用哪些数据集收集途径啊?有没有啥靠谱的方法推荐?

我试过爬虫,但有时候数据质量不太行,还得花时间清洗...
还有人说公开数据集平台不错,但感觉有些领域的数据挺难找的。

有没有大佬分享一下经验?或者有啥小众但好用的数据集收集途径?

btw,如果涉及到付费的途径,也欢迎提一下,只要性价比高就行!

先谢啦~
爬虫确实是个好办法,但数据清洗真的头疼...
我最近在用Kaggle和Google Dataset Search,感觉挺方便的,尤其是Kaggle,很多现成的数据集可以直接用,质量也还行。
如果你不想花太多时间清洗,可以试试这些公开平台,省事儿~
数据集收集途径的话,我觉得付费的也挺香!
比如DataCamp或者Data.world,虽然要花钱,但数据质量高,而且分类很细,适合特定领域的研究。
如果你预算够,可以试试,性价比还不错~
公开数据集平台确实不错,但小众领域的数据真的难找...
我之前用过一个叫Zenodo的网站,里面有很多科研相关的数据集,虽然小众但挺实用的。
你可以去看看,说不定能找到你需要的~
爬虫确实麻烦,尤其是数据质量不稳定...
我推荐你用BeautifulSoup或者Scrapy,这两个工具对数据清洗帮助很大,能省不少时间。
另外,可以试试国内的Datafountain,有些领域的数据还挺全的~
哇,感谢大家的分享!
Kaggle和Google Dataset Search我刚刚试了一下,确实挺方便的,尤其是Kaggle,数据质量比我想象的好很多。
不过小众领域的数据还是有点难找,Zenodo我回头试试看~
另外,API的建议也很棒,我打算研究一下Twitter API,感觉挺适合我的需求。
再次感谢各位大佬的推荐!
数据集收集途径的话,我觉得API也是个不错的选择!
比如Twitter API或者Google Maps API,可以直接获取结构化数据,省去了爬虫的麻烦。
不过有些API是付费的,但性价比挺高的,值得一试~
公开数据集平台确实好用,但有时候数据更新不及时...
我最近在用UCI Machine Learning Repository,里面的数据集质量很高,而且免费!
如果你不介意花点时间筛选,可以试试这个~



Users browsing this thread: 1 Guest(s)