![]() |
|
大家都在用哪些数据集收集途径?有没有推荐的靠谱方法? - Printable Version +- Proxy Community (https://proxycommunity.com/forum) +-- Forum: Use Case (https://proxycommunity.com/forum/forum-use-case) +--- Forum: Others (https://proxycommunity.com/forum/forum-others) +--- Thread: 大家都在用哪些数据集收集途径?有没有推荐的靠谱方法? (/thread-%E5%A4%A7%E5%AE%B6%E9%83%BD%E5%9C%A8%E7%94%A8%E5%93%AA%E4%BA%9B%E6%95%B0%E6%8D%AE%E9%9B%86%E6%94%B6%E9%9B%86%E9%80%94%E5%BE%84%EF%BC%9F%E6%9C%89%E6%B2%A1%E6%9C%89%E6%8E%A8%E8%8D%90%E7%9A%84%E9%9D%A0%E8%B0%B1%E6%96%B9%E6%B3%95%EF%BC%9F) Pages:
1
2
|
大家都在用哪些数据集收集途径?有没有推荐的靠谱方法? - vpnHorizonX - 13-08-2024 hey guys, 最近在研究数据集收集途径,感觉有点头大... 大家都在用哪些数据集收集途径啊?有没有啥靠谱的方法推荐? 我试过爬虫,但有时候数据质量不太行,还得花时间清洗... 还有人说公开数据集平台不错,但感觉有些领域的数据挺难找的。 有没有大佬分享一下经验?或者有啥小众但好用的数据集收集途径? btw,如果涉及到付费的途径,也欢迎提一下,只要性价比高就行! 先谢啦~ “” - fastPhantom88 - 30-09-2024 爬虫确实是个好办法,但数据清洗真的头疼... 我最近在用Kaggle和Google Dataset Search,感觉挺方便的,尤其是Kaggle,很多现成的数据集可以直接用,质量也还行。 如果你不想花太多时间清洗,可以试试这些公开平台,省事儿~ “” - fastDart77 - 30-09-2024 数据集收集途径的话,我觉得付费的也挺香! 比如DataCamp或者Data.world,虽然要花钱,但数据质量高,而且分类很细,适合特定领域的研究。 如果你预算够,可以试试,性价比还不错~ “” - ShadowLegend77 - 05-01-2025 公开数据集平台确实不错,但小众领域的数据真的难找... 我之前用过一个叫Zenodo的网站,里面有很多科研相关的数据集,虽然小众但挺实用的。 你可以去看看,说不定能找到你需要的~ “” - darkDart77 - 15-02-2025 爬虫确实麻烦,尤其是数据质量不稳定... 我推荐你用BeautifulSoup或者Scrapy,这两个工具对数据清洗帮助很大,能省不少时间。 另外,可以试试国内的Datafountain,有些领域的数据还挺全的~ “” - vpnHorizonX - 28-02-2025 哇,感谢大家的分享! Kaggle和Google Dataset Search我刚刚试了一下,确实挺方便的,尤其是Kaggle,数据质量比我想象的好很多。 不过小众领域的数据还是有点难找,Zenodo我回头试试看~ 另外,API的建议也很棒,我打算研究一下Twitter API,感觉挺适合我的需求。 再次感谢各位大佬的推荐! “” - cloakPioneer99 - 06-03-2025 数据集收集途径的话,我觉得API也是个不错的选择! 比如Twitter API或者Google Maps API,可以直接获取结构化数据,省去了爬虫的麻烦。 不过有些API是付费的,但性价比挺高的,值得一试~ “” - ProxyHawk - 10-03-2025 公开数据集平台确实好用,但有时候数据更新不及时... 我最近在用UCI Machine Learning Repository,里面的数据集质量很高,而且免费! 如果你不介意花点时间筛选,可以试试这个~ |