大家好!
在使用BulkGPT抓取整个网站的robots.txt时,我发现使用代理可以提高成功率。
有时候,直接请求可能会被封锁,而使用代理可以避免这些问题。
在使用BulkGPT抓取整个网站的robots.txt时,我发现使用代理可以提高成功率。
有时候,直接请求可能会被封锁,而使用代理可以避免这些问题。
| Messages In This Thread |
|
How can I scrape a whole website's robots.txt using BulkGPT? - by - 19-12-2024, 09:02 PM
|