How can I scrape a whole website's robots.txt using BulkGPT?

7 Replies, 735 Views

大家好!

在使用BulkGPT抓取整个网站的robots.txt时,我发现使用代理可以提高成功率。

有时候,直接请求可能会被封锁,而使用代理可以避免这些问题。

Messages In This Thread



Users browsing this thread: 1 Guest(s)