اگه میخوای اسکرپی پایتون رو برای پروژه‌های بزرگ استفاده کنی، باید بگم بله امکان‌پذیره ولی با محدودیت!
برای crawling در مقیاس بالا بهتره از Scrapy استفاده کنی. سرعتش نسبتاً خوبه ولی برای سایت‌های خیلی سنگین شاید نیاز به راه‌حل‌های دیگه مثل distributed crawling داشته باشی.
راستی حتماً از proxy استفاده کن تا IPت بلاک نشه!
برای crawling در مقیاس بالا بهتره از Scrapy استفاده کنی. سرعتش نسبتاً خوبه ولی برای سایت‌های خیلی سنگین شاید نیاز به راه‌حل‌های دیگه مثل distributed crawling داشته باشی.
راستی حتماً از proxy استفاده کن تا IPت بلاک نشه!