من تو یه شرکت کار می‌کنم که روزانه میلیون‌ها صفحه رو با اسکرپی پایتون crawl می‌کنیم.
راستش برای پروژه‌های کوچیک پایتون عالیه، ولی برای مقیاس خیلی بزرگ بهتره از ابزارهایی مثل Apache Nutch یا حتی Go استفاده کنی.
اما اگر تازه‌کاری، همون پایتون رو پیشنهاد میدم چون جامعه کاربری بزرگی داره و مشکلت رو سریع حل می‌کنی.
راستش برای پروژه‌های کوچیک پایتون عالیه، ولی برای مقیاس خیلی بزرگ بهتره از ابزارهایی مثل Apache Nutch یا حتی Go استفاده کنی.
اما اگر تازه‌کاری، همون پایتون رو پیشنهاد میدم چون جامعه کاربری بزرگی داره و مشکلت رو سریع حل می‌کنی.