+- Proxy Community (https://proxycommunity.com/forum)
+-- Forum: Technical Community Support (https://proxycommunity.com/forum/forum-technical-community-support)
+--- Forum: API and Development (https://proxycommunity.com/forum/forum-api-and-development)
+--- Thread: ?????? ??? ???? ??????? ?????? ?????? ????? or ????? ?? ?????? ?????? ???????? ?? ?? ??????? ?????[/ (/thread-or)
Pages:
1
2
?????? ??? ???? ??????? ?????? ?????? ????? or ????? ?? ?????? ?????? ???????? ?? ?? ??????? ?????[/ - cloakCircuitX - 09-08-2024
"بهترین روش برای یادگیری اسکرپی پایتون چیه؟"
سلام بچه‌ها!
تازه میخوام اسکرپی پایتون رو شروع کنم ولی کلی روش مختلف تو اینترنت هست...
بعضیا میگن مستندات خود کتابخونه رو بخون، بعضیا هم میگن برو پروژه‌های کوچیک رو امتحان کن.
به نظر شما بهترین راه چیه؟ از پایه یاد بگیرم یا مستقیم برم سراغ scraping سایت‌ها؟
اگه تجربه دارید لطفاً راهنمایی کنید! ممنون 😊
---
یا:
"چجوری با اسکرپی پایتون داده‌های وب رو استخراج کنیم؟"
هی دوستان!
میخوام یه پروژه شخصی رو با اسکرپی پایتون شروع کنم ولی نمیدونم دقیقاً چطوری باید داده‌ها رو از یه سایت بیرون بکشم.
کسی تجربه داره؟ مثلاً با BeautifulSoup بهتره یا Selenium؟
یا اصلاً باید حواستم به تحریم‌ها یا محدودیت‌ها باشه؟
اگه راهنمایی کنید ممنون میشم! 🙏
---
یا:
"اسکرپی پایتون برای پروژه‌های بزرگ مناسبه؟"
سلام!
یه سوال داشتم... میخوام یه crawler نسبتاً بزرگ بنویسم ولی مطمئن نیستم اسکرپی پایتون جوابگو باشه.
تو پروژه‌های بزرگ چطوریه؟ سرعتش خوبه یا بهتره به سراغ گزینه‌های دیگه برم؟
کسی تجربه کار در مقیاس بالا رو داره؟
ممنون از کمک‌تون! ✌️
“” - MaskedOrbit99 - 29-09-2024
سلام!
منم تازه شروع کردم به یادگیری اسکرپی پایتون و به نظرم بهترین راه اینه که اول مباحث پایه مثل requests و BeautifulSoup رو یاد بگیری.
بعدش برو سراغ پروژه‌های کوچیک مثلاً scraping یه صفحه ساده مثل Wikipedia.
اگه خواستی منابع خوبی دارم معرفی کنم: سایت realpython.com عالیه برای شروع.
راستی، مواظب تحریم‌ها هم باش! بعضی سایت‌ها IP رو بلاک می‌کنن.
“” - StealthSageX - 22-10-2024
من یه ساله دارم با اسکرپی پایتون کار می‌کنم و به شخصه پیشنهاد میدم مستقیماً بری سراغ پروژه.
کتابخونه‌ها رو موقع نیاز یاد میگیری!
مثلاً اول با BeautifulSoup شروع کن، بعد اگر نیاز به تعامل داشتی (مثل کلیک کردن) برو سراغ Selenium.
یه نکته: همیشه اول robots.txt سایت رو چک کن ببین scraping مجازه یا نه!
“” - darkStormX - 04-02-2025
اگه میخوای اسکرپی پایتون رو برای پروژه‌های بزرگ استفاده کنی، باید بگم بله امکان‌پذیره ولی با محدودیت!
برای crawling در مقیاس بالا بهتره از Scrapy استفاده کنی. سرعتش نسبتاً خوبه ولی برای سایت‌های خیلی سنگین شاید نیاز به راه‌حل‌های دیگه مثل distributed crawling داشته باشی.
راستی حتماً از proxy استفاده کن تا IPت بلاک نشه!
“” - stinX - 25-02-2025
به نظر من بهترین روش یادگیری اسکرپی پایتون اینه:
1. اول یه دوره مقدماتی تو یوتیوب ببین (مثلاً freeCodeCamp)
2. بعد برو تو سایت‌های ساده مثل quotes.toscrape.com تمرین کن
زیاد تو تئوری گیر نده، عملی یاد بگیر!
اگه سوالی داشتی بپرس 😊
“” - ghostByteX - 01-03-2025
من تو یه شرکت کار می‌کنم که روزانه میلیون‌ها صفحه رو با اسکرپی پایتون crawl می‌کنیم.
راستش برای پروژه‌های کوچیک پایتون عالیه، ولی برای مقیاس خیلی بزرگ بهتره از ابزارهایی مثل Apache Nutch یا حتی Go استفاده کنی.
اما اگر تازه‌کاری، همون پایتون رو پیشنهاد میدم چون جامعه کاربری بزرگی داره و مشکلت رو سریع حل می‌کنی.
“” - cloakCircuitX - 10-03-2025
اگه میخوای داده‌های وب رو با اسکرپی پایتون استخراج کنی، من این راه رو پیشنهاد میدم:
اول با requests و BeautifulSoup شروع کن. ساده‌ست!
بعد اگر سایت دینامیک بود (مثلاً با جاوااسکریپت لود میشه) برو سراغ Selenium یا Playwright.
یه نکته مهم: همیشه یه delay بین requests بذار تا سایت رو overload نکنی!
---
وای خیلی ممنون از همه‌تون! 😍
راستش من فکر کردم باید حتماً از اول Scrapy رو یاد بگیرم ولی به نظرم الآن با پیشنهادات شما بهتره اول BeautifulSoup رو شروع کنم.
فقط یه سوال دیگه: برای delay بین requests چه عددی مناسبه؟ مثلاً 2 ثانیه کافیه یا بیشتر بذارم؟
راستی realpython.com رو هم چک کردم، واقعاً منبع خوبیه! ممنون 🙌
“” - maskedDart99 - 14-03-2025
سلام دوست عزیز!
من تازه‌کار نیستم ولی یادمه وقتی شروع کردم کلی سردرگم بودم.
بهت پیشنهاد میدم اول با این ترتیب پیش بری:
- HTML/CSS پایه رو یاد بگیر
- بعد BeautifulSoup
- سپس Scrapy برای پروژه‌های جدی‌تر
راستی، حواست به قانونی بودن scraping هم باشه! بعضی سایت‌ها اجازه نمیدن.