×
ribbon

آموزش وب اسکرپینگ با پایتون (web scraping)

اگر بخواهید در سریع‌ترین زمان ممکن حجم زیادی از اطلاعات را از یک وب‌سایت دریافت کنید، مانند مقادیر زیادی داده از یک وب‌سایت برای آموزش الگوریتم یادگیری ماشین روشی به نام وب اسکرپینگ وجود دارد ... ادامه

ارائه دهنده:  مکتب‌خونه  مکتب‌خونه
مدرس دوره:
3 (24 رای)
سطح: مقدماتی
 پلاس
  
زمان مورد نیاز برای گذارندن دوره:  10 ساعت
مجموع محتوای آموزشی:  9 ساعت ویدئو
 (قابل دانلود می‌باشد)
مهلت دوره:  6 هفته
  
حد نصاب قبولی در دوره:  80 نمره
فارغ‌التحصیل شدن در این دوره نیاز به ارسال تمرین‌ها و پروژه‌های الزامی دارد. 
organization-pic  گواهینامه این دوره توسط مکتب‌خونه ارائه می‌شود.
course-feature   گواهی‌نامه مکتب‌خونه course-feature   خدمات منتورینگ course-feature   پروژه محور course-feature   تمرین و آزمون course-feature   تالار گفتگو course-feature   تسهیل استخدام

آنچه در این دوره می‌آموزیم:

 داده‌های دلخواه خود را از هر وب‌سایتی استخراج نمایید

 اده‌های خود در قالب‌های گوناگون و همچنین قالب‌های پایگاه‌داده‌ای، ذخیره نمایید

 ربات‌هایی بسازید که همانند خزنده‌های گوگل رفتار کنند و لینک‌های صفحات وب را بخوانند

 وارد وب‌سایت‌هایی شوید که نیاز به لاگین دارند

 محدودیت‌های اعمال شده بر‌روی user- agent یا آی‌پی‌ها را دور بزنید

پیش‌نیاز‌ها

سرفصل‌های دوره آموزش وب اسکرپینگ با پایتون (web scraping)

فصل اول - آشنایی با مفاهیم پایه در داده‌های وب

در این فصل به مفاهیم اولیه در دنیای وب اسکرپینگ و معرفی داده‌های دنیای وب پرداخته می‌شود. منابع مختلف در دنیای وب مرور می‌شود که شامل صفحات وب، موتورهای جستجو و api ها هستند.

  مقدمه و مرور پیشنیازها
"06:19  
  راه‌اندازی IDE
"06:02  
  داده‌های وب
"07:38  
  موتور جست‌جوی گوگل
"08:21  
  تعریف API
"07:14  
  مثالی از فراخوانی API
"05:58  
  عناصر صفحات وب (CSS - HTML - JS)
"07:55  
  توضیحات تکمیلی در مورد داده‌های موجود در صفحات وب
"12:00  
  کوییز آشنایی با مفاهیم پایه در داده‌های وب
 100%    
"06:00  
فصل دوم - آشنایی با ابزارهای کاربردی در استخراج داده‌های وب

این فصل مهم‌ترین ابزارهای وب اسکرپینگ شامل ابزارهای بر پایه مرورگر و پروتکل بررسی می‌شود. همچنین ابزارهای تکمیلی مثل درخواست‌های موازی و پارسرها (parser) توضیح داده می‌شود.

  معرفی ابزارهای برپایه‌ی مرورگر
"09:49  
  معرفی ابزارهای برپایه‌ی مرور پروتوکل
"09:11  
  مفهوم درخواست‌های موازی یا هم‌زمان بخش اول
"13:19  
  مفهوم درخواست‌های موازی یا هم‌زمان بخش دوم
"13:54  
  مثال در استفاده از سلنیوم
"14:26  
  معرفی کتاب‌خانه‌ی Beautifulsoup بخش اول
"10:48  
  معرفی کتاب‌خانه‌ی Beautifulsoup بخش دوم
"09:26  
  معرفی کتاب‌خانه‌ی Beautifulsoup بخش سوم
"11:07  
  ابزارهای کاربردی در استخراج داده‌های وب
 25%    
"05:00  
  سلنیوم (الزامی)
 75%    
"00:00  
فصل سوم - استخراج داده برپایه‌ی پروتکل

پروتکل‌ها روشی سریع برای دریافت اطلاعات از صفحات وب می‌باشند. در این فصل در قالب مثال‌هایی به معرفی تکنیک‌ها، ابزارها و همچنین چالش‌های روبه‌رو پرداخته می‌شود.

  معرفی کتابخانه requests
"15:56  
  استخراج اطلاعات متنی با استفاده از کتابخانه requests بخش اول
"07:54  
  استخراج اطلاعات متنی با استفاده از کتابخانه requests بخش دوم
"13:04  
  استفاده از css selector
"12:08  
  تعریف هدر و ذخیره داده‌ها در اکسل بخش اول
"14:16  
  تعریف هدر و ذخیره داده‌ها در اکسل بخش دوم
"18:53  
  کار با تگ‌های select-option بخش اول
"12:49  
  کار با تگ‌های select-option بخش دوم
"18:53  
  استخراج داده برپایه‌ی پروتکل
 16.7%    
"05:00  
  پروژه‌ی کتابخانه‌ی ریکوئستز
"03:42  
  کتابخانه ریکوئستز (الزامی)
 83.3%    
"00:00  
فصل چهارم - مفاهیم پیشرفته

ابزارها و تکنیک‌هایی برای غلبه بر چالش‌های پیچیده‌تر در دنیای وب اسکرپینگ وجود دارد. در این فصل به معرفی این ابزارها و مثال‌های مرتبط پرداخته می‌شود.

  معرفی کتاب‌خانه requests-html بخش اول
"14:35  
  معرفی کتاب‌خانه requests-html بخش دوم
"18:54  
  کار با json در پایتون و کال کردن api بخش اول
"08:43  
  کار با json در پایتون و کال کردن api بخش دوم
"12:58  
  کار با dev tools chrome بخش اول
"13:48  
  کار با dev tools chrome بخش دوم
"16:39  
  کار با موتورهای جستجو
"21:23  
  استفاده از الگوهای جستجو در گوگل
"19:33  
  جستجوی عبارات باقائده در محتویات صفحات وب بخش اول
"10:57  
  جستجوی عبارات باقائده در محتویات صفحات وب بخش دوم
"14:46  
  استخراج تمام متون سایت به زبان‌های مختلف بخش اول
"07:46  
  استخراج تمام متون سایت به زبان‌های مختلف بخش دوم
"13:31  
  کار با صفحات لاگین و فرم‌ها
"12:10  
  مفاهیم پیشرفته
 12.5%    
"06:00  
  پورژه‌ی داده‌های گوگل مپ و تگ select
"05:57  
  داده های گوگل مپ و تگ select (الزامی)
 87.5%    
"00:00  
فصل پنجم - طراحی یک برنامه با رابط گرافیکی

رابط‌های گرافیکی، ابزارهایی مهم و کاربردی برای نوشتن برنامه‌هاییست، که بعضاً کاربران غیرحرفه‌ای دارد که ممکن است آشنا به مفاهیم برنامه‌نویسی نباشند. در این فصل به ارائه‌ی مثالی در این زمینه پرداخته می‌شود و یک برنامه‌ی وب اسکرپینگ با رابط گرافیکی طراحی می‌شود.

  طراحی رابط گرافیکی بخش اول
"08:11  
  طراحی رابط گرافیکی بخش دوم
"11:23  
  تنظیمات اولیه کد GUI در پایتون
"10:40  
  نوشتن توابع بخش اول
"08:34  
  نوشتم توابع بخش دوم
"10:53  
  نوشتم توابع بخش سوم
"11:55  
  بررسی نتایج بخش اول
"18:18  
  بررسی نتایج بخش دوم
"11:31  
  طراحی یک برنامه با رابط گرافیکی
 100%    
"04:00  

ویژگی‌های دوره

گواهی‌نامه مکتب‌خونه
گواهی‌نامه مکتب‌خونه

در صورت قبولی در دوره، گواهی نامه رسمی پایان دوره توسط مکتب‌خونه به اسم شما صادر شده و در اختیار شما قرار می گیرد.

مشاهده نمونه گواهینامه

ویژگی‌های دوره

خدمات منتورینگ
خدمات منتورینگ

خدمات منتورینگ به معنای برخورداری دانشجو از راهنما یا پشتیبان علمی در طول گذراندن دوره می‌باشد. این خدمات شامل پاسخگویی به سوالات آموزشی(در قالب تیکتینگ)، تصحیح آزمون یا پروژه های دوره و ارائه باز خورد موثر به دانشجو می‌باشد.

ویژگی‌های دوره

پروژه محور
پروژه محور

این دوره طوری طراحی شده است که محتوای آموزشی دوره حول چند پروژه واقعی و کاربردی هستند تا یادگیری دانشجو در طول دوره به کاربردهای عملی تبدیل شود و به این ترتیب بالاترین سطح یادگیری را فراهم نمایند.

ویژگی‌های دوره

تمرین و آزمون
تمرین و آزمون

با قرار گرفتن تمرین ها و آزمون های مختلف در طول دوره، محیطی تعاملی فراهم شده است تا بهره گیری از محتوا و یادگیری بهتر و عمیق تر شود.

ویژگی‌های دوره

تالار گفتگو
تالار گفتگو

شما می توانید از طریق تالار گفتگو با دیگر دانشجویان دوره در ارتباط باشید، شبکه روابط حرفه ای خود را تقویت کنید یا سوالات مرتبط با دوره خود را از دیگر دانشجویان بپرسید.

ویژگی‌های دوره

تسهیل استخدام
تسهیل استخدام

در صورت قبولی در دوره، شما می‌توانید با وارد کردن اطلاعات آن در بخش دوره‌های آموزشی رزومه‌ساز «جاب ویژن»، تایید مهارت خود را در قالب اضافه شدن «مدال مهارت» به روزمه آنلاین خود دریافت نمایید. این مدال علاوه بر ایجاد تمایز در نمایش رزومه شما، باعث بالاتر قرار گرفتن آن در لیست انبوه رزومه‌های ارسالی به کارفرما شده و بدین ترتیب شانس شما را برای استخدام در سازمانهای موفق و پر متقاضی افزایش می‌دهد.

بررسی فرصت‌های شغلی

درباره دوره

اگر بخواهید در سریع‌ترین زمان ممکن حجم زیادی از اطلاعات را از یک وب‌سایت دریافت کنید، مانند مقادیر زیادی داده از یک وب‌سایت برای آموزش الگوریتم یادگیری ماشین روشی به نام وب اسکرپینگ وجود دارد که با استفاده از آن می‌توان این کار را انجام داد. در دوره آموزش وب اسکرپینگ با پایتون، قرار است که عمل Web scraping انجام می‌شود. در اینجا در کنار معرفی دوره آموزش Web scraping با پایتون قرار است که کمی در رابطه با وب اسکرپینگ و جنبه‌های مختلف آن صحبت کنیم.

دوره آموزش وب اسکرپینگ با پایتون

دوره آموزش وب اسکرپینگ با پایتون ارائه شهد در مکتب خونه یکی از بهترین دوره‌های آموزشی پروژه محور وب اسکرپینگ است که در 5 فصل آموزشی ارائه‌شده است. کل محتوای این دوره آموزش در 10 ساعت محتوای ویدیویی تهیه و تدوین شده است.

دوره آموزش وب اسکرپینگ با پایتون یک دوره پروژه محور است که در فصل آخر با طراحی یک برنامه با رابط گرافیکی به کاربران ارائه خواهد شد.

پیش‌نیاز دوره آموزش وب اسکرپینگ با پایتون

برای اینکه وب اسکرپینگ را به‌راحتی انجام دهید، زبان برنامه‌نویسی پایتون در کنار وب اسکرپینگ می‌تواند کمک بسیار زیادی به شما بکند. به همین خاطر ما در دوره‌های آموزش برنامه‌نویسی مکتب خونه سعی کرده‌ایم که آموزش وب اسکرپینگ با پایتون را جای بدهیم. در همین راستا آشنایی با پایتون از پیش‌نیازهای این دوره آموزشی به‌حساب می‌آید.

حال باید بدانیم به چه دلیل باید از پایتون در کنار وب اسکرپینگ استفاده کنیم. زبان پایتون دارای ابزاری است که شمارا در استفاده از وب اسکرپینگ کمک می‌کند و ما قصد داریم چند نمونه از این ابزار را به شما معرفی کنیم:

  • Scrapy
  • Selenium
  • request
  • beautiful soup

برای مثال، کتابخانه Beautiful Soup یک بسته پایتون برای تجزیه اسنادهای HTML و XML است. این یک درخت تجزیه برای صفحات تجزیه شده ایجاد می‌کند که می‌تواند برای استخراج داده‌ها از HTML استفاده شود که برای وب اسکرپینگ بسیار مفید است.

برای اینکه در انجام پروژه‌های وب اسکرپینگ با پایتون تسلط پیدا کنید، نیاز به دو هفته زمان‌دارید که به حد متوسط برسید و برای اینکه در این حوزه حرفه‌ای‌تر فعالیت کنید، باید حتماً تمرین و انجام پروژه‌ی مداوم داشته باشید. با استفاده از دوره‌ی آموزش وب اسکرپینگ با پایتون مکتب ‌خونه، به‌راحتی می‌توانید در این حوزه‌ی برنامه‌نویسی به هدف خود نزدیک شوید.

 امروزه scraping در پایتون رایج‌ترین روش برای استخراج و بیرون کشیدن اطلاعات در وب است ولی با این حال از زبانه‌ای دیگری مانند جاوا، جاوا اسکریپت همراه با فریمورک نود جی اس و غیره نیز استفاده می‌شود.

با دوره آموزش وب اسکرپینگ با پایتون چه مهارت‌هایی کسب خواهیم کرد؟

شما با دوره آموزش وب اسکرپینگ با پایتون به توانایی‌هایی زیر خواهید رسید:

  • داده‌های دلخواه خود را از هر وب‌سایتی استخراج نمایید.
  • داده‌های خود در قالب‌های گوناگون و همچنین قالب‎‌های پایگاه‌داده‌ای، ذخیره نمایید.
  • ربات‌هایی بسازید که همانند خزنده‌های گوگل رفتار کنند و لینک‌های صفحات وب را بخوانند.
  • وارد وب‌سایت‌هایی شوید که نیاز به لاگین دارند.
  • محدودیت‌های اعمال شده بر‌روی user- agent یا آی‌پی‌ها را دور بزنید.

دوره آموزش وب اسکرپینگ با پایتون برای چه کسانی مناسب است؟

دوره آموزش وب اسکرپینگ با پایتون برای افراد زیر مناسب است:

  • دانشجویان رشته مهندسی کامپیوتر
  • پژوهشگران حوزه هوش مصنوعی و یادگیری ماشین
  • پژوهشگران وب و دیجیتال مارکترها
  • و هر فردی که به داده‌های وب در حجم کلان نیازمند است.

اگر قصد دارید در اسکرپینگ وب web scraping به تخصص خوبی دست‌یابید، هم‌اکنون با ثبت‌نام در دوره آموزش وب اسکرپینگ با پایتون مکتب خونه اولین و مهم‌ترین قدم را در این راه بردارید. آموزش web scraping ارائه شده در این دوره شما را به درک درستی از این مفهوم می‌رساند و حتی این توانایی را در خود خواهید دید که با آن وارد بازار کار شوید.

درباره استاد

maktabkhooneh-teacher معین سلیمی

مهندس معین سلیمی برنامه‌نویسی را از سال 84 آغاز کرد و تا به امروز در پروژه‌های اجرایی و تحقیقاتی مختلفی به عنوان برنامه‌نویس یا ایده پرداز فعالیت داشته است. ایشان از سال 90 به صورت تخصصی به آموزش برنامه‌نویسی مشغول است و معتقد است آموزش دادن هر مهارتی نیازمند دو مورد است: ۱- داشتن علم در زمینه مذکور، ۲-داشتن صبر و حوصله بسیار و توانایی آموزش، که چه بسا مورد دوم مهمتر از مورد اول است. عاشق یادگیری است و این موضوع هم علت و هم معلول مهارت برنامه‌نویسی در او است. گذراندن کارشناسی ارشد مهندسی مکانیک با معدل برتر و نزدیک به دو دهه سابقه کار حرفه‌ای برنامه نویسی در بسیاری حوزه های مهندسی و IT، دید وسیع و یکپارچه‌ای در علوم مختلف برای او ایجاد کرده است. امروزه بیشتر وقت خود را به فعالیت در پروژه های مرتبط با علوم داده، هوش مصنوعی و دیجیتال مارکتینگ و همچنین آموزش و توسعه برنامه‌نویسی نزد نوآموزان، در معتبرترین دانشگاه‌های کشور اختصاص می‌دهد.

مشاهده پروفایل و دوره‌‌های استاد

نظرات کاربران  ( نظر)

صفحه 1 از
داریوش احمدی 1402-02-30
دوره بسیار عالی و کامل می باشد
سید احمد رضا ابطحی 1401-03-12
خدایی اش دوره جذاب و خوبی هست با اینکه یه دوره ی دیگه ضعیف از این مدرس دیده بودم، ولی انصافا این دوره از هر لحاظ خوب هست. توضیحات مدرس کاملا کافی و کاربردی و اصولی هست. مثال ها همه کاربردی و اصولی هست و البته تمرین کم داره که خب قابل چشم پوشی هست. کیفیت صدا شاید یکم اذیت بکنه ولی در کل کیفیت ضبط و صدا قابل قبول هست.
سپهر سهرابی 1400-03-25
برای من که اطلاعاتی در این زمینه نداشتم دوره ی بسیار مفیدی بود ممنون از تدریس خوبتون آقای سلیمی.
سینا اروجلوی جدید 1399-10-14
واقعا استادعالی بود و مخصوصا دست و پنجه نرم کردن با مشکلات دیدن استک اورفلو و ... از همه مهم تر پیگیر ترین استادی هست که من تو مکتبخونه دیدم تمامی سوالات بنده را جواب میده و کاملا به درس اشراف دارند و گه گاهی چون خیلی سریع کد میزنه بعضی اشتباهات کوچیک میکنه که شاید کلا 2 بار در کل درس اونم چیز خیلی کوچک و غیر مهم
احمد اسدی امجد 1399-08-29
دوره ی بسیار عالی و کاربردی و جذاب بود. باتشکر فراوان از استاد سلیمی و پشتیبان مکتبخونه
علی روستا 1400-01-07
برای کسی که تازه میخواد وارد وب اسکرپینگ بشه عالیه . البته کیفیت صدا خیلی خوب نیست اما مطالب خوبن باید خودتون هم تمرین زیاد کنید . تمرینات دوره کمه
سروش ذوالفقاری 1399-08-13
میکروفون استاد دوره در جای بدی قرار داشت و یکم صدا دجار نویز های بدی بود که در کامنت های بالا اشاره جزیی تر شده بود.
فواد مرزوقی 1399-06-31
In my opinion it is a good course for improvement you need to add more real examples
علیرضا ملکی 1398-12-24
دوره خوبیه ولی متاسفانه بیشتر صدای قورت دادن اب دهان استاد رو اعصاب هستش که اگه این درست بشه میشه گفت دوره خوب و کاربردیه
سپهر صمیمی 1402-05-20
این دوره رو صرفا یه مبنا و پایه برای آشنایی با Web Scraping در نظر بگیرید... مدرس در برخی جلسات اشتباهات عجیبی دارند که البته طبیعی هست ولی انتظار میره که متوجه‌ش هم بشن... به نظر من دوره میتونست خیلی قوی‌تر و بهتر ارائه بشه...
رضا زمانی بصیر 1402-01-09
سیدعلی طباطبائی پور 1400-03-22
مطالب خيلي مقدماتي بود و من تقريبا كل اين مباحث رو در يه فصل از دوره پايتون پيشرفته گذرانده بودم. كيفيت صدا اصلا خوب نبود. توانايي انتقال مطلب استاد به اندازه كافي خوب نبود.
مکتب‌خونه
سیدعلی عزیز؛ از اینکه نظر خود را با ما در میان گذاشتید صمیمانه سپاسگزاریم موارد مطرح شده جهت بررسی به بخش مربوطه ارسال شد.
علی مونسیان اصفهانی 1399-12-21
این دوره نتونست انتظارات من رو بعنوان یک استخراجگر وب تامین کنه. مفاهیم خیلی مقدماتی بود در صورتی که استاد میتونستن با یک سرفصل گذاری بهتر خروجی بهتری بگیرند.
مکتب‌خونه
علی عزیز؛ از اینکه نظر خود را با ما در میان گذاشتید صمیمانه سپاسگزاریم. لطفا در صورت امکان با ارسال جزییات بیشتر ما را در ارتقا سطح کیفی خدمات یاری رسانید. info@maktabkhooneh.org
اسفندیار شیران 1399-11-02
با سلام متاسفانه ایشون به هیچ وجهی مسلط نیستن به آموزشی که دارن میدن ، هر کاری را تو لحظه تصمیم میگرن انجام بدن یا نه یا حتی سرچ بزنن یا.... شاید تو بحث وب اسکرپین زیاد کار کرده باشن ولی برای آموزش صرفا دکمه رکورد را زدن و شروع به ضبط کردن . این اصلا خوب نیست حتی اگه آموزش رایگان باشه . از طرفی من اولین بار بود ازمکتب خونه خرید کردم و قطعا دیگه این کار را انجام نخواهم داد.
مکتب‌خونه
اسفندیار عزیز؛ از اینکه نظر خود را با ما در میان گذاشتید صمیمانه سپاسگزاریم موارد مطرح شده جهت بررسی به بخش مربوطه ارسال شد. لطفا جهت توضیحات بیشتر به ایمیل پشتیبانی پیام دهید. info@maktabkhooneh.org
احد مقیمی 1399-09-23
اصلا دوره خوبی نبود.مدرس به هیچ وجه به مطالب مسلط نیست ایشون حتی وقت نگذاشتن یک بار فیلم ها رو با دقت ینند مخصوصا فصل ۳. در قسمت هفتم یک متن رو اشتبا کپی کرد و یک حرف r از عبارت قبلی به جا موند و ایشان فکر کردند تست پاسخ نمیدهد در قسمت 8 هم ساده ترین مساله ممکن براشون چالش بود و صرف خالی بودن یک مقدار چندین ار تکرار کردن که متغیر در گزینه اول وجود ندارد .به نظر من این دوره فقط باعث کاهش سطه کیفی سایت مکتب خونه میشود
مکتب‌خونه
احد عزیز؛ از اینکه نظر خود را با ما در میان گذاشتید صمیمانه سپاسگزاریم موارد مطرح شده جهت بررسی به بخش مربوطه ارسال شد.

دوره‌های پیشنهادی

سوالات پرتکرار

آیا در صورت خرید دوره، گواهی نامه آن به من تعلق می گیرد؟
خیر؛ شما با خرید دوره می توانید در آن دوره شرکت کنید و به محتوای آن دسترسی خواهید داشت. در صورتی که در زمان تعیین شده دوره را با نمره قبولی بگذرانید، گواهی نامه دوره به نام شما صادر خواهد شد.

سوالات پرتکرار

آیا گواهی‌نامه‌های دانشگاهی به صورت رسمی و توسط دانشگاه مربوطه صادر می‌شود؟
بله؛ گواهی نامه ها توسط دانشگاه مربوطه و با امضای رئیس دانشگاه یا مسئول مربوطه که حق امضای گواهی نامه ها را دارد صادر می شود و گواهی نامه معتبر دانشگاه است که به اسم هر فرد صادر می شود.

سوالات پرتکرار

حداقل و حداکثر زمانی که می توانم یک دوره را بگذرانم چقدر است؟
برای گذراندن دوره حداقل زمانی وجود ندارد و شما می توانید در هر زمانی که مایل هستید فعالیت های مربوطه را انجام دهید. برای هر دوره یک حداکثر زمان تعیین شده است که در صفحه معرفی دوره می توانید مشاهده کنید که از زمان خرید دوره توسط شما تنها در آن مدت شما از ویژگی های تصحیح پروژه ها توسط پشتیبان و دریافت گواهی نامه بهره مند خواهید بود.

سوالات پرتکرار

در صورت قبولی در دوره، آیا امکان دریافت نسخه فیزیکی گواهی نامه دوره را دارم؟
خیر، به دلیل مسائل زیست محیطی و کاهش قطع درختان، فقط نسخه الکترونیکی گواهی‌نامه در اختیار شما قرار می‌گیرد

سوالات پرتکرار

پس از سپری شدن زمان دوره، به محتوای دوره دسترسی خواهم داشت؟
بله؛ پس از سپری شدن مدت زمان دوره شما به محتوای دوره دسترسی خواهید داشت و می توانید از ویدئوها، تمارین، پروژه و دیگر محتوای دوره در صورت وجود استفاده کنید ولی امکان تصحیح تمارین توسط پشتیبان و دریافت گواهی نامه برای شما وجود نخواهد داشت.

وب اسکرپینگ چیست؟

همان‌طور که در دوره آموزش وب اسکرپینگ با پایتون نیز این موضوع به‌خوبی پوشش و توضیح داده شده است، خراش دادن وب (Web scraping) همچنین که به‌عنوان وب اسکرپینگ یا تراشیدن وب نیز شناخته می‌شود، به فرآیند استخراج متن و سایر محتوا، کپی، ذخیره و استفاده مجدد از محتوای شخص ثالث در اینترنت اشاره دارد.

امروزه علاوه بر اعمال کارهای دستی که در آن محتوا با دست کپی یا استخراج می‌شود، تعدادی ابزار و ماژول های مختلف برای کپی خودکار و استخراج اطلاعات از وب‌سایت‌ها نیز ایجاد شده است. یک نمونه استفاده تائید شده از وب اسکرپینگ، ایندکس وب‌سایت‌ها توسط گوگل یا سایر موتورهای جستجو است. این ایندکس سازی بسیار اهمیت دارد، زیرا این تنها راهی است که کاربران می‌توانند صفحات وب‌سایت موردنظر خود را در اینترنت پیدا کنند. از سوی دیگر، وب اسکرپینگ مخرب صفحه با هدف سوءاستفاده غیرقانونی از مالکیت معنوی، قانون کپی‌رایت را نقض می‌کند و بنابراین غیرقانونی است.

کاربرد وب اسکرپینگ

اسکرپینگ web در بسیاری از زمینه‌های مختلف برای استخراج داده‌ها استفاده می‌شود که این موارد استفاده می‌تواند هم قانونی و هم غیرقانونی باشد. در دوره آموزش وب اسکرپینگ با پایتون با بسیاری از این کاربردها آشنا خواهیم شد و در زیر به برخی از این کاربردها اشاره خواهیم کرد.

خزنده‌های وب موتورهای جستجو

ایندکس وب‌سایت‌ها، اساس نحوه کار موتورهای جستجو مانند گوگل و بینگ است. فقط با استفاده از خزنده‌های وب که URL ها را تجزیه‌وتحلیل و ایندکس می‌کنند، می‌توان نتایج جستجو را مرتب کرد و ارائه داد. خزنده‌های وب ربات‌هایی هستند که برنامه‌های خودکاری هستند که وظایف تعریف‌شده و تکراری را انجام می‌دهند.

خدمات وب

اسکراپرهای صفحه را می‌توان به‌عنوان جایگزینی برای وب‌سرویس‌ها استفاده کرد. این مورد استفاده از وب اسکرپینگ برای شرکت‌هایی که می‌خواهند داده‌های تحلیلی خاصی را در یک وب‌سایت به مشتریان خود ارائه دهند، بسیار جالب است. با این حال، استفاده از یک وب‌سرویس برای این کار مستلزم هزینه‌های بالایی است. به همین دلیل، اسکراپرهای صفحه که داده‌ها را استخراج می‌کنند، گزینه مقرون‌به‌صرفه تری هستند.

ریمیکس داده

ریمیکس یا mashup محتوایی را از سرویس‌های مختلف وب ترکیب می‌کند. نتیجه یک سرویس جدید است. ریمیکس اغلب از طریق رابط‌ها انجام می‌شود، اما اگر چنین API‌هایی در دسترس نباشد، از تکنیک scraping صفحه نیز در اینجا استفاده می‌شود.

تحلیل احساسات در شبکه‌های اجتماعی

ماندگاری پست‌های رسانه‌های اجتماعی بسیار کم است، با این حال، وقتی به‌طور جمعی به آن‌ها نگاه کنیم، روندهای ارزشمندی را نشان می‌دهند. در حالی که اکثر پلتفرم‌های رسانه‌های اجتماعی دارای API-هایی هستند که به ابزارهای شخص ثالث اجازه دسترسی به داده‌هایشان را می‌دهند ولی این گزینه ممکن است همیشه کافی نباشد. در چنین مواردی، تحلیلگران با وب اسکرپینگ این وب‌سایت‌ها به اطلاعات بلادرنگ مانند احساسات، عبارات، موضوعات و غیره دسترسی پیدا می‌کنند.

قیمت‌گذاری و تحقیقات بازار

بسیاری از فروشندگان فعال در حوزه تجارت الکترونیک اغلب محصولات خود را در چندین بازار قرار می‌دهند. با وب اسکرپینگ، آن‌ها می‌توانند قیمت‌گذاری را در چندین پلت فرم نظارت کنند و در بازاری که سود بالاتر است، فروش انجام دهند.

تحقیقات بازار به شرکت‌ها کمک می‌کند تا بفهمند بازار چگونه حرکت می‌کند و چگونه می‌توانند از فرصت‌های ارائه‌شده استفاده کنند. با استفاده از وب اسکرپینگ، می‌توانید اطلاعاتی را جمع‌آوری کنید که به شما امکان می‌دهد اندازه، دامنه و ماهیت بازار خود و همچنین نحوه تغییر آن در طول زمان و با توجه به عوامل اقتصادی مختلف را درک کنید.

علاوه بر این، می‌توانید از وب اسکرپینگ برای انجام تحقیق و توسعه استفاده کنید، با استفاده از اطلاعاتی که جمع‌آوری می‌کنید تا محصولات و خدمات بهتری را طراحی کنید تا نیازهای بازار هدف شمارا به روش‌هایی که رقابت ممکن است با آن مواجه شود، برآورده کند.

یادگیری ماشین

مدل‌های یادگیری ماشینی برای تکامل و بهبود به داده‌های خام نیاز دارند. ابزارهای وب اسکرپینگ می‌توانند تعداد زیادی از نقاط داده، متن و تصویر را در مدت زمان نسبتاً کوتاهی خراش دهند. یادگیری ماشینی به شگفتی‌های تکنولوژیک امروزی مانند ماشین‌های بدون راننده، پرواز فضایی، تشخیص تصویر و گفتار می‌پردازد. با این حال، این مدل‌ها برای بهبود دقت و قابلیت اطمینان خود به داده‌ها نیاز دارند.

یک پروژه خوب وب اسکرپینگ از این شیوه‌ها پیروی می‌کند. این‌ها تضمین می‌کنند که داده‌هایی را که به دنبال آن هستید دریافت می‌کنید و در عین حال برای منابع داده مختل نمی‌شوند.

نظارت بر برند

همچنین می‌توان از وب اسکرپینگ برای اطمینان از اینکه نام تجاری شما توسط گزارش‌های نادرست و اخبار منفی لکه‌دار نمی‌شود استفاده کرد. اگر به دنبال محتوایی هستید که می‌تواند برای برند شما مضر باشد، می‌توانید کنترل را در دست بگیرید و محتوایی تولید کنید که با هرگونه تأثیر منفی احتمالی بر شهرت محصولات یا خدمات شما مبارزه کند.

اتوماسیون کسب‌وکار

کسب‌وکار شما احتمالاً داده‌های زیادی تولید می‌کند و جمع‌آوری همه آن‌ها در یک مکان مرکزی و با دسترسی آسان می‌تواند دشوار باشد. علاوه بر این، به دست آوردن داده‌هایی که ممکن است مربوط به یک ابتکار خاص باشد می‌تواند به همان اندازه چالش‌برانگیز باشد. با استفاده از آموزش وب اسکرپینگ با پایتون، می‌توانید داده‌های موردنیاز خود را جمع‌آوری کنید، حتی بر روی نقاط داده‌ای که برای پروژه‌های خاص اعمال می‌شوند یا می‌توانند برای رسیدگی به مسائل ضروری استفاده شوند، تمرکز کنید.

همچنین با استفاده از وب اسکرپینگ برای افزایش اتوماسیون کسب‌وکار خود، می‌توانید راه‌های جدیدی برای افزایش بهره‌وری یا حجم فروش کشف کنید. به‌عنوان‌مثال، می‌توانید از وب اسکرپینگ برای جمع‌آوری تمام اطلاعات فروش مربوط به سه ماهه خاصی استفاده کنید که در آن کسب‌وکار سود رکوردی داشته است. سپس می‌توانید همه‌چیز را در مورد این دوره تجزیه‌وتحلیل کنید، مانند تعداد فروش، میانگین مبلغ هر فروش و حتی اینکه چه کسی چه چیزی را فروخته است. اگر فروشندگان قوی شناسایی شده‌اند، می‌توانید با پرس‌وجو در مورد اینکه چه چیزی به موفقیت آن‌ها در آن دوره کمک کرده است، پیگیری کنید. سپس استراتژی‌های آن‌ها می‌تواند توسط دیگران تکرار شود و کل تیم را تقویت کند.

انواع Web Scrapers

انواع مختلفی از روش‌های وب اسکرپینگ وجود دارد و عملکردهای اساسی آن‌ها معمولاً می‌تواند برای موارد مختلفی استفاده شود. این‌ها عبارت‌اند از اسکراپرهای خودساخته، اسکراپرهای از پیش‌ساخته شده، افزونه‌های مرورگر، اسکراپرهای نرم‌افزار، رابط کاربری، اسکراپرهای ابر و اسکراپرهای محلی.

اسکراپرهای خودساخته

با دانش برنامه‌نویسی مناسب، تقریباً هرکسی می‌تواند وب اسکراپر خود را بسازد. امروزه از پایتون در ساخت وب اسکراپرهای خودساخته بسیار استفاده می‌شود و دوره آموزش وب اسکرپینگ با پایتون مکتب خونه نیز مبنی بر این رویکرد است. از طرف دیگر، می‌توانید اسکراپرهای وب از پیش‌ساخته شده را نیز تهیه کنید. شما به‌سادگی باید اسکراپر را دانلود کرده و اجرا کنید.

افزونه‌های مرورگر و نرم‌افزار

اسکراپرهای وب افزونه مرورگر به مرورگری مانند فایرفاکس یا کروم اضافه می‌شوند. اگرچه این نوع از وب اسکرپینگ ها مفید هستند، اما می‌توانند محدودکننده باشند زیرا عملکرد آن‌ها به مرورگر شما محدود می‌شود. ازآنجا که آن‌ها باید در مرورگر شما کار کنند، نمی‌توانید توابع پیچیده‌تری را پیاده‌سازی کنید. برعکس، نرم‌افزار وب اسکرپینگ را می‌توان بر روی کامپیوتری شخصی نصب کرد. آن‌ها انعطاف‌پذیری بیشتری نسبت به وب اسکرپینگ مرورگر دارند و ویژگی‌های پیشرفته‌ای را ارائه می‌دهند.

وب اسکرپینگ رابط کاربری

نوع وب اسکرپینگ رابط کاربری به‌طور قابل‌توجهی متفاوت است. برخی از اسکراپرها فقط دارای یک رابط کاربری هستند که به یک خط فرمان ساده مجهز شده‌اند و برخی رابط کاربری گرافیکی دارند.

سخن پایانی

وب اسکرپینگ یکی از ترندهای محبوب و مهم برنامه نویسی به‌حساب می‌آید که امروزه طرفداران بسیار زیادی پیدا کرده است و علاوه براین در شاخه‌های گوناگونی از آن استفاده میشود. اگر به فکر ورود به دنیای وب اسکرپینگ هستید هم اکنون با ثبت نام در دوره آموزش وب اسکرپینگ با پایتون، اولین و مهم‌ترین قدم در این مسیر را بردارید.

poster
  
برگزار کننده:  مکتب‌خونه
  
زمان مورد نیاز برای گذارندن دوره:  10 ساعت
مجموع محتوای آموزشی:  9 ساعت ویدئو
 (قابل دانلود می‌باشد)
مهلت دوره:  6 هفته
  
حد نصاب قبولی در دوره:  80 نمره
فارغ‌التحصیل شدن در این دوره نیاز به ارسال تمرین‌ها و پروژه‌های الزامی دارد. 
organization-pic  گواهینامه این دوره توسط مکتب‌خونه ارائه می‌شود.
course-feature   گواهی‌نامه مکتب‌خونه course-feature   خدمات منتورینگ course-feature   پروژه محور course-feature   تمرین و آزمون course-feature   تالار گفتگو course-feature   تسهیل استخدام