00:00 / 00:00
1.8x
1.4x
1.0x
0.7x
HD SD
HD
SD
ثبت‌نام رایگان
  • دسترسی به 10 جلسه نمونه از دوره
  • دسترسی به 10 جلسه نمونه از دوره
  • عضویت در تالار گفت‌وگوی دوره
  • اضافه شدن دوره به پروفایل
فقط محتوا
  • دسترسی کامل و نامحدود به محتوای دوره
  • تمام قابلیت‌‌های پلن رایگان
    +
  • دسترسی کامل و نامحدود به محتوای دوره
249,000 تومان
امکان پرداخت ارزی ‎
دوره کامل
  • دسترسی به تمام قابلیت‌های دوره
  • تمام قابلیت‌های پلن محتوا
    +
  • گواهی‌نامه مکتب‌خونه
  • پروژه محور
  • تمرین و آزمون
  • تالار گفتگو
  • تسهیل استخدام
469,000 تومان
امکان پرداخت ارزی ‎
00:00 / 00:00
1.8x
1.4x
1.0x
0.7x
HD SD
HD
SD
مکتب‌خونه مکتب‌خونه

آموزش وب اسکرپینگ با پایتون (web scraping)

دوره‌های مکتب‌پلاس
10 ساعت
73٪ (476 رای)

وب اسکرپینگ ابزاریست برای ارتباط با دنیای وب از طریق کدنویسی. اگر بخواهیم نگاهی عمیق‌تر به موضوع داشته باشیم باید گفت ماده، انرژی و اطلاعات سه مفهوم اصلی تشکیل دهنده‌ی دنیا هستند، که تمام محصولات و خدماتی که در دنیای بشری ارزش مادی دارند، ریشه در یکی از این سه مفهوم دارد. یکی از منابعی که می‌توان از طریق آن به اطلاعات دسترسی داشت، دنیای وب می‌باشد.

دنیای وب شامل شبکه‌های اجتماعی، فروشگاه‌های آنلاین، نتایج موتورهای جستجو و به صورت کلی هر چیزیست که ممکن است در یک مرورگر با آن مواجه شویم. اما داده‌های وب دارای چه مزیتی نسبت به سایر منابع اطلاعات هستند؟ سه مزیت اصلی داده‌های وب شامل:

  • در دسترس بودن 
  • به روز بودن
  • سرعت بالا در دسترسی و انتقال آن‌هاست

اطلاعات دنیای وب هر روزه با توجه به نیازهای جامعه بشری و شرایطی که انسان‌ها در آن زندگی می‌کنند در حال تغییر است و البته در هر جایی که اینترنت وجود دارد، این اطلاعات در دسترس هستند. داده‌ها که در واقع منشا تولید اطلاعات هستند، از دیدگاه محصول، فرآیند تولید راحت‌تری نسبت به محصولات فیزیکی دارند.

در واقع محصولاتی که بر پایه‌ی اطلاعات تولید می‌شوند، تنها نیاز به منابع داده و مصرف کمی انرژی دارند. اطلاعات به واقع بخش مفیدی است، که از منابع داده‌ای استخراج می‌شود و چیزی شبیه به طلا است، که از دل معادن استخراج می‌شود.

وب اسکرپینگ ابزاری برای استخراج این داده‌ها از دنیای وب است. در واقع با تکیه بر قدرت پردازشی کامپیوترها، این امکان فراهم شده‌است، که بتوانیم حجم بسیار زیادی از داده‌ها را از دنیای وب استخراج کنیم. از طرفی باید توجه داشت، که الگوهایی که در داخل این داده‌ها قرار دارند، می‌توانند بر روی تصمیماتی که در کسب و کارها گرفته می‌شود، تاثیرگذار باشند.

به بیان دیگر، بسیاری از الگوها فقط با داده‌کاوی در حجم بسیار زیادی از داده‌ها قابل مشاهده هستند که این مهم تنها با قابلیت پردازشی کامپیوترها و ابزاری مثل وب اسکرپینگ قابل انجام است.

در مورد کاربردهای وب اسکرپینگ باید گفت که هر کسب‌و‌کاری با در نظر گرفتن موضوع فعالیت و نیاز خود، از وب اسکرپینگ استفاده می‌کند. شرکتی که در حال حاضر از وب اسکرپینگ استفاده بسیار زیادی می‌کند، گوگل است. گوگل با استفاده از علمweb scraping ، مطالبی که روزانه در وب‎سایت‌های مختلف منتشر می‌شود را می‌خواند و با توجه به الگوریتم خود این مطالب را دسته‌بندی می‌کند.

گوگل با استفاده از الگوریتمی که در خود گنجانده است، هر روز اطلاعاتی که از وب‌سایت‌های مختلف دریافت می‌کند را در دیتابیس‌های خود ذخیر می‌نماید.  پس از آن با استفاده از الگویتم‌های خود دیتاهای دریافتی را تحلیل و آنالیز می‌نماید.

با تمام زبان‌های برنامه‌نویسی می توانید وب اسکرپینگ را انجام دهید. تنها در مواردی که در ادامه به آنها اشاره خواهیم کرد، باید از زبا‌ن‌های حرفه‌ای برنامه‌نویسی استفاده کنید:

  • ارسال کردن اطلاعات در فرم‌ها
  • باز کردن کدهای recaptcha
  • دانلود عکس و فایل ...

برای اینکه این‌ کار را به‌راحتی انجام دهید، زبان برنامه‌نویسی پایتون در کنار وب اسکرپینگ می‌تواند کمک بسیار زیادی نماید. به همین خاطر ما در دوره‌های آموزش برنامه نویسی مکتبخونه سعی کرده‌ایم که آموزش وب اسکرپینگ با پایتون را جای بدهیم.

حال باید بدانیم به چه دلیل باید از پایتون در کنار وب اسکرپینگ استفاده کنیم. زبان پایتون دارای ابزاری می‌باشد که شما را در استفاده از وب اسکرپینگ کمک می‌کند و ما قصد داریم چند نمونه از این ابزار را به شما معرفی کنیم:

  • Scrapy
  • Selenium
  • request
  • beautifulSoup 

برای اینکه در انجام پروژه‌های وب اسکرپینگ با پایتون تسلط پیدا کنید، نیاز به دو هفته زمان دارید که به حد متوسط برسید و برای اینکه در این حوزه حرفه‌ای‌تر فعالیت کنید، باید حتما تمرین و انجام پروژه‌ی مداوم داشته باشید. با استفاده از دوره‌ی آموزش وب اسکرپینگ با پایتون مکتب‌خونه، به‌راحتی می‌توانید در این حوزه‌ی برنامه‌نویسی به هدف خود نزدیک شوید.

شما با یادگیری این دوره به توانایی‌هایی زیر خواهید رسید:

  • داده‌های دلخواه خود را از هر وب‌سایتی استخراج نمایید.
  • داده های خود در قالب‌های گوناگون و همچنین قالب‎‌های پایگاه‌داده‌ای، ذخیره نمایید.
  • ربات‌هایی بسازید که همانند خزنده‌های گوگل رفتار کنند و لینک‌های صفحات را بخوانند.
  • وارد وب‌سایت‌هایی شوید که نیاز به لاگین دارند.
  • محدودیت‌های اعمال شده بر‌روی user- agent یا آی‌پی‌ها را دور بزنید.

سرفصل‌های دوره آموزش وب اسکرپینگ با پایتون (web scraping)

فصل اول - آشنایی با مفاهیم پایه در داده‌های وب
01:07 ساعت
01:01
Combined Shape Created with Sketch. 9 جلسه
بارم:
5%
نمایش جلسات فصل  
فصل دوم - آشنایی با ابزارهای کاربردی در استخراج داده‌های وب
01:37 ساعت
01:32
Combined Shape Created with Sketch. 10 جلسه
بارم:
20%
نمایش جلسات فصل  
فصل چهارم - مفاهیم پیشرفته
03:17 ساعت
03:11
Combined Shape Created with Sketch. 16 جلسه
بارم:
40%
نمایش جلسات فصل  
فصل پنجم - طراحی یک برنامه با رابط گرافیکی
01:35 ساعت
01:31
Combined Shape Created with Sketch. 9 جلسه
بارم:
5%
نمایش جلسات فصل  

رابط‌های گرافیکی، ابزارهایی مهم و کاربردی برای نوشتن برنامه‌هاییست، که بعضاً کاربران غیرحرفه‌ای دارد که ممکن است آشنا به مفاهیم برنامه‌نویسی نباشند. در این فصل به ارائه‌ی مثالی در این زمینه پرداخته می‌شود و یک برنامه‌ی وب اسکرپینگ با رابط گرافیکی طراحی می‌شود.

طراحی رابط گرافیکی بخش اول
"08:11
طراحی رابط گرافیکی بخش دوم
"11:23
تنظیمات اولیه کد GUI در پایتون
"10:40
نوشتن توابع بخش اول
"08:34
نوشتم توابع بخش دوم
"10:53
نوشتم توابع بخش سوم
"11:55
بررسی نتایج بخش اول
"18:18
بررسی نتایج بخش دوم
"11:31
طراحی یک برنامه با رابط گرافیکی
100.0%
     
"04:00

تالار گفت‌وگو

استاد دوره
معین سلیمی معین سلیمی

مهندس معین سلیمی برنامه‌نویسی را از سال 84 آغاز کرد و تا به امروز در پروژه‌های اجرایی و تحقیقاتی مختلفی به عنوان برنامه‌نویس یا ایده پرداز فعالیت داشته است. ایشان از سال 90 به صورت تخصصی به آموزش برنامه‌نویسی مشغول است و معتقد است آموزش دادن هر مهارتی نیازمند دو مورد است: ۱- داشتن علم در زمینه مذکور، ۲-داشتن صبر و حوصله بسیار و توانایی آموزش، که چه بسا مورد دوم مهمتر از مورد اول است. عاشق یادگیری است و این موضوع هم علت و هم معلول مهارت برنامه‌نویسی در او است. گذراندن کارشناسی ارشد مهندسی مکانیک با معدل برتر و نزدیک به دو دهه سابقه کار حرفه‌ای برنامه نویسی در بسیاری حوزه های مهندسی و IT، دید وسیع و یکپارچه‌ای در علوم مختلف برای او ایجاد کرده است. امروزه بیشتر وقت خود را به فعالیت در پروژه های مرتبط با علوم داده، هوش مصنوعی و دیجیتال مارکتینگ و همچنین آموزش و توسعه برنامه‌نویسی نزد نوآموزان، در معتبرترین دانشگاه‌های کشور اختصاص می‌دهد.

اطلاعات بیشتر
درباره گواهینامه
مکتب‌خونه مکتب‌خونه
حد نصاب قبولی در دوره:
80.0 نمره
فارغ‌التحصیل شدن در این دوره نیاز به ارسال تمرین‌ها و پروژه‌های الزامی دارد.

پیش‌نیاز‌های دوره آموزش وب اسکرپینگ با پایتون (web scraping)

آموزش پایتون مقدماتی
اطلاعات بیشتر

ویژگی‌های دوره آموزش وب اسکرپینگ با پایتون (web scraping)

Combined Shape1 Created with Sketch. گواهی‌نامه مکتب‌خونه

در صورت قبولی در دوره، گواهی نامه رسمی پایان دوره توسط مکتب‌خونه به اسم شما صادر شده و در اختیار شما قرار می گیرد.

 

مشاهده نمونه گواهینامه

خدمات منتورینگ

خدمات منتورینگ به معنای برخورداری دانشجو از راهنما یا پشتیبان علمی در طول گذراندن دوره می‌باشد. این خدمات شامل پاسخگویی به سوالات آموزشی(در قالب تیکتینگ)، تصحیح آزمون یا پروژه های دوره و ارائه باز خورد موثر به دانشجو می‌باشد.

پروژه محور

این دوره طوری طراحی شده است که محتوای آموزشی دوره حول چند پروژه واقعی و کاربردی هستند تا یادگیری دانشجو در طول دوره به کاربردهای عملی تبدیل شود و به این ترتیب بالاترین سطح یادگیری را فراهم نمایند.

تمرین و آزمون

با قرار گرفتن تمرین ها و آزمون های مختلف در طول دوره، محیطی تعاملی فراهم شده است تا بهره گیری از محتوا و یادگیری بهتر و عمیق تر شود.

تالار گفتگو

شما می توانید از طریق تالار گفتگو با دیگر دانشجویان دوره در ارتباط باشید، شبکه روابط حرفه ای خود را تقویت کنید یا سوالات مرتبط با دوره خود را از دیگر دانشجویان بپرسید.

تسهیل استخدام

در صورت قبولی در دوره، شما می‌توانید با وارد کردن اطلاعات آن در بخش دوره‌های آموزشی رزومه‌ساز «جاب ویژن»، تایید مهارت خود را در قالب اضافه شدن «مدال مهارت» به روزمه آنلاین خود دریافت نمایید. این مدال علاوه بر ایجاد تمایز در نمایش رزومه شما، باعث بالاتر قرار گرفتن آن در لیست انبوه رزومه‌های ارسالی به کارفرما شده و بدین ترتیب شانس شما را برای استخدام در سازمانهای موفق و پر متقاضی افزایش می‌دهد. 

 

مشاهده اطلاعات بیشتر

نظرات  (12 نظر)

صفحه 

از 

2

سید احمد رضا
07:45 - 1401/03/12
دانشجوی دوره
خدایی اش دوره جذاب و خوبی هست با اینکه یه دوره ی دیگه ضعیف از این مدرس دیده بودم، ولی انصافا این دوره از هر لحاظ خوب هست. توضیحات مدرس کاملا کافی و کاربردی و اصولی هست. مثال ها همه کاربردی و اصولی هست و البته تمرین کم داره که خب قابل چشم پوشی هست. کیفیت صدا شاید یکم اذیت بکنه ولی در کل کیفیت ضبط و صدا قابل قبول هست.
سپهر
12:17 - 1400/03/25
فارغ‌التحصیل دوره
برای من که اطلاعاتی در این زمینه نداشتم دوره ی بسیار مفیدی بود ممنون از تدریس خوبتون آقای سلیمی.
سیدعلی
19:13 - 1400/03/22
دانشجوی دوره
مطالب خيلي مقدماتي بود و من تقريبا كل اين مباحث رو در يه فصل از دوره پايتون پيشرفته گذرانده بودم. كيفيت صدا اصلا خوب نبود. توانايي انتقال مطلب استاد به اندازه كافي خوب نبود.
پشتیبانی مکتب‌خونه
سیدعلی عزیز؛ از اینکه نظر خود را با ما در میان گذاشتید صمیمانه سپاسگزاریم موارد مطرح شده جهت بررسی به بخش مربوطه ارسال شد.
علی
22:46 - 1400/01/07
دانشجوی دوره
برای کسی که تازه میخواد وارد وب اسکرپینگ بشه عالیه . البته کیفیت صدا خیلی خوب نیست اما مطالب خوبن باید خودتون هم تمرین زیاد کنید . تمرینات دوره کمه
علی
10:43 - 1399/12/21
دانشجوی دوره
این دوره نتونست انتظارات من رو بعنوان یک استخراجگر وب تامین کنه. مفاهیم خیلی مقدماتی بود در صورتی که استاد میتونستن با یک سرفصل گذاری بهتر خروجی بهتری بگیرند.
پشتیبانی مکتب‌خونه
علی عزیز؛ از اینکه نظر خود را با ما در میان گذاشتید صمیمانه سپاسگزاریم. لطفا در صورت امکان با ارسال جزییات بیشتر ما را در ارتقا سطح کیفی خدمات یاری رسانید. info@maktabkhooneh.org
اسفندیار
23:37 - 1399/11/02
دانشجوی دوره
با سلام متاسفانه ایشون به هیچ وجهی مسلط نیستن به آموزشی که دارن میدن ، هر کاری را تو لحظه تصمیم میگرن انجام بدن یا نه یا حتی سرچ بزنن یا.... شاید تو بحث وب اسکرپین زیاد کار کرده باشن ولی برای آموزش صرفا دکمه رکورد را زدن و شروع به ضبط کردن . این اصلا خوب نیست حتی اگه آموزش رایگان باشه . از طرفی من اولین بار بود ازمکتب خونه خرید کردم و قطعا دیگه این کار را انجام نخواهم داد.
پشتیبانی مکتب‌خونه
اسفندیار عزیز؛ از اینکه نظر خود را با ما در میان گذاشتید صمیمانه سپاسگزاریم موارد مطرح شده جهت بررسی به بخش مربوطه ارسال شد. لطفا جهت توضیحات بیشتر به ایمیل پشتیبانی پیام دهید. info@maktabkhooneh.org
سینا
12:48 - 1399/10/14
فارغ‌التحصیل دوره
واقعا استادعالی بود و مخصوصا دست و پنجه نرم کردن با مشکلات دیدن استک اورفلو و ... از همه مهم تر پیگیر ترین استادی هست که من تو مکتبخونه دیدم تمامی سوالات بنده را جواب میده و کاملا به درس اشراف دارند و گه گاهی چون خیلی سریع کد میزنه بعضی اشتباهات کوچیک میکنه که شاید کلا 2 بار در کل درس اونم چیز خیلی کوچک و غیر مهم
احد
05:33 - 1399/09/23
دانشجوی دوره
اصلا دوره خوبی نبود.مدرس به هیچ وجه به مطالب مسلط نیست ایشون حتی وقت نگذاشتن یک بار فیلم ها رو با دقت ینند مخصوصا فصل ۳. در قسمت هفتم یک متن رو اشتبا کپی کرد و یک حرف r از عبارت قبلی به جا موند و ایشان فکر کردند تست پاسخ نمیدهد در قسمت 8 هم ساده ترین مساله ممکن براشون چالش بود و صرف خالی بودن یک مقدار چندین ار تکرار کردن که متغیر در گزینه اول وجود ندارد .به نظر من این دوره فقط باعث کاهش سطه کیفی سایت مکتب خونه میشود
پشتیبانی مکتب‌خونه
احد عزیز؛ از اینکه نظر خود را با ما در میان گذاشتید صمیمانه سپاسگزاریم موارد مطرح شده جهت بررسی به بخش مربوطه ارسال شد.
احمد
13:36 - 1399/08/29
فارغ‌التحصیل دوره
دوره ی بسیار عالی و کاربردی و جذاب بود. باتشکر فراوان از استاد سلیمی و پشتیبان مکتبخونه
سروش
14:17 - 1399/08/13
دانشجوی دوره
میکروفون استاد دوره در جای بدی قرار داشت و یکم صدا دجار نویز های بدی بود که در کامنت های بالا اشاره جزیی تر شده بود.

سوالات پرتکرار

آیا در صورت خرید دوره، گواهی نامه آن به من تعلق می گیرد؟
خیر؛ شما با خرید دوره می توانید در آن دوره شرکت کنید و به محتوای آن دسترسی خواهید داشت. در صورتی که در زمان تعیین شده دوره را با نمره قبولی بگذرانید، گواهی نامه دوره به نام شما صادر خواهد شد.
آیا گواهی‌نامه‌های دانشگاهی به صورت رسمی و توسط دانشگاه مربوطه صادر می‌شود؟
بله؛ گواهی نامه ها توسط دانشگاه مربوطه و با امضای رئیس دانشگاه یا مسئول مربوطه که حق امضای گواهی نامه ها را دارد صادر می شود و گواهی نامه معتبر دانشگاه است که به اسم هر فرد صادر می شود.
حداقل و حداکثر زمانی که می توانم یک دوره را بگذرانم چقدر است؟
برای گذراندن دوره حداقل زمانی وجود ندارد و شما می توانید در هر زمانی که مایل هستید فعالیت های مربوطه را انجام دهید. برای هر دوره یک حداکثر زمان تعیین شده است که در صفحه معرفی دوره می توانید مشاهده کنید که از زمان خرید دوره توسط شما تنها در آن مدت شما از ویژگی های تصحیح پروژه ها توسط پشتیبان و دریافت گواهی نامه بهره مند خواهید بود.
در صورت قبولی در دوره، آیا امکان دریافت نسخه فیزیکی گواهی نامه دوره را دارم؟
خیر، به دلیل مسائل زیست محیطی و کاهش قطع درختان، فقط نسخه الکترونیکی گواهی‌نامه در اختیار شما قرار می‌گیرد
پس از سپری شدن زمان دوره، به محتوای دوره دسترسی خواهم داشت؟
بله؛ پس از سپری شدن مدت زمان دوره شما به محتوای دوره دسترسی خواهید داشت و می توانید از ویدئوها، تمارین، پروژه و دیگر محتوای دوره در صورت وجود استفاده کنید ولی امکان تصحیح تمارین توسط پشتیبان و دریافت گواهی نامه برای شما وجود نخواهد داشت.

×

ثبت نظر

به این دوره از ۱ تا ۵ چه امتیازی می‌دهید؟

فصل اول - آشنایی با مفاهیم پایه در داده‌های وب
01:07 ساعت
01:01
Combined Shape Created with Sketch. 9 جلسه
بارم:
5%
نمایش جلسات فصل  
فصل دوم - آشنایی با ابزارهای کاربردی در استخراج داده‌های وب
01:37 ساعت
01:32
Combined Shape Created with Sketch. 10 جلسه
بارم:
20%
نمایش جلسات فصل  
فصل چهارم - مفاهیم پیشرفته
03:17 ساعت
03:11
Combined Shape Created with Sketch. 16 جلسه
بارم:
40%
نمایش جلسات فصل  

ابزارها و تکنیک‌هایی برای غلبه بر چالش‌های پیچیده‌تر در دنیای وب اسکرپینگ وجود دارد. در این فصل به معرفی این ابزارها و مثال‌های مرتبط پرداخته می‌شود.

معرفی کتاب‌خانه requests-html بخش اول
"14:35
معرفی کتاب‌خانه requests-html بخش دوم
"18:54
کار با json در پایتون و کال کردن api بخش اول
"08:43
کار با json در پایتون و کال کردن api بخش دوم
"12:58
کار با dev tools chrome بخش اول
"13:48