00:00 / 00:00
1.8x
1.4x
1.0x
0.7x
HD SD
HD
SD
ثبت‌نام رایگان
  • دسترسی به 10 جلسه نمونه از دوره
  • دسترسی به 10 جلسه نمونه از دوره
  • عضویت در تالار گفت‌وگوی دوره
  • اضافه شدن دوره به پروفایل
دوره کامل
  • دسترسی به تمام قابلیت‌های دوره
  • دسترسی کامل و نامحدود به محتوا
    +
  • گواهی‌نامه مکتب‌خونه
  • پروژه محور
  • تمرین و آزمون
  • تالار گفتگو
  • تسهیل استخدام
259,000 تومان
00:00 / 00:00
1.8x
1.4x
1.0x
0.7x
HD SD
HD
SD
مکتب‌خونه

آموزش وب اسکرپینگ با پایتون (web scraping)

دوره‌های مکتب‌پلاس
10 ساعت
71٪ (343 رای)

وب اسکرپینگ ابزاریست برای ارتباط با دنیای وب از طریق کدنویسی. اگر بخواهیم نگاهی عمیق‌تر به موضوع داشته باشیم باید گفت ماده، انرژی و اطلاعات سه مفهوم اصلی تشکیل دهنده‌ی دنیا هستند، که تمام محصولات و خدماتی که در دنیای بشری ارزش مادی دارند، ریشه در یکی از این سه مفهوم دارد. یکی از منابعی که می‌توان از طریق آن به اطلاعات دسترسی داشت، دنیای وب می‌باشد.

دنیای وب شامل شبکه‌های اجتماعی، فروشگاه‌های آنلاین، نتایج موتورهای جستجو و به صورت کلی هر چیزیست که ممکن است در یک مرورگر با آن مواجه شویم. اما داده‌های وب دارای چه مزیتی نسبت به سایر منابع اطلاعات هستند؟ سه مزیت اصلی داده‌های وب شامل:

  • در دسترس بودن 
  • به روز بودن
  • سرعت بالا در دسترسی و انتقال آن‌هاست

اطلاعات دنیای وب هر روزه با توجه به نیازهای جامعه بشری و شرایطی که انسان‌ها در آن زندگی می‌کنند در حال تغییر است و البته در هر جایی که اینترنت وجود دارد، این اطلاعات در دسترس هستند. داده‌ها که در واقع منشا تولید اطلاعات هستند، از دیدگاه محصول، فرآیند تولید راحت‌تری نسبت به محصولات فیزیکی دارند.

در واقع محصولاتی که بر پایه‌ی اطلاعات تولید می‌شوند، تنها نیاز به منابع داده و مصرف کمی انرژی دارند. اطلاعات به واقع بخش مفیدی است، که از منابع داده‌ای استخراج می‌شود و چیزی شبیه به طلا است، که از دل معادن استخراج می‌شود.

وب اسکرپینگ ابزاری برای استخراج این داده‌ها از دنیای وب است. در واقع با تکیه بر قدرت پردازشی کامپیوترها، این امکان فراهم شده‌است، که بتوانیم حجم بسیار زیادی از داده‌ها را از دنیای وب استخراج کنیم. از طرفی باید توجه داشت، که الگوهایی که در داخل این داده‌ها قرار دارند، می‌توانند بر روی تصمیماتی که در کسب و کارها گرفته می‌شود، تاثیرگذار باشند.

به بیان دیگر، بسیاری از الگوها فقط با داده‌کاوی در حجم بسیار زیادی از داده‌ها قابل مشاهده هستند که این مهم تنها با قابلیت پردازشی کامپیوترها و ابزاری مثل وب اسکرپینگ قابل انجام است.

در مورد کاربردهای وب اسکرپینگ باید گفت که هر کسب‌و‌کاری با در نظر گرفتن موضوع فعالیت و نیاز خود، از وب اسکرپینگ استفاده می‌کند. شرکتی که در حال حاضر از وب اسکرپینگ استفاده بسیار زیادی می‌کند، گوگل است. گوگل با استفاده از علمweb scraping ، مطالبی که روزانه در وب‎سایت‌های مختلف منتشر می‌شود را می‌خواند و با توجه به الگوریتم خود این مطالب را دسته‌بندی می‌کند.

گوگل با استفاده از الگوریتمی که در خود گنجانده است، هر روز اطلاعاتی که از وب‌سایت‌های مختلف دریافت می‌کند را در دیتابیس‌های خود ذخیر می‌نماید.  پس از آن با استفاده از الگویتم‌های خود دیتاهای دریافتی را تحلیل و آنالیز می‌نماید.

با تمام زبان‌های برنامه‌نویسی می توانید وب اسکرپینگ را انجام دهید. تنها در مواردی که در ادامه به آنها اشاره خواهیم کرد، باید از زبا‌ن‌های حرفه‌ای برنامه‌نویسی استفاده کنید:

  • ارسال کردن اطلاعات در فرم‌ها
  • باز کردن کدهای recaptcha
  • دانلود عکس و فایل ...

برای اینکه این‌ کار را به‌راحتی انجام دهید، زبان برنامه‌نویسی پایتون در کنار وب اسکرپینگ می‌تواند کمک بسیار زیادی نماید. به همین خاطر ما در دوره‌های آموزش برنامه نویسی مکتبخونه سعی کرده‌ایم که آموزش وب اسکرپینگ با پایتون را جای بدهیم.

حال باید بدانیم به چه دلیل باید از پایتون در کنار وب اسکرپینگ استفاده کنیم. زبان پایتون دارای ابزاری می‌باشد که شما را در استفاده از وب اسکرپینگ کمک می‌کند و ما قصد داریم چند نمونه از این ابزار را به شما معرفی کنیم:

  • Scrapy
  • Selenium
  • request
  • beautifulSoup 

برای اینکه در انجام پروژه‌های وب اسکرپینگ با پایتون تسلط پیدا کنید، نیاز به دو هفته زمان دارید که به حد متوسط برسید و برای اینکه در این حوزه حرفه‌ای‌تر فعالیت کنید، باید حتما تمرین و انجام پروژه‌ی مداوم داشته باشید. با استفاده از دوره‌ی آموزش وب اسکرپینگ با پایتون مکتب‌خونه، به‌راحتی می‌توانید در این حوزه‌ی برنامه‌نویسی به هدف خود نزدیک شوید.

شما با یادگیری این دوره به توانایی‌هایی زیر خواهید رسید:

  • داده‌های دلخواه خود را از هر وب‌سایتی استخراج نمایید.
  • داده های خود در قالب‌های گوناگون و همچنین قالب‎‌های پایگاه‌داده‌ای، ذخیره نمایید.
  • ربات‌هایی بسازید که همانند خزنده‌های گوگل رفتار کنند و لینک‌های صفحات را بخوانند.
  • وارد وب‌سایت‌هایی شوید که نیاز به لاگین دارند.
  • محدودیت‌های اعمال شده بر‌روی user- agent یا آی‌پی‌ها را دور بزنید.

سرفصل‌های دوره آموزش وب اسکرپینگ با پایتون (web scraping)

فصل اول - آشنایی با مفاهیم پایه در داده‌های وب
01:07 ساعت
01:01
Combined Shape Created with Sketch. 9 جلسه
بارم:
5%
نمایش جلسات فصل  
فصل دوم - آشنایی با ابزارهای کاربردی در استخراج داده‌های وب
01:41 ساعت
01:36
Combined Shape Created with Sketch. 11 جلسه
بارم:
20%
نمایش جلسات فصل  
فصل چهارم - مفاهیم پیشرفته
03:17 ساعت
03:11
Combined Shape Created with Sketch. 16 جلسه
بارم:
40%
نمایش جلسات فصل  
فصل پنجم - طراحی یک برنامه با رابط گرافیکی
01:35 ساعت
01:31
Combined Shape Created with Sketch. 9 جلسه
بارم:
5%
نمایش جلسات فصل  

رابط‌های گرافیکی، ابزارهایی مهم و کاربردی برای نوشتن برنامه‌هاییست، که بعضاً کاربران غیرحرفه‌ای دارد که ممکن است آشنا به مفاهیم برنامه‌نویسی نباشند. در این فصل به ارائه‌ی مثالی در این زمینه پرداخته می‌شود و یک برنامه‌ی وب اسکرپینگ با رابط گرافیکی طراحی می‌شود.

طراحی رابط گرافیکی بخش اول
"08:11
طراحی رابط گرافیکی بخش دوم
"11:23
تنظیمات اولیه کد GUI در پایتون
"10:40
نوشتن توابع بخش اول
"08:34
نوشتم توابع بخش دوم
"10:53
نوشتم توابع بخش سوم
"11:55
بررسی نتایج بخش اول
"18:18
بررسی نتایج بخش دوم
"11:31
طراحی یک برنامه با رابط گرافیکی
100.0%
     
"04:00

تالار گفت‌وگو

استاد دوره
معین سلیمی

معین سلیمی دانش‌آموخته کارشناسی رشته مهندسی مکانیک در طراحی جامدات و معدل برتر کارشناسی ارشد مهندسی مکانیک (طراحی کاربردی) از دانشگاه گیلان است. وی مسلط به آموزش مباحث مختلف در زمینه‌های مرتبط با مهندسی مکانیک از جمله تحلیل المان محدود، تفاضلات محدود، دینامیک سیالات محاسباتی، ارتعاشات و کنترل سیستم‌های دینامیکی و مباحث مرتبط با هوش مصنوعی از جمله خوشه‌بندی، شناسایی الگو، روش‌های بهینه‌سازی، شبکه‌های عصبی و منطق فازی، پردازش سیگنال و تصویر و سایر زمینه‌ها مانند تحلیل سازه‌ها تحت زلزله، شبکه‌های مش بی‌سیم، پردازش گام‌های موسیقی، طراحی سیستم‌های هوشمند در تشخیص بیماری‌های خونی، روش‌های نوین ریاضی مبتنی بر هوش مصنوعی در حل معادلات دیفرانسیل، حل معادلات با مشتقات جزئی، انرژی پتانسیل در کربن‌های نانوتیوب، طراحی سدهای قوسی و ... با استفاده از نرم افزار Matlab می‌باشد. ایشان آشنایی مناسبی با زبان‌های برنامه‌نویسی جاوا، اندروید و C نیز دارند. حوزه‌های تخصصی فعالیت ایشان شامل موضوع آموزش آکادمیک و مهارت‌های کاربردی در زمینه‌های مهندسی و پروژه‌های اجرایی در زمینه‌ی مدیریت صنایع گازرسانی و... می‌باشد.

اطلاعات بیشتر

پیش‌نیاز‌های دوره آموزش وب اسکرپینگ با پایتون (web scraping)

آموزش پایتون مقدماتی
اطلاعات بیشتر

ویژگی‌های دوره آموزش وب اسکرپینگ با پایتون (web scraping)

Combined Shape1 Created with Sketch. گواهی‌نامه مکتب‌خونه

در صورت قبولی در دوره، گواهی نامه رسمی پایان دوره توسط مکتب‌خونه به اسم شما صادر شده و در اختیار شما قرار می گیرد.

 

مشاهده نمونه گواهینامه

خدمات منتورینگ

خدمات منتورینگ به معنای برخورداری دانشجو از راهنما یا پشتیبان علمی در طول گذراندن دوره می‌باشد. این خدمات شامل پاسخگویی به سوالات آموزشی(در قالب تیکتینگ)، تصحیح آزمون یا پروژه های دوره و ارائه باز خورد موثر به دانشجو می‌باشد.

پروژه محور

این دوره طوری طراحی شده است که محتوای آموزشی دوره حول چند پروژه واقعی و کاربردی هستند تا یادگیری دانشجو در طول دوره به کاربردهای عملی تبدیل شود و به این ترتیب بالاترین سطح یادگیری را فراهم نمایند.

تمرین و آزمون

با قرار گرفتن تمرین ها و آزمون های مختلف در طول دوره، محیطی تعاملی فراهم شده است تا بهره گیری از محتوا و یادگیری بهتر و عمیق تر شود.

تالار گفتگو

شما می توانید از طریق تالار گفتگو با دیگر دانشجویان دوره در ارتباط باشید، شبکه روابط حرفه ای خود را تقویت کنید یا سوالات مرتبط با دوره خود را از دیگر دانشجویان بپرسید.

تسهیل استخدام

در صورت قبولی در دوره، شما می‌توانید با وارد کردن اطلاعات آن در بخش دوره‌های آموزشی رزومه‌ساز «جاب ویژن»، تایید مهارت خود را در قالب اضافه شدن «مدال مهارت» به روزمه آنلاین خود دریافت نمایید. این مدال علاوه بر ایجاد تمایز در نمایش رزومه شما، باعث بالاتر قرار گرفتن آن در لیست انبوه رزومه‌های ارسالی به کارفرما شده و بدین ترتیب شانس شما را برای استخدام در سازمانهای موفق و پر متقاضی افزایش می‌دهد. 

 

مشاهده اطلاعات بیشتر

نظرات  (9 نظر)

علی
22:46 - 1400/01/07
دانشجوی دوره
برای کسی که تازه میخواد وارد وب اسکرپینگ بشه عالیه . البته کیفیت صدا خیلی خوب نیست اما مطالب خوبن باید خودتون هم تمرین زیاد کنید . تمرینات دوره کمه
علی
10:43 - 1399/12/21
دانشجوی دوره
این دوره نتونست انتظارات من رو بعنوان یک استخراجگر وب تامین کنه. مفاهیم خیلی مقدماتی بود در صورتی که استاد میتونستن با یک سرفصل گذاری بهتر خروجی بهتری بگیرند.
پشتیبانی مکتب‌خونه
علی عزیز؛ از اینکه نظر خود را با ما در میان گذاشتید صمیمانه سپاسگزاریم. لطفا در صورت امکان با ارسال جزییات بیشتر ما را در ارتقا سطح کیفی خدمات یاری رسانید. info@maktabkhooneh.org
اسفندیار
23:37 - 1399/11/02
دانشجوی دوره
با سلام متاسفانه ایشون به هیچ وجهی مسلط نیستن به آموزشی که دارن میدن ، هر کاری را تو لحظه تصمیم میگرن انجام بدن یا نه یا حتی سرچ بزنن یا.... شاید تو بحث وب اسکرپین زیاد کار کرده باشن ولی برای آموزش صرفا دکمه رکورد را زدن و شروع به ضبط کردن . این اصلا خوب نیست حتی اگه آموزش رایگان باشه . از طرفی من اولین بار بود ازمکتب خونه خرید کردم و قطعا دیگه این کار را انجام نخواهم داد.
پشتیبانی مکتب‌خونه
اسفندیار عزیز؛ از اینکه نظر خود را با ما در میان گذاشتید صمیمانه سپاسگزاریم موارد مطرح شده جهت بررسی به بخش مربوطه ارسال شد. لطفا جهت توضیحات بیشتر به ایمیل پشتیبانی پیام دهید. info@maktabkhooneh.org
سینا
12:48 - 1399/10/14
فارغ‌التحصیل دوره
واقعا استادعالی بود و مخصوصا دست و پنجه نرم کردن با مشکلات دیدن استک اورفلو و ... از همه مهم تر پیگیر ترین استادی هست که من تو مکتبخونه دیدم تمامی سوالات بنده را جواب میده و کاملا به درس اشراف دارند و گه گاهی چون خیلی سریع کد میزنه بعضی اشتباهات کوچیک میکنه که شاید کلا 2 بار در کل درس اونم چیز خیلی کوچک و غیر مهم
احد
05:33 - 1399/09/23
دانشجوی دوره
اصلا دوره خوبی نبود.مدرس به هیچ وجه به مطالب مسلط نیست ایشون حتی وقت نگذاشتن یک بار فیلم ها رو با دقت ینند مخصوصا فصل ۳. در قسمت هفتم یک متن رو اشتبا کپی کرد و یک حرف r از عبارت قبلی به جا موند و ایشان فکر کردند تست پاسخ نمیدهد در قسمت 8 هم ساده ترین مساله ممکن براشون چالش بود و صرف خالی بودن یک مقدار چندین ار تکرار کردن که متغیر در گزینه اول وجود ندارد .به نظر من این دوره فقط باعث کاهش سطه کیفی سایت مکتب خونه میشود
پشتیبانی مکتب‌خونه
احد عزیز؛ از اینکه نظر خود را با ما در میان گذاشتید صمیمانه سپاسگزاریم موارد مطرح شده جهت بررسی به بخش مربوطه ارسال شد.
احمد
13:36 - 1399/08/29
فارغ‌التحصیل دوره
دوره ی بسیار عالی و کاربردی و جذاب بود. باتشکر فراوان از استاد سلیمی و پشتیبان مکتبخونه
سروش
14:17 - 1399/08/13
دانشجوی دوره
میکروفون استاد دوره در جای بدی قرار داشت و یکم صدا دجار نویز های بدی بود که در کامنت های بالا اشاره جزیی تر شده بود.
فواد
05:43 - 1399/06/31
دانشجوی دوره
In my opinion it is a good course for improvement you need to add more real examples
علیرضا
01:13 - 1398/12/24
دانشجوی دوره
دوره خوبیه ولی متاسفانه بیشتر صدای قورت دادن اب دهان استاد رو اعصاب هستش که اگه این درست بشه میشه گفت دوره خوب و کاربردیه

سوالات پرتکرار

آیا در صورت خرید دوره، گواهی نامه آن به من تعلق می گیرد؟
خیر؛ شما با خرید دوره می توانید در آن دوره شرکت کنید و به محتوای آن دسترسی خواهید داشت. در صورتی که در زمان تعیین شده دوره را با نمره قبولی بگذرانید، گواهی نامه دوره به نام شما صادر خواهد شد.
آیا گواهی‌نامه‌های دانشگاهی به صورت رسمی و توسط دانشگاه مربوطه صادر می‌شود؟
بله؛ گواهی نامه ها توسط دانشگاه مربوطه و با امضای رئیس دانشگاه یا مسئول مربوطه که حق امضای گواهی نامه ها را دارد صادر می شود و گواهی نامه معتبر دانشگاه است که به اسم هر فرد صادر می شود.
حداقل و حداکثر زمانی که می توانم یک دوره را بگذرانم چقدر است؟
برای گذراندن دوره حداقل زمانی وجود ندارد و شما می توانید در هر زمانی که مایل هستید فعالیت های مربوطه را انجام دهید. برای هر دوره یک حداکثر زمان تعیین شده است که در صفحه معرفی دوره می توانید مشاهده کنید که از زمان خرید دوره توسط شما تنها در آن مدت شما از ویژگی های تصحیح پروژه ها توسط پشتیبان و دریافت گواهی نامه بهره مند خواهید بود.
در صورت قبولی در دوره، آیا امکان دریافت نسخه فیزیکی گواهی نامه دوره را دارم؟
پس از صدور گواهی نامه، نسخه الکترونیکی گواهی نامه در اختیار شما قرار می گیرد. در صورت درخواست شما، نسخه فیزیکی گواهی نامه نیز می تواند برای شما ارسال شود. هزینه ارسال بر عهده کاربر خواهد بود.
پس از سپری شدن زمان دوره، به محتوای دوره دسترسی خواهم داشت؟
بله؛ پس از سپری شدن مدت زمان دوره شما به محتوای دوره دسترسی خواهید داشت و می توانید از ویدئوها، تمارین، پروژه و دیگر محتوای دوره در صورت وجود استفاده کنید ولی امکان تصحیح تمارین توسط پشتیبان و دریافت گواهی نامه برای شما وجود نخواهد داشت.

×

ثبت نظر

به این دوره از ۱ تا ۵ چه امتیازی می‌دهید؟

فصل اول - آشنایی با مفاهیم پایه در داده‌های وب
01:07 ساعت
01:01
Combined Shape Created with Sketch. 9 جلسه
بارم:
5%
نمایش جلسات فصل  
فصل دوم - آشنایی با ابزارهای کاربردی در استخراج داده‌های وب
01:41 ساعت
01:36
Combined Shape Created with Sketch. 11 جلسه
بارم:
20%
نمایش جلسات فصل  
فصل چهارم - مفاهیم پیشرفته
03:17 ساعت
03:11
Combined Shape Created with Sketch. 16 جلسه
بارم:
40%
نمایش جلسات فصل  
فصل پنجم - طراحی یک برنامه با رابط گرافیکی
01:35 ساعت
01:31
Combined Shape Created with Sketch. 9 جلسه
بارم:
5%
نمایش جلسات فصل  

رابط‌های گرافیکی، ابزارهایی مهم و کاربردی برای نوشتن برنامه‌هاییست، که بعضاً کاربران غیرحرفه‌ای دارد که ممکن است آشنا به مفاهیم برنامه‌نویسی نباشند. در این فصل به ارائه‌ی مثالی در این زمینه پرداخته می‌شود و یک برنامه‌ی وب اسکرپینگ با رابط گرافیکی طراحی می‌شود.

طراحی رابط گرافیکی بخش اول
"08:11
طراحی رابط گرافیکی بخش دوم
"11:23
تنظیمات اولیه کد GUI در پایتون
"10:40
نوشتن توابع بخش اول
"08:34
نوشتم توابع بخش دوم
"10:53
نوشتم توابع بخش سوم
"11:55