آموزش پیاده‌سازی ETL و Data Pipelines با استفاده از Shell، Airflow و Kafka

در این دوره آموزشی، با دو رویکرد مختلف برای تبدیل داده‌های خام به داده‌های آماده تحلیل آشنا می‌شوید: فرآیند استخراج، تبدیل، و بارگذاری (ETL) فرآیند استخراج، بارگذاری، و تبدیل (ELT) رویکرد ETL معمولاً در انبارهای ... بیشتر

0 دانشجو
پیشرفته
Coursera

IBM Skills Network Team

+ 1 مدرس دیگر

به‌روزرسانی: ۱۴۰۴/۰۵/۱۹

محتوای دوره
پیش‌نیاز‌ها
درباره دوره
درباره استاد

آنچه در این دوره می‌آموزید

توصیف و مقایسه ی فرآیندهای استخراج، تبدیل، بارگذاری (ETL) و (ELT)

توضیح حالت‌های اجرای دسته‌ای (Batch) و همزمان (Concurrent)

پیاده‌سازی جریان کاری ETL از طریق توابع Bash و Python

توصیف اجزا، فرآیندها، ابزارها و فناوری‌های مرتبط با پایپ‌لاین داده

محتوای دوره

4 فصل 20 جلسه 1:56 ساعت ویدیو
تکنیک‌های پردازش داده‌
  مبانی ETL
مشاهده
"05:23
  مقدمه دوره
"01:36
  اصول اولیه ELT
مشاهده
"04:15
  مقایسه ETL و ELT
مشاهده
"04:26
  تکنیک‌های استخراج داده‌
"04:26
  مقدمه‌ای بر تکنیک‌های تبدیل داده‌
"04:24
  تکنیک‌های بارگذاری داده‌
"03:45
  خلاصه و نکات برجسته
"00:44
ابزارها و تکنیک‌های ETL و Data Pipelines
ساخت Data Pipelines با استفاده از Airflow
ساخت streaming pipelines با استفاده از Kafka

پیش‌نیاز‌ها

درباره دوره

در این دوره آموزشی، با دو رویکرد مختلف برای تبدیل داده‌های خام به داده‌های آماده تحلیل آشنا می‌شوید:

  • فرآیند استخراج، تبدیل، و بارگذاری (ETL)
  • فرآیند استخراج، بارگذاری، و تبدیل (ELT)

رویکرد ETL معمولاً در انبارهای داده و دیتامارت‌ها به‌کار می‌رود، در حالی‌ که ELT بیشتر برای دریاچه‌های داده (Data Lakes) مناسب است؛ جایی که تبدیل داده‌ها به‌صورت درخواستی توسط اپلیکیشن‌های مصرف‌کننده انجام می‌شود.

در طول این دوره، با ابزارها و تکنیک‌های مورد استفاده در پایپ‌لاین‌های داده و فرآیندهای ETL آشنا خواهید شد. شما نحوه استخراج داده از منابع مختلف، انتقال داده در مسیر پایپ‌لاین، و ذخیره‌سازی آن در سیستم مقصد را تجربه می‌کنید و تفاوت‌های کلیدی بین ETL و ELT را درک خواهید کرد.

همچنین روش‌ها و ابزارهای مختلف برای:

  • استخراج داده‌ها
  • ادغام منطقی یا فیزیکی داده‌های استخراج‌شده
  • بارگذاری داده‌ها در مخازن مختلف

را بررسی خواهید کرد.

در ادامه، تبدیل‌هایی که بر روی داده‌های خام برای افزایش اعتبار، زمینه‌سازی، و دسترسی‌پذیری داده اعمال می‌شود را تعریف خواهید کرد. همچنین با روش‌های مختلف بارگذاری داده در مقصد، بررسی کیفیت داده، پایش خطاهای بارگذاری، و استفاده از مکانیزم‌های بازیابی در صورت بروز خطا آشنا می‌شوید.

در بخش عملی دوره، با استفاده از Apache Airflow یاد می‌گیرید چگونه پایپ‌لاین‌های داده بسازید و مزایای استفاده از این ابزار را خواهید شناخت. همچنین با Apache Kafka برای ساخت پایپ‌لاین‌های داده‌ی جریانی (streaming pipelines) و اجزای اصلی آن از جمله Broker، Topic، Partition، Replication، Producer و Consumer آشنا خواهید شد.

اطلاعات بیشتر

درباره استاد

IBM Skills Network Team
3 دوره
97 دانشجو

در شبکه مهارت‌های IBM، ما به‌خوبی می‌دانیم که چقدر برای کسب‌وکارها، حرفه‌ای‌ها و دانشجویان اهمیت دارد که مهارت‌های عملی و آماده برای کار را به‌سرعت به دست آورند تا بتوانند در رقابت باقی بمانند. دوره‌های ما توسط متخصصانی طراحی شده‌اند که در خط مقدم نوآوری‌های فناوری فعالیت می‌کنند. با سال‌ها تجربه در زمینه‌هایی مانند هوش مصنوعی، توسعه نرم‌افزار، امنیت سایبری، علم داده، مدیریت کسب‌وکار و دیگر حوزه‌ها، مدرسان ما دیدگاه‌های واقعی و آموزش‌های عملی و کاربردی را به هر بخش از دوره‌ها می‌آورند. چه در حال ارتقای مهارت‌های خود باشید و چه تیم خود را تقویت کنید، ما شما را با تجربیات عملی و دانش فنی و مدیریتی متمرکز بر آینده مجهز خواهیم کرد تا در دنیای همیشه در حال تحول امروز موفق شوید.

اطلاعات بیشتر

دیگر دوره‌های IBM Skills Network Team

آکادمی گرولی
58 دوره
7,376 دانشجو

آکادمی گرولی با هدف توانمندسازی و توسعه حرفه‌ای افراد در حوزه‌های مختلف شغلی  فعالیت می‌کند. دوره‌ها و وبینارهایی که گرولی ارائه می‌کند، به شما در جهت ارتقای مهارت‌های فنی و  نرم در حوزه‌های تخصصی مانند مدیریت محصول، بازاریابی دیجیتال، رشد (Growth) و توسعه کسب‌وکار  و دیگر حوزه‌های شغلی دسته‌بندی می‌شوند. آکادمی گرولی، اولین مجموعه در ایران است که دوره‌های حرفه‌ای شرکت بین‌المللی ریفورج  که شامل ۲۱ دوره با محتوای کاربردی در کلاس جهانی می‌باشد را با زیرنویس فارسی ارائه کرده است.

اطلاعات بیشتر

دیگر دوره‌های آکادمی گرولی