×
ribbon
مکتب خونه برنامه‌نویسیپایگاه دادهبیگ دیتا

پروژه مهندسی داده با SQL، Python، Airflow، Docker و CI/CD

مدرس:Udemy

Matthew Schembri

مهندسی داده (Data Engineering) ستون فقرات شرکت های مدرن داده محور است. برای موفقیت در این حوزه، باید... بیشتر
جدید
گواهی‌نامه
بدون امتیاز
13دانشجو
5ساعت
سرفصل‌ها
پیشرفته سطح دوره
بروزرسانیمرداد ۱۴۰۵

اشتراک مکتب‌پلاس

خرید اشتراک

با خرید اشتراک مکتب‌پلاس، علاوه بر این دوره، به بیش از ۴،۰۰۰ دوره دیگر دسترسی خواهید داشت.

دسترسی به تمام دوره‌هابیش از ۴،۰۰۰ دوره
محتوای دوره
سرفصل‌ها
پیش‌نیاز‌ها
توضیحات دوره
دیدگاه کاربران
درباره مدرس

آنچه در این دوره می‌آموزید

ساخت اسکریپت‌های Python برای استخراج داده از APIها با استفاده از Postman، بارگذاری آن‌ها در انبار داده و انجام فرایندهای تبدیل داده (ELT)

یاد بگیرید چگونه با استفاده از Docker، اپلیکیشن‌های مهندسی داده را container سازی کنید تا pipeline های داده قابل‌حمل، استاندارد و به‌راحتی مقیاس‌پذیر شوند.

یاد بگیرید چگونه با استفاده از ترکیبی از pytest و تست‌های DAG در Airflow، تست‌های واحد (Unit)، یکپارچه‌سازی (Integration) و انتها‌به‌انتها (End-to-End یا E2E) را برای اعتبارسنجی pipeline های داده اجرا کنید.

یاد بگیرید چگونه با استفاده از GitHub Actions فرایندهای استقرار (Deployment) را خودکار کنید تا یکپارچه‌سازی و تحویل مداوم (CI/CD) به‌صورت روان، سریع و قابل‌اعتماد انجام شود.

این دوره شامل:

5 ساعت ویدئو

15 جلسه متنی

15 فایل ضمیمه قابل دانلود

گواهینامه مکتب‌خونه

دسترسی مادام‌العمر به محتوای دوره

سرفصل‌های دوره

7 فصل51 جلسه5 ساعت ویدیو
فصل اول: مقدمه
  خوش آمدید!
00:50
  پیش‌نیازهای دوره
00:39
  نصب ابزارهای موردنیاز دوره (مهم)
04:50
  بررسی اجمالی پروژه
04:24
  ساخت کد
00:40
  پیوست‌
00:05
فصل دوم: استخراج داده‌ها با استفاده از API
  1. مقدمه استخراج داده
00:28
  2. API چیست؟
01:03
  3. دریافت API Key یوتیوب
03:08
  4. گوگل Cloud Shell
01:17
  5. جستجوگر API یوتیوب و Postman
06:14
  6. راه‌اندازی Git Remote
02:54
  7. ایجاد محیط مجازی
05:38
  8. تحلیل متغیرهای استخراج داده
02:30
  9. ساخت اسکریپت آمار ویدیوها - بخش 1 شناسه لیست پخش
17:47
  10. معرفی .env
03:56
  11. ساخت اسکریپت آمار ویدیوها - بخش 2 شناسه‌های ویدیویی منحصر به فرد
15:03
  12. ساخت اسکریپت آمار ویدیوها - بخش 3 داده‌های ویدیویی
11:55
  13. ساخت اسکریپت آمار ویدیوها - بخش 4 ذخیره در JSON
05:24
  14. افزودن پوشه logs به فایل .gitignore
00:23
  15. پیوست
00:25
فصل سوم: Docker
  1. چرا Docker؟
00:56
  2. فایل Docker
04:20
  3. نسخه‌های فایل docker - مهم
00:15
  4. ساخت ایمیج Docker
04:50
  5. معماری Airflow
03:45
  6. Airflow Directories
02:30
  7. فایل .env
00:16
  8. اصلاح فایل ‎.env‎
06:33
  9. فایل docker-compose.yaml مورد استفاده (بسیار مهم)
05:52
  10. اسکریپت init-multiple-databases.sh (بسیار مهم)
01:01
  11. Docker Compose
16:22
  12. دستورات docker
05:48
  13. توقف container های Docker قبل از خاموش کردن لپ‌تاپ (مهم)
00:35
  14. پیوست
00:12
فصل چهارم: Airflow
  1. معرفی Airflow
00:31
  2. بازسازی اسکریپت‌ها برای استفاده از Airflow
16:27
  3. پیوست
00:20
فصل پنجم: انبار داده Postgres
  1. مقدمه‌ای بر انبار داده Postgres
00:31
  2. بارگیری در انبار داده و تبدیل‌ها
01:55
  3. راه‌اندازی اتصال Airflow به انبار داده
06:30
  4. ایجاد Schema ها و جداول
07:31
  5. بارگذاری داده‌های JSON
05:06
  6. عملیات درج، به‌روزرسانی و حذف داده‌ها
10:14
  7. تبدیل داده‌ها (Transformations)
08:53
  8. بارگذاری داده‌ها در جداول Staging و Core
10:22
  9. تعریف DAG انبار داده و اشکال‌زدایی آن
06:32
  10. کار با انبار داده از طریق DBeaver
08:39
  11. پیوست
00:17
فصل ششم: تست کردن
  1. مقدمه‌ای بر تست‌نویسی
00:31
  2. اصلاحیه .env
00:22
  3. استفاده از Soda برای تست‌های کیفیت داده
12:40
  4. یکپارچه‌سازی Airflow برای تست های DQ
04:35
  5. مقدمه‌ای بر تست‌های عملکردی (Functional)
01:26
  6. تست‌های Unit
16:33
  7. تست‌های Integration
10:10
  8. تست End to End (E2E)
02:51
  9. بازسازی DAG ها
06:00
  10. پیوست
00:12
فصل هفتم: CI/CD
  1. مقدمه‌ای بر CI/CD
00:35
  2. Commit و Push
01:46
  3. CI/CD بخش اول: ساخت Docker Image
13:50
  3. CI/CD بخش دوم: تست کردن
13:15
  5. اجرای دستی GitHub Actions با Workflow Dispatch
04:25
  7. پایان دوره
00:33
  6. پیوست
00:13

پیش‌نیاز‌ها

حداقل ۸ گیگابایت رم (RAM) نیاز است، اما ۱۶ گیگابایت برای عملکرد روان‌تر توصیه می‌شود.
Python، Docker و Git باید روی سیستم نصب باشند تا بتوانید کدهای دوره را اجرا و استفاده کنید.
آشنایی در سطح مقدماتی با SQL الزامی است.
آشنایی در سطح متوسط با Python الزامی است.
داشتن درک پایه‌ای از Docker موردنیاز است.
آشنایی با CI/CD یک مزیت محسوب می‌شود، اما الزامی نیست.

توضیحات دوره

مهندسی داده (Data Engineering) ستون فقرات شرکت‌های مدرن داده‌محور است. برای موفقیت در این حوزه، باید تجربه کار با ابزارها و فرایندهایی را به دست آورید که در محیط‌های واقعی، پایپ‌لاین‌های داده را اجرا و مدیریت می‌کنند.

در این دوره، از طریق یک پروژه عملی و واقعی با ابزارهای زیر کار خواهید کرد:

  • PostgreSQL
  • Python
  • Docker
  • Apache Airflow
  • Postman
  • SODA
  • GitHub Actions

در طول دوره، قدم‌به‌قدم شما را راهنمایی می‌کنم تا یاد بگیرید چگونه از هر یک از این ابزارها در کنار یکدیگر برای طراحی، پیاده‌سازی و مدیریت یک پروژه مهندسی داده استفاده کنید.

دیدگاه کاربران

هنوز امتیاز و دیدگاهی برای این دوره ثبت نشده است

گواهینامه اختصاصی دو زبانه

پس از گذراندن دوره به صورت آنلاین در سایت مکتب‌خونه، گواهی‌نامه رسمی پایان دوره به زبان فارسی و انگلیسی، توسط مکتب‌خونه به اسم شما صادر شده و در اختیار شما قرار می‌گیرد.

امکان اشتراک گذاری در لینکدین
دو زبانه

ضمانت بازگشت وجه

کیفیت این آموزش توسط مکتب‌خونه تضمین شده است. در صورت عدم رضایت، با شرایط زیر می‌توانید درخواست بازگشت وجه کنید.

مهلت درخواستتا ۱۵ روز پس از خرید دوره
میزان مشاهدهکمتر از ۲۰ درصد یا ۵ جلسه از دوره
Matthew Schembri
1دوره
13دانشجو

با بیش از ۵ سال تجربه در دنیای داده، باور دارم بهترین راه یادگیری، انجام دادن و کسب تجربه عملی است. به همین دلیل، دوره‌های من بر پایه یادگیری پروژه‌محور طراحی شده‌اند؛ جایی که مفاهیم پیچیده دنیای داده را به گام‌های ساده، قابل‌فهم و کاربردی تبدیل می‌کنیم. فرقی نمی‌کند در چه سطحی باشید، شما هم می‌توانید مهارت‌های واقعی و موردنیاز بازار کار در حوزه داده را به دست آورید.

مهارت‌هایی که می‌آموزید

آموزش پایتون
آموزش آپاچی
آموزش مفاهیم پایگاه داده
آموزش POSTGRESQL
آموزش بیگ دیتا
آموزش Docker
آموزش پایگاه داده
آموزش برنامه‌نویسی