در این فصل ابتدا مقدمه‌ای داریم بر این دوره و فرایند داده‌کاوی در صنعت و پیش‌نیازهایش:

* معرفی پیش‌نیازها

* مواردی که در این دوره می‌آموزید

* فرایند داده‌کاوی در صنعت (CRISP-DM)

* هرم دانش

* معرفی زبان برنامه‌نویسی (Python) و محیط‌های مناسب برای داده‌کاوی (Colab/Jupyter)

Numpy یکی از پرکاربردترین کتابخانه‌های پایتون برای عملیات عددی و علمی است. این کتابخانه ابزارهایی را برای انجام عملیات ماتریسی، محاسبات عددی، تبدیل داده‌ها و سایر عملیات مربوط به علوم داده‌ای و ریاضیات ارایه می‌دهد. با استفاده از Numpy، می‌توانید با داده‌های چند بعدی (مانند آرایه‌های چند بعدی) کار کنید و عملیات‌های پیچیده‌ای را انجام دهید.

عملیات‌هایی که با استفاده از Numpy می‌توان انجام داد، شامل ترکیب داده‌های چند بعدی، محاسبات آماری، تبدیل داده‌ها، تولید داده‌های تصادفی، مقایسه داده‌ها و سایر عملیات پردازش داده‌های علمی می‌شود. Numpy از آرایه‌های چند بعدی استفاده می‌کند که امکان تغییر اندازه، برش و کپی داده‌ها را فراهم می‌کند. همچنین Numpy به دلیل عملکرد بهینه و قابلیت پردازش موازی، برای کار با داده‌های بزرگ و پراستفاده در علوم داده‌ای و محاسبات علمی مناسب است.

در فصل Numpy این دوره، شما ساخت ماتریس‌های چند بعدی به وسیله‌ی Numpy و انجام محاسبات بر روی آن‌ها را یادخواهید گرفت. سپس با توابع تصادفی این کتابخانه آشنا خواهید.

Pandas یکی از محبوب‌ترین کتابخانه‌های پایتون برای پردازش داده‌ها و تحلیل آن‌ها است. این کتابخانه ابزارهایی را برای خواندن، نوشتن، تبدیل، تحلیل و مدیریت داده‌های جدولی (مانند داده‌های اکسل یا دیتابیس‌های رابطه‌ای) ارایه می‌دهد. با استفاده از Pandas، می‌توانید با داده‌های جدولی کار کنید و عملیات‌های پیچیده‌ای را انجام دهید.

با استفاده از Pandas، می‌توانید داده‌های خود را به صورت سری و دیتافریم (DataFrame) درآورده و با استفاده از توابع مختلف، با آن‌ها کار کنید. این کتابخانه ابزارهایی را برای انجام عملیات مرتبط با داده‌های جدولی ارایه می‌دهد، از جمله انتخاب و فیلتر کردن داده‌ها، مرتب‌سازی، ترکیب و تبدیل داده‌ها، حذف داده‌های تکراری، ایجاد و حذف ستون‌ها و سطرها، و غیره.

همچنین Pandas ابزارهایی را برای تحلیل و استخراج اطلاعات از داده‌ها ارایه می‌دهد، از جمله محاسبه میانگین، واریانس و انحراف معیار، ایجاد نمودارهای مختلف، تحلیل داده‌های زمانی، تحلیل داده‌های دسته‌ای و بسیاری از توابع دیگر. به دلیل عملکرد بهینه و قابلیت پردازش موازی، Pandas برای کار با داده‌های بزرگ و پراستفاده در علوم داده‌ای، تحلیل مالی، آمار و سایر حوزه‌های مربوط به داده‌ها مناسب است.

ابتدا با داده‌های جدولی (DataFrame) در Pandas کار می‌کنیم و نحوه‌ی خواندن، نوشتن، ترکیب، تبدیل و مدیریت داده‌های جدولی را با Pandas بررسی می‌کنیم. در ادامه، با توابع مرتب‌سازی و فیلتر کردن داده‌ها در Pandas آشنا می‌شوید و می‌توانید داده‌های خود را براساس معیارهای مختلف، مانند مقدار یک ستون، مرتب کنید و فیلتر کنید. همچنین با توابع تبدیل داده‌ها، مانند تغییر نوع داده‌ها، ایجاد ستون‌های جدید و تغییر نام ستون‌ها، آشنا می‌شوید. در نهایت، با توابع تحلیل داده‌ها و استخراج اطلاعات در Pandas آشنا می‌شوید و می‌توانید مقادیر میانگین، واریانس و انحراف معیار را برای داده‌های خود محاسبه کنید.

Pyspark یکی از پرکاربردترین کتابخانه‌های پایتون برای پردازش داده‌های بزرگ و توزیع‌شده است. این کتابخانه برای پردازش داده‌ها با استفاده از فریمورک توزیع‌شده Apache Spark طراحی شده است.

با استفاده از Pyspark، می‌توانید برنامه‌های پایتون خود را برای پردازش داده‌های بزرگ، توزیع‌شده کنید. این کتابخانه ابزارهایی را برای کار با داده‌های بزرگ ارایه می‌دهد، از جمله ابزارهایی برای خواندن و نوشتن داده‌های بزرگ، تبدیل داده‌ها، ایجاد دیتافریم‌ها، انجام عملیات‌های مرتب‌سازی و فیلتر کردن داده‌ها، ایجاد و حذف ستون‌ها و سطرها، و غیره.

با استفاده از Pyspark، می‌توانید برای پردازش داده‌ها از پتانسیل پردازش موازی و توزیع‌شده Apache Spark بهره بگیرید. این کتابخانه برای پردازش داده‌های بزرگ و پراستفاده در حوزه‌هایی مانند علوم داده‌ای، تحلیل مالی، بانکداری، تحلیل رفتار مشتریان و بسیاری حوزه‌های دیگر، مناسب است.

در این فصل، ابتدا با معماری و قابلیت‌های Apache Spark و روش کار با آن در Pyspark آشنا می‌شوید. سپس ساخت RDD را یاد خواهید گرفت و در نهایت، با توابع تحلیل داده‌ها و استخراج اطلاعات در Pyspark آشنا می‌شوید و می‌توانید مقادیر میانگین، واریانس و انحراف معیار را برای داده‌های خود محاسبه کنید.

Matplotlib یکی از پرکاربردترین کتابخانه‌های پایتون برای تولید نمودارها و تصاویر داده‌ای است. این کتابخانه توابعی را برای تولید نمودارها از داده‌های مختلف، از جمله داده‌های عددی و داده‌های آماری، ارایه می‌دهد.

با Matplotlib می‌توان نمودارهای ساده و پیچیده، از جمله نمودارهای خطی، نمودارهای نقطه‌ای، نمودارهای میله‌ای، نمودارهای دایره‌ای، نمودارهای پراکندگی و نمودارهای سه بعدی، ساخت. همچنین با استفاده از این کتابخانه، می‌توانید نمودارهای مختلف را با استفاده از انواع مختلف نمایش، از جمله نمایش خطی، نمایش نقطه‌ای، نمایش پراکندگی و غیره، تولید کنید.

این کتابخانه قابلیت‌های مختلفی را برای سفارشی‌سازی نمودارها ارایه می‌دهد، از جمله تغییر رنگ، اندازه، نوع خط، تغییر محورها، اضافه کردن برچسب و غیره. همچنین با استفاده از این کتابخانه، می‌توانید تصاویر داده‌ای و نمودارهای خود را با فرمت‌های مختلف، از جمله PDF، PNG، SVG و غیره، ذخیره کنید.

در این فصل شما با نحوه‌ی تولید نمودارهای خطی، نمودارهای نقطه‌ای، نمودارهای میله‌ای، نمودارهای دایره‌ای، نمودارهای پراکندگی در Matplotlib آشنا می‌شوید و در ادامه، با توابع سفارشی‌سازی نمودارها در Matplotlib کارخواهیم کرد تا رنگ، اندازه، نوع خط، تغییر محورها و اضافه کردن برچسب و غیره را بر روی نمودارهای خود اعمال کنیم.

Scikit-Learn یکی از محبوب‌ترین کتابخانه‌های پایتون برای یادگیری ماشین و داده کاوی است. این کتابخانه توابعی را برای تحلیل داده‌های عددی و آماری، تحلیل داده‌های علمی و مهندسی، تحلیل داده‌های مالی و بسیاری حوزه‌های دیگر، ارایه می‌دهد.

Scikit-Learn شامل روش‌های مختلف یادگیری ماشین است، از جمله روش‌های یادگیری نظارت‌شده مانند رگرسیون خطی، رگرسیون لجستیک، شبکه‌های عصبی، درخت تصمیم، SVM و غیره، و روش‌های یادگیری بدون نظارت مانند خوشه‌بندی، کاهش بعد، تحلیل مؤلفه‌های اصلی و غیره است. این کتابخانه قابلیت‌های مختلفی را برای سفارشی‌سازی روش‌های یادگیری و تحلیل داده‌ها ارایه می‌دهد، از جمله تنظیم پارامترها، انتخاب ویژگی‌ها، ارزیابی عملکرد روش‌های یادگیری، ایجاد مدل‌های ترکیبی و غیره.

در این فصل ابتدا با نحوه‌ی استفاده از ابزارهای مختلف Scikit-Learn برای تحلیل داده‌ها آشنا می‌شوید. در ادامه، با روش‌های یادگیری ماشین با نظارت آشنا می‌شوید، از جمله مدل نزدیک‌ترین همسایه (KNN) برای طبقه بندی و رگرسیون خطی. با استفاده از این روش‌ها، می‌توانید داده‌های خود را به شکل ماشینی آموزش دهید و از آن‌ها برای پیش‌بینی و تحلیل داده‌های خود استفاده کنید. سپس با روش‌های یادگیری بدون نظارت آشنا می‌شوید، از جمله خوشه‌بندی. با استفاده از این روش‌ها، می‌توانید الگوهای مخفی در داده‌های خود را شناسایی کنید و از آن‌ها برای تحلیل داده‌های خود استفاده کنید.

PyTorch یک کتابخانه یادگیری ماشین و شبکه‌های عصبی با متن‌باز و پرکاربرد برای پایتون است. این کتابخانه توسط تیم تحقیقاتی Facebook AI تولید شده است و ابزارهایی برای توسعه‌ی شبکه‌های عصبی و یادگیری ماشین را فراهم می‌کند.

در PyTorch، شبکه‌های عصبی به صورت داینامیک تعریف می‌شوند و به راحتی می‌توانند تغییر کنند، این به معنای این است که شما می‌توانید شبکه‌های عصبی پیچیده‌تر را با PyTorch ساخته و آن‌ها را برای تحلیل داده‌های خود استفاده کنید.

PyTorch توابعی برای پیاده‌سازی الگوریتم‌های یادگیری ماشین، شبکه‌های عصبی، یادگیری تقویتی، پردازش زبان طبیعی و بسیاری دیگر ارایه می‌دهد. همچنین PyTorch به شما امکان می‌دهد که شبکه‌های عصبی خود را به سادگی بر روی GPU اجرا کنید که دقت و سرعت بسیار بالاتری در مقایسه با اجرای شبکه‌های عصبی بر روی CPU دارد.

در این فصل ابتدا با ساختار ماتریس داده (Tensor) آشنا خواهید شد سپس در ادامه یک مدل شبکه‌ی عصبی خواهیم ساخت و روش آموزش آن را خواهیم آموخت. در پایان این فصل هم نگاهی به TensorFlow خواهیم کرد که یک جایگذین برای Pytorch است.

NetworkX یک کتابخانه‌ی متن‌باز و پرکاربرد برای تحلیل و شبیه‌سازی شبکه‌ها و گراف‌ها در پایتون است. با استفاده از این کتابخانه، شما می‌توانید گراف‌های مختلف را تعریف، ساخت، تحلیل و ویرایش کنید. این کتابخانه توابع بسیاری برای تحلیل گراف‌ها، شامل محاسبه‌ی خصوصیات گرافی، پیدا کردن کوتاه‌ترین مسیرها، تحلیل ارتباطات و غیره، فراهم می‌کند.

با استفاده از NetworkX، شما می‌توانید گراف‌هایی را با استفاده از روش‌های مختلفی مانند ماتریس مجاورت و لیست مجاورت ساخته و سپس آن‌ها را تحلیل کنید. همچنین، شما می‌توانید خصوصیات مختلف گرافی را محاسبه کنید، از جمله درجه گره، مرکزیت گره، ضریب خوشه‌ای، فاصله‌ی بین گره‌ها و غیره.

NetworkX همچنین به شما امکان می‌دهد تا گراف‌های خود را بصورت بصری رسم کنید. با استفاده از این کتابخانه، می‌توانید گراف‌های ریاضیاتی و شبکه‌های واقعی را برای تحلیل شبکه‌های اجتماعی، شبکه‌های ارتباطی، شبکه‌های رایانه‌ای و غیره، استفاده کنید.

دراین فصل شما ابتدا با نحوه‌ی ساخت گراف در NetworkX آشنا خواهید شد. در ادامه توابع کاربردی موجود در این کتابخانه را معرفی خواهیم کرد و نحوه‌ی استفاده از الگوریتم‌های گرافی را در این کتابخانه آموزش خواهیم داد. در انتها نیز به رسم گراف‌ها می‌پردازیم.

Cytooscape و Gephi هر دو ابزارهای قدرتمند و محبوب برای تحلیل و بصری‌سازی گراف‌ها و شبکه‌ها هستند. Cytooscape بیشتر برای تحلیل شبکه‌های بزرگ و پیچیده استفاده می‌شود، در حالی که Gephi به عنوان یک ابزار بصری‌سازی گراف، برای تحلیل شبکه‌های کوچک و متوسط به کار می‌رود. در این فصل، شما با Cytooscape و Gephi آشنا می‌شوید و نحوه‌ی استفاده از این ابزارها برای تحلیل و بصری‌سازی گراف‌ها و شبکه‌ها را یاد می‌گیرید. شما یاد خواهید گرفت که چگونه گراف‌های خود را با استفاده از فرمت‌های مختلف وارد این ابزارها کنید و سپس آن‌ها را برای تحلیل و بصری‌سازی بهینه کنید. همچنین، شما با نحوه‌ی استفاده از ابزارهای مختلف برای تحلیل گراف‌ها و شبکه‌ها مانند محاسبه‌ی خصوصیات گرافی، پیدا کردن کوتاه‌ترین مسیرها، تحلیل ارتباطات و غیره، با استفاده از Cytooscape و Gephi آشنا خواهید شد.