×
ribbon

هوش مصنوعی صوتی با پایتون، از پردازش گفتار تا ایجنت صوتی

مدرس:

مصطفی کرمانی‌نیا

از مبانی پردازش سیگنال و یادگیری ماشین تا تشخیص و تبدیل گفتار به متن، تولید و کلون کردن صدای انسان و ساخت دستیار صوتی AI

محبوب کاربران
گواهی‌نامه
4.9 (19)
14 دیدگاه
174دانشجو
10ساعت
سرفصل‌ها
پیشرفته سطح دوره
بروزرسانیآبان ۱۴۰۵
محتوای دوره
سرفصل‌ها
پیش‌نیاز‌ها
توضیحات دوره
دیدگاه کاربران
درباره مدرس

آنچه در این دوره می‌آموزید

تحلیل شکل موج، FFT، STFT و اسپکتروگرام و استخراج ویژگی‌های MFCC، ZCR و مرکز طیفی در پایتون

ساخت و ارزیابی دسته‌بند احساس با RAVDESS، Random Forest و SVM و تحلیل خطاهای مدل

پیاده‌سازی بیدارباش صوتی، ASR با Vosk، تولید گفتار، هویت گوینده، کاهش نویز و کلون‌سازی با XTTS

راه‌اندازی و توسعهٔ ORBIT با Whisper، مدل زبانی محلی، ابزارها، حافظه، پاسخ صوتی و رابط کاربری

این دوره شامل:

8 ساعت ویدئو

12 جلسه متنی

69 سؤال سنجش و یادگیری

32 فایل ضمیمه قابل دانلود

گواهینامه مکتب‌خونه

دسترسی مادام‌العمر به محتوای دوره

سرفصل‌های دوره

6 فصل32 جلسه8 ساعت ویدیو
مبانی پردازش صوت؛ سیگنال، فرکانس و ویژگی‌ها
  کالبدشکافی صدا؛ از موج تا دادهٔ دیجیتال
06:59
  کدتایم: بارگذاری و نمایش سیگنال صوتی
10:53
  رمزگشایی صدا؛ ورود به دنیای فرکانس
06:22
  کدتایم: تحلیل طیف صوت با FFT
12:54
  چالش اول: از موج تا فرکانس
06:00
  دیدن صدا؛ STFT، پنجره‌بندی و اسپکتروگرام
10:17
  کدتایم: ساخت و تحلیل اسپکتروگرام
11:36
  ویژگی‌های فشردهٔ صدا؛ از مقیاس Mel تا MFCC
08:21
  کدتایم: استخراج MFCC و مقایسهٔ الگوهای صوتی
08:15
  چالش دوم: از اسپکتروگرام تا MFCC
06:00
  مینی‌پروژه فصل اول: ساخت پروفایل صوتی سه واژه
03:30
یادگیری ماشین روی صدا؛ از ویژگی‌ها تا تشخیص احساس
  مهندسی ویژگی صوتی؛ ZCR و Spectral Centroid
08:33
  کدتایم: استخراج ویژگی‌ها و ساخت جدول دادهٔ صوتی
13:48
  چالش اول: آیا ماشین صدای ما را می‌فهمد؟
06:00
  پروژهٔ 1: تشخیص احساس؛ از RAVDESS تا دادهٔ آموزشی
12:12
  کدتایم: پردازش RAVDESS و آماده‌سازی داده‌ها
14:18
  آموزش ماشین؛ Random Forest در برابر SVM
10:08
  کدتایم: آموزش، ارزیابی و آزمایش تشخیص احساس
12:23
  چالش دوم: مدل خوب چه مدلی است؟
07:00
  مینی‌پروژه فصل دوم: ساخت تشخیص‌گر احساسات صوتی
04:51
ساخت سیستم‌های هوشمند صوتی
  پروژهٔ 2: بیدارباش صوتی؛ VAD، Delta و DTW
08:25
  کدتایم: ساخت سیستم بیدارباش صوتی
14:15
  چالش اول: سیستم چه زمانی باید بیدار شود؟
07:00
  پروژهٔ 3: از صدا تا متن؛ معماری سیستم‌های ASR
12:26
  کدتایم: ساخت تایپیست صوتی آفلاین با Vosk
10:08
  پروژهٔ 4: حنجرهٔ دیجیتال؛ از متن تا گفتار
11:20
  کدتایم: تولید گفتار آنلاین و آفلاین با پایتون
09:33
  چالش دوم: از شنیدن تا حرف زدن
09:00
  مینی‌پروژه فصل سوم: ساخت دستیار صوتی پایه
04:56
Speech AI پیشرفته؛ هویت، نویز و کلون‌سازی صدا
  پروژهٔ 5: هویت صوتی؛ بردار گوینده و شباهت کسینوسی
20:36
  کدتایم: ساخت و کالیبراسیون هویت‌یاب صوتی
18:13
  چالش اول فصل چهارم: هویت صوتی و ارزیابی گوینده
06:00
  پروژهٔ 6: پاک‌سازی صدا؛ از فیلتر تا حذف نویز هوشمند
16:53
  کدتایم: مقایسهٔ حذف نویز کلاسیک و هوشمند
15:38
  پروژهٔ 7: کلون‌سازی صدا؛ از نمونهٔ مرجع تا گفتار جدید
22:53
  کدتایم: تولید گفتار با صدای مرجع در XTTS
18:02
  چالش دوم فصل چهارم: کاهش نویز و کلون‌سازی صدا
06:00
  مینی‌پروژه فصل چهارم: آزمایشگاه هویت صوتی و کاهش نویز
01:20
پروژه نهایی؛ ساخت دستیار صوتی هوشمند
  ORBIT — معرفی، نصب و راه‌اندازی دستیار
22:37
  ORBIT — دریافت صدا، Whisper و مدل زبانی
25:44
  ORBIT — ابزارها، حافظه و پاسخ صوتی
32:50
  ORBIT — رابط کاربری، آزمون و اجرای نهایی
20:03
  چالش فصل پنجم: معماری و ارزیابی دستیار ORBIT
08:00
  پروژهٔ پایانی: توسعه و ارزیابی دستیار صوتی ORBIT
01:35
مسیر حرفه‌ای و پژوهشی در Speech AI
  از مهارت تا بازار کار؛ مسیر حرفه‌ای در Speech AI
33:15
  از پروژه تا پژوهش؛ مقاله‌خوانی و طراحی آزمایش در Speech AI
41:50
  چالش فصل ششم: از پروژه تا مسیر حرفه‌ای و پژوهشی
08:00
  تمرین اختیاری فصل ششم: نقشهٔ راه 90روزهٔ شما در Speech AI
01:22

پیش‌نیاز‌ها

پیش‌نیاز اصلی، آشنایی مقدماتی با پایتون است: متغیر، شرط، حلقه، تابع، نصب کتابخانه و اجرای اسکریپت یا نوت‌بوک. آشنایی اولیه با NumPy کمک می‌کند. مفاهیم ضروری پردازش صوت و یادگیری ماشین در طول دوره توضیح داده می‌شوند.

برای تمرین‌ها به رایانه، میکروفون و امکان نصب و اجرای ابزارهای پایتون نیاز دارید. تمرین‌های پایه سبک‌ترند؛ سرعت اجرای بخش‌های مبتنی بر مدل به مدل انتخاب‌شده و منابع سیستم وابسته است. محیط اجرای هر پروژه را مطابق توضیح ویدئو و فایل همراه آماده کنید؛ در بخش XTTS از محیط Colab استفاده می‌شود.

برای دریافت اولیهٔ مدل‌ها و داده‌ها و استفاده از ابزارهای آنلاین، اینترنت لازم است. آفلاین‌بودن بعضی اجزا به معنی آفلاین‌بودن تمام قابلیت‌های دوره نیست. پشتیبانی زبان و کیفیت خروجی گفتار نیز به مدل یا صداهای انتخاب‌شده وابسته است.

توضیحات دوره

اگر پایتون بلدید و می‌خواهید برنامه‌ای بسازید که بشنود، گفتار را به متن تبدیل کند و با صدا پاسخ بدهد، این دوره مسیر شروع و ساختن آن را پیش روی شما می‌گذارد. از تحلیل یک فایل صوتی آغاز می‌کنیم و قدم‌به‌قدم به پروژه‌های پردازش گفتار و یک دستیار صوتی قابل توسعه می‌رسیم.

در این مسیر، هر مفهوم به یک خروجی قابل مشاهده وصل می‌شود. شکل موج صدای خودتان را می‌بینید، با FFT مؤلفه‌های فرکانسی آن را بررسی می‌کنید، تغییرات صدا را در اسپکتروگرام می‌خوانید و با MFCC، ZCR و مرکز ثقل طیفی، سیگنال را به ویژگی‌های عددی تبدیل می‌کنید. کدتایم‌ها به شما کمک می‌کنند مفاهیم را در پایتون اجرا و نتیجه را روی نمونه‌های تازه مقایسه کنید.

بعد سراغ یادگیری ماشین روی صدا می‌رویم: آماده‌سازی RAVDESS، استخراج ویژگی، آموزش Random Forest و SVM و ارزیابی یک دسته‌بند احساس. نتیجهٔ کار فقط یک عدد دقت نیست؛ یاد می‌گیرید خطاها را بخوانید، مدل‌ها را مقایسه کنید و محدودیت تعمیم به صدای جدید را بشناسید.

در ادامه، پروژه‌های کاربردی را می‌سازیم: بیدارباش صوتی، تبدیل گفتار به متن با Vosk، تولید گفتار آنلاین و آفلاین، مقایسهٔ هویت گوینده، کاهش نویز و کلون‌سازی صدا با XTTS. هر پروژه یک قطعه از سیستم‌های صوتی را در اختیار شما می‌گذارد؛ از دریافت ورودی تا تولید و ارزیابی خروجی.

در پروژهٔ نهایی، این قطعه‌ها را در ORBIT کنار هم می‌بینید: میکروفون، تبدیل گفتار به متن با Whisper، مدل زبانی محلی، اجرای ابزار، حافظه، پاسخ صوتی و رابط کاربری. پروژه را راه‌اندازی می‌کنید، ساختار کد را می‌شناسید و برای یک کاربرد مشخص توسعه می‌دهید. به این ترتیب، مسیر اجرای چند ابزار جدا به ساخت یک سیستم صوتی یکپارچه می‌رسد.

کوییزها و مینی‌پروژه‌ها برای مشارکت شما در یادگیری طراحی شده‌اند: صدا ضبط می‌کنید، تنظیمات را تغییر می‌دهید، نتیجه‌ها را مقایسه می‌کنید و دربارهٔ خطاها توضیح می‌دهید. خروجی تمرین‌ها می‌تواند پایهٔ نمونه‌کار شما باشد؛ به‌ویژه وقتی آن را با راهنمای اجرا، سناریوهای آزمون و توضیح انتخاب‌ها کامل کنید.

در دو جلسهٔ پایانی، مسیر ادامهٔ این مهارت‌ها را بررسی می‌کنیم: نقش‌های شغلی مرتبط، ساخت نمونه‌کار و ارائهٔ خدمت، و سپس مقاله‌خوانی و تبدیل پروژه به یک آزمایش پژوهشی. با مرور نمونه‌های واقعی و یک نقشهٔ راه پیشنهادی ۹۰روزه، می‌توانید برای قدم بعدی خود هدف و خروجی مشخص تعیین کنید.

این دوره برای برنامه‌نویسان پایتون، دانشجویان مهندسی و علوم کامپیوتر، علاقه‌مندان هوش مصنوعی و کسانی مناسب است که می‌خواهند قابلیت صوتی به پروژه‌هایشان اضافه کنند. برای شروع به سابقهٔ تخصصی در پردازش سیگنال یا گفتار نیاز ندارید؛ آشنایی مقدماتی با پایتون و آمادگی برای اجرای تمرین‌ها، نقطهٔ شروع شماست.

دیدگاه کاربران

4.9

بر اساس امتیاز 25 دانشجو

1
2
3
4
5

گواهینامه اختصاصی دو زبانه

پس از گذراندن دوره به صورت آنلاین در سایت مکتب‌خونه، گواهی‌نامه رسمی پایان دوره به زبان فارسی و انگلیسی، توسط مکتب‌خونه به اسم شما صادر شده و در اختیار شما قرار می‌گیرد.

امکان اشتراک گذاری در لینکدین
دو زبانه

ضمانت بازگشت وجه

کیفیت این آموزش توسط مکتب‌خونه تضمین شده است. در صورت عدم رضایت، با شرایط زیر می‌توانید درخواست بازگشت وجه کنید.

مهلت درخواستتا ۱۵ روز پس از خرید دوره
میزان مشاهدهکمتر از ۲۰ درصد یا ۵ جلسه از دوره
مصطفی کرمانی‌نیارتبه ۱ مهندسی کامپیوتر دانشگاه تهران با معدل 19.72، مدال‌آور المپیاد، مهندس ارشد هوش مصنوعی و پردازش صوت و رهبر فنی پروژه‌های بین‌المللی، سرپرست تیم‌های آموزشی دانشگاه تهران
1دوره
174دانشجو
17نظر و امتیاز

مصطفی کرمانی‌نیا، مهندس ارشد هوش مصنوعی، تجربه توسعه محصولات واقعی هوش مصنوعی را با سابقه علمی و آموزشی تلفیق کرده است.

او دارنده مدال نقره المپیاد فیزیک است و در رشته مهندسی کامپیوتر دانشگاه تهران، ۸ ترم متوالی رتبه نخست را در میان دانشجویان هم‌ورودی خود با معدل 19.72 کسب کرده است.

مصطفی علاوه بر فعالیت در جایگاه مهندس ارشد هوش مصنوعی در شرکت‌های فناوری، سابقه طراحی و رهبری فنی پروژه‌هایی برای استارتاپ‌های سوئدی و فنلاندی را دارد؛ از توسعه سامانه‌های مبتنی بر مدل‌های زبانی بزرگ تا سیستم‌های هوشمند جست‌وجو، تحلیل داده و اتوماسیون.

در حوزه آموزش نیز به‌عنوان دستیار آموزشی ارشد و سرپرست تیم‌های آموزشی در دروس یادگیری ماشین، علوم داده و احتمال و آمار مهندسی دانشگاه تهران فعالیت داشته و سابقه هدایت تیمی متشکل از ۳۳ دستیار آموزشی و آموزش و پشتیبانی از صدها دانشجو را در کارنامه دارد. او همچنین سابقه چندین سال تدریس المپیاد فیزیک و نجوم و فعالیت پژوهشی در حوزه هوش مصنوعی را دارد.

فلسفه تدریس او ساده است: مفاهیم پیچیده را عمیق بفهمید و آن‌ها را در عمل به کار بگیرید. دوره‌های او حاصل تلفیق دانش دانشگاهی، تجربه صنعتی و سال‌ها تدریس‌اند؛ آموزش‌هایی که از درک شهودی مفاهیم آغاز می‌شوند و با ساخت پروژه‌های واقعی، دانشجو را برای ورود به دنیای حرفه‌ای هوش مصنوعی آماده می‌کنند.

poster

هوش مصنوعی صوتی با پایتون، از پردازش گفتار تا ایجنت صوتی

174دانشجو
4.9(19)

دوره‌های مشابه