آموزش مقدماتی کدنویسی Transformers (مبدل‌ها)

poster
پیش‌نمایش دوره

این دوره سعی بر این دارد که با کلیت مبدل‌ها (Transformers) آشنا شوید و قادر به کدنویسی آنها برای اجرای پروژه‌های خود باشید. تئوری موضوع به‌طورکلی بیان شده و بیشتر بر اجرای کدها تمرکز شده ... ادامه

برگزارکننده:  مکتب‌خونه  مکتب‌خونه
مدرس دوره:
3.1 (8 رای)
سطح: مقدماتی
 پلاس
  
زمان مورد نیاز برای گذراندن دوره:  6 ساعت
مجموع محتوای آموزشی:  6 ساعت ویدئو
 (قابل دانلود می‌باشد)

آنچه در این دوره می‌آموزیم:

 آموزش مبدل‌ها

  آشنایی با Pipelineهای Huggingface

 آموزش یک مدل برای تشخیص هویت کلمه (NER)

  آشنایی با مدل‌های خلاصه‌سازی متن

پیش‌نیاز‌ها

پیش‌نیاز این دوره آشنایی مقدماتی با زبان برنامه‌نویسی پایتون است.

سرفصل‌های دوره آموزش مقدماتی کدنویسی Transformers (مبدل‌ها)

مقدمه

مقدمه ای کلی بر دوره

  مقدمه
مشاهده
"04:22  
Pipelines

آشنایی با Pipe lineها در کتابخانه Huggingface برای اجرا مدل‌های آماده در این کتابخانه

  Pipelines
"14:33  
طبقه‌بندی متن (Text classification)

آموزش مدل برای طبقه‌بندی متن و استفاده از دو روش Feature extraction و Fine tuning

  Data Set
مشاهده
"08:40  
  بصری‌سازی Data Set
"09:43  
  Tokenization - بخش اول
"13:07  
  Tokenization - بخش دوم
"09:41  
  Feature Extraction - بخش اول
"11:31  
  Feature Extraction - بخش دوم
"10:48  
  Fine Tuning - بخش اول
"13:56  
  Fine Tuning - بخش دوم
"05:37  
آناتومی مبدل‌ها (Transforme Anatomy)

آشنایی با قسمت‌های مختلف یک مبدل و کدنویسی آن‌ها

  آشنایی با بخش‌های مختلف یک مبدل
مشاهده
"08:41  
  Self َAttention - بخش اول
"15:13  
  Self َAttention - بخش دوم
"14:59  
  لایه Feed forward
"06:02  
  لایه Normalization
"07:15  
  بخش Positional embedding
"10:27  
  ایجاد کلاس Encoder
"11:37  
  تفاوت Encoder و Decoder
"09:14  
تشخیص هویت کلمه(NER)

مدلسازی برای تشخیص هویت کلمه(NER) و بهبود عملکرد آن با استفاده از fine tuning

  دیتاست
"16:09  
  انتخاب Tokenizer
"07:48  
  انتخاب مدل برای فرآیند NER
"15:26  
  دریافت خروجی از مدل بدون Train
"13:55  
  آماده‌سازی ورودی برای مدل
"17:38  
  Train - بخش اول
"18:38  
  Train - بخش دوم
"10:40  
تولید متن(Text generation)

پیاده سازی یک مدل تولید متن با استفاده از Pipeline و آشنایی با پارامترهای موجود برای بهبود عملکرد آن

  آشنایی با Hyperparameter
"14:43  
  پیاده‌سازی Hyperparameters
"10:35  
خلاصه سازی(Summarization)

پیاده سازی سه مدل معروف برای خلاصه سازی و مقایسه آنها با استفاده از معیار ارزیابی Rouge

  آماده‌سازی دیتا ست
"12:47  
  تولید خروجی از مدل‌ها برای مقایسه
"08:15  
  معرفی ابزار ارزیابی Rouge و Bleu
"07:31  
  پیاده‌سازی Rouge و Bleu
"09:57  

درباره دوره

این دوره سعی بر این دارد که با کلیت مبدل‌ها (Transformers) آشنا شوید و قادر به کدنویسی آنها برای اجرای پروژه‌های خود باشید.
 تئوری موضوع به‌طورکلی بیان شده و بیشتر بر اجرای کدها تمرکز شده است.
 این دوره به‌صورت مقدماتی و برای اجرای پروژه‌های پر تکرار بسیار مناسب است و به‌راحتی با آشنایی با موضوعات مطرح شده می‌توانید پروژه خودتان را پیاده‌سازی کنید.


 فریم‌ورک Pytorch برای کدنویسی استفاده شده است و از کتابخانه Huggingface برای آموزش مدل‌ها بهره‌گیری شده است.
 برای دیتاست‌ها و مدل‌ها همگی از Huggingface استفاده شده است
 مواردی که در این دوره فرا خواهید گرفت: 
 آشنایی با Pipelineهای Huggingface برای اجرای خودکار و بدون نیاز به آموزش مدل‌های موجود
 آشنایی با آموزش مدل‌های موجود به دو روش Feature extraction و Fine tuning در قالب طبقه‌بندی متن (Text classification)
 آشنایی کامل با کدنویسی جزءبه‌جزء قسمت‌های مختلف مبدل‌ها (Transformers)
 پیاده‌سازی و آموزش یک مدل برای تشخیص هویت کلمه (NER)
 آشنایی با مدل‌های تولید متن و نحوه تنظیم این مدل‌ها برای بهبود عملکرد
 آشنایی با مدل‌های خلاصه‌سازی متن و معیارهای ارزیابی متن‌های تولید شده (Rouge)

درباره استاد

maktabkhooneh-teacher حسن بنارضوی

حسن بنارضوی، کارشناسی ارشد برق گرایش کنترل نزدیک به 7 سال فعالیت و اجرای پروژه در حوزه هوش مصنوعی بینایی ماشین و پردازش متن ایشان تجربه فعالیت با عنوان مدیر پروژه در شرکت‌های تانا منیر سازه، رهیافت و دیاکو، مدیر فنی شرکت سروش مهر را در کارنامه خود داشته و هم اکنون به‌صورت آزادکار خود را در حوزه پردازش متن و LLM ادامه می‌دهد. ایشان دوره‌های بین‌المللی زیادی مانند Natural Language Processing in TensorFlow در کورسرا و Fine Tune BERT for Text Classification with TensorFlow نیز در کورسرا و 11 مورد دیگر در حوزه هوش مصنوعی را طی نموده و مدرک آنها را دریافت نموده است.

مشاهده پروفایل و دوره‌‌های استاد

نظرات کاربران

تا کنون نظری برای این دوره ثبت نشده است. برای ثبت نظر باید ابتدا در دوره ثبت نام کرده و دانشجوی دوره باشید.
1402-06-20
سلام خیلی خوب بود به نظرم در حوزه ترنسفورمر واقعا به یک ویدئو فارسی نیاز داشتیم ممنون از زحمات شما
سبحان محمدی 1402-09-25
سلام اگه ممکنه کد های دوره رو لطفا برای دانلود قرار بدید ممنون
مصطفی پوراصغری حقی 1403-01-15
سلام. خیلی ممنون. آموزش خوبی بود. یکسری انتقاد دارم که به این شرح هست: 1. چرا کیفیت صدا این همه ضعیف و نامطلوب بود؟ من آموزشهای دیگری رو هم در مکتب خونه دیدم که اونها هم به همین شکل کیفیت صدای نا مطلوبی داشتن 2. بطور کلی در آموزشهای کد نویسی بهتره مدرس از تم روشن/سفید استفاده کنه تا مخاطب بتواند کد رو راحت تر ببینه و تشخیص بده 3. ایکاش مدرس اون بخش مربوط به دریافت توکن هاگینک فیس رو هم در ویدیو می گنجاند با تشکر
کوثر رجائی راد 1402-10-04
دوره خوبی به نظر میاد،اما کدهای پایتون اگه قرار داده بودید قطعا بهتر بود

دوره‌های پیشنهادی

سوالات پرتکرار

پس از سپری شدن زمان دوره، به محتوای دوره دسترسی خواهم داشت؟
بله؛ پس از سپری شدن مدت زمان دوره شما به محتوای دوره دسترسی خواهید داشت و می توانید از ویدئوها، تمارین، پروژه و دیگر محتوای دوره در صورت وجود استفاده کنید ولی امکان تصحیح تمارین توسط پشتیبان و دریافت گواهی نامه برای شما وجود نخواهد داشت.

آموزش ترانسفورمرها‌

آموزش مقدماتی Transformers مفاهیم پایه و اساسی Nip را آموزش می‌دهد. آموزش مقدماتی مبدل ها کمک می‌کند تا شما بتوانید جایگاه شغلی خود را ارتقا دهید.

کراس و Vision transformer چیست؟

Vision transformer، مدل یادگیری ماشینی است که برای کاربردهای بینایی ماشین طراحی شده است. ViT تصویر ورودی را به برش‌هایی تقسیم کرده و هر برش را به یک بردار تبدیل می‌کند، سپس این بردارها توسط یک کدگذار ترنسفورمر پردازش می‌شوند. این فرآیند مشابه با تبدیل کلمات به بردارها در پردازش زبان طبیعی است. ViT در تشخیص تصویر، بخش‌بندی تصویر و رانندگی خودکار کاربرد دارد. این دانش در چند سال اخیر بسیار پر طرفدار شده و افراد زیادی علاقه‌مند به آموزش تنسورفلو و کراس  شده‌اند و در آموزش مقدماتی Transformers به‌طور کامل ترنسفورمر شرکت می‌کنند.

ترنسفورمر در یادگیری عمیق چه کاربردی دارد؟

ترنسفورمرها یک معماری انعطاف‌پذیر و کارآمد برای پردازش انواع مختلف داده‌ها از جمله متن، تصاویر و سیگنال‌ها هستند. در حوزه پردازش زبان طبیعی (Nlp)، مدل‌های پیش‌آموزش‌شده ترنسفورمر مانند bert، GPT، T5 و XLNet توانسته‌اند عملکرد بی‌نظیری در وظایف متنوعی از قبیل درک زبان، تولید متن، ترجمه ماشینی و پاسخگویی به سؤالات داشته باشند. این مدل‌ها با آموزش بر روی حجم عظیمی از داده‌های متنی، توانایی درک معانی پنهان در متن‌ها و ارتباطات بین جملات را کسب می‌کنند.

در زمینه بینایی کامپیوتری نیز، مدل‌هایی همچون Vision Transformer (ViT) و bert از معماری ترنسفورمر برای تشخیص، طبقه‌بندی و استخراج اشیاء در تصاویر بهره می‌برند. این مدل‌ها قادرند ارتباطات پیچیده بین پیکسل‌های تصویر را درک کرده و الگوهای مهم را در آن‌ها شناسایی نمایند.

آیا prompt engineering برای کار با ترنسفورمر لازم است؟

پاسخ این سوال بستگی به کاربرد و سناریوی مورد نظر دارد. Prompt engineering یک تکنیک مهم در استفاده از مدل‌های زبانی بزرگ مبتنی بر ترنسفورمر مانند GPT-3 و bert است که در آموزش مقدماتی Transformers و آموزش مدل bert وجود دارد. این تکنیک شامل طراحی و بهینه‌سازی ورودی‌های متنی (prompts) برای راهنمایی مدل به سمت خروجی‌های مورد نظر است.  

در برخی موارد، آموزش prompt engineering امری ضروری است تا بتوان از آموزش مقدماتی مبدل ها  در مدل‌های زبانی بزرگ به ‌درستی بهره برد. به‌عنوان مثال، اگر شما می‌خواهید یک مدل را برای تولید متن در یک حوزه خاص مانند پزشکی یا حقوقی آموزش دهید، طراحی prompt‌های مناسب می‌تواند نقش مهمی در عملکرد مدل ایفا کند. با این حال، در برخی دیگر از کاربردها مانند ترجمه ماشینی یا درک زبان طبیعی، نیاز به prompt engineering کمتر است.

آیا یادگیری ترنسفورمر سخت است؟

یادگیری ترنسفورمرها چالش‌های خاص خود را دارد، اما با تلاش و پشتکار می‌توان بر این چالش‌ها غلبه کرد. برای افرادی که در حوزه یادگیری ماشین و پردازش زبان طبیعی، تازه‌کار هستند، یادگیری این معماری پیچیده‌تر از مدل‌های قبلی ممکن است در ابتدا دشوار به نظر برسد. با‌این‌حال، با وجود منابع آموزشی فراوان، کتاب‌های درسی، کدهای آماده و آموزش مقدماتی Transformers امکان یادگیری ترنسفورمرها آسان شده است.

نکته مهم این است که یادگیری ترنسفورمرها نیازمند تمرین و پروژه‌های عملی است. با کار روی پروژه‌های واقعی و حل مسائل متنوع، شما می‌توانید مهارت‌های خود را در این زمینه تقویت کنید. بنابراین، اگرچه در ابتدا یادگیری ترنسفورمرها ممکن است چالش‌برانگیز باشد، اما با پشتکار و تمرین، می‌توانید این مهارت ارزشمند را کسب نمایید.

بازارکار و آینده آموزش Transformers چگونه است؟ 

افرادی که در آموزش Ilm شرکت کرده و مسلط به Transformers می‌توانند در طیف گسترده‌ای از مشاغل مرتبط با علوم داده، از جمله موارد زیر فعالیت کنند:

  • مهندس یادگیری ماشین: طراحی، توسعه و پیاده‌سازی مدل‌های Transformers برای حل مسائل مختلف در حوزه‌های گوناگون مانند پردازش زبان طبیعی، بینایی کامپیوتر و رباتیک.
  • محقق علوم داده: انجام تحقیقات در زمینه Transformers و توسعه مدل‌های جدید و کارآمد برای حل چالش‌های پیچیده در حوزه علوم داده.
  • مهندس داده: جمع‌آوری، آماده‌سازی و پردازش داده‌های مورد نیاز برای آموزش و استفاده از مدل‌های  Transformers
  • توسعه‌دهنده نرم‌افزار: توسعه ابزارها و کتابخانه‌هایی برای تسهیل استفاده از Transformers در پروژه‌های مختلف.
  • مشاور علوم داده: ارائه‌ی مشاوره به شرکت‌ها در زمینه استفاده از Transformers برای حل چالش‌های کسب‌وکار آنها.

با توجه به نوآوری‌های مداوم در حوزه Transformers و گسترش کاربردهای آن، پیش‌بینی می‌شود که تقاضا برای متخصصان این حوزه در آینده به طور قابل‌توجهی افزایش یابد. به همین دلیل آموزش مقدماتی Transformers و آموزش مبدل ها برای ورود به این بازار کار اهمیت ویژه‌ای دارد.

معرفی دوره آموزش مقدماتی Transformers

مکتب خونه برای یادگیری ترنسفورمر، دوره آموزش مقدماتی Transformers را برگزار می‌کند. مدرس این دوره حسن بنارضوی است که بیش‌از 7 سال سابقه‌ی فعالیت در زمینه هوش مصنوعی، بینایی ماشین و پردازش متن دارد. این دوره در 6 ساعت برگزار می‌شود و در آن به تمامی مباحث پایه و اولیه ترنسفورمر در یادگیری عمیق پرداخته شده است. سه جلسه از آموزش مقدماتی مبدل ها به‌صورت رایگان در این صفحه وجود دارد که با تماشای آنها می‌توانید با نحوه‌ی تدریس این مدرس آشنا شوید.

سرفصل‌های آموزش مقدماتی مبدل ها

در آموزش مقدماتی Transformers سرفصل‌های زیر آموزش داده شده‌اند:

·        فصل اول: Pipelines

·        فصل دوم: طبقه‌بندی متن  (Text classification)

·        فصل سوم: آناتومی مبدل‌ها  (Transforme Anatomy)

·        فصل چهارم: تشخیص هویت کلمه (NER)  

·        فصل پنجم: تولید متن (Text generation)  

·        فصل ششم: خلاصه سازی (Summarization)

آموزش مقدماتی Transformers برای چه کسانی مناسب است؟

آموزش مقدماتی ترنسفورمرها برای گروه‌های مختلفی از افراد با سطوح تجربه و اهداف متفاوت مناسب است. به طور کلی، آموزش متن کاوی برای افرادی که می‌خواهند در زمینه یادگیری عمیق، پردازش زبان طبیعی (NLP)، بینایی کامپیوتری، پردازش سیگنال و دیگر حوزه‌های مرتبط، مهارت‌های خود را ارتقا دهند، مفید خواهد بود. در ادامه به برخی از گروه‌های هدف آموزش مقدماتی مبدل ها اشاره می‌کنیم:

  • علاقه‌مندان به علوم داده و هوش مصنوعی: اگر به علوم داده و هوش مصنوعی علاقه دارید و می‌خواهید با جدیدترین پیشرفت‌ها در حوزه Nip آشنا شوید، این دوره برای شما مناسب است.
  • برنامه‌نویسان: اگر یک برنامه ‌نویس هستید و می‌خواهید مهارت‌های خود را در زمینه  Nip ارتقا دهید، این دوره می‌تواند به شما در یادگیری نحوه استفاده از Transformers برای حل مسائل مختلف Nip کمک کند.
  • محققان: اگر یک محقق هستید و می‌خواهید در زمینه Transformers تحقیق کنید، این دوره می‌تواند به شما در درک مفاهیم اولیه و اصول کار این مدل‌ها کمک کند.
  • دانشجویان: اگر دانشجوی رشته‌های مرتبط با علوم کامپیوتر، هوش مصنوعی یا علوم داده هستید، آموزش gan یادگیری عمیق می‌تواند به شما در تکمیل دانش خود در زمینه NLP و Transformers  کمک کند.

آموزش مقدماتی Transformers با مکتب خونه

دنیای امروز دنیای داده‌های بزرگ و حجیم است. به همین علت پردازش داده‌های مختلف مانند متن، عکس و ویدیو اهمیت فراوانی دارد. آموزش مقدماتی Transformers مسیری مطمئن برای یادگیری علوم داده است. شما می‌توانید با شرکت در آموزش مقدماتی مبدل ها که مکتب خونه برگزار می‌کند از مزایای این دانش بهره‌مند شوید. همچنین در مکتب خونه انواع دوره آموزش برنامه نویسی، آموزش هوش مصنوعی و یادگیری ماشین به عنوان مکمل و پیش نیاز این دوره برگزار خواهد شد.

 

 

poster
پیش‌نمایش دوره
  
برگزار کننده:  مکتب‌خونه
  
زمان مورد نیاز برای گذراندن دوره:  6 ساعت
مجموع محتوای آموزشی:  6 ساعت ویدئو
 (قابل دانلود می‌باشد)