تنظیم دقیق یادگیری تقویتی LLM با روش های SFT، LoRA، DPO و GRPO

در این دوره به اصول و فرایندهای آماده‌سازی، آموزش و بهبود مدل‌های زبان بزرگ (LLMs) می‌پردازید. مبانی مدل‌های پایه و مدل‌های راهنمای دستوری (instruct) را می‌آموزید و روش‌های آماده‌سازی داده برای هرکدام را فرا می‌گیرید. همچنین تکنیک‌های پیش‌پردازش داده، نکات کلیدی، تشخیص توکن‌های خاص مورد نیاز مدل‌ها، درک فرمت‌های داده و نحوه استفاده از آنها را می‌آموزید. قابلیت‌های عملی با LoRA و Data Collator به دست می‌آورید و با مفاهیم و هیپرپارامترهای کلیدی که در آموزش مدل‌ها به کار می‌روند آشنا می‌شوید. اصول ترکیب ماتریس‌های LoRA با مدل پایه و نکات بهترین شیوه‌ها در این فرایند را فرا می‌گیرید. با Direct Preference Optimization (DPO) آشنا می‌شوید، از کاربردها تا فرمت داده‌های مورد انتظار و موقعیت‌های به‌کارگیری. نکات آماده‌سازی داده برای DPO و کارکرد Data Collator مخصوص DPO را می‌آموزید و با نقش هیپرپارامترهای مرتبط آشنا می‌شوید. همچنین می‌آموزید چگونه مدل آموزش‌دیده خود را به پلتفرم‌هایی مانند هوگینگ فیس (Hugging Face) بارگذاری کنید و پس از آموزش به مدیریت کارآمد هیپرپارامترها بپردازید. در ادامه با GRPO (Group Relative Policy Optimization) آشنا می‌شوید: نحوه عملکرد، فرایند یادگیری و چگونگی آماده‌سازی داده برای GRPO. ساخت توابع پاداش (Rewards) برای GRPO و قالب‌های پاداش، استخراج بخش‌های پاداش-دار از پاسخ‌ها و تعریف پاداش بر پایه این بخش‌ها را یاد می‌گیرید. سرانجام نحوه تبدیل یک مدل Instruct به مدلی که بتواند «زنجیره تفکر» را تولید کند با GRPO را تجربه می‌کنید. این دوره شما را برای پیاده‌سازی‌های عملی GRPO و جنبه‌های اجرایی آن آماده می‌کند.