×
ribbon

آموزش بهینه‌سازی استنتاج مدل‌های هوش مصنوعی با NVIDIA TensorRT

مدرس:

رضا محمودیزینب صادقی

در دنیای امروز که مدل های هوش مصنوعی روزبه روز بزرگ تر و پیچیده تر می شوند، چالش... بیشتر
گواهی‌نامه
4.3 (3)
3 دیدگاه
319دانشجو
8ساعت
سرفصل‌ها
پیشرفته سطح دوره
بروزرسانیمهر ۱۴۰۴

اشتراک مکتب‌پلاس

خرید اشتراک

با خرید اشتراک مکتب‌پلاس، علاوه بر این دوره، به بیش از ۴،۰۰۰ دوره دیگر دسترسی خواهید داشت.

دسترسی به تمام دوره‌هابیش از ۴،۰۰۰ دوره
محتوای دوره
سرفصل‌ها
توضیحات دوره
دیدگاه کاربران
درباره مدرس

آنچه در این دوره می‌آموزید

آشنایی عمیق با معماری TensorRT و اجزای کلیدی آن شامل پارسرها، بهینه‌سازها و موتور اجرایی.

پیاده‌سازی تکنیک‌های پیشرفته بهینه‌سازی گراف مانند ادغام لایه‌ها (Layer Fusion) و مدیریت بهینه حافظه.

نحوه کار با لایه‌های سفارشی و توسعه پلاگین‌های اختصاصی برای عملیات پشتیبانی‌نشده در TensorRT.

معماری‌های مختلف استقرار از دیتاسنترهای ابری گرفته تا دستگاه‌های لبه (Edge) و سیستم‌های نهفته (Embedded).

این دوره شامل:

8 ساعت ویدئو

گواهینامه مکتب‌خونه

دسترسی مادام‌العمر به محتوای دوره

سرفصل‌های دوره

8 فصل47 جلسه8 ساعت ویدیو
اصول اولیه TensorRT و گردش‌های کاری (Workflows) Inference
  درک Inference یادگیری عمیق
17:10
  بررسی اجمالی معماری TensorRT
18:14
  فرمت مدل پشتیبانی‌شده و قابلیت همکاری فریم ورک ها
16:54
  انواع دقت (Precision ) : FP32، FP16 و INT8
11:12
  ورک فلو معمول TensorRT
18:30
  ملاحظات پلتفرم سخت‌افزاری
06:46
تبدیل مدل و پیش‌پردازش برای TensorRT
  آماده‌سازی مدل‌ها برای TensorRT
22:54
  خروجی گرفتن و عیب‌یابی ONNX
10:28
  تجزیه شبکه و مدیریت شکل پویا
20:33
  مدیریت لایه‌های پشتیبانی نشده و عملگرهای سفارشی
07:43
  پیش‌پردازش خطوط لوله و نرمال‌سازی داده‌ها
19:01
  اعتبارسنجی مدل پس از تبدیل
18:58
تکنیک‌های بهینه‌سازی موتور یا Engine
  بهینه‌سازی گراف و ادغام لایه‌ها
08:34
  کالیبراسیون دقیق و استراتژی‌های کوانتیزاسیون
08:18
  مدیریت تانسور و حافظه
09:45
  سیستم افزونه برای لایه‌های سفارشی
07:18
  بهینه‌سازی پویای شکل و اندازه دسته
08:14
  محاسبات مبتنی بر پراکندگی
07:47
  سریال‌سازی، حذف سریال و ذخیره‌سازی موتور
08:22
معماری‌های استقرار و تولید
  اهداف استقرار: مرکز داده، لبه و سیستم‌های جاسازی‌شده
07:32
  ادغام با Triton و راهکارهای خدمات سازمانی
26:08
  ملاحظات دسته‌بندی، Streaming و بلادرنگ یا Real-Time
09:29
  مقیاس‌پذیری چند پردازنده گرافیکی، چند نمونه‌ای و ابری
08:13
  مدیریت نسخه‌های مدل و موتور
10:47
  امنیت و بسته‌بندی خطوط لوله استنتاج
07:48
پروفایلینگ، بنچمارک و اشکال‌زدایی عملکرد
  ابزارهای پروفایلینگ: Nsight، Triton و TensorRT CLI
09:40
  پروفایلینگ لایه‌ای و تشخیص هات‌اسپات
07:10
  معیارهای توان عملیاتی، تأخیر و میزان استفاده
06:27
  تحلیل میزان استفاده از CPU، حافظه و گذرگاه
07:33
  رگرسیون خودکار و بنچمارک مداوم
07:28
  تحلیل رگرسیون دقت مدل در مقابل عملکرد
10:14
مباحث پیشرفته بهینه‌سازی استنتاج
  استنتاج کارآمد چند جریانی (Multi-Stream) و ناهمزمان (Asynchronous )
05:11
  بهینه‌سازی‌های Zero-Copy، Pinned Memory و ورودی/خروجی
09:22
  سناریوهای استنتاج فدرال و توزیع‌شده
08:58
  سازگاری با ویژگی‌های سخت‌افزاری جدید: DLA و MIG
08:37
  کوانتیزاسیون و تنظیم دقیق پس از آموزش
08:40
  بهینه‌سازی‌های توالی و مدل NLP
10:14
لایه‌های سفارشی، پلاگین ها وExtensions عملگر
  API افزونه و مکانیسم‌های افزونه
06:44
  پیکربندی، سریال‌سازی و قابلیت حمل افزونه
06:56
  آزمایش، اعتبارسنجی و اشکال‌زدایی افزونه‌ها
08:20
  تضمین سازگاری در نسخه‌های مختلف TensorRT
08:39
اتوماسیون، CI/CD و یکپارچه‌سازی گردش کار
  خطوط لوله بهینه‌سازی مدل خودکار
09:15
  یکپارچه‌سازی با پلتفرم‌های یادگیری ماشین و MLOps
06:43
  کنترل نسخه و مدیریت Artifact مدل
09:09
  الگوهای استقرار مداوم برای استنتاج
07:48
  نظارت، ثبت Logging و بررسی سلامت (Health Checking)
08:21
  مطالعات موردی: استقرارهای خودکار End-to-End
08:51

توضیحات دوره

در دنیای امروز که مدل‌های هوش مصنوعی روزبه‌روز بزرگ‌تر و پیچیده‌تر می‌شوند، چالش اصلی دیگر تنها آموزش مدل‌ها نیست، بلکه استقرار (Deployment) آن‌ها در محیط‌های واقعی با بالاترین سرعت، کمترین تأخیر (Latency) و بیشترین بازدهی (Throughput) است.

آیا تا به حال مدل یادگیری عمیقی ساخته‌اید که روی کاغذ دقت فوق‌العاده‌ای دارد، اما در عمل به دلیل سرعت پایین و تأخیر (Latency) بالا، قابل استفاده نیست؟ در دنیای هوش مصنوعی، سرعت و کارایی در هنگام استفاده از مدل‌های یادگیری عمیق (Inference) به اندازه‌ی دقت آن‌ها اهمیت دارد. یک مدل بزرگ و قدرتمند اگر نتواند در زمان واقعی و با کمترین هزینه به درخواست‌ها پاسخ دهد، در عمل کاربرد خود را از دست می‌دهد.

کتابخانه TensorRT انویدیا، قدرتمندترین ابزار برای بهینه‌سازی و شتاب‌دهی به فرآیند استنتاج (Inference) در شبکه‌های عصبی عمیق روی پردازنده‌های گرافیکی (GPU) است.

این دوره یک مسیر یادگیری جامع و کاربردی است که شما را از مبانی اولیه استنتاج تا پیشرفته‌ترین تکنیک‌های بهینه‌سازی و استقرار در محیط‌های صنعتی با استفاده از TensorRT همراهی می‌کند. با گذراندن این دوره، شما دانش و مهارت لازم برای تبدیل مدل‌های سنگین آموزشی به موتورهای استنتاج بهینه، سریع و آماده برای استفاده در مقیاس بزرگ را به دست خواهید آورد.

شایان ذکر است که این دوره با استفاده از هوش مصنوعی تولید و ضبط شده است.

هدف اصلی این دوره، توانمندسازی شما برای بهینه‌سازی و استقرار (Deploy) مدل‌های یادگیری عمیق با بالاترین سرعت و کمترین تأخیر (Latency) ممکن است. پس از پایان این دوره، شما قادر خواهید بود هر مدل آموزش‌دیده‌ای را دریافت کرده و با استفاده از TensorRT، یک موتور استنتاج (Inference Engine) بهینه، سریع و آماده‌ی استقرار در محیط‌های واقعی (Production) بسازید.

 

این دوره برای چه کسانی مناسب است؟
مهندسان هوش مصنوعی و یادگیری ماشین که مسئولیت استقرار مدل‌ها را بر عهده دارند.
متخصصان عملیات یادگیری ماشین (MLOps) که به دنبال ساخت پایپ‌لاین‌های خودکار و بهینه هستند.
توسعه‌دهندگان نرم‌افزار که مدل‌های هوش مصنوعی را در محصولات خود (مانند سیستم‌های خودروی خودران، پردازش ویدیو یا دستیارهای صوتی) ادغام می‌کنند.
پژوهشگران و دانشجویان علاقه‌مند به یادگیری عمیق که می‌خواهند با جنبه‌های عملی و کاربردی مدل‌ها آشنا شوند.

دیدگاه کاربران

4.3

بر اساس امتیاز 3 دانشجو

1
2
3
4
5

دانشجوی دوره

3 ماه پیش

5

ممنونم عالی بود کمتر دوره ای در مورد tensorrt گفته بود

دانشجوی دوره

3 ماه پیش

5

دوره ی فوق العاده ی بوده ممنونم از اموزش خیلی خوبتون

سید ابوالفضل آتشی باز

21 روز پیش

3

با سلام و درود 1 امتیاز کم کردن برای اینکه دوره کاملا تئوری محور هست و اصلا کد نویسی و نصب و راه اندازی برنامه چیزی نیست 1 امتیاز دیگه هم کم کردم که نمیدونم آیا بهتر از این دوره قراره بعدا منتشر بشه یا خیر در کل دوره خوبی هست عالی نیست و با ai درست شده یکسری جاها غلط گویش فارسی هست که قابل چشم پوشی هست و یکسری جاها کلی گویی شد و یکسری جاها مباحث تکراری بود دوره به درد کسایی میخوره که میخوان پایه خودشون رو تقویت کنن و مدرک معتبر داشته باشند برای TensorRT مناسب هست برای کد نویسی و محیط پروداکشن این دوره یه نقشه راه بهت میده من که تو تخفیف گرفتمش و راضی هستم ولی برای برنامه نویسی و پیاده سازی اینفرنس تنسور آر تی اصلا مناسب نیست خود بنده با سی پلاس پلاس مدل ها رو تبدیل میکنم و اینفرنس میگیرم روی حالا چه سرور چه جتسون نانو این دوره یک دید کلی داد به فرآیند تبدیل مدل و استنتاج که خیلی از این مباحث تو شرکت های ایرانی اجرا نمیکنن یا مخالفت میشه با اجرا شدنشون متاسفانه یا خوشبختانه و برای من هنوز جای تعجب هست در کل این دوره یکسری سر نخ ها داد به من اینجوری نبود که بی فایده باشه ولی اگر قبلا اصلا با تنسور آرتی کار نکرده باشید و سرویسی چیزی باهاش پیاده سازی نکردید مناسب نیست چون یکسری جاها درباره نحوه تبدیل و مدیریت مموری و غیره حرف میزنه که این موارد باید در پیاده سازی و کد نویسی اون ماژول رعایت بشه در غیر این صورت چالش برانگیزه !

گواهینامه اختصاصی دو زبانه

پس از گذراندن دوره به صورت آنلاین در سایت مکتب‌خونه، گواهی‌نامه رسمی پایان دوره به زبان فارسی و انگلیسی، توسط مکتب‌خونه به اسم شما صادر شده و در اختیار شما قرار می‌گیرد.

امکان اشتراک گذاری در لینکدین
دو زبانه
6دوره
1,700دانشجو
57نظر و امتیاز

مهندس کامپیوتر ویژن با بیش از 5 سال تجربه در  صنعت نفت و گاز و راهنمایی و رانندگی کشور   مسلط به پایتون و C++، مهارت در فریم ورک های دیپ لرنینگ و ماشین لرنینگ 

 

6دوره
1,700دانشجو
57نظر و امتیاز

زینب صادقی دانشمند ارشد داده و مهندس یادگیری ماشین، متخصص در هوش مصنوعی مولد .

مهارت‌هایی که می‌آموزید

دوره‌های مشابه

دیگر دوره‌های رضا محمودی

دیگر دوره‌های زینب صادقی