چالش‌های آموزش شبکه عصبی عمیق

  فصل قبلی

چالش‌های آموزش شبکه عصبی عمیق

 

معرفی مساله و دیتاست این فصل

 

مقداردهی اولیه وزن‌ها

 

Non-saturating activation functions

 

Batch Normalization

 

Batch Normalization in keras

 

Gradient clipping

 

Transfer Learning بخش اول

 

Transfer Learning بخش دوم

 

Transfer Learning بخش سوم

 

چالش زمان در آموزش شبکه عصبی عمیق

 

Stochastic gradient descent (SGD)

 

پیاده‌سازی gradient descent یک بعدی با پایتون

 

پیاده‌سازی gradient descent دو بعدی با پایتون بخش اول

 

پیاده‌سازی gradient descent دو بعدی با پایتون بخش دوم

 

Gradient Descent with Momentum

 

پیاده‌سازی Gradient Descent with Momentum

 

Gradient Descent with Nesterov Momentum

 

پیاده‌سازی Gradient Descent with Nesterov Momentum

 

Adagrad

 

پیاده‌سازی Adagrad

 

RMSProp

 

Adam

 

پیاده‌سازی Adam

 

مروری بر بهینه‌سازها در یادگیری عمیق

 

برنامه‌های زمانی learning rate

 

معرفی چند برنامه زمانی پراستفاده

 

پیاده‌سازی برنامه زمانی Exponential

 

پیاده‌سازی برنامه زمانی Piecewise

 

پیاده‌سازی برنامه زمانی Performance

 

پیاده‌سازی برنامه زمانی 1cycle بخش اول

 

پیاده‌سازی برنامه زمانی 1cycle بخش دوم

 

پیاده‌سازی برنامه زمانی 1cycle بخش سوم

 

پیاده‌سازی برنامه زمانی 1cycle بخش چهارم

 

پیاده‌سازی برنامه زمانی 1cycle بخش پنجم

 

استفاده از برنامه زمانی 1cycle روی مدل

 

مرور برنامه‌های زمانی learning rate

 

l1-l2 regulaizer

 

Droput

 

Monte-Carlo Dropout

 

Max-Norm regualizer

 

پروژه اول شبکه عصبی عمیق

 

پروژه دوم شبکه عصبی عمیق

 

پروژه سوم شبکه عصبی عمیق

 

پروژه چهارم شبکه عصبی عمیق

 

پروژه پنجم شبکه عصبی عمیق

  فصل بعدی