شبکه عصبی مصنوعی می تواند با الگوریتم stochastic gradient descent آموزش ببیند.

نرخ یادگیری یک هایپرپارامتر است که میزان تغییر مدل را در پاسخ به خطای تخمینی در هربار به روز رسانی وزن مدل کنترل می کند. انتخاب مقدار نرخ یادگیری چالش برانگیز است چرا که یک مقدار خیلی کوچک ممکن است منجر به یک فرآیند طولانی آموزش شود که می تواند باعث کندی عملکرد ماشین شود، در حالی که یک مقدار خیلی بزرگ ممکن است منجر به یادگیری خیلی سریع مجموعه ضریب های بسیار بهینه یا یک روند آموزشی ناپایدار شود.

نرخ یادگیری ممکن است مهمترین هایپرپارامتر شبکه عصبی مصنوعی یا ANN باشد. بنابراین شناختن چگونگی بررسی تأثیرات نرخ یادگیری بر عملکرد مدل و ساختن یک روند در مورد پویایی میزان یادگیری بر رفتار مدل بسیار حیاتی است.

در این مقاله آموزشی، شما اثرات نرخیادگیری ، برنامه های نرخ یادگیری و نرخ یادگیری انطباقی را بر عملکرد مدل شبکه عصبی مصنوعی فراخواهید گرفت.

پس از اتمام این آموزش، شما موارد ذیل را درک خواهید کرد:

  • چگونه نرخ یادگیری زیاد منجر به آموزش ناپایدار می شود و نرخ یادگیری کوچک منجر به عدم آموزش می شود.
  • حرکت سریع می تواند آموزش را تسریع کند و برنامه های نرخ یادگیری می تواند به همگرایی روند بهینه سازی کمک کند.
  • نرخ یادگیری انطباقی می تواند آموزش را تسریع کند و از فشار انتخاب نرخ یادگیری و برنامه نرخ یادگیری بکاهد.

نرخ یادگیری و Gradient Descent

شبکه های عصبی یادگیری عمیق با استفاده از الگوریتم نزول شیب تصادفی آموزش می بینند.

نزول شیب تصادفی یک الگوریتم بهینه سازی است که شیب خطا را برای مثدار فعلی مدل با استفاده از مثالهایی از مجموعه داده های آموزشی تخمین می زند، سپس ضریب های وزنی مدل را با استفاده از الگوریتم بازگشتی به روز می کند.

مقداری که وزن ها در حین آموزش به روز می شوند به عنوان اندازه گام یا “نرخ یادگیری” بیان می شود.

به طور خاص، نرخ یادگیری یک ابر پارامتر قابل تنظیم است که در آموزش شبکه های عصبی مورد استفاده قرار می گیرد و دارای مقدار مثبت کمی است، که اغلب در محدوده 0.0 تا 1.0 است.

همچنین بخوانید؛ سیستم های شناختی هوش مصنوعی و استراتژی دیجیتال

نرخ یادگیری کنترل می کند که مدل با چه سرعتی با مشکل سازگار شود. نرخ یادگیری کوچکتر با توجه به تغییرات کمتری که در هر به روزرسانی در ضرایب وزنی ایجاد می شود، به تکرارهای آموزشی بیشتری احتیاج دارد، در حالی که میزان یادگیری بیشتر منجر به تغییرات سریع می شود و دوره های آموزشی کمتری نیاز دارد.

نرخ یادگیری بالا می تواند باعث شود مدل به سرعت به یک راه حل غیربهینه دست یابد، در حالی که یک میزان یادگیری بسیار کوچک می تواند منجر به گیر افتادن مدل در فضای مسئله شود.

همچنین بخوانید؛ الگوریتم یادگیری جمعی ماشینی برای طبقه بندی و رگرسیون

منبع: گروه مشاوران مالی سامان