معدل التعلم

في التعلم والإحصاء الآلي، يعد معدل التعلم (learning rate)‏ معلمة ضبط في خوارزمية التحسين التي تحدد حجم الخطوة في كل تكرار أثناء التحرك نحو الحد الأدنى من دالة الخسارة . ^[1] نظرًا لأنها تؤثر على مدى تجاوز المعلومات المكتسبة حديثًا المعلومات القديمة، فإنها تمثل مجازًا السرعة التي يتعلم بها "نموذج التعلم الآلي". ^[2] غالبًا ما يشار إلى معدل التعلم بالحرف η أو α.

في تحديد معدل التعلم، هناك مفاضلة بين معدل التقارب وتجاوز الحد. في حين أن الاتجاه نحو الحد الأدنى يتم تحديده عادة من خلال التدرج اللوني لوظيفة الخسارة، فإن معدل التعلم يحدد حجم الخطوة التي يتم اتخاذها في هذا الاتجاه. ^[3] سيجعل معدل التعلم المرتفع جدًا قفزة التعلم أعلى من الحد الأدنى، لكن معدل التعلم المنخفض جدًا سيستغرق وقتًا طويلاً للغاية للالتقاء أو التعثر في الحد الأدنى المحلي غير المرغوب فيه.

من أجل تحقيق تقارب أسرع، ومنع التذبذبات والتوقف في الحد الأدنى المحلي غير المرغوب فيه، غالبًا ما يتغير معدل التعلم أثناء التدريب إما وفقًا لجدول معدل التعلم أو باستخدام معدل تعليمي قابل للتكيف. ^[4] في طريقة نيوتن، يتم تحديد معدل التعلم بشكل أساسي من الانحناء المحلي لوظيفة الخسارة، وذلك باستخدام معكوس المصفوفة الهيسية كحجم الخطوة.

جدول معدل التعلم

يغير جدول معدل التعلم معدل التعلم أثناء التعلم وغالبًا ما يتم تغييره بين الحلقات / التكرارات. ويتم ذلك أساسا مع اثنين من المعلمات: الاضمحلال والزخم . هناك العديد من الجداول الزمنية لمعدلات التعلم المختلفة، لكن الأكثر شيوعًا هي تلك التي تستند إلى الوقت والخطوات الأسية . ^[4]

الاضمحلال : يعمل الاضمحلال على تسوية التعلم وتجنب التذبذبات الناتجة، وهو الموقف الناتج عن ثبوت معدل التعلم ويتم التحكم به بواسطة المعاملات المتطورة لمقياس تشعبي (hyperparameter).

الزخم هو ايجاد تسوية القيمة عند اقل نقطة لأقل خطأ، يعمل الزخم على تسريع عملية التعلم عندما يتدرج تدرج تكلفة الخطأ في نفس الاتجاه لفترة طويلة وتجنب الحد الادنى المحلي عن طريق تجاوز العثرات الصغيره. يتم التحكم في الزخم بواسطة المعاملات المتطورة أو مقاييس تشعبية.

تعمل جداول التعلم القائمة على الوقت على تغيير معدل التعلم اعتمادًا على معدل التعلم في التكرار الزمني السابق. معاملات الانحلال في الصيغة الرياضية لمعدل التعلم هي:

${\displaystyle \eta _{n+1}={\frac {\eta _{n}}{1+dn}}}$

أين ${\displaystyle \eta }$ هو معدل التعلم، ${\displaystyle d}$ هو معامل الاضمحلال و ${\displaystyle n}$ هي خطوة التكرار.

تعمل جداول التعلم القائمة على الخطوة على تغيير معدل التعلم وفقًا لبعض الخطوات المحددة مسبقًا. يتم تعريف صيغة تطبيق الاضمحلال على النحو التالي:

${\displaystyle \eta _{n}=\eta _{0}d^{floor({\frac {1+n}{r}})}}$

أين ${\displaystyle \eta _{n}}$ هو معدل التعلم في التكرار ${\displaystyle n}$ ، ${\displaystyle \eta _{0}}$ هو معدل التعلم الأولي، ${\displaystyle d}$ هو مقدار معدل التعلم الذي يجب أن يتغير عند كل قطرة (0.5 يتوافق مع النصف) و ${\displaystyle r}$ يتوافق مع droprate ، أو عدد المرات التي ينبغي أن ينخفض معدل . تقوم دالة floor هنا بإسقاط قيمة مدخلاتها إلى 0 لجميع القيم الأصغر من 1.

تتشابه جداول التعلم الأسي مع الخطوات المستندة إلى الخطوة، ولكن بدلاً من الخطوات، يتم استخدام دالة الأس المتناقص. الصيغة الرياضية في الاضمحلال هي:

${\displaystyle \eta _{n}=\eta _{0}e^{-dn}}$

${\displaystyle d}$ هو معامل الانحلال.

معدل التعلم التكيفي

تتمثل المشكلة في جداول معدلات التعلم في أنها تعتمد جميعها على معلمات كبيرة يجب اختيارها يدويًا لكل جلسة تعليمية معيّنة وقد تختلف اختلافًا كبيرًا تبعًا للمشكلة المطروحة أو النموذج المستخدم. لمكافحة هذا هناك العديد من أنواع مختلفة من خوارزميات النسب التدرج التكيفي مثل Adagrad ، Adadelta ، RMSprop ، آدم والتي بنيت بشكل عام في مكتبات التعلم العميق مثل Keras .

مقالات ذات صلة

• انتشار خلفي
• توليف ذاتي

قراءة متعمقة

• Géron, Aurélien (2017). "Gradient Descent". Hands-On Machine Learning with Scikit-Learn and TensorFlow. O'Reilly. صفحات 113–124.  .
• Plagianakos, V. P.; Magoulas, G. D.; Vrahatis, M. N. (2001). "Learning Rate Adaptation in Stochastic Gradient Descent". Advances in Convex Analysis and Global Optimization. Kluwer. صفحات 433–444.  .

روابط خارجية

• de Freitas, Nando (February 12, 2015). "Optimization". Deep Learning Lecture 6. مؤرشف من الأصل في 23 فبراير 2020.

مراجع

موسوعات ذات صلة :

• موسوعة تعلم آلي