التحيز الاستقرائي (المعروف أيضًا باسم تحيز التعلم ) لخوارزمية التعلم هو مجموعة من الافتراضات التي يستخدمها المتعلم للتنبؤ بالمخرجات التي سيحصل عليها لمدخلات لم يواجهها من قبل[1].
في التعلم الآلي ، يتم الاتجاه إلى إنشاء خوارزميات قادرة على تعلم التنبؤ وفق نتيجة معينة. ولتحقيق ذلك، تقدم لخوارزمية التعلم بعض الأمثلة التدريبية التي توضح العلاقة المقصودة بين قيم المدخلات والمخرجات. بعد ذلك، يُفترض من المتعلم تقريب الناتج الصحيح، حتى بالنسبة للأمثلة التي لم يطلع عليها أثناء التدريب. لكن ودون افتراضات إضافية، لن يكون من الممكن حل هذه المشكلة تمامًا لأن الحالات غير المرئية قد يكون لها ناتج اعتباطي. يندرج صنف الافتراضات اللازمة حول طبيعة الدالة المستهدفة للحصول على الناتج الصحيح بعبارة التحيز الاستقرائي [1] [2].
يعد نصل أوكام من الأمثلة الكلاسيكية على التحيز الاستقرائي، بافتراض أن أبسط فرضية ثابتة حول الدالة المستهدفة هي الفرضية الأفضل. وكلمة ثابتة هنا تعني أن فرضية المتعلم تعطي نتائج صحيحة لكل الأمثلة التي أعطيت للخوارزمية (البيانات التدريبية).
تستند مقاربات التعريف الأكثر رسمية للتحيز الاستقرائي إلى المنطق الرياضي . التحيز الاستقرائي هنا هو صيغة منطقية تتضمن مع بيانات التدريب الفرضية التي يولدها المتعلم. ومع ذلك، فإن هذه القواعد تفشل في العديد من الحالات العملية، حيث لا يمكن إعطاء التحيز الاستقرائي إلا وصفًا تقريبيًا (على سبيل المثال في حالة الشبكات العصبية الاصطناعية) ، أو قد يتعذر وصفها تماماً.
الأصناف
فيما يلي قائمة بالتحيزات الاستقرائية الشائعة في خوارزميات التعلم الآلي.
- الاستقلال الشرطي الأقصى : إذا كان من الممكن طرح الفرضية من وجهة نظر مبرهنة بايز، فاللجوء إلى تضخيم الاستقلال الشرطي سيمثل هنا التحيز الاستقرائي. ومثال على ذلك المصنف البايزي الساذج (Naive Bays Classifier).
- الحد الأدنى لخطأ التصديق المتقاطع : عند محاولة الاختيار بين الفرضيات المختلفة، حدد الفرضية ذات مستوى الخطأ الأدنى في اختبارات التصديق المتقاطع. رغم أن التصديق المتقاطع قد يبدو خاليًا من التحيز، إلا أن نظرية "لا غداء مجاني" تظهر أن التصديق المتقاطع لابد أن يكون منحازاً أيضاً.
- الهامش الأقصى : عند رسم حد بين فئتين، حاول تكبير عرض الحد بين الفئتين أي زيادة الهامش بينهما. وهذا النوع من التحيز الاستقرائي مستخدم في شعاع الدعم الآلي . الافتراض سيكون هنا هو أن الفئات المتميزة تميل إلى أن تكون مفصولة بحدود واسعة.
- الحد الأدنى لوصف الفرضية: عند تكوين الفرضية، حاول تقليل وصف الفرضية. حيث أن الفرضيات الأكثر بساطة من المرجح أن تكون هي الأصح. انظر لنصل أوكام.
- الحد الأدنى من الميزات: ما لم يكن هناك دليل جيد على أن الميزة مفيدة، فيجب حذفها. هذا الافتراض يرتبط بخوارزميات اختيار الميزات .
- الجيران الأقرب: افترض أن معظم الحالات المتواجدة في نطاق صغير ضمن فضاء الميزات تنتمي إلى نفس الفئة. عند وجود حالة تكون الفئة فيها غير معروفة، خمن أنها تنتمي إلى نفس الفئة التي تنتمي إليها أغلبية الحالات في المنطقة المجاورة الأقرب لها. هذا هو التحيز المستخدم في الجيران الأقرب في التعلم الآلي . الافتراض هو أن الحالات القريبة من بعضها البعض تميل إلى الانتماء إلى نفس الفئة.
تحرك التحيز
على الرغم من أن معظم خوارزميات التعلم لها تحيز ثابت، إلا أن بعض الخوارزميات مصممة بحيث يتحرك تحيزها بعد أن تحصل على المزيد من البيانات. [3] وفي هذه الحالة لا تكون الخوارزميات بمنأى عن التحيز، لأن عملية تحرك وتغيير التحيز نفسها يجب أن يكون لها تحيز أيضاً.
المراجع
- Mitchell, T. M. (1980), The need for biases in learning generalizations, New Brunswick, New Jersey, USA: Rutgers University, مؤرشف من الأصل في 29 يوليو 2019
- DesJardins, M.; Gordon, D. F. (1995), Evaluation and selection of biases in machine learning, 5:1--17, مؤرشف من الأصل في 16 يناير 2009
- Utgoff, P. E. (1984), Shift of bias for inductive concept learning, New Brunswick, New Jersey, USA: Doctoral dissertation, Department of Computer Science, Rutgers University