في الاحصاء الرياضي ، فإن تباعد كولباك - ليبلير (وتسمى أيضا الانتروبية النسبية) هو مقياس لمدى اختلافتوزيع احتمالي واحد عن توزيع احتمالي مرجعي آخر[1] [2]. تتضمن تطبيقات تباعد كولباك - ليبلير توصيف اعتلاج شانون (Shannon) النسبي في نظم المعلومات، والعشوائية في السلاسل الزمنية المستمرة، واكتساب المعلومات عند مقارنة النماذج الإحصائية للاستدلال. على النقيض من تباين المعلومات، فإن تباعد كولباك - ليبلير هو مقياس غير متساوي من حيث التوزيع وبالتالي فهو غير مؤهل كمقياس إحصائي للانتشار. في الحالة البسيطة، يشير تباعد كولباك - ليبلير ذو القيمة 0 إلى أن التوزيعتين المعنيتين متطابقتان. وهو يبقى مقياس مهم بالنسبة لتطبيقات عديدة مثل الإحصاءات التطبيقية، ميكانيكا الموائع، علم الأعصاب والتعلم الآلي .
أصل الكلمة
تم تقديم تباعد كولباك - ليبلير بواسطة سولومون كولباك (Solomon Kullback) وريتشارد ليبلير (Richard Leibler) في عام 1951 باعتباره اختلافاً موجهاً بين توزيعتين؛ يفضل كولباك مصطلح معلومات التمييز. [3] وقد تمت مناقشة الاختلاف في كتاب كولباك لعام 1959 ، نظرية المعلومات والإحصاء . [2]
مراجع
- Kullback, S.; Leibler, R.A. (1951). "On information and sufficiency". Annals of Mathematical Statistics. 22 (1): 79–86. doi:10.1214/aoms/1177729694. MR = 0039968 0039968.
- Kullback, S. (1959), Information Theory and Statistics, جون وايلي وأولاده . Republished by Dover Publications in 1968; reprinted in 1978: (ردمك ).
- Kullback, S. (1987). "Letter to the Editor: The Kullback–Leibler distance". ذا أمريكان ستاتيستيشين. 41 (4): 340–341. doi:10.1080/00031305.1987.10475510. JSTOR 2684769.