يتم التحقق والتحقيق في نماذج محاكاة الحاسوب أثناء تطوير نموذج محاكاة هدفه النهائي هو إنتاج نموذج دقيق وموثوق. يتزايد استخدام نماذج المحاكاة لحل المشاكل وللمساعدة في عمليات صنع القرار. يهتم مطورو هذه النماذج ومستخدميها، وصانعو القرار الذين يستخدمون المعلومات الواردة من نتائج هذه النماذج، والأفراد المتأثرين بالقرارات المبنية على هذه النماذج، إن كان النموذج ونتائجه «صحيحين». ويُعالج هذا الاهتمام من خلال التحقق والتحقيق في نموذج المحاكاة.[1][2][3]
نماذج المحاكاة هي تقليد تقريبي لأنظمة العالم الحقيقي، ولكنها لا تقلد النظام الحقيقي تمامًا. لذا، يجب التحقق والتحقيق من النموذج للوصول إلى الدرجة المطلوبة للغرض المقصود من النماذج أو التطبيقات.
يبدأ التحقق والتحقيق لنموذج المحاكاة بعد توثيق المواصفات الوظيفية واكتمال تطوير النموذج الأولي. التحقق والتحقيق عملية تكرارية تحدث خلال تطوير النموذج.[4]
التحقق
التحقق من نموذج ما في سياق المحاكاة الحاسوبية هو التأكد من تنفيذه بشكل صحيح بالنسبة للنموذج المفاهيمي (يتطابق مع المواصفات والفرضيات التي تعتبر مقبولة للغرض المحدد من التطبيق). يختبرالنموذج أثناء التحقق للعثور على الأخطاء في تنفيذ النموذج وإصلاحها. تُستخدم العديد من العمليات والتقنيات لضمان مطابقة النموذج للمواصفات والفرضيات بالنسبة لمفهوم النموذج. والهدف من التحقق من النموذج هو ضمان تنفيذه بشكل صحيح.
هناك العديد من التقنيات التي يمكن استخدامها للتحقق من النموذج. وتشمل، على سبيل المثال لا الحصر، فحص النموذج بواسطة خبير، ووضع مخططات تدفقية منطقية تتضمن كل إجراء منطقي ممكن، وفحص خرج النموذج للتأكد من معقوليته في ظل مجموعة متنوعة من إعدادات معلمات (بارامترات) الإدخال، واستخدام مصحح أخطاء تفاعلي. تنطبق العديد من تقنيات هندسة البرمجيات المستخدمة للتحقق من البرامج على التحقق من نموذج المحاكاة.
التحقيق
يتأكد التحقيق من دقة تمثيل النموذج للنظام الحقيقي. ويعرَّف التحقيق بأنه «إثبات أن النموذج المحوسب يتمتع ضمن نطاق تطبيقه بمستوى دقة مقبول تتوافق مع التطبيق المقصود للنموذج». يجب بناء نموذج لغرض أو مجموعة محددة من الأهداف، وتحدد صحته على أساس هذا الغرض.
هناك العديد من النهج التي يمكن استخدامها للتحقيق في نموذج حاسوبي، تتراوح بين المراجعات الذاتية والاختبارات الإحصائية الموضوعية. وأحد النهج شائعة الاستخدام هو الطلب من صانعي النماذج تحديد صحة النموذج من خلال سلسلة من الاختبارات.
صاغ نايلور وفنجر [1967] نهجًا من ثلاث خطوات لتحقيق النموذج، والذي طُبق على نطاق واسع:
الخطوة 1. بناء نموذج يمتلك صلاحية واجهة مرتفعة.
الخطوة 2. التحقق من صلاحية فرضيات النموذج.
الخطوة 3. مقارنة تحولات مدخلات ومخرجات النموذج بتحولات المدخلات والمخرجات المقابلة للنظام الحقيقي.[5]
صلاحية الواجهة
يبدو للأشخاص المطلعين على نظام العالم الحقيقي أن النموذج الذي له صلاحية واجهة يمثل تقليدًا معقولًا لنظام العالم الحقيقي. تُختبر صلاحية الواجهة من خلال مطالبة المستخدمين والأشخاص المطلعين على النظام بفحص خرج النموذج للتحقق من معقوليته وتحديد أوجه القصور في العملية. توجد ميزة إضافية لإشراك المستخدمين في عملية التحقيق هي زيادة مصداقية النموذج بالنسبة للمستخدمين وزيادة ثقة المستخدم في النموذج. ويمكن أيضًا استخدام الحساسية لمدخلات النماذج لتقرير مدى صلاحية النموذج. مثلًا، إذا أُجريت محاكاة لطلبات مطعم الوجبات السريعة مرتين، مرة بمعدل وصول 20 زبون في الساعة ومرة بمعدل وصول 40 زبون في الساعة، فمن المتوقع أن تزيد مخرجات النموذج مثل متوسط وقت الانتظار أو الحد الأقصى لعدد الزبائن المنتظرين، بزيادة معدل الوصول.
التحقيق في فرضيات النموذج
تنقسم الفرضيات المقدمة حول نموذج بشكل عام إلى فئتين: فرضيات هيكلية حول كيفية عمل النظام وفرضيات البيانات.
الفرضيات الهيكلية
الفرضيات المقدمة حول كيفية عمل النظام وكيفية ترتيبه ماديًا هي فرضيات هيكلية. مثل، عدد الخوادم الموجودة في مسار طلب الوجبات السريعة وإذا كان هناك أكثر من خادم فكيف يُستخدم؟ هل تعمل الخوادم بشكل متوازٍ حتى يكمل العميل معاملته بزيارة خادم واحد أو يأخذ أحد الخوادم الطلبات ويتعامل مع الدفع بينما يعد الآخر الطلب ويخدمه؟ تنتج العديد من المشاكل الهيكلية في النموذج عن الفرضيات السيئة أو غير الصحيحة. يجب مراقبة طريقة عمل النظام الفعلي عن كثب إذا أمكن لفهم كيفية عمله. ويجب التحقق من هياكل الأنظمة وتشغيلها مع مستخدمي النظام الفعلي.
فرضيات البيانات
يجب توفر كمية كافية من البيانات المناسبة لإنشاء نموذج مفاهيمي والتحقق من النموذج. غالبًا ما يسبب نقص البيانات المناسبة فشلًا في محاولات التحقق من النموذج. لذا يجب التحقق من أن البيانات تأتي من مصدر موثوق. وهناك خطأ نموذجي هو افتراض توزيع إحصائي غير مناسب للبيانات. يجب اختبار النموذج الإحصائي المفترض باستخدام اختبارات حسن المطابقة وغيرها من التقنيات. ومن الأمثلة على اختبارات حسن المطابقة هي اختبار كولموغوروف-سميرنوف واختبار مربع كاي. يجب التحقق من أي خرج للبيانات.
التحقق من تحويلات الإدخال-الإخراج
يُنظر إلى النموذج على أنه تحول بين المدخلات والمخرجات لهذه الاختبارات. يتكون اختبار التحقيق من مقارنة المخرجات من النظام المراقب مع المخرجات النموذجية بنفس مجموعة شروط الإدخال. يجب أن تتوفر البيانات المسجلة أثناء مراقبة النظام لإجراء هذا الاختبار. ويجب استخدام ناتج النموذج ذو الاهتمام الأساسي كمقياس للأداء. مثلًا، إذا كان النظام المدروس هو مسار طلب الوجبات السريعة فتكون مدخلات النموذج هي وقت وصول الزبون ومقياس الأداء الناتج هو متوسط وقت انتظار الزبون في الصف، لذا سيسجل وقت الوصول الفعلي والوقت انتظارالزبائن في الصف للطلب. سيشغل النموذج مع أوقات الوصول الفعلية وسيقارن متوسط وقت النموذج في الصف مع متوسط الوقت الفعلي باستخدام اختبار واحد أو أكثر.
اختبار الفرضيات
يمكن استخدام اختبار الفرضيات الإحصائية الذي يستخدم اختبار تي كأساس لقبول النموذج باعتباره صالحًا أو رفضه باعتباره غير صالح.
الفرضية المراد اختبارها هي:
H0 مقياس الأداء للنموذج = مقياس الأداء للنظام
مقابل
H1 مقياس الأداء للنموذج ≠ مقياس الأداء للنظام.
يجرى الاختبار لحجم عينة معين ومستوى أهمية مُعطى أو α. لإجراء الاختبار، يجرى عدد n من التشغيلات الإحصائية المستقلة للنموذج وتنتج قيمة متوسطة أو متوقعة، E (Y)، لمتغير الاهتمام. ثم تُحسب إحصائية الاختبار، t0 للقيم المُعطاة α وn وE (Y) والقيمة المرصودة للنظام
والقيمة الحرجة ل α و n-1 هي درجات الحرية
تحسب
إذا كانت
ترفض H0 ويجب تعديل النموذج.
هناك نوعان من الأخطاء التي يمكن أن تحدث باستخدام اختبار الفرضية، الخطأ من النوع الأول أو «مخاطر بناة النموذج» وهو رفض نموذج صالح والخطأ من النوع الثاني أو «مخاطر مستخدم النموذج» وهو قبول نموذج غير صالح. مستوى الأهمية أو α يساوي احتمال الخطأ من النوع الأول. إذا كان α صغيرًا فإن رفض الفرضية الخالية هو استنتاج قوي. مثلًا، إذا كانت α = 0.05 وكانت الفرضية الخالية مرفوضة، فلن يكون هناك سوى احتمال 0.05 لرفض نموذج صالح. تقليل احتمال حدوث الأخطاء من النوع الثاني مهم جدًا. احتمال اكتشاف نموذج غير صالح بشكل صحيح هو 1- β يعتمد احتمال خطأ من النوع الثاني على حجم العينة والفرق الفعلي بين قيمة العينة والقيمة المُلاحظ، فزيادة حجم العينة تقلل خطر حدوث خطأ من النوع الثاني.
المراجع
- Banks, Jerry; Carson, John S.; Nelson, Barry L.; Nicol, David M. Discrete-Event System Simulation Fifth Edition, Upper Saddle River, Pearson Education, Inc. 2010 (ردمك )
- Schlesinger, S.; et al. (1979). "Terminology for model credibility". Simulation. 32 (3): 103–104. doi:10.1177/003754977903200304.
- Sargent, Robert G. "VERIFICATION AND VALIDATION OF SIMULATION MODELS". Proceedings of the 2011 Winter Simulation Conference. نسخة محفوظة 21 يوليو 2018 على موقع واي باك مشين.
- Carson, John, "MODEL VERIFICATION AND VALIDATION". Proceedings of the 2002 Winter Simulation Conference. نسخة محفوظة 9 أغسطس 2017 على موقع واي باك مشين.
- NAYLOR, T. H., AND J. M. FINGER [1967], "Verification of Computer Simulation Models", Management Science, Vol. 2, pp. B92– B101., cited in Banks, Jerry; Carson, John S.; Nelson, Barry L.; Nicol, David M. Discrete-Event System Simulation Fifth Edition, Upper Saddle River, Pearson Education, Inc. 2010 p. 396. (ردمك )