الرئيسيةعريقبحث

نموذج الهيكلة والتجميع


☰ جدول المحتويات


نموذج الهيكلة والتجميع (بالانجليزية: نموذج الهيكلة والتجميع)هو عبارة عن نموذج برمجي، تم تطويره من قبل شركة جوجل لإجراء عمليات حسابية بشكل متزامن على كمية كبيرة جداً من البيانات (عدة بيتابايت[1]), وتتم هذه العمليات على عدة حواسيب تسمى بالعناقيد الحاسوبية. كما يطلق اسم MapReduce على اسم المكتبة البرمجية لهذا النموذج وليس فقط على النموذج نفسه. باستخدام طريقة الهيكلة والتجميع سيتم معالجة البيانات على ثلاثة مراحل (التجزئة، الخلط, التجميع) وبالانجليزية على التوالي (Map, shuttle ,reduce), اثنتان منهم تتم من قِبَل المستخدم وهما التجزئة والتجميع. -- وبالتالي يمكن إجراء العمليات الحسابية على عدة حواسيب وفي الوقت نفسه، أي بشكل متواز. تكمن أهمية هذه التقنية في الدور الذي تلعبه في توزيع العمليات على عدة حساب وإجرائها بشكل متزامن، ومن ثم جمع النتائج في المرحلة الثانية(الخلط). بصورة أوضح يمكننا القول أننا نقسم المشكلة الكبيرة إلى عدة أجزاء ونحل كل جزء منها على حدا ومن ثم نجمع هذه الحلول مع بعضها لتشكل في النهاية الحل للمشكلة الكبيرة. فكرة هذا النموذج مستوحاة من الدوال Map و Reduce, اللذان يستخدمان بكثرة في البرمجة الوظيفية.[2]

في عام 2010 تم منح براءة اختراع أمريكية على هذه التقنية.[3]

طريقة العمل

MapReduce
Zwischen Ergebnisse: نتائج غير نهائية

الصورة (MapReduce) توضح كيفية حساب البيانات في تقنية الهيكلة والتجميع وهي كالتالي:

  • في البداية لدينا البيانات (D,A,T,A) المُراد حسابها، ويتم توزيع هذه البيانات على مجموعة من عمليات الهيكلة Map, وكل عملية تقوم بوظيفة معينة يتم تحديدها من قِبَل المستخدم.
  • يتم تنفيذ هذه العمليات بشكل متوازي.
  • كل عملية من هذه العمليات تقوم بطرح مخرجاتها الأولية (هذه المخرجات ممثلة باللون الزهري), مع العلم أن العملية الواحدة يمكنها توزيع مخرجاتها على أكثر من مكان تخزين.
  • هنا نأتي إلى مرحلة الخلط، حيث يتم خلط هذه البيانات مع بعضها البعض، وهنا أيضاً يتم تبادل البيانات بشكل كبير بين الأجهزة (الأماكن التي تتواجد فيها النتائج الأولية).
  • عندما تنتهي مرحلة الخلط فإنه يمكننا القول أنها بداية مرحلة التجميع Reduce (باللون الأزرق).
  • يتم هنا إجراء عملية تجميع واحدة لكل مكان تخزين(اللون الزهري) وتتم أيضاً هذه العمليات بشكل متواز، ومن ثم تطرح كل عملية من هذه العمليات مخرجاتها على حدا، وهي (X,Y,Z).

تعريف اقتران الهيكلة والتجميع

يقوم اقتران الهيكلة والتجميع بتحويل قائمة من المدخلات إلى قائمة من المخرجات، وكل قائمة-المدخلات والمخرجات- تتكون من قيم ومفتاح لكل قيمة، كما هو الحال في دوال التجزئة أو ال دالة تجزئة.

شرح اقتران الهيكلة والتجميع

  • المجموعات و تحوي على المفاتيح، بينما تحوي المجموعات و على القيم.
  • كل المفاتيح هي من نفس النوع، مثلاً: نص أو String.
  • كل المفاتيح هي من نفس النوع، مثلاً: عدد صحيح.
  • كل القيم هي من نفس النوع، مثلاً: عدد عشري.
  • كل القيم هي من نفس النوع، مثلاً: عدد حقيقي.
  • إذا كانت و هي مجموعات، فإن هي مجموعة كل الأزواج , بحيث أن و (الضرب الديكارتي).
  • إذا كانت هي مجموعة، فإن هي مجموعة كل المجموعات التي يمكن تكوينها من عناصر , أو ما تسمى بنجمة كلين.

تعريف اقتران الهيكلة Map واقتران التجميع Reduce

أو

روابط خارجية

صحف
كتب
مقررات تعليمية
بيبلوغرافيا

المصادر

  1. Google spotlights data center inner workings | Tech news blog - CNET News.com - تصفح: نسخة محفوظة 19 أكتوبر 2013 على موقع واي باك مشين.
  2. "Our abstraction is inspired by the map and reduce primitives present in Lisp and many other functional languages." -"MapReduce: Simplified Data Processing on Large Clusters", von Jeffrey Dean und Sanjay Ghemawat, مختبرات جوجل - تصفح: نسخة محفوظة 11 ديسمبر 2017 على موقع واي باك مشين.
  3. USP 7,650,331 (United States Patent and Trademark Office) - تصفح: نسخة محفوظة 03 يوليو 2017 على موقع واي باك مشين.

موسوعات ذات صلة :