نموذج الهيكلة والتجميع

نموذج الهيكلة والتجميع (بالانجليزية: نموذج الهيكلة والتجميع)هو عبارة عن نموذج برمجي، تم تطويره من قبل شركة جوجل لإجراء عمليات حسابية بشكل متزامن على كمية كبيرة جداً من البيانات (عدة بيتابايت^[1]), وتتم هذه العمليات على عدة حواسيب تسمى بالعناقيد الحاسوبية. كما يطلق اسم MapReduce على اسم المكتبة البرمجية لهذا النموذج وليس فقط على النموذج نفسه. باستخدام طريقة الهيكلة والتجميع سيتم معالجة البيانات على ثلاثة مراحل (التجزئة، الخلط, التجميع) وبالانجليزية على التوالي (Map, shuttle ,reduce), اثنتان منهم تتم من قِبَل المستخدم وهما التجزئة والتجميع. -- وبالتالي يمكن إجراء العمليات الحسابية على عدة حواسيب وفي الوقت نفسه، أي بشكل متواز. تكمن أهمية هذه التقنية في الدور الذي تلعبه في توزيع العمليات على عدة حساب وإجرائها بشكل متزامن، ومن ثم جمع النتائج في المرحلة الثانية(الخلط). بصورة أوضح يمكننا القول أننا نقسم المشكلة الكبيرة إلى عدة أجزاء ونحل كل جزء منها على حدا ومن ثم نجمع هذه الحلول مع بعضها لتشكل في النهاية الحل للمشكلة الكبيرة. فكرة هذا النموذج مستوحاة من الدوال Map و Reduce, اللذان يستخدمان بكثرة في البرمجة الوظيفية.^[2]

في عام 2010 تم منح براءة اختراع أمريكية على هذه التقنية.^[3]

طريقة العمل

الصورة (MapReduce) توضح كيفية حساب البيانات في تقنية الهيكلة والتجميع وهي كالتالي:

• في البداية لدينا البيانات (D,A,T,A) المُراد حسابها، ويتم توزيع هذه البيانات على مجموعة من عمليات الهيكلة Map, وكل عملية تقوم بوظيفة معينة يتم تحديدها من قِبَل المستخدم.
• يتم تنفيذ هذه العمليات بشكل متوازي.
• كل عملية من هذه العمليات تقوم بطرح مخرجاتها الأولية (هذه المخرجات ممثلة باللون الزهري), مع العلم أن العملية الواحدة يمكنها توزيع مخرجاتها على أكثر من مكان تخزين.
• هنا نأتي إلى مرحلة الخلط، حيث يتم خلط هذه البيانات مع بعضها البعض، وهنا أيضاً يتم تبادل البيانات بشكل كبير بين الأجهزة (الأماكن التي تتواجد فيها النتائج الأولية).
• عندما تنتهي مرحلة الخلط فإنه يمكننا القول أنها بداية مرحلة التجميع Reduce (باللون الأزرق).
• يتم هنا إجراء عملية تجميع واحدة لكل مكان تخزين(اللون الزهري) وتتم أيضاً هذه العمليات بشكل متواز، ومن ثم تطرح كل عملية من هذه العمليات مخرجاتها على حدا، وهي (X,Y,Z).

تعريف اقتران الهيكلة والتجميع

يقوم اقتران الهيكلة والتجميع بتحويل قائمة من المدخلات إلى قائمة من المخرجات، وكل قائمة-المدخلات والمخرجات- تتكون من قيم ومفتاح لكل قيمة، كما هو الحال في دوال التجزئة أو ال دالة تجزئة.

${\displaystyle {\begin{aligned}\mathrm {MapReduce} :(K\times V)^{*}&\to (L\times W)^{*}\\{\lbrack (k_{1},v_{1}),\ldots ,(k_{n},v_{n})\rbrack }&\mapsto \lbrack (l_{1},w_{1}),\ldots ,(l_{m},w_{m})\rbrack \end{aligned}}}$

شرح اقتران الهيكلة والتجميع

• المجموعات ${\displaystyle K}$ و ${\displaystyle L}$ تحوي على المفاتيح، بينما تحوي المجموعات ${\displaystyle V}$ و ${\displaystyle W}$ على القيم.
• كل المفاتيح ${\displaystyle k\in K}$ هي من نفس النوع، مثلاً: نص أو String.
• كل المفاتيح ${\displaystyle l\in L}$ هي من نفس النوع، مثلاً: عدد صحيح.
• كل القيم ${\displaystyle v\in V}$ هي من نفس النوع، مثلاً: عدد عشري.
• كل القيم ${\displaystyle w\in W}$ هي من نفس النوع، مثلاً: عدد حقيقي.
• إذا كانت ${\displaystyle A}$ و ${\displaystyle B}$ هي مجموعات، فإن ${\displaystyle A\times B}$ هي مجموعة كل الأزواج ${\displaystyle (a,b)}$ , بحيث أن ${\displaystyle a\in A}$ و ${\displaystyle b\in B}$ (الضرب الديكارتي).
• إذا كانت ${\displaystyle M}$ هي مجموعة، فإن ${\displaystyle M^{*}}$ هي مجموعة كل المجموعات التي يمكن تكوينها من عناصر ${\displaystyle M}$, أو ما تسمى بنجمة كلين.

تعريف اقتران الهيكلة Map واقتران التجميع Reduce

${\displaystyle {\begin{aligned}\mathrm {Map} :K\times V&\to (L\times W)^{*}\\(k,v)&\mapsto \lbrack (l_{1},x_{1}),\ldots ,(l_{r_{k}},x_{r_{k}})\rbrack \end{aligned}}}$

أو

${\displaystyle {\begin{aligned}\mathrm {Reduce} :L\times W^{*}&\to X^{*}\\\left(l,{\lbrack y_{1},\ldots ,y_{s_{l}}\rbrack }\right)&\mapsto \lbrack w_{1},\ldots ,w_{m_{l}}\rbrack \end{aligned}}}$

روابط خارجية

• MapReduce-MPI MapReduce-MPI Library

صحف

كتب

مقررات تعليمية

بيبلوغرافيا

المصادر

موسوعات ذات صلة :

• موسوعة علم الحاسوب
• موسوعة تقنية المعلومات
• موسوعة جوجل