جوجل بوت أو غوغل بوت (زواحف جوجل أو عناكب جوجل) (Googlebot) هو بوت وظيفته التغلغل داخل مواقع الويب وفهرسة الكلمات الموجودة فيها، بحيث يظهر الموقع في نتائج محرك البحث جوجل إذا توفرت فيه الكلمة المبحوث عنها.[1][2][3]
أغلب مواقع محركات البحث تقوم بواسطة برنامج يسمى عنكبوت ويب «web spider» بتجميع قوائم بالكلمات الموجودة على الشبكة وتسمى هذه العملية زحف ويب «web crawling»، وبذلك فعندما تبحث عن كلمة معينة فأنها تبحث عنها في تلك القوائم المعدة من قبل العنكبوت.
لو أراد مشرف محرك بحث «webmaster» تقيد بعض المعلومات على المواقع التي يشرف عليها بمنع زواحف محركات البحث أو العناكب مثل غوغل بوت فإنه يقوم بذلك عن طريق التوجيهات المناسبة من خلال ملف «robot.txt» وهو معيار استبعاد الروبوتات،[4] أو عن طريق إضافة عنصر بيانات وصفية «Meta Tag» التالي لصفحة الويب المطلوبة :[4]
<meta name="Googlebot" content="nofollow" />
طريقة عمل هذا العنكبوت
- تقوم أولاً هذه العناكب بزيارة الخوادم التي تتمتع بعدد كبير من الزيارات (عليها ضغط) والمواقع المشهورة.
- ثم يقوم بتفصيل الكلمات في هذا الموقع والمواقع الأخرى وبزيارة جميع الوصلات في معظم المواقع، وبذلك يكون العنكبوت قد زار معظم المواقع وجميع الوصلات الموجودة بها وقام بتصنيف شامل لجميع الكلمات الموجودة بها وهذه الطريقة متبعه من قبل موقع جوجل الشهير وبحسبة بسيطه إذا علمنا ان كل عنكبوت يستطيع تصفح 25 صفحة بالثانية بذلك إذا قمنا بتشغيل 4 عناكب فاننا نحصل على 100 صفحة بالثانية والتي ينتج عنها حوالي 600 كيلو بايت في الثانية.
وبذلك يمكننا ان نتصور الكم الهائل من المعلومات يتم تجميعه في الثانية الواحدة بالنسبة لموقع مثل جوجل.
مراجع
- "Googlebot's Javascript Interpreter: A Diagnostic". مؤرشف من الأصل في 18 مايو 2017.
- "How Googlebot crawls JavaScript". مؤرشف من الأصل في 15 يونيو 2018.
- WebCite query result - تصفح: نسخة محفوظة 12 نوفمبر 2017 على موقع واي باك مشين.
- "Webmaster Tools". مؤرشف من الأصل في 9 مارس 2009.