انشاء ملف Robots.txt

انشاء ملف Robots.txt

تناولنا في الدرس السابق أحد العناصر التقنية في تحسين محركات البحث وهو ملف خريطة الموقع SiteMap .سنقدم اليك الان عنصر آخر من العناصر التقنية التي ستفيدك لتصدر نتائج محركات البحث .

 إذا سألتك هل يوجد داخل موقعك صفحات كثيرة منها الصفحات الضرورية للغاية التى تريد ان تصل الى اكبر قدر ممكن من المستخدمين، وصفحات أخرى سرية والتي لا تحبذ ان يصل اليها محرك البحث ولتكن صفحة المدير مثلا . حتما ستكون إجابتك نعم . وبالفعل يوجد ملف يسمي "Robots.txt" وهو من أحد الملفات المهمة التى يجب ان تكون على موقعك لتفيدك في تنفيذ تلك المهمة .دعنا نغطي لك تلك النقاط المهمة لكى تفهم جيدا ما هو "Robots.txt" .

  1. ما هو ملف "Robots.txt" وما فائدته؟
  2. كيف يتم انشاء ملف "Robots.txt" ومثال عليه ؟

1- ما هو ملف "Robots.txt" وما فائدته ؟

يسمى (Robots Exclusion protocol) ويعني معيار استبعاد الروبوتات . بمعنى أوضح هو ملف تعليمات لتوجيه عناكب محركات البحث إلى الصفحات المهمة مثل صفحات المقالات الضرورية وارشفتها، ومنعه من الوصول إلى صفحات معينة وارشفتها كصفحة المدير .

ملف Robots.txt من الملفات المهمة والتي لا غنى عنها داخل موقعك،ملف Robots.txt يجعلك تنظم سلوك عناكب محركات البحث داخل موقعك وهو الشئ الذي يجعلك تخوض شوطا كبير في تهيئه موقعك لمحركات البحث. 

ونظرا لأهمية ملف Robots.txt فيجب على مديرى المواقع انشاء ملف Robots.txt بطريقة صحيحة . دعنا نناقش ذلك .

2- كيف يتم انشاء ملف "Robots.txt" ومثال عليه ؟

إنشاء ملف "Robots.txt" أمر غاية في السهولة ، عليك تتبع الخطوات التالية : 

  1. قم بإنشاء ملف نصي "Text Document" بأسم robots .
  2. افتح الملف وعين النص "ANSI" .
  3. انقر على حفظ .

وبهذا قد انتهينا من انشاء الملف والان يجب ان نضيف بعض الاوامر داخله دعنا نعرض لك اولا 3 أوامر أساسية لا غنى عنها في الملف .

  1.  user agent : يوجه الامر لجميع محركات البحث لتطبيق الاوامر .
  2.  Disallow : هو امر حظر محركات البحث للوصول الى صفحة معينة .
  3.  allow : السماح لمحركات البحث للوصول إلى صفحات الموقع .

سنعرض لك مثال للتوضيح اكثر .

blog مثلا اسم صفحة داخل موقعك تريد لمحركات البحث الوصول إليها وارشفة محتواها 

السماح لمحرك البحث للوصول الي صفحة الموقع

وعلى النقيض إذا كنت لا تريد أن يصل محرك البحث إلى صفحة داخل موقعك ولا تود ارشفتها 


dissallow

 

تناولنا في هذا الدرس ما هو ملف Robots.txt وكيفية انشائه وسنكمل حديثنا في دورة تحسين محركات البحث عن البيانات المهيكلة الخاصة بجوجل .