الغاء اضافه صفحة الى مواقع البحث او مجلد عن طريق ملف robot.txt
07/03/2016 452 Views

الغاء اضافه صفحة الى مواقع البحث او مجلد عن طريق ملف robot.txt

عناكب البحث تعمل بشكل تلقائي لارشفه الصفحات

اول شئ تشيك عليه لاي رابط جديد هو ملف robot.txt 

وشو هالملف ووش وظيفته ؟

 

هذا الملف تحطه بالمجلد الرئيسي لموقعك

مثلا SITE.com/robot.txt

يحتوي على بعض الاوامر لعناكب البحث مواقع البحث نتكلم عن Google , Bing ,Yahoo وغيرها الاقل شهره طبعا

تقدر ترفض اضافة مجلد او صفحة او رابط بموقعك بحيث مايطلع بنتائج البحث او ترفض لاحد محركات البحث وتسمح للثاني ( مثلا ترفض bing وتسمح ل Google بس ) !

طيب ناخذ مثال عشان توضح لنا اكثر

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /TEST/

 

User-agent = اللي هو العناكب لمحركات البحث .. لاحظ النجمه يعني للكل بدون استثناء

Disallow = لاتسمح بأرشفة هذا المجلد واللي تحته من ملفات بمحرك البحث

طبعا فيه بعض المجلدات والصفحات مالها سنع تتأرشف .. زي مثلا صفحة الدخول للمشرف Admin page .. بالووردبريس مثلا wp-admin وبعض المجلدات الثانيه . هذي المفروض ماتتأرشف لو فيها ثغرات ولاشي تبعد عن اللي يبحث عن صفحتك .

 

هذي صورة لاهمية الملف

لاحظ اليمين يوقف مايأرشف المجلدات الخاصة بينما اليسار يطلع كل شئ وهذي قد تكون مصيبه لبعض المواقع بالذات اذا كان حاط بعض الملفات خاصه للتحميل للاعضاء فقط مثلا .

 

robots_txt_explained

 

  • كيف تسوي الملف ؟ ابد من المفكرة واحفظه بصيغة txt
  • مهم جدا ان الاسم يكون نفسه robot.txt .. اذا كتبت Robot.txt يختلف تماما عنه وماراح يكون له أي اعتبار

تدوينات سابقة

سواليف المواقع

[ شرح ] تجديد بطاقة قنوات ابوظبي الرياضية عن طريق النت ب 439 ريال فقط

اول شئ فيه باقتين .. باقه عائلية ( خرابيط ماتنقل الا قناة واحده رياضية يمكن ومدري وش القنوات الباقية )  والباقة الذهبية ( اللي تنقل الدوري الانجليزي ) بالاضافة الى

سواليف المواقع

شرح كيف تتأكد من ملف اذا فيه فيروس او لا

طبعا مافي شئ مضمون لكن هذي الطريقة ممتازة وتمر على عدد من مضادات الفيروسات

سواليف المواقع

شرح بالصور – كيف تجبرمدونة بلوقر لفتح الرابط فقط على .com

اللي يستخدم مدونات blogger المجانية ( التابعه لقوقل ) اذا كان يتابع احصائيات الزوار سواء من مواقع اعلانات زي adsense يلاحظ ان الموقع يتحول الدومين الى امتداد الدول المختلفه مثلا

سواليف المواقع

شرح – تفعيل 50 قيقا مجانية من دروب بوكس لاصحاب جالكسي اس 3

Dropbox موقع الملفات الرائع معروف طبعا عند الاغلب من مميزاته برامجه بكل الاجهزة  ويندوز ماك وانظمة الجوال اندرويد وios من المميزات انك تقدر تشارك بمجلد انت واصدقائك .. – وهذي

سواليف المواقع

[ قوقل ] تطور الحاسبة بالبحث + طريقة تحويل العملات وحسابها

الطريقة القديمة كانت تكتب بحث كل مرة تبي تحسب شئ زي كذا 

WordPress - ورد بريس

[ wordpress ] طريقة اخفاء شريط ادارة الموقع

في ناس يزعجهم هالشريط اثناء تصفحهم للموقع يايكون يغطي جزء من الموقع او يحس انه ماله سنع وجوده ويبي يخفيه