الغاء اضافه صفحة الى مواقع البحث او مجلد عن طريق ملف robot.txt
07/03/2016 505 Views

الغاء اضافه صفحة الى مواقع البحث او مجلد عن طريق ملف robot.txt

عناكب البحث تعمل بشكل تلقائي لارشفه الصفحات

اول شئ تشيك عليه لاي رابط جديد هو ملف robot.txt 

وشو هالملف ووش وظيفته ؟

 

هذا الملف تحطه بالمجلد الرئيسي لموقعك

مثلا SITE.com/robot.txt

يحتوي على بعض الاوامر لعناكب البحث مواقع البحث نتكلم عن Google , Bing ,Yahoo وغيرها الاقل شهره طبعا

تقدر ترفض اضافة مجلد او صفحة او رابط بموقعك بحيث مايطلع بنتائج البحث او ترفض لاحد محركات البحث وتسمح للثاني ( مثلا ترفض bing وتسمح ل Google بس ) !

طيب ناخذ مثال عشان توضح لنا اكثر

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /TEST/

 

User-agent = اللي هو العناكب لمحركات البحث .. لاحظ النجمه يعني للكل بدون استثناء

Disallow = لاتسمح بأرشفة هذا المجلد واللي تحته من ملفات بمحرك البحث

طبعا فيه بعض المجلدات والصفحات مالها سنع تتأرشف .. زي مثلا صفحة الدخول للمشرف Admin page .. بالووردبريس مثلا wp-admin وبعض المجلدات الثانيه . هذي المفروض ماتتأرشف لو فيها ثغرات ولاشي تبعد عن اللي يبحث عن صفحتك .

 

هذي صورة لاهمية الملف

لاحظ اليمين يوقف مايأرشف المجلدات الخاصة بينما اليسار يطلع كل شئ وهذي قد تكون مصيبه لبعض المواقع بالذات اذا كان حاط بعض الملفات خاصه للتحميل للاعضاء فقط مثلا .

 

robots_txt_explained

 

  • كيف تسوي الملف ؟ ابد من المفكرة واحفظه بصيغة txt
  • مهم جدا ان الاسم يكون نفسه robot.txt .. اذا كتبت Robot.txt يختلف تماما عنه وماراح يكون له أي اعتبار

تدوينات سابقة

سواليف المواقع

تويتر و فاين يغيرون علامة المفضلة الى LIKE

اليوم الكثير استغرب علامة القلب بدال المفضلة بتويتر

سواليف تقنيّة

شرح اعادة ارسال اشارة قنوات bein في حال واجهتك مشكلة التقطيع

في حال واجهت مشكلة وبدا تتأخر القنوات ماتفتح

سواليف المواقع

شرح كيف تتأكد من ملف اذا فيه فيروس او لا

طبعا مافي شئ مضمون لكن هذي الطريقة ممتازة وتمر على عدد من مضادات الفيروسات

سواليف تقنيّة

[ شرح بالصور ] تحويل تورنت الى رابط مباشر وتحميل باقصى سرعه عن طريق Real-Debrid

موقع Real-deprid اللي سبق كتبت عنه قبل اكثر من سنه تقريبا هنا  فيه ميزة جديده رهيبه   

سواليف التسوق من النت

موقع isitgoodprice.com لمقارنة الاسعار بين Amazon و eBay

بما اننا في فترة التخفيضات والبلاك فرايدي اللي بعد يومين والعروض اللي تنزل في هالفترة هالموقع مهم للتحقق من بعض عروض المنتجات قد تجدها بامازون مغرية ولكن موجوده باقل في

سواليف المواقع

خطوة بخطوة كيف تحجز استضافه موقع بدولار واحد وتاخذ 150 دولار هديه ! ( العرض لفترة محدودة )

  اذا عندك موقع او تفكر تسوي موقع او مدونة .. العرض ذا لاتفوته اضغط هنا شف موقع الاستضافه FatCow العرض الى 30 نوفمبر  اليوم 18 نوفمبر .. وعليكم الحساب