كيفية إنشاء ملف Robots.txt مخصص بالتفصيل لتصدر نتائج البحث

ماهو ملف Robots.txt ؟

ملف Robots Txt هو ملف يتم إنشائة علي المجلد الرئيسي لموقعك والملف بدوره يقوم بإعطاء تعليمات وتوجيهات وأوامر لعناب البحث لتنظيم أرشفة الصفحات المهمة عبر موقعك أو الصفحات التي سيتم أرشفتها ويسمي بـRobots Exclusion Protocol.

وملف جوجل روبورت يكون عام ويمكن لأي شخص مشاهدته ويكون علي المسار التالي “www.yourdoman.com/robots.txt”.

ويمكنك مشاهدة ملف robots.txt للموقع على الرابط https://mobilystore.net/robots.txt.

كيفية إنشاء ملف Robots txt

يمكنك إنشاء ملف روبورت وستقوم بتعيين جميع الصفحات التي لاتريد أرشفتها وتضع قبلها Disallow، حيث تختلف روابط الادارة في حال كنت تستخدم بلوغر أو منتدى.

حيث وضيفة العناكب الأن تدخل إلى موقعك بشكل سليم ولكن لا تقوم بأرشفة الصفحات التي قمت بمنعها لنفهم أن ملف robots.txt وظيفته الأولى هي منع العناكب من الدخول للصفحات الحساسة.

• تقوم بإنشاء ملف نصي بصيغة txt على المجلد الرئيسي لموقعك بإسم robots ليكون اسم الملف الكامل هو robots.txt.
• نقوم بمليء الملف بالأوامر التي نريد اعطائها لمحركات البحث.

[irp]

كتابة أوامر ملف جوجل روبوت

بعد إنشاء ملف روبوت يمكنك حظر محركات البحث من الدخول إلي الصحفة وأرشفه محتوياتها وكذلك إعطاء تعليمات بالدخول وذلك عبر الملف.

User-agent: Googlebot

Disallow: /blog

السطر الأول نخبر محرك البحث جوجل بعدم ارشفة الصفحة blog او محتوياتها الفرعية من خلال تعليمة Disallow

يمكنك أيضاً إستخدام علامة النجمة (*) للدلالة عن “الكل” فمثلاً تريد ان يتم تطبيق هذه التعليمات على جميع محركات البحث سوف تستخدم هذه العلامة بدل كلمة Googlebotليصبح كالتالي:

User-agent: *

Disallow: /blog

[irp]

تحميل ملف robots.txt جاهز

يمكنك تحميل ملف روبوت جاهز لموقعك وماعليك سوي تعديل أسم موقعك وتحميله للموقع فورا.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Disallow: /wp-includes/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /privacy-policy

Sitemap: https://www.yourdomain.com/sitemap_index.xml

طريقة تقديم ملفات Sitemap

يمكنك أيضا معرفة طريقة تقديم ملفات خرائط الموقع لتضمن أرشفة محتوي موقعك وذلك كالأتي:

• قم بالدخول الي موقع Google search console.
• من الشريط الجانبي اختر ملفات sitemap.
• إدخل هذه الملفات كل ملف منفصل بنفس الترتيب مع تغيير www.example.com اللي رابط موقعك او مدونتك.

[irp]