همه چیز در مورد فایل robots.txt به زبان ساده

در بحث همه چیز در مورد فایل robots.txt به زبان ساده ابتدا به تعریف فایل robots.txt می پردازیم.

فایل roobots.txt چیست ؟

تعریف فایل robots.txt

فایل robots.txt یک فایل متنی با پسوند txt  است که خط مشی های مربوط به خزش روبوتهای گوگل را تعیین میکند .

برای مثال می توانید برای  ربات های گوگل تعیین گنید که کدام صفحات سایتتان را ایندکس کنند و در نتایج  نمایش دهند و کدام صفحات نیاز نیست  در نتایج  نمایش داده  و ایندکس شوند .

معمولا زمانیکه قصد محدود کردن روبات های گوگل را داشته باشیم  از  robots.txt استفاده میکنیم

فایل robots.txt در کجا قرار دهم؟

این فایل را  باید در public_html سایت قرار دهید .

لازم به ذکر است اگر از ساب دامین استفاده میکنید در صورت نیاز باید برای زیر دامنه نیز فایل robots.txt   جدا گانه ایجاد کنید

در بحث همه چیز در مورد فایل robots.txt به زبان ساده ابتدا به تعریف فایل robots.txt می پردازیم

در ادامه  بحث همه چیز در مورد فایل robots.txt به زبان باید آشنایی مختصری با رباتهای گوگل پیدا کنیم .

ربات گوگل یا  کِراولر یا  Crawler چیست ؟

کلمه Crawle به معنی خزیدن و کلمه Crawler به معنی خزنده  است.

ربات های گوگل در  سراسر وب میخزند  و وب سایت های جدید  را می یابند .

همچنین این رباتها  سایتهایی که قبلا  ایندکس کرده اند را به روز رسانی میکنند .

مهمترین ربات های گوگل:

•           Bot desktop : بات   ایندکس گر  صفحات برای کامپیوتر های دسکتاپ

•           Bot mobile   :   ایندکس کننده  صفحات برای موبایل

•           Media Bot  : ربات مدیا و چند  رسانه ای

•           Bot image  : رباتهای تصاویر و عکسها

•           Ads Bot  : بات تبلیغات 

مهمترین  دستورات فایل  robots.txt

دستور User-agent

 :User-agent تعیین میکند که مخاطب  دستورات کدام  روبوت گوگل است

• مثال 1 :

User-agent: *  

دستورات بعدی، برای همه ربات‌ها  عمل کند.

• مثال 2

User-agent: Googlebot

اجرای دستورات بعدی تنها برای ربات گوگل الزامی است.

دستور (Disallow)

دستور Disallow  تعیین میکند که صفحات یا بخشهای ذکر شده ایندکس نشوند .

• مثال :

دستور زیر به هیچ یک از ربات‌ها اجازه ورود به فولدر عکس ها را نمی‌دهد

User-agent:*

Disalow: /itvisit-picture

دستور Allow

دستور Allow عکس دستور Disallow عمل می کند.

 این دستور به ربات های موتور جستجوی گوگل اجازه ایندکس کردن را می دهد.

دستور Crawl-delay

 Crawl-delay  : به موتورهای جستجو دستور می دهد که صفحه را با تاخیر ایندکس کنند.

برای  مثال  دستور زیر باعث میشود صفحه بعد از تاخیر 20 ثانیه ای ایندکس شود .

 crawl-delay: 20 

دستور Sitemap

دستور Sitemap  (نقشه سایت) برای معرفی کردن نقشه سایت (Sitemap ) به  خزنده ها به کار می رود.

Sitemap:url