مهمترین  دستورات فایل  robots.txt

در بحث همه چیز در مورد فایل robots.txt به زبان ساده ابتدا به تعریف فایل robots.txt می پردازیم. فایل roobots.txt چیست ؟ تعریف فایل robots.txt فایل robots.txt یک فایل متنی با پسوند txt  است که خط مشی های مربوط به خزش روبوتهای گوگل را تعیین میکند . برای مثال می توانید برای  ربات های گوگل…