۰۵ مهر ۲۰۲۱ تمنتو

فایل robots.txt یا فایل ربات یکی از مهم ترین فایل های موجود در زمینه سئو هستش که بوسیله اون ارتباط وب سایت با موتورهای جستجو ممکن می شه و ما بوسیله فایل robots.txt به خزنده (Crawler)های موتورهای جستجو می گیم…