Robots exclusion standard مخفف و خلاصه شده Robots.txt گفته می شود فایلی است دستوری برای برقراری ارتباط با خزنده وب.

محتوا پنهان
تعریف Robots.txt در سئو چیست [آپدیت شده در 2022]
نقش Robots.txt در سئو
نمونه فایل Robots.txt و تاثیر آن بر سئو کردن سایت
استفاده از پرونده Robots.txt در سئو

تعریف Robots.txt در سئو چیست [آپدیت شده در 2022]

فایل ربات نحوه اطلاع رسانی به ربات وب را در مورد اینکه کدام یک از صفحات وب سایت نباید پردازش یا اسکن شوند مشخص می کند. ربات ها اغلب توسط موتورهای جستجو برای دسته بندی وب سایت ها استفاده می شوند.

همه ربات‌ها با استاندارد شاخص کار نمی کنند. برداشت کنندگان ایمیل Spambots، بدافزار و ربات هایی که آسیب پذیری های امنیتی را جستجو می کنند ممکن است حتی به بخشهایی از وب سایت که به آنها گفته شده است که در آنجا نباشید سرک بکشند.

نقش Robots.txt در سئو

هنگامی که مالک سایت می خواهد به ربات های وب دستور العمل بدهد یک فایل متنی به نام robots.txt را در ریشه وب سایت خود آپلود کند به عنوان مثال https://seofox.ir/robots.txt این فایل متنی شامل دستور العمل هایی در یک قالب خاص است. ربات هایی که دستورالعمل ها را دنبال می کنند سعی می کنند آنها ها را بخوانند. اگر پرونده Robots.txt وجود نداشته باشد روبات های وب تصور می کنند که مالک وب سایت نمی خواهد محدودیتی در خزیدن سایت ایجاد کند.

نمونه فایل Robots.txt و تاثیر آن بر سئو کردن سایت

مثال زیر به گوگل بات می گوید که آنها می توانند از همه پرونده ها بازدید کنند زیرا wildcard* مخفف همه ربات ها است و دستورالعمل Disallow هیچ ارزشی ندارد، به این معنی که هیچ صفحه ای مجاز نیست.

User-agent: *
Allow: /

همین نتیجه را می توان با یک پرونده خالی یا گمشده robots.txt گرفت. مثال زیر به همه روبات ها می گوید که هیچ کدام از صفحات وب سایت را اسکن نکند:

User-agent: *
Disallow: /

این مثال به همه ربات ها می گوید که نباید وارد سه دایرکتوری منشن شده شوند:

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/

این مثال به همه روبات ها می گوید که از یک پرونده خاص دور باشند:

User-agent: *
Disallow: /directory/file.html

این مثال به یک ربات خاص دستور می دهد:

User-agent: BadBot # replace 'BadBot' with the actual user-agent of the bot
Disallow: /

این مثال به دو روبات خاص می گوید که نباید وارد یک فهرست خاص شوند:

User-agent: BadBot # replace 'BadBot' with the actual user-agent of the bot
User-agent: Googlebot
Disallow: /private/

استفاده از پرونده Robots.txt در سئو

زمان خزیدن توسط برخی از خزنده‌ها پشتیبانی می شود تا بازدید از میزبان را کنترل کند. از آنجا که این مقدار بخشی از استاندارد نیست تفسیر آن به خواندن خزنده بستگی دارد. این مورد زمانی به کار می رود که بازدید مکرر ربات از سایت سرعت را کاهش دهد. Yandex این مقدار را به تعداد ثانیه های انتظار بین بازدیدهای بعدی تفسیر می کند. Bing تاخیر خزش را به اندازه یک پنجره زمانی (از 1 تا 30 ثانیه) تعریف می کند که BingBot فقط یک بار به یک وب سایت دسترسی پیدا می کند. Google برای کنترل بازدیدهای بعدی GoogleBot رابطی در کنسول جستجوی خود برای مدیران وب فراهم کرده است.

User-agent: bingbot
Allow : /
Crawl-delay: 10