۰۱
دسترسی
آیا موتورهای پاسخگو اصلاً میتوانند این صفحه را دریافت کنند؟
- رفتار robots.txt: پاسخ 5xx یا 429 برای خزندهها یعنی «همهچیز ممنوع»؛ پاسخی با بدنهٔ HTML یعنی یک برنامهٔ تکصفحهای بهجای این فایل جواب میدهد
- نتیجهٔ جداگانه برای ۱۴ خزنده و ۲ توکن کنترلی، خواندهشده با تجزیهگری مطابق RFC 9309 که شمارهٔ خطِ تعیینکنندهٔ هر نتیجه را نگه میدارد
- مسدودسازی ناخواسته: خزندههای آموزشی با نام مسدود شدهاند، در حالی که خزندههای پاسخگو مشمول گروه عمومی (*) میشوند که آنها را هم مسدود میکند
- دستورهای Content-Signal از Cloudflare، و نشانههای وجود یک سرویس لبهٔ شبکه یا بررسی ربات جلوی سایت
- دستورهای ایندکس در هدرها و متاتگها: noindex، nosnippet، max-snippet:0، data-nosnippet
- سلامت HTTP: کد وضعیت، زنجیرهٔ ریدایرکت، HTTPS، زمان رسیدن اولین بایت، حجم، نوع محتوا
