Доступны ли к индексации страницы, если лягушка показывает, что они закрыты x-robots-tag?
Лягушка не сканирует метатеги и показывает, что страницы закрыты x-robots-tag, но в индексе, если проверять страницы через site: поисковики выдают эти страницы — почему так? Ответ Сам факт того, что страницы видны через site: оператор не означает, что страницы доступны к индексации и на них нет тега. Это лишь индикатор того, что страницы физически находятся […]
Лягушка не сканирует метатеги и показывает, что страницы закрыты x-robots-tag, но в индексе, если проверять страницы через site: поисковики выдают эти страницы — почему так? Ответ Сам факт того, что страницы видны через site: оператор не означает, что страницы доступны к индексации и на них нет тега. Это лишь индикатор того, что страницы физически находятся […]
