О запрете индексации
Наглядный пример того, что если вы хотите запретить страницу к индексации с помощью меты robots со значением noindex, то не следует это дублировать запретом на сканирование в файле robots.txt.Гуглоид Дэнни Салливан:"У страницы есть noindex, но мы этого не видим, потому что robots.txt блокирует нам ее чтение".С уважением, Сергей Людкевич
Наглядный пример того, что если вы хотите запретить страницу к индексации с помощью меты robots со значением noindex, то не следует это дублировать запретом на сканирование в файле robots.txt.
Гуглоид Дэнни Салливан:
"У страницы есть noindex, но мы этого не видим, потому что robots.txt блокирует нам ее чтение".
