Январь
26

Полный игнор robot.txt

08.12.2010 15:31 Holly
Полный игнор robot.txt
В robots.txt прописан запрет индексации категорий + в плагине All in One SEO pack так же стоит запрет индексации категорий, в панели вебмастера никаких ошибок нет, но гуглу видимо пофигу все эти запреты и он всё-равно индексирует ненужные страницы. Сталкивались с этим? Есть решения?


08.12.2010 18:00 Eddie

Сталкивались. Ботам давно начхать на robots.txt.
Если тебе действительно не надо, чтобы боты туда ходили, поставь пароль на вход – делается легко через .htaccess.
You may all go to hell and I will go to Texas (C) Davy Crockett Мой блог


0