

Сегодня мы хотим поговорить о такой интересной теме как удаление страниц из индекса поисковой системы.
Может быть мы совсем не часто сталкиваемся с этой ситуацией, но иногда можно либо по ошибке загрузить не ту информацию, продублировать уже имеющуюся или вообще информация потеряла свою актуальность. В этих случаях нам нужно удалить ее.
Для начала, давайте убедимся, что страница индексируется. Для этого переходим в Search Console, в строку поиска вводим интересующий нас URL. При индексации сайта вам выдаст объявление, что URL есть в индексе Google.
И теперь давайте рассмотрим самые удобные варианты и методы удаления:
1 метод
Настраиваем HTTP-коды ответа сервера — 404, 401, 403 и 410
При удалении самого контента страница будет удалена из поисковых систем. Это может занять какое-то время, так как кэширование никто не отменял.
2 метод
Запрет в файле Robots.txt
Прописываем команду Disallow, которая запрещает сканирование страницы, которая вам больше не нужна. Стоит заметить, что существует большая вероятность, что Google воспримет это как рекомендацию.
3 метод
Заголовки X-Robots-Tag
Для запрета доступа потребуется настройка HTTP-заголовка X-Robots-Tag для конкретного URL на сервере сайта.
4 метод
Ручное удаление страниц.
Для этого нам понадобится воспользоваться Google Search Console. Эти инструменты помогут в удалении страниц. Чаще всего их используют для экстренного удаления, например — при утечке важной информации.
В этой статье мы разобрали как убрать страницы из индекса.