Как удалить страницу из поиска Яндекса или Google

Рано или поздно многие вебмастера сталкиваются с необходимостью удалить страницы сайта из поисковой системы, которые ошибочно туда попали, являются повторами, потеряли актуальность или содержат конфиденциальную информацию.

В этой статье мы рассмотрим, как удалить из Google или Яндекс ненужные страницы. Естественно, если они принадлежат вашему сайту.

способы удаления страниц из поисковой выдачи

404 ошибка

Самый простой способ убрать страницу из поисковой выдачи — это её удаление с сайта, при условии, что обращаясь к этой странице сервер будет выдавать ошибку 404, которая означает, что такой страницы не существует.

HTTP/1.1 404 Not Found

В этом случае необходимо подождать, пока робот зайдёт на страницу и не увидит, что такой страницы не существует. Это может занимать много времени, все зависит от того, как страница попала в индекс.

В случае, если страница не должна быть проиндексирована, но должна существовать на сайте, то этот способ нам не подходит, следует воспользоваться другими, которые представлены ниже.

Файл robots.txt

Один из популярных методов закрытия от индексации целых разделов или отдельных файлов — это использование файла robots.txt, который расположен в корне сайта. Здесь будут приведены несколько примеров, более подробно можете ознакомиться с составлением этого файла тут.

Закрыть раздел админки:

User-Agent: *
Disallow: /admin/

Закрыть определенную страницу:

User-Agent: *
Disallow: /search.php?q=* # закрывает страницы поиска
Disallow: /page.html # закрывает страницу page.html

В случае с robots.txt также нужно ждать переиндексации, пока робот удалит из индекса целый раздел или страницу. При всем этом, некоторые страницы возможно останутся в индексе, если причина их попадания туда  — внешние ссылки.

Этот способ неудобно использовать, если необходимо удалить разные страницы из разных разделов, при условии, что для директивы Disallow в robots.txt невозможно составить общий шаблон.

Мета-тег robots

В этот способе правило задаётся прямо в HTML-коде страницы метатегами.

<meta name="robots" content="noindex,nofollow" />

Мета-тег удобен тем, что его можно добавлять на все нужные страницы, которые не должны быть проиндексированы, при этом файл robots.txt  будет оставаться простым и понятным. Недостаток этого метода заключается лишь в том, что без специальных навыков метатег будет проблематично интегрировать для динамического сайта, который использует один шаблон заголовка header.

Заголовки X-Robots-Tag

Этот способ поддерживает Google и прочие зарубежные поисковые системы. Яндека пока не поддерживает этот http-заголовок.

Использование этого заголовка очень похоже на мета-тег robots. Главное отличие в том, что запись будет находиться в http-заголовках. Стоит отметить, что http-заголовки не отображаются в коде страницы.

X-Robots-Tag: nofollow, noindex

Применение этого способа, в некоторых случаях очень удобно (например, при скрытии страницы линкопомойки и обмене ссылками).

Ручное удаление из панели для вебмастеров

Самый быстрый способ — ручное удаление страниц из индекса.

Google: 
Яндекс: 

Чтобы удалить страницу вручную, для начала необходимо закрыть их от робота любым из описанных выше методов. Стоит заметить, что из поиска Google страница исчезнет через нескольких часов, а из поиска Яндекса лишь во время следующего апдейта. Этот метод удобно использовать, когда есть небольшое количество страниц, которые нужно удалить из поиска.

Wikipedia: nofollow is a value that can be assigned to the rel attribute of an HTML a element to instruct some search engines that a hyperlink should not influence the link target’s ranking in the search engine’s index.

Рекомендую также:

1. Как проверить скорость загрузки сайта?
2. Как восстановить Rambler почту?
3. Юзабилити, понятие и основные элементы
4. Создание сайта, основные стадии
5. Советы начинающим блоггерам