Как удалить страницу из результатов поиска
Как удалить страницу из результатов поиска и из кеша. Такая сегодня тема, возможно несколько странная, так как чаще всего мы озабочены тем, как бы сделать так, чтобы страницы наши попали в поиск, были проиндексированы, не так ли?
Конечно, большую часть времени мы, блоггеры, только тем и заняты, что обновляем блог в надежде получить поисковый трафик. И все же, как удалить страницу из поиска, если это нужно будет сделать?
Давайте сначала рассмотрим, когда нам понадобится такое удаление:
- Когда вы не хотите, чтобы какая-то страница была в поиске, а она уже там есть.
- Когда по каким-то причинам адрес ссылок поменялся, а в поиске остались прежние.
- Когда в поиск попали страницы-зеркала.
- Когда ваш сайт был взломан, и были сгенерированы вообще левые страницы, не имеющие никакого отношения к вашей теме.
Может быть, еще есть какие-то варианты, не будем фантазировать, скажу, что я когда-то пользовался такой функцией «удаление страниц из поиска», когда на одном из своих сайтов менял обыкновенные урлы на ЧПУ.
Ждать пока поисковик выкинет из кеша старые страницы, было утомительно долго, и я опасался, как бы он не пришил мне статью: «дублированный контент», поэтому и решил поудалять старые страницы из поиска.
Где и как это делается? Поскольку основных поисковиков 2 – это Яндекс (Один рабочий день из жизни Яндекса) и Google (Практика Google Analytics и ваш блог), значит и там, и сям.
Для удаления из поисковой выдачи google, идем в панель вебмастера Google, находим вкладку «оптимизация» – удалить url.
Жмем создать новый запрос на удаление.
Перед этим читаем правила для удаления.
Если страницы уже не существует, то запрос на удаление будет принят. Если она есть, но её нужно все таки удалить из поиска, значит ей нужно прописать директиву в файле robots.txt
User-Agent: *
Disallow: /ваша страница.html
А дальше все по умолчанию. Вбиваете адрес страницы и жмете продолжить.
Хочешь найти работу в Интернете? Узнай о самых надёжных способах! 24 востребованных Интернет-профессий ждут тебя
Точно также, по такому же принципу все работает и в Яндексе. Также заходите в панель вебмастера Яндекс – Все сервисы – Вебмастеру.
И здесь же уже можно найти ссылку «Удалить url», и попадаете на соответствующую страницу, где можете добавить удаляемую страницу.
Чем выгоден именно такой способ удаления, ведь можно было бы просто запретить роботу индексировать страницу и, казалось бы, этого достаточно?
Во-первых, нужно ждать переиндексации, а это время. Во-вторых, если на эту страницу уже кто-то ссылался в Интернете, запрет в файле robots.txt не поможет. Поэтому проще и надежнее – это через панель вебмастера и форму для удаления урлов – насильно и наверняка убрать её из поиска.
Возможно, это для вас сейчас неактуально, эта фича сейчас не нужна, но заглянуть в панель вебмастера Яндекса и Google, чтобы посмотреть, как робот видит и сканирует ваш сайт, есть ли какие ошибки — это лишним не будет. Воспользуйтесь моментом.
В общем, так это все делается. Саму суть рассказал. Подписывайтесь на обновления
Если хотите избавиться от дублей страниц — об этом курс Александра Борисова «Как стать блоггером тысячником 3.0». Рекомендую (кликайте по баннеру, заказывайте, в курсе описана целая методика избавления от дублей, соплей, ссылок исходящих и т.п.)
Автор: Игорь
Чистый звук в мире инфобизнеса
всё отлично, но вот у меня куча страниц старого сайта, которые теперь в интернете недоступны, но Яндекс их считает проиндексированными и исключёнными по 404-й ошибке. И куда их теперь, так бросить или что-то специальное сделать? Не мешают, просто на нервы действуют и не нужны 🙂
Если есть в индексе и дают ошибку 404, то нужно удалить.
А если есть ссылки с внешних ресурсов? Да и думаю всё это имеет чисто рекомендательный характер. Не любят поисковики расставаться даже с хламом. Из выдачи скроют, а вот удалить из БД... 😮
Расстанутся, если сделать это через панель вебмастера. )) Проверено. Для того и есть там такая функция, чтобы мы сами свой мусор разгребали.
Никогда не делала таких телодвижений. Пару страниц просто удаляла из блога,надеясь, что в поиске они пропадут сами. Спасибо вам, Игорь,за подсказки. Авось придется...
Сами не пропадут. Будут вести на страницу с ошибкой 404.
А с ошибкой 404 гугл писал, что со временем сам их удалит... 😉
Не было пока потребности удалять страницы из поиска. А вот скрыть страницу на сайте так, что она не выводилась ни на главной, ни в рубриках, ни в архивах (нигде), но при этом пользователи могли находить ее через поисковики, такая надобность недавно возникла. Решил проблему с помощью плагина.
Скрыть такую страницу можно, есть такой плагин, да. Только и проиндексировать её нужно, а то если она, как бы, не связана с главной, то к ней и робот не доберется.
А все новые статьи добавляю (ускоряю) через add url Гугла и Яндекса.
Да и на странице «карта сайта» скрытая страница то выводится. Так что робот доберется.
Тогда, да, согласен. Доберется. А если страница html — вне движка и никак не связана — нет.
А я вот отвечая на коммент Владислава задумался на счет хвостов или как их ещё называют «сопли» в поисковой выдаче. В принципе, они ведь вообще там не нужны. Если страница закрыта файлом robots.txt, я не хочу чтобы она индексировалась, а робот почему то её все равно индексирует, но у неё нет описания, спрашивается — зачем она, тем более если она по сути своей — дублированный контент.
Если у вас страницы с хвостами типа /?feed=rss отсутствуют в разделе «Страницы в поиске» (Вебмастер Яндекса), то переживать нет о чем. Значит все правильно. Но при этом они должны быть (их можно найти) в «Документ запрещен в файле robots.txt».
У меня все страницы с /?replytocom, /feed и /?p=1111 можно найти в разделе «Исключенные страницы» --> «Документ запрещен в файле robots.txt».
Подобных вашим хвостам у меня нет. Но принцип тот же.
Так и есть в «Документ запрещен в файле robots.txt»
Данная тема актуальна для дублированных страниц из-за древовидных комментариев. У Вас я не заметил, что имеются ссылки содержащие в адресе страницы replytocom, но у всех остальных данная проблема очень распространена. Кстати у Вас присутствую ссылки, типа: blogopraktika.ru/?feed=rss2&p=5252, их тоже можно запретить?
Запрещены
Disallow:/?feed=rss
Disallow:/?feed=rss2
В поиск не должны попадать, а как хвосты — да.
А почему хвосты остаются? И как Вы справились с ссылками содержащими replytocom, возникающих из-за древовидных комментариев?
Хвосты остаются у всех, что касается страниц, запрещенных в robots.txt. Я не исключение. А с ссылками содержащими replytocom я не справлялся никак, просто запретил
Disallow: /comments
Disallow: */comments
Но опять же, непонятно, в Яндексе — комментарии вылазят при поиске страниц, в её описаниях. ))
Этот способ уже давно известен. И он хорошо подходит, если нужно удалить до нескольких ссылок. А если их сотни? Как поступать? Очень нужно узнать. А то в Google набралось много дублированных страниц, никак не могу избавиться...
Так и поступать, я другого способа не знаю. Хотя впрочем, в этом курсе уже дан ответ
Добрый день! У меня противоположная ситуация. После переустановки и изменений в меню получилось много дублей.Практически сменил все урлы на новые. Поудалял вышеуказанным способом старые, а новые теперь не индексируются. В индексе осталось несколько страниц, которые не затронуты изменениями.Что можете подсказать?
Чтобы я делал: по-новому дал указания для индексации, переписал бы robots, если урлы поменялись, создал бы карту, несколько внешних ссылок дал бы с других блогов, можно и с бесплатных, чтобы «натравить» поисковики и ждал бы апдейта. Проверил бы в панели вебмастера, как видит робот мой сайт. Тут ничего изобретать не нужно, если сайт не под фильтром, все обновится.
СТОП! Ни в коем случае НЕЛЬЗЯ удалять url адреса в google. Тогда весь сайт вылетит из поиска или же какая-то часть страниц.
В рекомендациях гугл четко это прописано. Не надо хоронить свой блог!
Значит я несколько раз «согрешил», удалив урлы дающие код ответа 503
Игорь Здравствуйте! В общем не так давно удалил информацию с сайта, и копия сайта обновилась но при вводе в поисковике эту же информацию находит и выдает ссылку на этот сайт, хотя на сайте это информации нет. Почему так? Посоветуйте в чем део?
В кеше поисковика может оставаться копия страницы ещё некоторые время, пока кеш поисковика не обновится. Если сайт выдает ошибку 404 — несуществующая страница, то со временем такая страница выпадет из поиска сама собою. Но иногда, можно поисковику в этом помочь. Об этом в статье.