2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




 
 "Протухают" ли сайты в поисковых системах?
Сообщение15.03.2021, 17:56 
Аватара пользователя
У меня давно было смутное чувство, что поисковые системы индексируют только "свежие" страницы, а давно не обновлявшиеся — тупо удаляют из своего индекса. Благодаря чему по ключевым словам невозможно найти ничего, что было опубликовано 5-10 лет назад, и Интернет начинает смахивать на бабочку-однодневку.
Сегодня это смутное чувство преобразовалось в уверенность.

Вот смотрите (пожалуйста, не сочтите за рекламу нижеуказанных ресурсов, это только примеры):

Запрос номер один:
демократия site:ss69100.livejournal.com
Гугл: Результатов: примерно 1 100, первое место в выдаче — статья от 23 августа 2020 г.
Яндекс: Нашлось 3 тыс. результатов, первое место в выдаче — статья от 7 июня 2017 г.

Запрос номер два:
демократия site:alexandrov-g.livejournal.com
Гугл: По запросу демократия site:alexandrov-g.livejournal.com ничего не найдено
Яндекс: По вашему запросу ничего не нашлось

Однако если открыть последний сайт (https://alexandrov-g.livejournal.com), легко убедиться, что на первой же странице есть сразу несколько статей 2015 г. с текстом "Демократия" в заголовках. Они не находятся обеими поисковыми системами! Предположительно, из-за своей древности (ещё бы, целых пять лет прошло!).
Но, может быть, это я что-то делаю не так? Может быть, у меня "глаз замылился" и я какой-то своей ошибки в поисковом запросе не вижу??

 
 
 
 Re: "Протухают" ли сайты в поисковых системах?
Сообщение15.03.2021, 18:20 
Аватара пользователя
В первом пункте - количество найденных результатов - довольно случайное число, особого физического смысла не имеющее, а ранжирование - вообще дело темное.
Во втором - всё очень просто.
Код:
User-Agent: *
Disallow: /

 
 
 
 Re: "Протухают" ли сайты в поисковых системах?
Сообщение15.03.2021, 18:40 
Аватара пользователя
mihaild, спасибо! Значит, это всё-таки я ищу не там, где надо :-)
Получается, каждый пользователь ЖЖ может настроить подобные настройки индивидуально. Довольно большая неожиданность!

 
 
 
 Re: "Протухают" ли сайты в поисковых системах?
Сообщение15.03.2021, 19:06 
worm2 в сообщении #1509380 писал(а):
Интернет начинает смахивать на бабочку-однодневку.

Вот да, тоже временами возникает такое чувство. Хотя дело может быть и в накапливающемся культурном слое. Более свежим результатам, видимо, отдаётся высший приоритет при поиске.

 
 
 
 Re: "Протухают" ли сайты в поисковых системах?
Сообщение15.03.2021, 19:31 
Аватара пользователя
Работающие страницы попавшие когда-то в индекс, насколько я знаю, не удаляются. Например, можно сделать запрос стругацкие site:lib.ru и увидеть в результатах страницы типа http://fan.lib.ru/s/strugackie_a_i/, которые обновлялись 14 лет назад.

Но
- Если какая-то страница или домен в целом перестали работать и гугл это заметил, то, конечно, удалит из выдачи или страницу, или домен целиком.
- Если домен в целом давно не обновлялся, или обновляется очень редко, то боты гугла будут заходить туда все реже и реже (чтобы не тратить ресурсы впустую), значит новые страницы оттуда могут не проиндексировать.

 
 
 
 Поиск
Сообщение15.03.2021, 20:31 
Аватара пользователя
1) https://ljsear.ch/ – Поиск по архивам Живого Журнала 2000–2017 годов.

2)
SergeCpp в сообщении #1367423 писал(а):
Soul Friend в сообщении #1367405 писал(а):
Интересно, что на этом форуме обсуждалось в 20.12.2011 числа...
Вот запрос поиска на dxdy.ru с 17.12.2011 по 23.12.2011 (сортировка по дате включена, но что-то не работает).

google.com/search?q=site:dxdy.ru&tbs=cdr:1,cd_min:12/17/2011,cd_max:12/23/2011,sbd:1

Эти параметры описаны, например, вот здесь.

 
 
 [ Сообщений: 6 ] 


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group