"Протухают" ли сайты в поисковых системах?

[worm2]

У меня давно было смутное чувство, что поисковые системы индексируют только "свежие" страницы, а давно не обновлявшиеся — тупо удаляют из своего индекса. Благодаря чему по ключевым словам невозможно найти ничего, что было опубликовано 5-10 лет назад, и Интернет начинает смахивать на бабочку-однодневку.
Сегодня это смутное чувство преобразовалось в уверенность.

Вот смотрите (пожалуйста, не сочтите за рекламу нижеуказанных ресурсов, это только примеры):

Запрос номер один:
демократия site:ss69100.livejournal.com
Гугл: Результатов: примерно 1 100, первое место в выдаче — статья от 23 августа 2020 г.
Яндекс: Нашлось 3 тыс. результатов, первое место в выдаче — статья от 7 июня 2017 г.

Запрос номер два:
демократия site:alexandrov-g.livejournal.com
Гугл: По запросу демократия site:alexandrov-g.livejournal.com ничего не найдено
Яндекс: По вашему запросу ничего не нашлось

Однако если открыть последний сайт (https://alexandrov-g.livejournal.com), легко убедиться, что на первой же странице есть сразу несколько статей 2015 г. с текстом "Демократия" в заголовках. Они не находятся обеими поисковыми системами! Предположительно, из-за своей древности (ещё бы, целых пять лет прошло!).
Но, может быть, это я что-то делаю не так? Может быть, у меня "глаз замылился" и я какой-то своей ошибки в поисковом запросе не вижу??

[mihaild]

В первом пункте - количество найденных результатов - довольно случайное число, особого физического смысла не имеющее, а ранжирование - вообще дело темное.
Во втором - всё очень просто.

https://alexandrov-g.livejournal.com/robots.txt писал(а):

User-Agent: *
Disallow: /

[worm2]

mihaild, спасибо! Значит, это всё-таки я ищу не там, где надо
Получается, каждый пользователь ЖЖ может настроить подобные настройки индивидуально. Довольно большая неожиданность!

[Sender]

worm2 в сообщении #1509380 писал(а):

Интернет начинает смахивать на бабочку-однодневку.

Вот да, тоже временами возникает такое чувство. Хотя дело может быть и в накапливающемся культурном слое. Более свежим результатам, видимо, отдаётся высший приоритет при поиске.

[Odysseus]

Работающие страницы попавшие когда-то в индекс, насколько я знаю, не удаляются. Например, можно сделать запрос стругацкие site:lib.ru и увидеть в результатах страницы типа http://fan.lib.ru/s/strugackie_a_i/, которые обновлялись 14 лет назад.

Но
- Если какая-то страница или домен в целом перестали работать и гугл это заметил, то, конечно, удалит из выдачи или страницу, или домен целиком.
- Если домен в целом давно не обновлялся, или обновляется очень редко, то боты гугла будут заходить туда все реже и реже (чтобы не тратить ресурсы впустую), значит новые страницы оттуда могут не проиндексировать.

[SergeCpp]

1) https://ljsear.ch/ – Поиск по архивам Живого Журнала 2000–2017 годов.

2)

SergeCpp в сообщении #1367423 писал(а):

Soul Friend в сообщении #1367405 писал(а):

Интересно, что на этом форуме обсуждалось в 20.12.2011 числа...

Вот запрос поиска на dxdy.ru с 17.12.2011 по 23.12.2011 (сортировка по дате включена, но что-то не работает).

google.com/search?q=site:dxdy.ru&tbs=cdr:1,cd_min:12/17/2011,cd_max:12/23/2011,sbd:1

Эти параметры описаны, например, вот здесь.