2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему
 
 "Протухают" ли сайты в поисковых системах?
Сообщение15.03.2021, 17:56 
Заслуженный участник
Аватара пользователя


01/08/06
3049
Уфа
У меня давно было смутное чувство, что поисковые системы индексируют только "свежие" страницы, а давно не обновлявшиеся — тупо удаляют из своего индекса. Благодаря чему по ключевым словам невозможно найти ничего, что было опубликовано 5-10 лет назад, и Интернет начинает смахивать на бабочку-однодневку.
Сегодня это смутное чувство преобразовалось в уверенность.

Вот смотрите (пожалуйста, не сочтите за рекламу нижеуказанных ресурсов, это только примеры):

Запрос номер один:
демократия site:ss69100.livejournal.com
Гугл: Результатов: примерно 1 100, первое место в выдаче — статья от 23 августа 2020 г.
Яндекс: Нашлось 3 тыс. результатов, первое место в выдаче — статья от 7 июня 2017 г.

Запрос номер два:
демократия site:alexandrov-g.livejournal.com
Гугл: По запросу демократия site:alexandrov-g.livejournal.com ничего не найдено
Яндекс: По вашему запросу ничего не нашлось

Однако если открыть последний сайт (https://alexandrov-g.livejournal.com), легко убедиться, что на первой же странице есть сразу несколько статей 2015 г. с текстом "Демократия" в заголовках. Они не находятся обеими поисковыми системами! Предположительно, из-за своей древности (ещё бы, целых пять лет прошло!).
Но, может быть, это я что-то делаю не так? Может быть, у меня "глаз замылился" и я какой-то своей ошибки в поисковом запросе не вижу??

 Профиль  
                  
 
 Re: "Протухают" ли сайты в поисковых системах?
Сообщение15.03.2021, 18:20 
Заслуженный участник
Аватара пользователя


16/07/14
8355
Цюрих
В первом пункте - количество найденных результатов - довольно случайное число, особого физического смысла не имеющее, а ранжирование - вообще дело темное.
Во втором - всё очень просто.
Код:
User-Agent: *
Disallow: /

 Профиль  
                  
 
 Re: "Протухают" ли сайты в поисковых системах?
Сообщение15.03.2021, 18:40 
Заслуженный участник
Аватара пользователя


01/08/06
3049
Уфа
mihaild, спасибо! Значит, это всё-таки я ищу не там, где надо :-)
Получается, каждый пользователь ЖЖ может настроить подобные настройки индивидуально. Довольно большая неожиданность!

 Профиль  
                  
 
 Re: "Протухают" ли сайты в поисковых системах?
Сообщение15.03.2021, 19:06 


14/01/11
2916
worm2 в сообщении #1509380 писал(а):
Интернет начинает смахивать на бабочку-однодневку.

Вот да, тоже временами возникает такое чувство. Хотя дело может быть и в накапливающемся культурном слое. Более свежим результатам, видимо, отдаётся высший приоритет при поиске.

 Профиль  
                  
 
 Re: "Протухают" ли сайты в поисковых системах?
Сообщение15.03.2021, 19:31 
Аватара пользователя


16/03/17
475
Работающие страницы попавшие когда-то в индекс, насколько я знаю, не удаляются. Например, можно сделать запрос стругацкие site:lib.ru и увидеть в результатах страницы типа http://fan.lib.ru/s/strugackie_a_i/, которые обновлялись 14 лет назад.

Но
- Если какая-то страница или домен в целом перестали работать и гугл это заметил, то, конечно, удалит из выдачи или страницу, или домен целиком.
- Если домен в целом давно не обновлялся, или обновляется очень редко, то боты гугла будут заходить туда все реже и реже (чтобы не тратить ресурсы впустую), значит новые страницы оттуда могут не проиндексировать.

 Профиль  
                  
 
 Поиск
Сообщение15.03.2021, 20:31 
Аватара пользователя


10/10/18
739
At Home
1) https://ljsear.ch/ – Поиск по архивам Живого Журнала 2000–2017 годов.

2)
SergeCpp в сообщении #1367423 писал(а):
Soul Friend в сообщении #1367405 писал(а):
Интересно, что на этом форуме обсуждалось в 20.12.2011 числа...
Вот запрос поиска на dxdy.ru с 17.12.2011 по 23.12.2011 (сортировка по дате включена, но что-то не работает).

google.com/search?q=site:dxdy.ru&tbs=cdr:1,cd_min:12/17/2011,cd_max:12/23/2011,sbd:1

Эти параметры описаны, например, вот здесь.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 6 ] 

Модераторы: Karan, Toucan, PAV, maxal, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group