2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу 1, 2  След.
 
 Как работают подсказки в поисковике Гугла?
Сообщение28.04.2018, 00:38 
Аватара пользователя


01/12/11

8634
Когда мы вводим поисковый запрос, содержащий какую-нибудь ошибку, Гугл обычно подсказывает нам, что не так. К примеру, попробуйте написать в поисковом окне слово "пеонер", и тут же Гугл вас поправит: "Возможно, Вы имели в виду пионер".
Хотелось бы узнать, как эта функция работает. Почему, например, когда вводишь слово "хощный", Гугл исправляет именно на "хищный", а не, скажем, на "мощный", хотя в обоих случаях разница всего в одной букве? И почему, когда я ввожу запрос "форная школьма", Гугл не спрашивает: "Возможно, Вы имели в виду школьная форма"?

 Профиль  
                  
 
 Re: Как работают подсказки в поисковике Гугла?
Сообщение28.04.2018, 00:52 
Заслуженный участник


06/07/11
5627
кран.набрать.грамота
Ktina в сообщении #1308174 писал(а):
И почему, когда я ввожу запрос "форная школьма", Гугл не спрашивает: "Возможно, Вы имели в виду школьная форма"?
Google в поиске писал(а):

По запросу форная школьма ничего не найдено.

Рекомендации:

Убедитесь, что все слова написаны без ошибок.
Попробуйте использовать другие ключевые слова.
Попробуйте использовать более популярные ключевые слова.
Попробуйте уменьшить количество слов в запросе.
:mrgreen:

Вообще говоря, не знаю, хотя наверняка сто раз везде описано, и по запросу "как работает автоподстановка в гугле" в гугле запросто можно найти кучу информации (специально не буду пробовать).
Но не так уж и сложно предположить какой-нибудь более-менее рабочий вариант:
Если слово написано правильно (находится в словарях) - то все ок.
Если слово не нашлось - накапливаем статистику. Потом анализируем самые частые ненайденные слова, считаем для них расстояние Левенштайна до правильных слов, самые близкие предлагаем на выбор. Также можно учитывать, как часто пользователь кликает на ссылку "возможно, вы имели в виду Х". И т. д.

 Профиль  
                  
 
 Re: Как работают подсказки в поисковике Гугла?
Сообщение28.04.2018, 09:50 
Аватара пользователя


01/12/11

8634
rockclimber
Большое спасибо!
Про расстояние Левенштейна - ценная информация.

-- 28.04.2018, 09:51 --

rockclimber в сообщении #1308180 писал(а):
Google в поиске писал(а):

По запросу форная школьма ничего не найдено.

(Оффтоп)

Зато бахчифонтанский сарай сразу найдёт, хоть к гадалке не ходи :mrgreen:

 Профиль  
                  
 
 Re: Как работают подсказки в поисковике Гугла?
Сообщение28.04.2018, 10:47 
Заслуженный участник
Аватара пользователя


09/09/14
6328
rockclimber в сообщении #1308180 писал(а):
Если слово не нашлось - накапливаем статистику. Потом анализируем самые частые ненайденные слова, считаем для них расстояние Левенштайна до правильных слов, самые близкие предлагаем на выбор.
Вот здесь не совсем так. Полагаю, что накопленная статистика тоже ложится в основу допустимого написания (не обязательно правильного), то есть если какое-то слово набирается много раз разными людьми, Google считает его допустимым (это может быть жаргон или просторечие, например).

Именно так я понял какое-то разъяснение, которое Google направил мне пару дней тому в запросе о подтверждении каких-то политик.

Косвенно я убеждался в этом на отдельных примерах. Помню, в частности, историю с ошибочным словом "амбажемен", которое Google предлагает заменить на другое неправильное слово "амбажеман" (правильно -- анжамбеман).

 Профиль  
                  
 
 Re: Как работают подсказки в поисковике Гугла?
Сообщение28.04.2018, 15:08 
Заслуженный участник
Аватара пользователя


16/07/14
9166
Цюрих
Насколько я знаю, у гугла вообще нет ручных словарей под конкретные языки, так что скорее всего "правильными" считаются просто частотные.
Ну и расстояние Левенштейна надо брать модифицированное: люди часто промахиваются по соседним клавишам, часто путают число "л", но редко путают "д" и "н".
(и если делать что-то чуть более сложное, то я бы вообще обучил какой-нибудь word2vec, и брал ближайшие по нему "правильные" слова, расстояние Левенштейна до которых мало)

 Профиль  
                  
 
 Re: Как работают подсказки в поисковике Гугла?
Сообщение10.05.2018, 09:50 


26/10/17
31
Полагаю что гугл существенно снижает нагрузку на сервера сводя всевозможные варианты запросов в более причёсанный вид прямо на вводе.

 Профиль  
                  
 
 Re: Как работают подсказки в поисковике Гугла?
Сообщение10.05.2018, 10:13 
Аватара пользователя


01/12/11

8634
jabra в сообщении #1311383 писал(а):
Полагаю что гугл существенно снижает нагрузку на сервера сводя всевозможные варианты запросов в более причёсанный вид прямо на вводе.

(Оффтоп)

Гугл снижает нагрузку на сервера,
Ведь там работают великолепные инженера,
Для которых бухгалтера составили договора,
А в перерывах их учат делать шпагат тренера,
И на ужин кондитера подают им овечьи ***тора!

 Профиль  
                  
 
 Re: Как работают подсказки в поисковике Гугла?
Сообщение10.05.2018, 10:58 


26/10/17
31
Ktina в сообщении #1311387 писал(а):
jabra в сообщении #1311383 писал(а):
Полагаю что гугл существенно снижает нагрузку на сервера сводя всевозможные варианты запросов в более причёсанный вид прямо на вводе.

(Оффтоп)

Гугл снижает нагрузку на сервера,
Ведь там работают великолепные инженера,
Для которых бухгалтера составили договора,
А в перерывах их учат делать шпагат тренера,
И на ужин кондитера подают им овечьи ***тора!
правильно - "серваки"? :D

 Профиль  
                  
 
 Re: Как работают подсказки в поисковике Гугла?
Сообщение10.05.2018, 13:20 
Заслуженный участник


16/02/13
4207
Владивосток
Такое чувство, что гугл уже никогда не будет прежним.
Решил проверить поиск
Ktina в сообщении #1308174 писал(а):
форная школьма
Получил ссылку на стартовое сообщение без никаких предложений исправить...
Ktina, вы диверсант?

 Профиль  
                  
 
 Re: Как работают подсказки в поисковике Гугла?
Сообщение10.05.2018, 18:52 
Аватара пользователя


11/12/16
13881
уездный город Н
jabra

(правильно - "серваки"?)

Цитата:
Мы говорим не "штормы", а "шторма" -
Слова выходят коротки и смачны:
"Ветра" - не "ветры" - сводят нас с ума,
....

А еще договора

 Профиль  
                  
 
 Re: Как работают подсказки в поисковике Гугла?
Сообщение31.05.2018, 14:22 


17/10/08

1313
Ktina в сообщении #1308174 писал(а):
Почему, например, когда вводишь слово "хощный", Гугл исправляет именно на "хищный", а не, скажем, на "мощный", хотя в обоих случаях разница всего в одной букве?

Перестановка букв внутри слова на понимание "не влияет". По этой причине подсказка должна иметь первую букву "х", а последнюю - "й". "Мощный" не может быть подсказкой в силу отличия первой буквы.

Ktina в сообщении #1308174 писал(а):
И почему, когда я ввожу запрос "форная школьма", Гугл не спрашивает: "Возможно, Вы имели в виду школьная форма"?

Классика жанра - это алгоритм Дамерау-Левенштейна. Этот алгоритм отличается от алгортима Левенштейна тем, что учитывает перестановки букв (переставляемые буквы должны находится рядом в одном слове). Когда человек набирает текст, нередко некоторые буквы вбиваются с "опережением", т.е. происходит соседняя перестановка букв в слове.
Перепутать две буквы ("шк") в одном слове с одной буквой ("ф") в другом - это искусственная выдумка, которая не связана с реальными массовыми опечатками.

 Профиль  
                  
 
 Re: Как работают подсказки в поисковике Гугла?
Сообщение31.05.2018, 14:28 
Аватара пользователя


01/12/11

8634
mserg
Спасибо.

 Профиль  
                  
 
 Re: Как работают подсказки в поисковике Гугла?
Сообщение31.05.2018, 14:52 
Заслуженный участник
Аватара пользователя


31/01/14
11316
Hogtown
Мне кажется, что подсказки Гугла являются индивидуализированными, в значительной мере основанными на истории запросов. И реклама, которую Гугл дает, основана на том же.

Мне кажется, однако, что Гугл копает глубже, и лезет, например, в содержимое Gmail. Некоторое время назад в своей емейл, посланной из gmail, я пошутил, что наша кошка гоняла опоссума потому, что он жрет ее мышек (по русски). В результате, почти сразу моя реклама заполнилась средствами борьбы с грызунами, а теперь переключилась на тараканов.

(Оффтоп)

Вообще, я подозреваю, что Гугл ушел "на тёмную сторону Силы". Статья
Если Гугл тенденциозен, то таковы же и его алгоритмы и материалы судебного дела, поданного сотрудниками, уволенными за недостаточно прогрессивные взгляды, показывают достаточно неприглядную картину внутри счастливого семейства работников Гугла.

Заметим, что потенциально Гугл может довольно сильно улучшить или испортить чью либо жизнь. Например, выдав на первой странице поисковика положительную информацию об этом человеке, а отрицательную засунув подальше (или наоборот). И, к сожалению, я не могу исключить, что через десяток лет гугловский AI не начнет определять что А хороший и потому ему надо помогать, а Б плохой, и ему следует мешать таким образом.

Впрочем Facebook тоже тенденциозен.

 Профиль  
                  
 
 Re: Как работают подсказки в поисковике Гугла?
Сообщение31.05.2018, 15:04 
Аватара пользователя


11/12/16
13881
уездный город Н
Red_Herring

А мне кажется, что Гугл хочет меня перевоспитать: регулярно подсовывает ссылки на украинские ресурсы. Причем, сволочь такая, знает что мне нужно, а подсовывает совсем другое.
Например, регулярно просматриваю ход работ по Керченскому мосту на гугло-картах, но на запрос "керченсний мост" - более половины ссылок в топе выдачи украинские пропагандистские сайты, а ссылку на свои же гугло-карты с ходом работ даёт только после уточнения запроса.

 Профиль  
                  
 
 Re: Как работают подсказки в поисковике Гугла?
Сообщение31.05.2018, 15:16 
Аватара пользователя


29/04/13
8187
Богородский
Ktina в сообщении #1308233 писал(а):
Зато бахчифонтанский сарай сразу найдёт, хоть к гадалке не ходи :mrgreen:

Находит, да, но всё таки пишет "Возможно, Вы имели в виду:"

А вот на запрос "бронетёмкин поносец" Гугл уже никаких вариантов не предлагает, уверен, что это я и искал. И ведь прав, чертяка: с моей стороны это не очепятка :-)

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 16 ]  На страницу 1, 2  След.

Модераторы: Karan, Toucan, PAV, maxal, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group