Моделирование русского языка

[Padawan]

longstreet
Лично для меня да ((( В одиночку это не подъемная задача. Надо именно что какой-то движок навроде википедии делать.

[longstreet]

-- 21.03.2012, 12:51 --

Padawan, я хочу задать два вопроса.

1. Тут предлагали 'уже сделанную лигвистами' модель Смысл-Текст. Она отличается от того, что Вы подразумеваете под 'моделированием русского языка', чем?

2. У Вас есть уверенность, что это (построить модель русского языка без наделения её искусственным интеллектом) вообще возможно?

-- 21.03.2012, 12:56 --

(Оффтоп)

ps я читал работы по теории Смысл-Текст, в частности книгу её создателей Апресяна, Жолковского, Мельчука "Толково-комбинаторный словарь современного русского языка: Опыты семантико-синтаксического описания русской лексики". Там есть короткий раздел, в несколько страниц, описывающий их затею. Мне очень понравилось! И показалось похожим на то, о чем Вы говорите в этой теме.

[Padawan]

1. Из всех ссылок наиболее подходящей к моему замыслу была вот эта.

4th-otaku в сообщении #359571 писал(а):

Синтаксически размеченный корпус русского языка.

Недостаток -- маленькое число семантико-синтаксических связей, используемых для разметки. Например, рассмотрим связь существительного с дополнением в родительном падеже. Несколько примеров, которые я считаю нужным выделять в отдельные связи:
1) озера Сибири, замки Германии (где расположено)
2) стакан воды, мешок сахара, телега сена (объем, заполненый, каким-то веществом)
3) толпа людей, строй солдат (из чего или кого состоит)
и т.д.
Таких связей можно навыделять очень много, в зависимости от степени детализации. Поэтому можно использовать иерархическую классификацию связей, когда более широкие связи подразделяются на более узко специализированные. Например строй солдат и стог сена на одном уровне можно считать за один тип связи, а при более глубоком анализе -- разделить.
Я думаю, что при самом тонком анализе потребуется не более 1000 связей.

2. Ну сама модель даже не предполагает никакой компьютерной программы -- это всего лишь классификация связей в русском языке. Что я там писал в самых первых сообщения темы, если честно, уже не помню. Сейчас мне хотелось бы просто сделать программу, осуществляющую качественный синтаксический разбор предложения. По сути алгоритм простой, но требует большого перебора. Для каждого слова в предложении программа смотрит, какие из него связи могут выходить, какие -- входить, и пытается состыковать полученную мозайку в одно связное предложение. Если такая программа будет написана, то уже на следующем этапе можно было бы научить её, используя разобранные предложения строить перефразы и осуществлять логический вывод на русском языке. Но это уже следующий этап.

[longstreet]

1. Насколько такая модель (с множеством связей) может быть естественной? Так ли ребёнок научается языку: многократно слышит все эти комбинации (семантических связей) и иерархизирует их в сознании?

Могу ошибаться, но вроде бы слышал, что чисто комбинаторная оценка соответствует тому, что количество комбинаций слов, которые ребёнок должен услышать, чтобы научиться (на основе этого прослушивания) правильно их соединять такова, что он должен был бы в течении 30 лет постоянно слушать эти комбинации. (30 наобум ставлю, не помню точно, но она немаленькая). И что естественный механизм, по-видимому, другой.

2. А какие основания есть для того, чтобы начинать с синтаксиса (того, как соединять слова)?

Ведь основная цель языка состоит в выражении смысла. И, более того, синтаксис может зависеть от смысла, который в словосочетание вкладывается. Вот в модели Смысл-Текст перефразы строятся на основе смысла (семантики), а потом уж синтаксиса. Например, Хомскому удалось создать модель (генеративную) английского языка, которая может генерировать грамматически правильные предложения. Но толку в конечном большом счете от этой правильности оказалось немного, насколько я понимаю.

[longstreet]

Padawan, вот пример к пункту
2. Для слова 'счастье' в современном русском языке можно выделить два круга употребления: 1) высшее удовлетворение; 2) удача.
Краткая форма 'счастлив' не может употребляться во втором значении.
Таким образом от смысла слова зависит его сочетаемость.

[Padawan]

longstreet в сообщении #550770 писал(а):

1. Так ли ребёнок научается языку: многократно слышит все эти комбинации (семантических связей) и иерархизирует их в сознании?

Понятия не имею.

[longstreet]

Никто не имеет понятия как это происходит. Просто модели естественных языков, насколько я понимаю, условно можно разделить на те, которые пытаются моделировать естественный процесс обучения языку (и при этом могут быть очень сложными, скорее теориями чем моделями, где самые общие черты обрисовываются) и на те модели, которые нацелены на фактический результат (типа машинного переводчика). Я могу ошибаться, но по-моему от этой начальной установки многое зависит.

-- 21.03.2012, 18:31 --

Padawan, а по второму пункту?

[Padawan]

longstreet в сообщении #550793 писал(а):

Таким образом от смысла слова зависит его сочетаемость.

Это находит свое отражение в словаре. Для каждого значения слова ( в толковых словарях они обычно обозначаются арабскими цифрами в пределах словарного гнезда) указываются возможные связи именно для этого значения. То есть семантико-синтаксический разбор (как я его понимаю) подразумевает и выбор значения у многозначных слов. Опять же, проблема в большом переборе. Но я думаю уже лет 10 назад персональные компьютеры могли бы делать такой разбор.

[longstreet]

Но компьютеру-то для синтаксического разбора предложения даются без указания того, какой смысл вкладывается в каждое из слов?!

-- 21.03.2012, 20:12 --

Какие основания есть для того, чтобы начинать именно с синтаксиса? Мне интересны Ваши аргументы/мысли по этому поводу и я уверен, что они у Вас есть.

[LaTeXScience]

Сомик в сообщении #42522 писал(а):

А в русском трактовка не однозначная. Ну вот к примеру - "кран номер один поднимает кран номер два". Так какой кран тут собственно поднимает ? =))

Ну, тут все просто, на самом деле. Понять какой кран поднимает можно из контекста, если он есть. Если его нет, то тогда мы имеем два равновероятностных смысла: ``поднимает первый кран'' и ``поднимает второй кран''. Хотя, я думаю, что они на самом деле не равновероятносты. Чтобы это проверить нужно взять выборку людей и протестировать на них как они понимают, какой именно кран поднимает. Таким образом, мы получим требуемые вероятности. Очевидно, что система должна выбирать тот смысл, который имеет большую вероятность. Но если система не располагает в данный момент такой информацией и, получается, что вероятности равны для нее, то она должна либо задать уточняющий вопрос, если это представляется возможным, либо попробовать наугад один из вариантов и потом, основываясь на обратной связи, если она будет, скорректировать вероятности.

Короче говоря, имхо, именно тервер с матстатом должны быть фундаментом ИИ.

[gris]

longstreet в сообщении #550793 писал(а):

Краткая форма 'счастлив' не может употребляться во втором значении (удачлив).

Извините, только что прочитал и решил встрять. На самом деле прочитал Ваше сообщение о сознании, решил, что Ваш логин взломали и залез в профиль. А тут интересное такое.

Но как же с бессмертными строками "Кто счастлив в карточной игре, в любви не обретёт <чего-то...>".
Карточное счастье именно удача.

[longstreet]

Цитата:

На самом деле прочитал Ваше сообщение о сознании, решил, что Ваш логин взломали и залез в профиль.

Ничего не понял.

Цитата:

Но как же с бессмертными строками "Кто счастлив в карточной игре, в любви не обретёт <чего-то...>".
Карточное счастье именно удача.

Это Вы здорово. Но я как пример приводил. Получается, не самый удачный.
Смысл примера, по замыслу, должен показывать как от значения, в котором употребляется слово, зависит как это слово сочетается с другими. То есть синтаксис зависит от семантики. Padawan, если я правильно понял, считает, что моделирование языка должно начинаться на синтаксическом уровне и разбирает возможные между словами типы связей. Однако потом он говорит что когда тип связи устанавливается, уже есть данные словарной статьи, куда включена, в том числе, лексическая семантика. Но в словарными статьями могут быть только слова (ну или устойчивые словосочетания), но не словосочетания и предложения (так как их $\infty$). А, возможно, от семантики (смысла) не только слова, но и словосочетаний и предложений зависит не только простая сочетаемость, но и более сложные синтаксические конструкции, и грамматические. С примером затрудняюсь. Я долго об этом не думал. Но не вижу ничего невозможного, тем более если брать не русский язык а любой воображаемый.

-- 10.04.2012, 21:14 --

(Оффтоп)

Про сознание. Я вообще раньше считал что это слово относится к бредятине, навроде мистики или психологической чуши. Оказывается, вполне себе употребимое понятие (как и его виды, например, языковое сознание). Но очень уж расходятся и туманны сами по себе определения. Мне было бы интересно знать, откуда берётся удобство/нужда/рациональность пользоваться такими понятиями. Я бы понял объяснения на вроде следующего (смысл рифмую от балды): вот есть мышление, память, внимание, знание, а есть что-то ещё - непонятно что - но с включением чего описание человеческой деятельности было бы полным. То есть ли бы такие туманные понятия как сознание давались бы через дополнение какого-нибудь множества. Но я такого не видел. Для меня это серьёзный вопрос

[longstreet]

Ах, gris, я всё-таки не согласен с Вашим примером. По-моему, там понимается "высшее удовлетворение", а то что для игрока оно заключается в удаче - дело другое. Так можно для любой ситуации выдумать персонажа, для которого получится такой круг значений. Это уже внешнее обстоятельство, которое можно/нужно домысливать.

[Padawan]

(Оффтоп)

longstreet в сообщении #558806 писал(а):

Про сознание. Я вообще раньше считал что это слово относится к бредятине, навроде мистики или психологической чуши. Оказывается, вполне себе употребимое понятие (как и его виды, например, языковое сознание). Но очень уж расходятся и туманны сами по себе определения. Мне было бы интересно знать, откуда берётся удобство/нужда/рациональность пользоваться такими понятиями. Я бы понял объяснения на вроде следующего (смысл рифмую от балды): вот есть мышление, память, внимание, знание, а есть что-то ещё - непонятно что - но с включением чего описание человеческой деятельности было бы полным. То есть ли бы такие туманные понятия как сознание давались бы через дополнение какого-нибудь множества. Но я такого не видел. Для меня это серьёзный вопрос

Я даю такое определение сознания -- это мысли о собственных мыслях, метамашление.

[longstreet]

(Оффтоп)

Padawan в сообщении #558833 писал(а):

Я даю такое определение сознания -- это мысли о собственных мыслях, метамашление.

Это больше похоже на определение самосознания.