2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему
 
 Предсказание текстовых ответов
Сообщение20.03.2019, 16:08 
Аватара пользователя


12/03/08
191
Москва
Добрый день
Нарисовалась такая задачка, к которой хотелось бы найти оптимальный с точки зрения машинного обучения подход. Велосипед изобретать не хочется.
Дано: два массива текстов одинаковой размерности Q[n] и A[n]. Условно говоря, Q[i] содержит вопрос, A[i] содержит ответ на этот вопрос. То есть все тексты сгруппированы парами вопрос-ответ. Все эти тексты принадлежат некоему объемлющему корпусу текстов M.
Q и A - это обучающая выборка.
Для разных вопросов, вообще говоря, могут быть одинаковые ответы.
Требуется: по новому тексту $q\in M$ выдавать несколько ответов $a_1,\dots,a_k\in M$ с ранжированием по вероятности.

Вопрос: как решать сие?
Пока думаю о следующих подходах:
1. в качестве обучающей выборки взять массив (Q[i],A[j],[i=j]), где третий параметр будет либо 1 либо 0, и это будет признак класса. Но тогда у нас выборка вместо n элементов будет иметь n^2, да и подбор ответа мне кажется будет слишком трудоемким.
2. Научиться классифицировать тексты на два класса (1)вопрос или (2)ответ, и провести предварительное разбиение массива M на эти два класса на основе обучающей выборки (тоже долгая операция)
Затем по заданному тексту q искать максимально похожие (например. с помощью word2vec) тексты в M среди тех, что были отклассифицрованы как ответ.
3. все тексты перегнать в векторное пространство и попытаться найти линейную регрессию A = kQ + b, тогда по заданному Q буде вычислять A, и затем искать ближайшее к нему значение в M.

Что реально на практике используется и какими силами на Питоне можно реализовать?

 Профиль  
                  
 
 Re: Предсказание текстовых ответов
Сообщение20.03.2019, 16:37 


12/07/15
1737
Я из описания понял, что вас интересует именно задача ранжирования. Тогда смотрите это видео:
https://www.youtube.com/watch?v=EioJ902VCmk

 Профиль  
                  
 
 Re: Предсказание текстовых ответов
Сообщение20.03.2019, 18:04 


10/04/12
687
Например,
keras-question-and-answering-web-api

Это совсем мимо?

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 3 ] 

Модераторы: maxal, Toucan, PAV, Karan, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group