2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




 
 Предсказание текстовых ответов
Сообщение20.03.2019, 16:08 
Аватара пользователя
Добрый день
Нарисовалась такая задачка, к которой хотелось бы найти оптимальный с точки зрения машинного обучения подход. Велосипед изобретать не хочется.
Дано: два массива текстов одинаковой размерности Q[n] и A[n]. Условно говоря, Q[i] содержит вопрос, A[i] содержит ответ на этот вопрос. То есть все тексты сгруппированы парами вопрос-ответ. Все эти тексты принадлежат некоему объемлющему корпусу текстов M.
Q и A - это обучающая выборка.
Для разных вопросов, вообще говоря, могут быть одинаковые ответы.
Требуется: по новому тексту $q\in M$ выдавать несколько ответов $a_1,\dots,a_k\in M$ с ранжированием по вероятности.

Вопрос: как решать сие?
Пока думаю о следующих подходах:
1. в качестве обучающей выборки взять массив (Q[i],A[j],[i=j]), где третий параметр будет либо 1 либо 0, и это будет признак класса. Но тогда у нас выборка вместо n элементов будет иметь n^2, да и подбор ответа мне кажется будет слишком трудоемким.
2. Научиться классифицировать тексты на два класса (1)вопрос или (2)ответ, и провести предварительное разбиение массива M на эти два класса на основе обучающей выборки (тоже долгая операция)
Затем по заданному тексту q искать максимально похожие (например. с помощью word2vec) тексты в M среди тех, что были отклассифицрованы как ответ.
3. все тексты перегнать в векторное пространство и попытаться найти линейную регрессию A = kQ + b, тогда по заданному Q буде вычислять A, и затем искать ближайшее к нему значение в M.

Что реально на практике используется и какими силами на Питоне можно реализовать?

 
 
 
 Re: Предсказание текстовых ответов
Сообщение20.03.2019, 16:37 
Я из описания понял, что вас интересует именно задача ранжирования. Тогда смотрите это видео:
https://www.youtube.com/watch?v=EioJ902VCmk

 
 
 
 Re: Предсказание текстовых ответов
Сообщение20.03.2019, 18:04 
Например,
keras-question-and-answering-web-api

Это совсем мимо?

 
 
 [ Сообщений: 3 ] 


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group