2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему
 
 Как генерировать изображения на основе текста
Сообщение06.06.2019, 21:37 


02/05/18
43
Друзья, всем привет!
Решил немного погрузится в глубокое обучение, придумал себе задание - разработать сеть для генерации подписи на основании ФИО человека.
Хочу, чтобы в конечном итоге: модель могла по ФИО "Иванов Иван Иванович" сгенерировать изображение его подписи. Возможно в обучающий набор получится добавить стилистические признаки соответствующие изображению, чтобы их задавать на контрольных примерах.

Подскажите в каком направлении двигаться?
Буду признателен за ссылки :)

 Профиль  
                  
 
 Re: Как генерировать изображения на основе текста
Сообщение07.06.2019, 04:02 


12/07/15
1298
1. Надо двигаться в направлении гораздо более простых задач.
2. В задачах машинного обучения должна быть связь между "фичами" (features) и "лейблами" (labels), то есть между входами и выходами. Между частью букв ФИО и некоторыми штрихами подписи имеется связь, но в основном нет. В целом связь очень слабая, поэтому потребуется очень много примеров для обучения для достижения приемлемого результата. Правда требования к качеству почеркушек очень ослабленные, это играет на руку (не надо много примеров). Но есть одно очень просто контролируемое и трудно реализуемое требование - для компьютера изначально недомек, что подпись генерируется непрерывной линией, с минимальным количеством отрывов от бумаги.
3. Поставленная задача лучше решается методами "программирования 1.0" или, как я еще говорю, методами программистов "если, то".
4. Наиболее удачным подходом, на мой взгляд, будет гибридный подход: "научить" компьютер рисовать непрерывные линии классическим методом программирования, а затем нейронную сеть научить управлять углом рыскания и силой-скоростью нажатия.

 Профиль  
                  
 
 Re: Как генерировать изображения на основе текста
Сообщение07.06.2019, 04:45 
Аватара пользователя


11/06/12
9250
шкала.вихрь.интерес
Alex7 в сообщении #1398171 писал(а):
погрузится
Предлагаю вам для начала погрузиться в изучение русского языка. Розенталь, Зализняк, Грамота.ру, всё такое.
Alex7 в сообщении #1398171 писал(а):
Хочу, чтобы в конечном итоге: модель могла по ФИО "Иванов Иван Иванович" сгенерировать изображение его подписи.
Задача сама по себе ну прям ух, как любопытная, но на теперешний момент явно неподъёмная.
Для начала: вот вы, Alex7, можете аргументированно связать свой росчерк на документе со своими ФИО? Я, к примеру, не то что бы.

Изображение

 Профиль  
                  
 
 Re: Как генерировать изображения на основе текста
Сообщение07.06.2019, 08:06 
Аватара пользователя


31/10/08
1244
Alex7
Вы выбрали слишком трудную задачу.

Я бы начал с более простых вещей. Научился бы распознавать классы символов: иероглифы, буквы, руны, прочии глифы.
Научитесь генерировать иероглифы, буквы, руны. Так что бы они были похожи на существующие, но в тоже время чтобы не точь в точь. Так чтобы Accuracy можно было задать.

Затем добавить прописные символы. Научится их делать слитными при помощи эвристик. А после можно браться за подписи. Только они будут из чёрточек, закорючек и петелька состоять.

И при всём при этом для генерации подписей используются другие алгоритмы.

 Профиль  
                  
 
 Re: Как генерировать изображения на основе текста
Сообщение07.06.2019, 08:17 


02/05/18
43
Mihaylo в сообщении #1398206 писал(а):
1. Надо двигаться в направлении гораздо более простых задач.
2. В задачах машинного обучения должна быть связь между "фичами" (features) и "лейблами" (labels), то есть между входами и выходами. Между частью букв ФИО и некоторыми штрихами подписи имеется связь, но в основном нет. В целом связь очень слабая, поэтому потребуется очень много примеров для обучения для достижения приемлемого результата. Правда требования к качеству почеркушек очень ослабленные, это играет на руку (не надо много примеров). Но есть одно очень просто контролируемое и трудно реализуемое требование - для компьютера изначально недомек, что подпись генерируется непрерывной линией, с минимальным количеством отрывов от бумаги.
3. Поставленная задача лучше решается методами "программирования 1.0" или, как я еще говорю, методами программистов "если, то".
4. Наиболее удачным подходом, на мой взгляд, будет гибридный подход: "научить" компьютер рисовать непрерывные линии классическим методом программирования, а затем нейронную сеть научить управлять углом рыскания и силой-скоростью нажатия.

Mihaylo, здравствуйте!
Спасибо за наводку, буду пробовать!

-- 07.06.2019, 09:23 --

Pavia в сообщении #1398209 писал(а):
Alex7
Вы выбрали слишком трудную задачу.

Я бы начал с более простых вещей. Научился бы распознавать классы символов: иероглифы, буквы, руны, прочии глифы.
Научитесь генерировать иероглифы, буквы, руны. Так что бы они были похожи на существующие, но в тоже время чтобы не точь в точь. Так чтобы Accuracy можно было задать.

Затем добавить прописные символы. Научится их делать слитными при помощи эвристик. А после можно браться за подписи. Только они будут из чёрточек, закорючек и петелька состоять.

И при всём при этом для генерации подписей используются другие алгоритмы.

Pavia, добрый день!
Спасибо, подумаю над этим!
А про какие алгоритмы генерации подписей вы говорите? Имеется ввиду что можно обойтись в этой задаче без машинного обучения?

-- 07.06.2019, 09:27 --

Aritaborian в сообщении #1398207 писал(а):
Предлагаю вам для начала погрузиться в изучение русского языка. Розенталь, Зализняк, Грамота.ру, всё такое.

Спасибо я приму к сведению.
Aritaborian в сообщении #1398207 писал(а):
Задача сама по себе ну прям ух, как любопытная, но на теперешний момент явно неподъёмная.

Дорогу осилит идущий :)
Aritaborian в сообщении #1398207 писал(а):
Для начала: вот вы, Alex7, можете аргументированно связать свой росчерк на документе со своими ФИО?

Да, могу, но это не главное. Как справедливо заметил Mihaylo в этой задаче низкие требования к качеству соответствия почеркушек и исходного текста.

 Профиль  
                  
 
 Re: Как генерировать изображения на основе текста
Сообщение29.01.2020, 12:52 


29/01/20
1
Спасибо за метод

-- 29.01.2020, 13:54 --

превосходный

 Профиль  
                  
 
 Re: Как генерировать изображения на основе текста
Сообщение29.01.2020, 18:48 


10/03/16
1193
Aeroport
Mihaylo в сообщении #1398206 писал(а):
нейронную сеть научить управлять углом рыскания и силой-скоростью нажатия.



Тупиковый вариант из-за неустойчивости результата к малым отклонениям угла рыскания. ИМХО надо что то типа распознавания пукописных цифирок mnist, а потом есессно обратный проход сигнала от верхних слоев к нижним. (В тексте я описался (ударение на предпоследний слог), но исправлять не стал -- посмейтесь ))

 Профиль  
                  
 
 Re: Как генерировать изображения на основе текста
Сообщение30.01.2020, 00:45 


07/10/15
2156
ozheredov в сообщении #1437399 писал(а):
Тупиковый вариант из-за неустойчивости результата к малым отклонениям угла рыскания

Нет, подход нормальный. Я как то сталкивался с таким алгоритмом, уже давно, лет 15 назад. Программа как раз отслеживала динамику написания, и именно рукописной подписи. Она использовалась для идентификации личности. Казалось бы - противоположная задача. Но это только кажется. В обоих случаях нужна модель процесса начертания подписи. У ТС задача прямая. Задаём параметры + шум, и получаем подпись. Там была обратная задача - на вход подаётся множество подписей одного и того же человека, а на выходе выдаётся всегда один и тот же id. Вообще, задача интересная. На мой взгляд, нейросеть здесь может помочь выделить главные параметры, определяющие процесс начертания.

 Профиль  
                  
 
 Re: Как генерировать изображения на основе текста
Сообщение30.01.2020, 01:18 


10/03/16
1193
Aeroport
Andrey_Kireew в сообщении #1437507 писал(а):
Нет, подход нормальный.


Ошибки угла рыскания будут суммироваться по мере прохождения траектории от начала к концу. Поэтому расхождение двух траекторий, начавшихся из одной точки и приблизительно с одной и той же зависимостью угла рыскания от времени, будет экспоненциально нарастать. Более того, если бы этот подход был перспективен, он был бы классическим в распознавании рукописных цифр и букв. Привести ещё пару аргументов, или пока что этих достаточно?

 Профиль  
                  
 
 Re: Как генерировать изображения на основе текста
Сообщение30.01.2020, 05:36 


07/10/15
2156
Конкретно на счёт угла рыскания, возможно Вы ozheredov и правы. Я с такими тонкостями не знаком.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 10 ] 

Модераторы: Toucan, maxal, PAV, Karan, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group