Как генерировать изображения на основе текста

[Alex7]

Друзья, всем привет!
Решил немного погрузится в глубокое обучение, придумал себе задание - разработать сеть для генерации подписи на основании ФИО человека.
Хочу, чтобы в конечном итоге: модель могла по ФИО "Иванов Иван Иванович" сгенерировать изображение его подписи. Возможно в обучающий набор получится добавить стилистические признаки соответствующие изображению, чтобы их задавать на контрольных примерах.

Подскажите в каком направлении двигаться?
Буду признателен за ссылки :)

[Mihaylo]

1. Надо двигаться в направлении гораздо более простых задач.
2. В задачах машинного обучения должна быть связь между "фичами" (features) и "лейблами" (labels), то есть между входами и выходами. Между частью букв ФИО и некоторыми штрихами подписи имеется связь, но в основном нет. В целом связь очень слабая, поэтому потребуется очень много примеров для обучения для достижения приемлемого результата. Правда требования к качеству почеркушек очень ослабленные, это играет на руку (не надо много примеров). Но есть одно очень просто контролируемое и трудно реализуемое требование - для компьютера изначально недомек, что подпись генерируется непрерывной линией, с минимальным количеством отрывов от бумаги.
3. Поставленная задача лучше решается методами "программирования 1.0" или, как я еще говорю, методами программистов "если, то".
4. Наиболее удачным подходом, на мой взгляд, будет гибридный подход: "научить" компьютер рисовать непрерывные линии классическим методом программирования, а затем нейронную сеть научить управлять углом рыскания и силой-скоростью нажатия.

[Aritaborian]

Alex7 в сообщении #1398171 писал(а):

погрузится

Предлагаю вам для начала погрузиться в изучение русского языка. Розенталь, Зализняк, Грамота.ру, всё такое.

Alex7 в сообщении #1398171 писал(а):

Хочу, чтобы в конечном итоге: модель могла по ФИО "Иванов Иван Иванович" сгенерировать изображение его подписи.

Задача сама по себе ну прям ух, как любопытная, но на теперешний момент явно неподъёмная.
Для начала: вот вы, Alex7, можете аргументированно связать свой росчерк на документе со своими ФИО? Я, к примеру, не то что бы.

[Pavia]

Alex7
Вы выбрали слишком трудную задачу.

Я бы начал с более простых вещей. Научился бы распознавать классы символов: иероглифы, буквы, руны, прочии глифы.
Научитесь генерировать иероглифы, буквы, руны. Так что бы они были похожи на существующие, но в тоже время чтобы не точь в точь. Так чтобы Accuracy можно было задать.

Затем добавить прописные символы. Научится их делать слитными при помощи эвристик. А после можно браться за подписи. Только они будут из чёрточек, закорючек и петелька состоять.

И при всём при этом для генерации подписей используются другие алгоритмы.

[Alex7]

Mihaylo в сообщении #1398206 писал(а):

1. Надо двигаться в направлении гораздо более простых задач.
2. В задачах машинного обучения должна быть связь между "фичами" (features) и "лейблами" (labels), то есть между входами и выходами. Между частью букв ФИО и некоторыми штрихами подписи имеется связь, но в основном нет. В целом связь очень слабая, поэтому потребуется очень много примеров для обучения для достижения приемлемого результата. Правда требования к качеству почеркушек очень ослабленные, это играет на руку (не надо много примеров). Но есть одно очень просто контролируемое и трудно реализуемое требование - для компьютера изначально недомек, что подпись генерируется непрерывной линией, с минимальным количеством отрывов от бумаги.
3. Поставленная задача лучше решается методами "программирования 1.0" или, как я еще говорю, методами программистов "если, то".
4. Наиболее удачным подходом, на мой взгляд, будет гибридный подход: "научить" компьютер рисовать непрерывные линии классическим методом программирования, а затем нейронную сеть научить управлять углом рыскания и силой-скоростью нажатия.

Mihaylo, здравствуйте!
Спасибо за наводку, буду пробовать!

-- 07.06.2019, 09:23 --

Pavia в сообщении #1398209 писал(а):

Alex7
Вы выбрали слишком трудную задачу.

Я бы начал с более простых вещей. Научился бы распознавать классы символов: иероглифы, буквы, руны, прочии глифы.
Научитесь генерировать иероглифы, буквы, руны. Так что бы они были похожи на существующие, но в тоже время чтобы не точь в точь. Так чтобы Accuracy можно было задать.

Затем добавить прописные символы. Научится их делать слитными при помощи эвристик. А после можно браться за подписи. Только они будут из чёрточек, закорючек и петелька состоять.

И при всём при этом для генерации подписей используются другие алгоритмы.

Pavia, добрый день!
Спасибо, подумаю над этим!
А про какие алгоритмы генерации подписей вы говорите? Имеется ввиду что можно обойтись в этой задаче без машинного обучения?

-- 07.06.2019, 09:27 --

Aritaborian в сообщении #1398207 писал(а):

Предлагаю вам для начала погрузиться в изучение русского языка. Розенталь, Зализняк, Грамота.ру, всё такое.

Спасибо я приму к сведению.

Aritaborian в сообщении #1398207 писал(а):

Задача сама по себе ну прям ух, как любопытная, но на теперешний момент явно неподъёмная.

Дорогу осилит идущий :)

Aritaborian в сообщении #1398207 писал(а):

Для начала: вот вы, Alex7, можете аргументированно связать свой росчерк на документе со своими ФИО?

Да, могу, но это не главное. Как справедливо заметил Mihaylo в этой задаче низкие требования к качеству соответствия почеркушек и исходного текста.

[Galoxlos]

Спасибо за метод

-- 29.01.2020, 13:54 --

превосходный

[ozheredov]

Mihaylo в сообщении #1398206 писал(а):

нейронную сеть научить управлять углом рыскания и силой-скоростью нажатия.

Тупиковый вариант из-за неустойчивости результата к малым отклонениям угла рыскания. ИМХО надо что то типа распознавания пукописных цифирок mnist, а потом есессно обратный проход сигнала от верхних слоев к нижним. (В тексте я описался (ударение на предпоследний слог), но исправлять не стал -- посмейтесь ))

[Andrey_Kireew]

ozheredov в сообщении #1437399 писал(а):

Тупиковый вариант из-за неустойчивости результата к малым отклонениям угла рыскания

Нет, подход нормальный. Я как то сталкивался с таким алгоритмом, уже давно, лет 15 назад. Программа как раз отслеживала динамику написания, и именно рукописной подписи. Она использовалась для идентификации личности. Казалось бы - противоположная задача. Но это только кажется. В обоих случаях нужна модель процесса начертания подписи. У ТС задача прямая. Задаём параметры + шум, и получаем подпись. Там была обратная задача - на вход подаётся множество подписей одного и того же человека, а на выходе выдаётся всегда один и тот же id. Вообще, задача интересная. На мой взгляд, нейросеть здесь может помочь выделить главные параметры, определяющие процесс начертания.

[ozheredov]

Andrey_Kireew в сообщении #1437507 писал(а):

Нет, подход нормальный.

Ошибки угла рыскания будут суммироваться по мере прохождения траектории от начала к концу. Поэтому расхождение двух траекторий, начавшихся из одной точки и приблизительно с одной и той же зависимостью угла рыскания от времени, будет экспоненциально нарастать. Более того, если бы этот подход был перспективен, он был бы классическим в распознавании рукописных цифр и букв. Привести ещё пару аргументов, или пока что этих достаточно?

[Andrey_Kireew]

Конкретно на счёт угла рыскания, возможно Вы ozheredov и правы. Я с такими тонкостями не знаком.