(Оффтоп)
вы занимаетесь какой-то самодеятельностью, которая как минимум не одобрена вышестоящим руководством.
Самодеятельность - основа развития общества. Ни одно новое дело не начинается с получения разрешения.
"какая-то самодеятельность" "не одобренная" "вышестоящим руководством" - набор штампов, не подходящий для темы в которой помогают решить конкретную техническую задачу.
-- 24.10.2016, 12:39 -- Он не нарушает никаких правил, когда считывает экран и разбирает его содержимое.
Так он, похоже, не в курсе даже что такое экран в ОС, как же он его считает?
Автор чего-то не знает, автор решает задачу, автор узнаёт что-то новое. В этом смысл образования, не так ли?
Надеюсь, что автор научится:
1. Получать изображение с десктопа или конкретного окна (окна клиента RDP).
2. Распознавать текст и запоминать его расположение на изображении.
3. Извлечь смысл из полученных данных (на каком мы экране, что изображено и т.п.)
4. Подготавливать последовательность воздействий (сообщения от мыши и клавиатуры)
5. Вводить эту последовательность.
6. Проделывать всё это в цикле (чтение, понимание, ввод).
Задача затрагивает роботехнику и ИИ. Для меня всё это выглядит как курсовик в области ПО. Почему бы и нет?