Необходимо написать программу, которая бы заменяла оператора некоторого приложения буквально, то есть программа должна, считывая информацию с монитора, управлять клавиатурой и мышкой и производить какие-то действия.
Подробнее. Оператор подключается к серверу по RDP и работает в интерфейсе 1С:Предприятие. Работа достаточно однотипная и может быть запрограммирована. Программа должна считывать картинку интерфейса приложения, распознавать текст в разных полях, и, исходя из распознанной информации, управляя устройствами ввода, производить определенную последовательность действий. То есть, если смотреть только на монитор, то должно быть не понятно, что в приложении работает не человек, а программа.
На мой взгляд тут 2 принципиальных момента: 1) считывание информации с монитора и ее распознавание и 2) программирование последовательности операций мышки и клавиатуры.
А теперь вопрос. На каком языке программирования лучше всего реализовать данную задачу? Python, Java, C++ или что-то другое? И еще просьба поделиться ссылками на материалы (лекции, видео, темы форума) с данной тематикой. Спасибо!
А почему эти действия не делать средствами 1С - программно написав обработку либо изменив конфигурацию без использования распознавания?