Python Developer/CV

Описание проекта:

Разработка и поддержка бота, который будет работать с веб-сервисом только по картинке экрана и имитировать действия пользователя.

Задача - "научить" бот проходить по заранее заданным путям (последовательностям экранов) с совершением заданных действий:

- захват экрана/окна

- управление мышью и клавиатурой (клики, скролл, ввод, сочетания клавиш)

- работа с буфером обмена (чтение скопированного текста)

- распознавание экрана/состояния интерфейса

- находить элементы по картинке (кнопки, иконки) и по тексту. при необходимости использовать OCR

- хранить сценарии в YAML/JSON (я задаю путь словами, бот исполняет)

- уметь описывать: ожидаемый тип экрана, что искать (текст/номер схемы/синонимы), что делать (клик, скролл, ввод данных, копирование)

- обработка таймаутов, ошибок, всплывающих окон

- реализовать механизм “обучения на опыте”: логировать успешные/неуспешные шаги, расширять списки допустимых вариантов, оптимизировать маршрут (кэшировать удачные действия, уменьшать число поисков). 

Ожидания от опыта:

• практический опыт автоматизации UI по картинке, а не по DOM

• опыт работы через RDP/удалённый рабочий стол

• опыт с OpenCV, template matching, поиск элементов по шаблону

• опыт работы с OCR (Tesseract или аналог) и обработкой текстов

• умение строить конфигурируемые сценарии

• описывать шаги в YAML/JSON и писать движок, который их исполняет

Плюсом будет:

• опыт разработки RPA решений но с реальной практикой кастомного кода (а не только drag-and-drop)

• опыт в computer vision и/или текстовых эмбеддингах (fuzzy search по названиям)

• любые проекты типа “бот, который играет/работает по скриншоту”