Middle Data Engineer / Middle ML-Backend Develop

Текущий статус/должность: Middle Data Engineer.

Мои компетенции и опыт

Последние 1.5+ года работаю в направлении Python backend, data engineering и ML engineering. Основной фокус сейчас на backend-сервисах, ETL-пайплайнах, интеграции ML-решений в production, работе с базами данных и инфраструктурой

На текущем месте работаю ML/Backend разработчиком. Пишу backend-сервисы на Python и FastAPI, проектирую и поддерживаю ETL-пайплайны, автоматизирую обработку данных через Apache Airflow. Работаю с PostgreSQL и ClickHouse: пишу SQL-запросы, участвую в проектировании хранения данных, оптимизирую взаимодействие backend-сервисов с БД. Также занимался интеграцией ML-компонентов в сервисы и пайплайны обработки данных, в том числе задачами поиска по эмбеддингам и работой с FAISS

Кроме разработки бизнес-логики, занимался production-инфраструктурой: Docker, CI/CD, деплой сервисов, логирование, мониторинг, поддержка стабильности ETL-процессов и DAG. Участвовал в обсуждении требований с командой, проработке технических решений и доведении задач от идеи до рабочего сервиса

До этого работал Junior Python Developer. Разрабатывал backend на Django, реализовывал бизнес-логику приложения, обработку и валидацию пользовательских данных, интеграцию backend с frontend. Отдельно занимался генерацией DOCX-документов по шаблонам с динамической подстановкой данных. Закрыл полный процесс формирования отчётов: от ввода данных пользователем до готового документа. В рамках этой задачи удалось ускорить генерацию отчётов примерно на 50%

Также был опыт преподавания Python подросткам: объяснял основы программирования, алгоритмы и работу с мини-проектами. Этот опыт помог лучше структурировать знания, объяснять технические вещи простым языком и прокачать коммуникацию

Ключевой стек: Python, FastAPI, Django, PostgreSQL, ClickHouse, Apache Airflow, SQL, Docker, GitLab CI/CD, FAISS, ML/NLP, Linux

Основные зоны ответственности: backend-разработка, ETL, работа с данными, интеграция ML-моделей в сервисы, оптимизация SQL-запросов, поддержка production-процессов, участие в обсуждении требований и технических решений