Middle Data Engineer

На данный момент Data Engineer.

Мои компетенции и опыт

pet-project / Data Engineer

Август 2025 — сейчас (1 год и 1 месяц)

Обязанности:
1. Разрабатывал backend/data pipeline на Python нужен доступ к резюме для сбора и обработки рыночных данных OKX
2. Реализовывал инкрементальную синхронизацию OHLCV-данных с checkpoint/resume и repair пропусков
3. Проектировал PostgreSQL-хранилище с партиционированием, UPSERT-семантикой и миграциями
4. Развивал Airflow DAG-и для регулярного ingest, расчета features, market selection и recovery-процессов
5. Реализовывал расчет технических индикаторов и feature pipeline с watermark-based обновлениями
6. Добавлял data quality gates: freshness, coverage, duplicate checks
7. Работал над архитектурным разделением модулей по Clean Architecture: domain/application/infrastructure/interfaces
8. Покрывал критичную бизнес-логику unit/integration, property-based и smoke-тестами

Достижения:
1. Разработал 10+ Airflow DAG-ов для автоматизации ingest и расчета features, что сократило ручное вмешательство на 80% и обеспечило ежедневное обновление данных для моделей
2. Реализовал 50+ unit и integration тестов с использованием pytest и hypothesis, что снизило количество багов в продакшене на 20% и обеспечило стабильность пайплайнов
3. Оптимизировал синхронизацию OHLCV-данных с OKX, сократив время инкрементальной загрузки на 40% за счет checkpoint/resume и параллельной обработки
4. Разработал data quality gates на основе свежести и покрытия, что снизило долю пропусков в данных на 15% и обеспечило корректность расчета технических индикаторов
5. Спроектировал модульную архитектуру по Clean Architecture, что сократило время добавления новых источников данных на 30% за счет переиспользования интерфейсов

Стек: Python нужен доступ к резюме , SQLAlchemy, asyncpg, Apache Airflow, PostgreSQL, Docker Compose, CCXT, Pandas, NumPy, TA-Lib/pandas-ta, Pydantic, Redis, Prometheus, Grafana, pytest, hypothesis, ruff, mypy

Batumi Mosaic / Data Engineer

Июнь 2024 — сейчас (2 года и 3 месяца)

Обязанности:
1. Развивал внутренний data-пайплайн для операций и предотвращения потерь: сбор данных из ERP и операционных источников, ETL на Python/SQL, PostgreSQL, контроль качества, аналитические витрины и автоматизированная отчётность.
2. Разработал ETL-процессы на Python и SQL для загрузки, очистки, нормализации и объединения данных из Microsoft Axapta, складских отчётов, инвентаризаций и внутренних реестров.
3. Оркестрировал регулярные ETL-процессы в Apache Airflow: загрузка, трансформации, проверки качества и обновление витрин по расписанию.
4. Спроектировал в Axapta модель данных по движению и остаткам товаров, подразделениям, инвентаризациям, инцидентам, расследованиям и компенсациям и построил на её основе аналитические витрины.

Достижения:
1. Объединил 5 источников и 10 таблиц в единый пайплайн, обрабатывающий до 1 тыс. записей за цикл, что сократило время загрузки на 40% за счет оптимизации SQL-запросов и параллельной обработки.
2. Перевёл загрузку на инкрементальную обработку с идемпотентным повторным запуском, логированием и DQ-проверками, исключив полный пересчёт и дублирование записей при сбоях.
3. Автоматизировал сверку учётных, складских и инвентаризационных данных, сократив срок выявления и локализации расхождений с 30 до 1–3 дней.
4. Построил аналитические витрины и контрольные отчёты по потерям, расследованиям, компенсациям и движению товара.
5. Автоматизировал управленческую отчётность в Qlik и Metabase, сократив время подготовки с 20 до 3 часов.
6. Разработал правила раннего выявления аномалий в движении товара на основе статистического анализа и SQL-запросов, что сократило время реакции на отклонения на 70%.

Стек: Python, SQL, PostgreSQL, Apache Airflow, Qlik, Metabase

Золотое Яблоко / Loss Prevention Lead

Октябрь 2021 — Апрель нужен доступ к резюме  года и 7 месяцев)

Обязанности:
1. Анализировал операционные датасеты с более 100 тыс. SKU, автоматизируя расчеты в Excel
2. Построил регулярную сверку данных Microsoft Axapta, WMS и видеонаблюдения для выявления расхождений движения товара
3. Проводил root-cause analysis отклонений по цепочке приемка → хранение → перемещение → продажа
4. Проектировал контрольные точки процессов для выявления расхождений до инвентаризации
5. Руководил командой из 20 сотрудников и обеспечил прохождение годовых инвентаризаций в пределах нормативов потерь

Достижения:
1. Предотвратил потери на сумму более 1 млн рублей в год за счет внедрения контрольных точек с автоматическими алертами в Power BI
2. Сократил время анализа операционных данных на 40% и повысил точность расчетов до 99,9% благодаря автоматизации в Excel
3. Сократил время выявления расхождений с недели до одного дня с помощью автоматизированной системы сверки данных на SQL и Python

Стек: SQL, Python, Excel, Power BI