Senior Data Engineer

Текущий статус/должность: Senior Data Engineer.

Мои компетенции и опыт

О себе

Более 4 лет работаю с данными в консалтинге: прошёл путь от ad-hoc аналитики на Python до архитектора платформ и старшего инженера данных. Моя ключевая компетенция — сквозная разработка решений «под ключ»: от проектирования хранилищ до создания дашбордов, которыми заказчики пользуются ежедневно. В рамках этого процесса строю отказоустойчивые пайплайны (Airflow, dbt), работаю с PostgreSQL, ClickHouse, Python, Yandex DataLens.

Не проектирую в вакууме. Стараюсь предлагать лаконичные работающие решения под конкретную бизнес-задачу, при этом учитываю контекст: сроки, имеющиеся возможности компании, потребность в дальнейшей масштабируемости. В каждом проекте моя задача — превратить сырые данные в инструмент, который помогает принимать решения.

Не рассматриваю сферы: финтех, гэмблинг, ставки и букмекерство, алкогольные и табачные компании. Предпочитаю проекты с понятным социальным контекстом и пользой.

Обязанности:

• Проектирование и разработка корпоративных хранилищ данных (DWH) под конкретные бизнес-задачи: проработка логической модели данных (выделение ключевых сущностей, их атрибутов и связей, выбор методологии — Data Vault 2.0 или многомерные модели) и её реализация в физической схеме БД (создание таблиц, индексов, партиций, настройка хранения). 
• Создание и поддержка ETL/ELT-пайплайнов: загрузка данных из различных источников (CRM, ERP, API, логи, Google Таблицы, Apache Kafka), обработка и трансформация данных с использованием dbt и Python-скриптов, оркестрация процессов с помощью Apache Airflow.
• Разработка аналитических витрин и дашбордов в Yandex DataLens и Superset, настройка самостоятельного доступа бизнес-пользователей к данным и возможности выгрузки отчетов в необходимых форматах (Excel, CSV), обеспечение self-service аналитики.
• Оптимизация производительности баз данных (PostgreSQL, ClickHouse): настройка индексов, партиционирование, инкрементальные загрузки.
• Проведение ad-hoc анализа данных: написание сложных SQL-запросов (оконные функции, CTE, вложенные запросы) для оперативного извлечения и исследования данных, подготовки выгрузок под конкретные задачи бизнес-подразделений, поиска аномалий и проверки гипотез.
• Внедрение практик тестирования, документирования и контроля качества данных (dbt tests, CI/CD).
• Разработка на Python скриптов для обработки данных, интеграции с внешними сервисами (ASR/TTS), построение прототипов ML-моделей.
• Анализ бизнес-процессов и данных, поиск точек роста, проведение исследований.
• Обучение и консультирование сотрудников (10+ пользователей) по работе с BI и аналитикой, формализация требований к отчетности.
• Администрирование ресурсов Яндекс.Облака.

Некоторые результаты:

• С нуля разработал корпоративное хранилище данных на PostgreSQL по методологии Data Vault 2.0, интегрировав в него несколько разнородных источников данных. В рамках решения создал полноценный ETL-процесс загрузки и обработки данных, а также дашборды для аналитики и выгрузки отчетов в Yandex DataLens. Это позволило автоматизировать расчет заработной платы (ранее это был ручной труд в Google Таблицах) и сократить время формирования отчетности с нескольких дней до 5–10 минут. Бизнес при этом получил инструмент для прозрачного анализа затрат и планирования бюджета.
• Построил высокопроизводительную аналитическую платформу на ClickHouse, обеспечив сбор и обработку данных из разнородных источников (БД, логи, API) с обновлением каждые 5–60 минут. Разработал более 20 дашбордов в Yandex DataLens, что позволило сотрудникам компании разного уровня самостоятельно отслеживать ключевые метрики и выгружать необходимые им отчеты.
• По запросам бизнеса разработал серию дашбордов, закрывающих ключевые потребности в аналитике и отчетности. Обучил 10+ сотрудников самостоятельной работе с BI-инструментами. В результате компания перешла от эпизодических отчетов «по просьбе» к системному анализу на единой платформе данных.
• Активно влиял на качество данных на стороне источников: в рамках одного из проектов участвовал в разработке CRM, формулируя требования к составу полей и логике их заполнения, что обеспечило возможность корректного расчета и анализа. В ряде других проектов также инициировал заполнение ранее отсутствовавших критических полей — это сделало возможным проведение аналитики, которая ранее была недоступна.