Middle+ SYA + DEV Data Engineer

На данный момент Middle SYA Data Engineer.

Мои компетенции и опыт

Data Engineer / DWH-разработчик с опытом проектирования и развития корпоративного хранилища данных в экосистеме Сбера. Строю ETL-пайплайны на Spark и Greenplum для обработки данных масштаба миллиардов строк, веду миграции сущностей DWH, внедряю архитектурные решения и представляю их стейкхолдерам. Ищу позицию Middle / Middle+ Data Engineer в финтехе.

Системный аналитик DWH / Data Engineer - СБЕР нужен доступ к резюме — настоящее время

• Разработал ETL-процесс матчинга клиентских профилей из трёх систем-источников с неполными и некорректными данными (PySpark, GraphX, PostgreSQL).
• Спроектировал и реализовал ETL-скрипт на 86 атрибутов в режиме multidiff для перехода TLA-1 день - TLA-1 час (Spark, Hadoop) на потоке профилей физлиц на 1,5 млрд строк. - ускорение обработки на 80%
• Выстроил процесс реконсиляции и сверки расчётных витрин с эталонными источниками после внесения изменений в логику - на уровне агрегатов и построчных расхождений; внедрил автоматизированные проверки на синтетических данных для безопасного preview-тестирования гипотез до прома (Airflow, Kafka).
• Сформировал набор DQC-проверок качества данных (контроль null по ключевым полям, заполненность, отсутствие дублей) и совместно со стороной разработки реализовал сквозной поток контроля качества данных (ККД) с алертингом при нарушении бизнес-сверок - контрольные суммы, количество строк между слоями.
• Отвечал за миграцию 13 сущностей на новые источники данных и целевой фреймворк Сбера с учётом архитектурных требований и бизнес-логики версионирования (Spark, Hadoop, Greenplum, Airflow, NiFi, Kafka).
• Изменил алгоритм построения бизнес-версионности. - рост сходимости данных на 4–5%
• Разработал техническую документацию по миграции 18 сущностей в рамках переноса данных в экосистему Сбера.
• Презентовал технические и архитектурные решения стейкхолдерам, обосновывая изменения логики расчёта для консистентности данных при миграции.
• Использовал Grafana для мониторинга нагрузки потоков и расчёта витрин данных.
• Курировал онбординг 3 стажёров, успешно вышедших в штат.

Full-stack Developer - Steel-Drive нужен доступ к резюме - нужен доступ к резюме

• Курировал разработку сайта и БД для поддержки бизнес-решений компании.