Data engineer DWH

Ищем инженера данных на DWH в электроэнергетике

Ориентировочное распределение чем предстоит заниматься (довольно грубое, пропорции со временем можно смещать в точку наибольших интересов, или они могут следовать за крупными командными проектами):

• 40% доработки ETL, отражающие изменения в системах-источниках и улучшающих аналитическое хранилище
• 25% доработки утилит ETL, автоматизация процессов
• 20% поддержка текущих регулярных процессов
• 15% участие в смежных проектах

Особенности процессов:

• основной процесс загрузки работает достаточно редко, пару раз в сутки по появлении инкремента
• по сути ELT с не всегда тривиальными трансформациями, специфическая предметная область
• являемся бизнес-аналитиками хранилища при помощи аналитиков систем-источников
• тесное взаимодействие с небольшими командами аналитиков данных, специалистами по линейной оптимизации и моделированию

Стек:

• реляционные БД; ядро DWH Vertica, десятки разнообразных источников
• ETL Airflow
• много кастомной автоматизации на Python

Работаем удаленно, изредка появляется необходимость появляться в офисе в Москве. Есть ДМС. С наймом не затягиваем. Собеседование, общее тестирование, по необходимости еще одно собеседование, анкета для безопасников.

Пожелания к кандидату (идеально, если в отклике поподробнее распишете по каждому пункту, ну или поставите субъективную оценку от 1 до 10):

Обязательно:

• Python
• SQL

Желательно:

• опыт с Airflow или другое ПО для оркестрации
• linux
• docker
• git
• навыки проектирования хранилища данных