Data engineer DWH

Ищем инженера данных на DWH в электроэнергетике. Hазвиваем аналитическое хранилище данных, используя лучшие практики. Не просто собираем и обрабатываем данные - команда является держателем бизнес-смыслов в сложной предметной области. Помогаем принимать взвешенные отраслевые решения на основе данных.

Ориентировочное распределение чем предстоит заниматься (довольно грубое, пропорции со временем можно смещать в точку наибольших интересов, или они могут следовать за крупными командными проектами):

• 40% доработки ETL (изменение в системах-источниках, запросы от пользователей);
• 25% доработки утилит ETL, автоматизация процессов, рефакторинг;
• 20% мониторинг и поддержка существующих процессов автоматизации, качества данных в хранилище;
• 15% участие в смежных проектах.

Особенности процессов:

• основной процесс загрузки работает несколько раз в сутки по появлении инкремента;
• загрузка - ELT с иногда нетривиальными трансформациями;
• специфическая предметная область электроэнергетики;
• являемся бизнес-аналитиками хранилища при помощи аналитиков систем-источников;
• тесное взаимодействие внутри команды с аналитиками данных, специалистами по оптимизации и моделированию;
• раскатываем код сами, базовые инженерные вещи на нас, по сложным техническим вопросам есть возможность консультаций погруженного подрядчика.

Стек:

• реляционные БД; ядро DWH Vertica, десятки различных источников;
• ETL Airflow;
• много кастомной автоматизации на Python (включая вебсервисы, боты, парсинг внешних сайтов);
• деплой docker, jenkins, git/SVN.

Пожелания к кандидату (идеально, если в отклике поподробнее распишете по каждому пункту, ну или поставите субъективную оценку от 1 до 10):

Обязательные знания и навыки:

• Python ядро + библиотеки для работы с данными;
• SQL на хорошем уровне (сложные запросы, оптимизация, оконные вычисления);
• знакомство с системами на linux.

Будет большим плюсом опыт работы с:

• Airflow или другое ПО для оркестрации;
• СУБД Vertica;
• проектированием хранилищ данных;
• docker, git с ветками;
• документацией.

Работаем полностью в белую, удаленно, изредка появляется необходимость появляться в офисе в Москве. Есть ДМС. С наймом не затягиваем. Собеседование, общее тестирование, по необходимости еще одно собеседование, анкета для безопасников. Организация включена в перечень IT-компаний