Data engineer DWH

Прямой работодатель  Всероссийская биржа электроэнергии и мощности ( )
Москва, РФ
Миддл
Аналитика, Data Science, Big Data • Python • SQL • Vertica • Промышленность
23 января
Удаленная работа
Опыт работы от 1 года до 3х лет
от 150 до 250 ₽
Описание вакансии

Ищем инженера данных на DWH в электроэнергетике. Hазвиваем аналитическое хранилище данных, используя лучшие практики. Не просто собираем и обрабатываем данные - команда является держателем бизнес-смыслов в сложной предметной области. Помогаем принимать взвешенные отраслевые решения на основе данных.

Ориентировочное распределение чем предстоит заниматься (довольно грубое, пропорции со временем можно смещать в точку наибольших интересов, или они могут следовать за крупными командными проектами):

  • 40% доработки ETL (изменение в системах-источниках, запросы от пользователей);
  • 25% доработки утилит ETL, автоматизация процессов, рефакторинг;
  • 20% мониторинг и поддержка существующих процессов автоматизации, качества данных в хранилище;
  • 15% участие в смежных проектах.

Особенности процессов:

  • основной процесс загрузки работает несколько раз в сутки по появлении инкремента;
  • загрузка - ELT с иногда нетривиальными трансформациями;
  • специфическая предметная область электроэнергетики;
  • являемся бизнес-аналитиками хранилища при помощи аналитиков систем-источников;
  • тесное взаимодействие внутри команды с аналитиками данных, специалистами по оптимизации и моделированию;
  • раскатываем код сами, базовые инженерные вещи на нас, по сложным техническим вопросам есть возможность консультаций погруженного подрядчика.

Стек:

  • реляционные БД; ядро DWH Vertica, десятки различных источников;
  • ETL Airflow;
  • много кастомной автоматизации на Python (включая вебсервисы, боты, парсинг внешних сайтов);
  • деплой docker, jenkins, git/SVN.

Пожелания к кандидату (идеально, если в отклике поподробнее распишете по каждому пункту, ну или поставите субъективную оценку от 1 до 10):

Обязательные знания и навыки:

  • Python ядро + библиотеки для работы с данными;
  • SQL на хорошем уровне (сложные запросы, оптимизация, оконные вычисления);
  • знакомство с системами на linux.

Будет большим плюсом опыт работы с:

  • Airflow или другое ПО для оркестрации;
  • СУБД Vertica;
  • проектированием хранилищ данных;
  • docker, git с ветками;
  • документацией.

Работаем полностью в белую, удаленно, изредка появляется необходимость появляться в офисе в Москве. Есть ДМС. С наймом не затягиваем. Собеседование, общее тестирование, по необходимости еще одно собеседование, анкета для безопасников. Организация включена в перечень IT-компаний


Специализация
Аналитика, Data Science, Big DataPythonSQLVertica
Отрасль и сфера применения
Промышленность
Уровень должности
Миддл
Загрузка формы отклика...