⚠︎ Архивная вакансия
Эта вакансия была перемещена в архив. Возможно она уже не актуальна и рекрутер больше не принимает отклики на эту вакансию. Вы можете  найти актуальные похожие вакансии

Hadoop data engineer

Прямой работодатель  Магнит ( magnit.ru )
Москва, Россия
Миддл • Сеньор
Информационные технологии • Инженер • FMCG/Потребительские товары • Data Analysis
13 января
Удаленная работа
Опыт работы от 1 года до 3х лет
Работодатель  Магнит
Описание вакансии

Чем занимается data engineer:

  • Организация процессов хранения и аналитики данных ритейла на базе системы из кластеров ADH, Greenplum, ClickHouse.
  • Организация ELT/ETL в ADH из Teradata ,Oracle, MsSQL, BDA, db2, Greenplum, ClickHouse.
  • Организация процессов оптимального хранения/валидации/мониторинга качества данных в ADH.
  • Выполнение функций эксперта в контексте процесса организации гибридного хранилища ADH, Greenplum, ClickHouse.

Что для нас важно:

  • Отличное владение компонентами платформы Hadoop необходимыми для организации ELT/ETL (от 2-х лет).
  • Владение одним из ЯП поддерживаемым Spark-ом , желательно Python (от 2-х лет).
  • Отличное знание SQL, желательно Teradata (от 2-х лет).
  • Значительным преимуществом будет понимание принципов работы Hadoop, умение производить тонкие настройки для максимизации КПД кластера.
  • Желательно иметь в стеке максимально кол-во совпадений: Informatica, Bash, Hdfs, YARN, Spark, TDCH, Sqoop, Oozie, Hive, Parquet, ADH, Spark-submit, Linux, Pyspark, Delta Lakе, Pyspark, Python, Postgresql.
  • Любить решать нестандартные, сложные, интересные задачи. Уметь доводить их решение до логического конца.

Ты получишь уникальный опыт в крупной Компании, не обещаем, что будет легко, но точно интересно:)


Специализация
Информационные технологииИнженер
Отрасль и сфера применения
FMCG/Потребительские товарыData Analysis
Уровень должности
МиддлСеньор