⚠︎ Архивная вакансия
Эта вакансия была перемещена в архив. Возможно она уже не актуальна и рекрутер больше не принимает отклики на эту вакансию. Вы можете  найти актуальные похожие вакансии

Инженер данных DWH в Маркет

Прямой работодатель  Яндекс ( yandex.ru )
Россия
Миддл
Аналитика, Data Science, Big Data • Инженер • C++ • Hadoop • ClickHouse • YT • Java • Dev tools
13 апреля
Удаленная работа • Работа в офисе
Опыт работы от 1 года до 3х лет
Работодатель  Яндекс
Описание вакансии

Мы команда инженеров данных, и продукт нашей команды — Data WareHouse (хранилище данных), которое мы строим для нужд бизнес-подразделений. Нашими пользователями являются как руководители Маркета, которым нужна отчётность для принятия решений, так и эксперты в области глубокого анализа данных. Можно утверждать, что все бизнес-подразделения Маркета являются потребителями поставляемых нами данных.

Технологически ядро хранилища построено на системах хранения данных YTsaurus и СlickHouse. Разработка процессов ETL идёт на собственном фреймворке, который создан внутри Яндекса.

Наше хранилище данных сейчас одно из самых крупных в России — порядка 30 петабайт — и с учётом темпов роста бизнеса оно будет самым большим. Стоит отметить, что к нему предъявляются высокие требования по надёжности, что ставит перед нашей командой далеко не тривиальные задачи, для которых нет готовых решений.

Какие задачи вас ждут

  • вести разработку ETL-процессов поставки данных;
  • выявлять неэффективность в существующих процессах и оптимизировать их;
  • проектировать структуру хранения данных;
  • участвовать в развитии фреймворка поставки данных;
  • погружаться в данные одной из прикладных бизнес-областей и становиться в них экспертом;
  • сопровождать разработанные процессы ETL.

Мы ждём, что вы

  • уверенно знаете Python на уровне написания собственного фреймворка или SQL на уровне оптимизации запросов;
  • знаете основные алгоритмы и структуры данных, особенно используемые в области работы с большими данными.

Будет плюсом, если вы

  • проектировали DWH: слои, модели хранения данных, процессы ETL;
  • понимаете принципы работы хотя бы одной технологии распределенной обработки данных: Hadoop, ClickHouse;
  • имеете опыт промышленной разработки на одном из языков высокого уровня: Java или C++;
  • умеете работать в командной строке систем Unix-like: Linux, macOS.

Что мы предлагаем

  • современный офис, в котором есть вся необходимая инфраструктура для комфортной работы и отдыха;
  • официальное трудоустройство, компенсация оплаты питания на территории кампуса и в его окрестностях;
  • гибкий график: мы не контролируем ваше время, главное — выполнять задачи;
  • профессиональная команда, у которой можно многому научиться и перенять опыт;
  • культура открытости и взаимопомощи: у нас работают увлечённые люди, небезразличные к тому, что они делают;
  • высокая скорость процессов и возможность быстро увидеть свой вклад;
  • работа в технологической компании, которая создаёт сервисы, приносящие пользу миллионам людей.

Специализация
Аналитика, Data Science, Big DataИнженерC++HadoopClickHouseYTJava
Отрасль и сфера применения
Dev tools
Уровень должности
Миддл
По вопросам о компании и вакансии пишите в почту resume@yandex-team.ru.
Так же вы можете:
• написать в Telegram: @Ya_Ntsama