⚠︎ Архивная вакансия
Эта вакансия была перемещена в архив. Возможно она уже не актуальна и рекрутер больше не принимает отклики на эту вакансию. Вы можете  найти актуальные похожие вакансии

Senior Data Engineer

Прямой работодатель  inDriver ( indriver.com )
Москва, Россия
Миддл • Сеньор
Аналитика, Data Science, Big Data • Инженер • Разработчик • Python • Scala • Apache Spark • ClickHouse • Google BigQuery • Spark • Data Analysis • Логистика и транспорт
17 августа
Релокация • Удаленная работа • Работа в офисе
Опыт работы любой
от 250 000 до 350 000 ₽
Работодатель  inDriver
Описание вакансии

inDriver — международный сервис пассажирских перевозок. Мы создаем глобальный высокотехнологичный продукт, который меняет жизнь миллионов людей к лучшему. Входим в топ-3 мобильных сервисов для заказа поездок — 80 млн. пользователей, 1 млрд. поездок, 450 городов в 34 странах мира.

Мы ищем Senior Data инженера, который поможет строить Data Warehouse, с data quality, будет участвовать в построении архитектуры и моделировании данных, делиться знаниями и получать эти знания. Мы только начинаем строить новый Data Warehouse, наращиваем команду, но мы знаем, что эта часть проекта является одной из важнейший частей продукта.

‍‍‍ В команде Data Engineering 5 человек, всего в команде разработки более 180 сотрудников и мы продолжаем расширять команду.

Мы не боимся использовать новые инфраструктурные решения (Google Cloud Platform, AWS). Мы свободны в принятии решений, будучи ограничены только законами о защите перс данных. Инфраструктурные и архитектурные решения принимаем исключительно с трезвым взглядом на проблему и апеллируя к цифрам.

Наш стек:

  • используем Python/Scala для разработки под Spark;
  • Python/Java для написания сервисов;
  • BigQuery/Clickhouse как OLAP СУБД;
  • Spark/DataFlow для обработки данных;
  • визуализируем в Grafana/Tableau;

Разработку ведем на Github, используем TeamCity, трекам задачи в JIra, доку пишем в Confluence. Хотим развиваться в сторону Flink, Kubernetes (в том числе Spark on Kubernetes), Kafka, но открыты к любым идеям и решениям.

Вам предстоит:

  • ‍развивать культуру работы с данными;
  • создавать единую систему обработки, хранения и валидации данных;
  • ‍проектировать и строить процессы хранения, обработки, очистки и обогащения данных;
  • участвовать в разработке data pipeline на всех этапах - от обсуждения с источниками данных формата получения данных, до презентации новой фичи потребителям;
  • разрабатывать API (REST, gRPC) для высоконагруженных сервисов получения доступа к данным;
  • участвовать в проектировании системы и принятии архитектурных решений совместно с командой разработки;
  • писать интеграционные и юнит-тесты, разрабатывать средства автоматизации для валидации и алертинга на основе состояния данных;
  • а также делиться знаниями с разработчиками на внутренних митапах.

Наши пожелания:

  • опыт разработки Data pipelineов на Spark/Flink/DataFlow с применением Luigi/Airflow/Oozie;
  • владеете Python и/или Java;
  • знаете и понимаете алгоритмы и принципы обработки данных;
  • ️понимаете общие концепции программирования (шаблоны проектирования, ООП, модульность, чистая архитектура, 12-Factor App);
  • умеете проектировать систему обработки данных (data modeling);
  • ответственны и инициативны (мы верим, что идеи должны исходить не только от бизнеса, но и от сотрудников компании).

Мы предлагаем:

  • стабильную заработную плату, соблюдение ТК РФ, ДМС со стоматологией;
  • современные MacBook Pro и другое необходимое для работы оборудование;
  • неограниченные возможности профессионального и карьерного роста, регулярное внешнее и внутреннее обучение от наших партнеров;
  • частично или полностью оплачиваемые дополнительные обучающие курсы, занятие английским языком с преподавателем в офисе;
  • программы личностного роста, в которых мы ставим цели и вместе к ним движемся;
  • стать частью международной команды профессионалов и просто хороших людей, которые все вместе создают одну из самых крутых историй успеха в мировой IT-индустрии;
  • перевезем вас в Москву и предоставим релокационный пакет;
  • работаем в офисе, удаленно+офис или удаленно.

Наши сотрудники - самое ценное, что у нас есть. Мы заботимся о том, чтобы офисное пространство было максимально комфортным для работы и отдыха. В офисе есть уютная кухня, игровая комната и зоны для отдыха. Мы любим различные корпоративные мероприятия и тематические дни, чтобы наша жизнь была еще более интересной и насыщенной.

Офис находится в нескольких минутах ходьбы от м. Белорусская.