Data engineer

Прямой работодатель  Сбер
Москва, Россия
Миддл
Аналитика, Data Science, Big Data • Python • Банковская и страховая сфера
26 января
Работа в офисе
Опыт работы от 1 года до 3х лет
Работодатель  Сбер
Описание вакансии

Мы ищем Data engineer в команду «Новостной мониторинг», занимающуюся анализом СМИ.

 

Обязанности

  • Реализовывать пайплайны обработки данных - как пакетной так и потоковой
  • разработка и тестирование (функциональное, интеграционное) модулей системы, расширение функционала существующих
  • участие в разработке систем сбора, обработки, обогащения и хранения данных

 

Требования

  • опыт коммерческой разработки 1-3 года
  • Python3 (уверенные знания), библиотеки тестирования (pytest)
  • базовые знания стека Hadoop (HDFS, YARN, Spark, Hive)
  • опыт использования хотя бы одного из инструментов (Apache Nifi, Oozie или Airflow, luigi)
  • базы данных: PostgreSQL
  • опыт администрирования unix-систем
  • опыт работы с Docker/docker-compose
  • математический бэкграунд и широкий кругозор в сферах технологий, платформенных решений, IT-инфраструктур
  • коммуникабельность и умение работать в команде

 

Плюсом будет

  • понимание работы Elasticsearch, Kafka, RESTful
  • опыт работы со Spark (DataFrame API, Spark SQL)

 


Специализация
Аналитика, Data Science, Big DataPython
Отрасль и сфера применения
Банковская и страховая сфера
Уровень должности
Миддл
По вопросам о компании и вакансии пишите в почту yvchuyko@sberbank.ru.
Так же вы можете:
• написать в Telegram: @july_chu
Загрузка формы отклика...