⚠︎ Архивная вакансия
Эта вакансия была перемещена в архив. Возможно она уже не актуальна и рекрутер больше не принимает отклики на эту вакансию. Вы можете  найти актуальные похожие вакансии

Data Engineer (middle+/senior)

Прямой работодатель  Rubbles ( www.rubbles.ru )
Москва, Россия
Миддл • Сеньор
Информационные технологии • Разработка • Python • ClickHouse • Spark • Apache Spark • Dev tools • ML/AI
24 августа
Удаленная работа • Работа в офисе
Опыт работы более 5 лет
до 400 000 ₽
Работодатель  Rubbles
Описание вакансии

Мы в Rubbles занимаемся созданием Data Science-продуктов и разработкой аналитических решений для различных индустрий: системы предсказания спроса на товары для оффлайн-ритейлов, рекомендательные системы в банках, поисковые системы по товарам для онлайн-ритейлеров и многое другое. Среди наших клиентов: Сбербанк, Пятёрочка, KFC, Перекрёсток, Альфа-Банк, МВидео и др.

Мы находимся в поиске Data Engineer уровня middle+ или senior для усиления нашего продуктового направления по разработке платформы прогнозирования спроса и товарооборота в ритейле. Сейчас в команде 5 технических специалистов (data scientists, system analysts, разработчиков), и мы планируем увеличить её вдвое. Мы ищем человека, который взял бы на себя задачи по организации потоков данных в рамках разрабатываемой платформы, оптимизацию систем хранения и обработки с использованием современных программных продуктов и подходов, а также привнес свою экспертизу в общее дело и помогал коллегам в повышении культуры работы с данными в целом.

Обязанности:

  • Разработка и поддержка промышленных пайплайнов обработки данных и машинного обучения на Python и Spark с использованием популярных фреймворков (Airflow, Prefect, Airbyte и т.д.), а также собственных разработок;
  • Разработка коннкеторов к системам-источникам данных и системам-потребителям;
  • Организация потоков данных в рамках микросервисной архитектуры платформы;
  • Разработка схемы данных компонентов платформы в едином информационном поле;
  • Работа над оптимизацией систем хранения (Clickhouse, PostgreSQL, Redis);
  • Настройка и поддержка интеграционной шины данных на базе Kafka;
  • Поддержка data scientist’ов и аналитиков данных (также работают на Python) в задачах разработки;
  • Код ревью коллег;
  • Обучение проектных команд в работе с компонентами разрабатываемой платформы.

Минимальные требования:

  • Опыт промышленной разработки на Python от 3х лет;
  • Опыт работы с популярными ETL фреймфорками (Airflow, Prefect, Airbyte и т.д.) от полугода, практический опыт в создании сложных пайплайнов;
  • Опыт работы с MPP – системами и с колоночными хранилищами данных;
  • Опыт разработки схемы данных, знание основных методологий построения хранилищ данных;
  • Участие в строительстве DWH в роли разработчика;
  • Опыт разворачивания, настройки мониторинга и передача на поддержку разработанных решений;
  • Умение работать с командной строкой Linux/MacOS;
  • Умение вести проекты в Git.

На что ещё смотрим:

  • Знакомство со Spark;
  • Знания Java/Kotlin;
  • Опыт Devops (Docker, Kubernetes, Gitlab-CI, настройка окружения на серверах и др.);
  • Опыт разработки сервисов (Flask, Django, Asyncio и др.);
  • Опыт работы со Streamsets/NiFi.

У нас:

  • Участие в интересных проектах на перспективном AI рынке;
  • Удаленная работа при желании;
  • Необходимая техника для работы при желании;
  • Возможность участия в различных интересных проектах в рамках компании, если вдруг заскучал;
  • Поддержка кандидата в профессиональном и карьерном росте;
  • Совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами;
  • Гибкий график работы;
  • Оформление полностью белое по ТК РФ;
  • ДМС (включая стоматологию) после прохождения испытательного срока;
  • Офис в центре Москвы (2 минуты от м. Сухаревская) со всем необходимым для комфортной работы.

Специализация
Информационные технологииРазработкаPythonClickHouseSparkApache Spark
Отрасль и сфера применения
Dev toolsML/AI
Уровень должности
МиддлСеньор