Senior/Lead Разработчик Python, ETL

Прямой работодатель  Deeplay ( deeplay.io )
Москва, Россия
Сеньор • Тимлид/Руководитель группы
Информационные технологии • Разработка • Python • Data Analysis
20 июня
Удаленная работа
Опыт работы от 3 до 5 лет
Работодатель  Deeplay
Описание вакансии

deeplay решает задачи игровой индустрии. С использованием искусственного интеллекта, сложных аналитических подходов и прочих пафосных слов. Все эти пафосные слова любят хорошие, чистые данные. Которые удобно и правильно лежат, вовремя добавляются, редко ломаются, etc. Само по себе так случается редко, поэтому у нас есть несколько команд программистов, насильно приводящих данные к хорошему виду. Работы становится всё больше, так что мы хотим расширить команду и нанять программиста на Python в команду ETL. В частности, мы очень хотим найти человека, который сможет лидить команду. То есть спорить с Head of Data про планируемую архитектуру, декомпозировать и доводить до прода довольно крупные задачи, не давать сокомандникам расслабиться в культуре кода, много и красноречиво вещать в ответ на фразы вида "ну это ж Merge Request, там не обязательно код читать".

Задачи:

  • Внезапно, ETL. Надо собирать данные из очень, очень разных мест. Прямо даже нетривиальная архитектура иногда встречается. Лямбда-архитектуру мы пока зарубили, а вот стрим-процессинг есть;
  • Всё в прод-режиме: надо документировать, пихать в шедулер, делать тесты и мониторинг. Девопсы есть и они хорошие, так что это не так уж и больно;
  • Поддерживать и чинить уже запущенные ETL тоже надо. Если сможешь писать так, чтобы было надо пореже, все обрадуются =)
  • Писать нетривиальный парсинг данных иногда надо. Можно взять аналитика и смотреть в его чистые глаза, пока он не выдаст готовый алгоритм. Можно пробовать самому, если скиллы позволяют;
  • Слушать бизнес тоже надо, увы. Изредка, но всё же. Не все задачи от бизнеса приходят хорошо и аккуратно сформулированными. Тут тоже можно позвать на помощь аналитика, они с бизнесом общаются больше и понимать их уже научились;
  •  Рядом крутятся хранилища (clickhouse, minio и ещё по мелочи) и BI системы (Tableau). Их не надо ронять и очень желательно не клинить. Админы у них, конечно, есть, и хорошие. Но если вдруг есть опыт/понимание, как идеально по канону с ними работать -- круто.

Стэк, ну вдруг тебе интересно:

  • Clickhouse как аналитический data lake, minio как технический;
  • Airflow как шедулер;
  • Кластер на kubernetes для вечных приложений;
  • Kafka как шина данных для не-реалтайм потребления;
  • Prometheus+grafana для мониторинга;
  • Хороший самописный велосипед на основе клика для логов;
  • Очень проактивный лид архитектуры рядом, который с радостью затащит попробовать любую новую вещь, которую хочется пощупать.

И, конечно, условия:

  • Гибкий график и удаленная работа (команда разработки распределена по всей России, и процессы налажены сквозь часовые пояса);
  • Современный стек с малым количеством велосипедов;
  •  Разнообразие задач по ETL, особенно в E части;
  • Аналитики и MLщики прямо рядом, если хочется порасти вбок -- велкам;
  • Высокая зарплата (готовы идти навстречу сильному кандидату);
  • Оплата обучения внутри и вне компании.

Специализация
Информационные технологииРазработкаPython
Отрасль и сфера применения
Data Analysis
Уровень должности
СеньорТимлид/Руководитель группы
Загрузка формы отклика...