Senior/Lead Разработчик Python, ETL

deeplay решает задачи игровой индустрии. С использованием искусственного интеллекта, сложных аналитических подходов и прочих пафосных слов. Все эти пафосные слова любят хорошие, чистые данные. Которые удобно и правильно лежат, вовремя добавляются, редко ломаются, etc. Само по себе так случается редко, поэтому у нас есть несколько команд программистов, насильно приводящих данные к хорошему виду. Работы становится всё больше, так что мы хотим расширить команду и нанять программиста на Python в команду ETL. В частности, мы очень хотим найти человека, который сможет лидить команду. То есть спорить с Head of Data про планируемую архитектуру, декомпозировать и доводить до прода довольно крупные задачи, не давать сокомандникам расслабиться в культуре кода, много и красноречиво вещать в ответ на фразы вида "ну это ж Merge Request, там не обязательно код читать".

Задачи:

• Внезапно, ETL. Надо собирать данные из очень, очень разных мест. Прямо даже нетривиальная архитектура иногда встречается. Лямбда-архитектуру мы пока зарубили, а вот стрим-процессинг есть;
• Всё в прод-режиме: надо документировать, пихать в шедулер, делать тесты и мониторинг. Девопсы есть и они хорошие, так что это не так уж и больно;
• Поддерживать и чинить уже запущенные ETL тоже надо. Если сможешь писать так, чтобы было надо пореже, все обрадуются =)
• Писать нетривиальный парсинг данных иногда надо. Можно взять аналитика и смотреть в его чистые глаза, пока он не выдаст готовый алгоритм. Можно пробовать самому, если скиллы позволяют;
• Слушать бизнес тоже надо, увы. Изредка, но всё же. Не все задачи от бизнеса приходят хорошо и аккуратно сформулированными. Тут тоже можно позвать на помощь аналитика, они с бизнесом общаются больше и понимать их уже научились;
•  Рядом крутятся хранилища (clickhouse, minio и ещё по мелочи) и BI системы (Tableau). Их не надо ронять и очень желательно не клинить. Админы у них, конечно, есть, и хорошие. Но если вдруг есть опыт/понимание, как идеально по канону с ними работать -- круто.

Стэк, ну вдруг тебе интересно:

• Clickhouse как аналитический data lake, minio как технический;
• Airflow как шедулер;
• Кластер на kubernetes для вечных приложений;
• Kafka как шина данных для не-реалтайм потребления;
• Prometheus+grafana для мониторинга;
• Хороший самописный велосипед на основе клика для логов;
• Очень проактивный лид архитектуры рядом, который с радостью затащит попробовать любую новую вещь, которую хочется пощупать.

И, конечно, условия:

• Гибкий график и удаленная работа (команда разработки распределена по всей России, и процессы налажены сквозь часовые пояса);
• Современный стек с малым количеством велосипедов;
•  Разнообразие задач по ETL, особенно в E части;
• Аналитики и MLщики прямо рядом, если хочется порасти вбок -- велкам;
• Высокая зарплата (готовы идти навстречу сильному кандидату);
• Оплата обучения внутри и вне компании.