Ведущий инженер данных

«UMA.TECH» (ex Газпром Медиа Технологии) в поисках специалиста с опытом работы с большими данными, который поможет нам:

- построить высокопроизводительные конвейеры обработки данных;

- достигнуть высокого качества данных, загружаемых на платформу, совместно с DQA;

- улучшить мониторинг полноты данных совместно с Data Analysts / Scientists;

- ускорить анализ и исправление инцидентов, связанных с данными.

Вот примеры задач, которые нужно решить:

• имплементация и оптимизация ETL / ELT процессов, распараллеливание обработки данных;
• загрузка, фильтрация и предобработка данных из источников;
• поддержка ETL / ELT процессов совместно с ML Engineers;
• разработка и поддержка чеков полноты данных совместно с DQA;
• поддержание высокого уровня культуры написания и тестирования кода;
• контроль за CI / CD приложений платформы, помощь в реагировании на инциденты;
• настройка мониторинга метрик качества данных.

Нам важно, чтобы у вас был опыт:

• в разработке ПО от 3 лет на одном из языков Java / Python (если только Java, то готовность использовать python в ежедневной работе);
• на позиции Data Engineer / ML Engineer/ или подобных;
• под Linux (git, vim, GNU CLI tools);
• с RDBMS и SQL запросами, понимание ACID;
• с web frameworks (Spring / Play / Django / Flask);
• с колоночными/mpp СУБД (Clickhouse / Vertica / Cassandra / Redshift / GreenPlum);
• с фреймворком Spark (RDD, Streaming, SQL) и понимание работы Hadoop (MR, HDFS, HBase);
• по анализу инцидентов с качеством данных в источниках;
• в проектировании приложений работы с данными;
• с документацией, а также владение техническим английским (B1 и выше).

Будет преимуществом:

• наличие оконченных курсов AI, ML на Coursera (MIPT / HSE / Andrew Ng и подобные);
• повышение качества процессов ETL / ELT pipelines на NiFi / Airflow/etc.;
• опыт разработки с исп. numba и понимать разницу между CPython, Cython, PyPy.
• опыт интерпретации качества полученных моделей;
• опыт работы с приложениями Jupyter Notebook / Zeppelin Notebook;
• знание C / C++ / Scala / Kotlin;
• opensource contribution / pet projects со ссылками на BitBucket / GitHub / GitLab / архивом;
• опыт проведения code review, cледование code style.

Условия:

• Оформление по ТК РФ;
• Гибкий график, сейчас мы работаем удаленно;
• ДМС (включая стоматологию) после испытательного срока, страхование выезжающих за рубеж; возможность страхования членов семьи;
• Дружный доброжелательный коллектив, в котором приятно работать, лояльное руководство.
• Профессиональное развитие (перспективные проекты, конференции).

Нам важно чтобы вся команда была на одной волне, поэтому, прежде всего, мы ценим в людях:

- позитивный настрой и здоровый перфекционизм;

- умение слушать коллег, адекватно воспринимать критику;

- грамотное изложение своих мыслей и умение отстаивать свою т.зр.;

- желание оказывать влияние на продукт и архитектуру: обсуждать реализацию разрабатываемых фич, вносить свои идеи.