Senior Big Data инженер (Machine Learning)

Наш клиент – федеральная розничная сеть, занимающая первое место в России по количеству гипермаркетов. Информационные системы перерабатывают огромные объемы информации (и это правда), от движения автотранспорта до покупки товара покупателем.

Ищем человека, не боящегося больших объемов данных, open source решений и сложных задач, для работы с нашими корпоративными хранилищами.

Наш клиент использует Hadoop (MapReduce, HDFS, Spark, Kafka, YARN) + ML, открыты к новым идеям и технологиям. Мы постоянно ищем новые возможности для создания надежного и производительного хранилища данных.

О проекте:

Совместно с командой Data Scientists и Data engineer необходимо внедрить платформу управления продуктивными решениями Machine Learning с мониторингом производительности, качества моделирования и непрерывностью работы.

Примеры задач:

Прогнозирование клиентского поведения с помощью Machine Learning, управление логистикой на основе Big Data, персонализация покупательского опыта, используя Machine Learning.

Тебе предстоит:

1. Проработать совместно с партнерами архитектуру хранения данных.
2. Выбрать технологии для организации и заполнения хранилищ данных. Настраивать, запускать и поддерживать ETL-процессы. Создавать, поддерживать, оптимизировать модели хранения данных.
3. Осуществлять поддержку пользователей, консультантов и аналитиков по вопросам выборки данных из хранилища. Поддерживать проекты по машинному обучению и ad-hoc.

Идельный кандидат имеет опыт по продуктивизации ML моделей в продуктивные бизнес процессы: практический опыт по выводу моделей в продуктивный ландшафт, построение процесса внесения изменений в эти модели, мониторинг работы этих моделей с последующим их дообучением.

Какие навыки нужны:

• опыт построения/проектирования платформы для продуктивизации ML решений
• от 3-х лет опыт работы с большими данными и Machine Learning, разработка архитектуры хранилищ и автоматизации ETL процессов
• понимание основных элементов экосистемы Hadoop: MapReduce, HDFS, Spark, Kafka, YARN и др.
• знание Linux (основные команды на уровне пользователя).

Будет плюсом:

• знания языков программирования Java, Python, Bash
• понимание принципов и умение конфигурировать компоненты экосистемы Hadoop
• опыт работы с Kubernetes
• опыт проектирования и документирования информационных систем

Тебя ждут:

• интересные задачи, возможность самостоятельно принимать решения по архитектуре и стеку
• возможность удаленной работы после испытательного срока
• демократичный коллектив
• ежегодное премирование на основании результатов годовой оценки
• внутреннее обучение и закрытые семинары от партнеров Ленты
• ДМС, включающее стоматологию
• консультации с офисным врачом и терапевтом на территории офиса
• компенсацию мобильной связи
• льготное питание в собственной столовой по системе шведский стол (завтраки, обеды, ланч-боксы на вынос)
• чай, кофе, комфортный офис в Приморском районе
• оформление по ТК РФ, полный спектр социальных льгот