Data Engineer

Какой человек нам нужен?

Самостоятельный, убедительный, амбициозный, с лидерскими качествами (или умением сделать так, чтобы управлять не приходилось:) стремящийся к построению качественных процессов и, как следствие, качественному сбору, хранению и поставке данных.

Что мы предлагаем:

• Заниматься упорядочиванием и структурированием потоков данных
• Работать в компании, где тебя слышат и ценят твой вклад
• Влиять на технические решения и планомерно повышать качество сбора, хранения и поставки данных
• Работать с командой людей, умеющих принимать решения, амбициозных, увлеченных своим делом и проектом
• Разрабатывать востребованный продукт и получать четкий фидбэк от пользователей
• Решать амбициозные задачи
• Получить профессиональный рост (у нас есть тренинги, конференции, сильная команда, которая готова делиться знаниями и в которой можно быстро расти)

Немного о том, с чем пришлось столкнуться и как мы планируем это изменить:

На текущий момент мы имеем хаос в сборе, обработке, хранении и поставке данных конечным потребителям и, как следствие, отсутствует доверие к этим данным.

Что планируем сделать:

• Структурируем и замониторим потоки данных
• Построим единое хранилище для данных
• Сделаем централизованную и прозрачную обработку данных
• Подготовим витрины данных для конечных пользователей

На практике это значит, что мы будем решать следующие задачи:

• Загрузка данных из различных источников в Hadoop, как Batch так и Stream

• Обработка полученных данных

• Построение витрин данных

• Настройка мониторинга

• Написание документации

Что для нас важно в тебе:

• Знание Open Source фреймворков Big Data: (Hadoop, MapReduce, Spark & Spark Streaming, Hive, Kafka)

• Базовые знания SQL, python.

• Опыт работы с системами контроля версий(Git)

• Умение организовать процесс загрузки, обработки и доставки обработанных данных конечным потребителям

Не обязательно, но будет очень здорово, если:

• Знаешь Apache Nifi и Apache Airflow

Что есть у нас и чем готовы делиться:

• Белая, своевременная и конкурентоспособная заработная плата
• ДМС (включая стоматологию)
• Удобное место для работы и современное “железо” (хочешь с яблоком, хочешь без)
• Гибкий график. Начало работы с 8 до 11
• Профессиональный рост (у нас есть внутреннее обучение, возможность посещать конференции и митапы, мы спонсируем))
• Корпоративная библиотека (огромное количество профессиональной литературы - бери, читай, наслаждайся)
• Еда в офис после 21.00. Если вдруг работаешь допоздна - это не повод оставаться голодным!
• Мы понимаем, что переезд - штука непростая, поэтому мы готовы всячески помочь уже сейчас) Мы оплатим билеты для тебя и твоего багажа, услуги риэлтора для поиска жилья и первый месяц арендной платы. Мы же команда)

Полный рабочий день.

Наш офис находится недалеко от м. Дмитровская

Мы специализируемся на: Python, Kafka, Hadoop, ETL, Greenplum, Apache Spark, DWH, GIT, SVN, BigData, Data Engineer