Data Engineer

Tutu.ru — онлайн-сервис для путешествий, которым ежемесячно пользуются миллионы людей и большая IT-компания (100+ разработчиков). Мы связываем удивительный мир путешествий и открытий с обычными людьми, предоставляя удобные и полезные инструменты для планирования путешествий.

Кого ищем:

Мы ищем разработчика(data engineer/backend-разработчика) в команду платформы аналитики и инструментов для надежной и простой работы с big data (инструменты для ETL).

Используя эти данные, продуктовые аналитики и менеджмент выбирают направления развития нашего сервиса путешествий, а также мониторинг критичных бизнес-показателей.

Чем предстоит заниматься:

• Создавать инфраструктур и инструменты для быстрого принятий решений на основе данных.
• Нужно будет развивать системы:
• Система сбора данных со всех сервисов и проектов на основе event driven подходов;
• Механизм проведения АБ-тестов;
• Системы отчетности, инструмент построения витрин данных и инфраструктура для BI-инструментов.
• Системы, которые разрабатывает наша команда, должны справляться с высокими нагрузками, работать с большими объемами данных и гибко масштабироваться.

Про системы, которые делает наша команда:

• Обрабатываем потоки данных объемом ~1ТБ в сутки;
• 400RPS в среднем;
• 40+ серверов;
• DAU нашего сервиса с которого собираем данные 1.3 млн.;
• Делаем инструменты для 16 команд (12+ аналитиков и data scientist, 70+ разработчиков);
• Также в составе команды нужно принимать участие в развитии инфраструктуры и инструментов для работы с данными.

Про наш стек технологий:

• Мы пишем микросервисы и SDK, в зависимости от задач и требований используем языки: Python, GoLang, PHP 7, Node.JS;
• В нашей работе используем разнообразные базы данных и хранилища данных под задачи: ClickHouse, Exasol, MariaDb, ElasticSearch, Redis, MongoDb, и S3;
• Активно используем очереди сообщений Kafka и RabbitMQ;
• Приложения упаковываем в docker-контейнеры и запускаем в OpenShift или на docker-хостах;
• Мониторинг приложений реализуем с помощью prometheus и grafana.
• Кроме основных проектов, над которыми предстоит работать, будет возможность поработать с такими инструментами как:
• Инструменты шедулинга (Airflow);
• Инструменты batch/streaming обработки данных (Spark, Kafka Connect, benthos);
• MetaBase, SuperSet, Kibana и пр. инструменты визуализации;
• В этот список регулярно добавляются новые, прогрессивные технологии и программные решения, которые позволяют решать наши задачи продуктивнее.
• Tech radar с технологиями используемыми во всей компании

Состав команды:

Tech lead, два data engineer/backend-разработчика и DevOps. В зависимости от проекта в команду могут добавляться новые роли (аналитика, frontend-разработчика и т.д.). На текущий момент мы активно расширяем команду и планируем добавить еще двух человек.

Про наши процессы:

• Планы по проектам/спринтам обсуждаются совместно с руководителем команды и конечными пользователями раз в две недели и формируются спринты на две недели;
• Непосредственно связанных с Agile встреч не так много: планирование раз в несколько недель, стендапы каждый день, ретро по завершению проекта или раз в несколько недель если проект длинных, демо по завершению проекта если требуется. Все встречи регулярно валадируем на полезность и регулярно меняем процессы чтобы они были полезны для всех участников;
• Если задача требует исследования, после аналитики мы пишем страницу(proposal), если задача более 3-ех дней, составляем детальный план. Задачи проходят code review, если это production код;
• Мы делаем инструменты для наших коллег и нам нужно много общаться чтобы сделать максимально полезный продукт для пользователя;
• Мы работаем в bitbucket, jira, confluence и miro;
• За доставку ценности для пользователей отвечает полностью наша команда от обсуждения идеи, планирование процесса, разработка, тестирование и доставки до боя и эксплуатации;
• Раз в неделю собираемся в офисе, но часть команды в офисе бывает часто. Готовы обсуждать другие форматы.

Мы ждем от вас:

• Опыт разработки крупных систем от 2-х лет и более;
• Уверенное владение ООП и другими подходами к проектированию;
• Умение работать с SQL и NoSQL хранилищами;
• Опыт программирования на одном из языков: python, go, php или java/scala;
• Применять DevOps практики и принимать активное участие на всех этапах жизни приложения;
• Использование вдумчивого и клиентоориентированного подхода в решении задач.

Про то, почему мы:

• Мы против рутинной работы, мы создаем платформу и инструменты для работы с данными, мы делаем инструмент которым пользуется вся компания;
• Архитектура наших проектов динамично развивается и требования к инструментам постоянно повышаются что ставит перед нами все новые амбициозные цели;
• Мы развиваем команду и осознанно инвестируем в это деньги и время — конференции, курсы, профессиональная литература, обмен опытом внутри компании;
• Зарплата белая, ТК в полном виде, индексация зарплаты от 8,2% в год и выше, мы платим премии за прочитанные книги по профессиональной тематике;
• У нас удобный офис со всем необходимым рядом с м. Нагатинская, с хорошей библиотекой и собственной кухней, где всегда есть чай-кофе, фрукты-овощи, конфеты-печенья-йогурты и другие вкусности в свободном доступе;
• ДМС (включая стоматологию и полис ВЗР)
• Помогаем с переездом кандидатам из других городов (оплата билетов, проживания в гостинице на время поиска жилья, выплачиваем «релокационный» бонус);
• Зарплата устанавливается после прохождения собеседования и понимания производительности кандидата в системе: оклад + квартальные премии.

Наш подход к собеседованиям:

Нам важно, чтобы всем сотрудникам Туту.ру отлично работалось друг с другом. Мы проводим несколько собеседований, чаще всего в один день, чтобы убедиться, что совместная работа будет долгой и эффективной.
 

1. Встреча с tech lead команды или разработчиком. На ней вы сможете понять, достаточно ли профессиональна наша команда и комфортно ли вам с ней будет. Мы, в свою очередь, проверим ваши профессиональные знания и навыки.
2. Разговор с руководителем отдела обо всех тонкостях работы в Туту.ру.

Если нужно посмотреть рабочий день других команд, посидеть на своём будущем рабочем месте в рабочем окружении или если вы хотите поговорить с командой — не вопрос, организуем всё.