Data Engineering Tech Lead

Привет!

Мы ищем техлида команды инженеров, который поможет нам построить инфраструктуру хранения и обработки десятков терабайт данных.

В Кошельке мы собираем и анализируем много разной информации. В данный момент у нас около десяти терабайт сжатых сырых данных и мы активно растем. Инфраструктура почти не менялась с самого запуска приложения и уже не справляется с поставленными перед ней задачами.

Сейчас у нас используются MSSQL и Clickhouse. До конца года мы хотим совсем отказаться от MSSQL и разгрузить Clickhouse от нетипичных для него задач. Для этого мы поднимаем Greenplum.

Сырые данные мы планируем хранить в Minio, а обрабатывать это все будут Airflow со Spark'ом.

Построить все это – одна из задач, которые будут стоять перед техлидом команды дата инженеров.

Всего у команды инженеров данных в нашей компании есть три направления работы:

1) Инфраструктура. Это поддержка всех наших серверов, сервисов и инструментов. Кроме того, есть и PowerBI, и Metabase, и Zeppelin, и Jupyter. Нужно следить за тем, чтобы это все работало, улучшать, а еще понимать потребности компании и поднимать что-то новое, если нужно.

2) ETL/ELT. Управление потоками данных, наполнение Data Lake и DWH, создание витрин в подобное. Мы собираемся использовать для этого Airflow и Spark.

3) Автоматизация работы аналитиков. Сюда входит создание скриптов и инструментов, которые помогают автоматизировать рутинные задачи.

Мы ищем человека, который сможет возглавить команду инженеров и выстроить работу по всем трем направлениям.

Что мы ждем от кандидата:

• опыт управления командой инженеров данных;
• опыт работы с перечисленными выше технологиями или их аналогами;
• самостоятельность и проактивность.

Со своей стороны предлагаем:

• участие в развитии полезного и популярного приложения;
• работу с сильной инженерной командой;
• оформление по ТК РФ, ДМС с первого дня работы;
• оплату мобильной связи, компенсацию оплаты питания;
• гибкий график работы, возможна полностью удалённая работа;
• welcome-бонус для кандидатов из других городов;
• оплату профильных курсов и конференций;
• спорт четыре раза в неделю в офисе — йога и силовые тренировки;
• командные мероприятия;
• комфортные офисы в Санкт-Петербурге и Москве.