Разработчик BigData

Требования:

• Знание принципов ООП

• Опыт работы в разработке приложений BIG DATA от 2-хлет

• Уверенное знание Python (опыт работы с ML-библиотеками и библиотеками для работы с данными: pandas, numpy, sklearn и др.) ИЛИ Scala/Java

• Опыт работы с кластером Hadoop- желателен

• Понимание алгоритмов ML

• Уверенные знания MS SQL/Oracle или любой другой СУБД

• Опыт работы с корпоративными хранилищами данных и понимание принципов их построения

• Опыт проектирования баз данных

• Понимание методик unit-тестирования

• Умение разбираться в чужом коде

• Опыт работы с системами контроля версий

Будет плюсом:

• Знание паттернов интеграции

• Опыт работы с гибкими методологиями разработки (Agile/Scrum)

• Опыт работы со Spark API (либо другими фреймворками распределенной обработки данных: H2O, и др.)

• Опыт работы с СУБД класса NoSQL (ClickHouse, HBase)

• Hive/Impala, другой инструментарий стека BIG DATA

• Понимание принципов CI/CD

Задачи:

• Разработка кода для применения ML-решений  в промышленной среде

• Использование методов распределенной обработки данных на кластере

• Работа с базами данных и корпоративными хранилищами

• Участие в проектировании решений

• Участие в системном анализе, оценке и обсуждении требований заказчика

• Написание технической документации

• Участие в развертывании ПО на тестовых и продуктивных средах

• Участие в code review

• Написание Unit-тестов

• Поддержка и устранение ошибок

• Работа в Agile-команде