Lead Data Platform Engineer

Cтроим платформу для генетических исследований.

Представьте: данные, с которыми вы работаете, помогают находить генетические причины онкологии, разрабатывать мРНК-вакцины и создавать тест-системы нового поколения. Не абстрактный продукт, а реальная наука на национальном масштабе.

Научный центр на стыке медицины, генетики и IT. Здесь строят единую платформу данных для исследователей: оркестрация многоэтапных пайплайнов, self-service инструменты, мультитенантность, работа с data-intensive нагрузками. Платформы, которая станет фундаментом для геномных исследований на годы вперёд.

Ищем инженера, который возьмёт на себя архитектуру и развитие этой платформы.

Что предстоит делать:

- Проектировать масштабируемую, отказоустойчивую и производительную архитектуру единой платформы данных.

- Разрабатывать и сопровождать техническую дорожную карту, синхронизированную с бизнес-целями и потребностями исследователей.

- Проектировать и внедрять системы оркестрации многоэтапных пайплайнов обработки данных.

- Разрабатывать ключевые компоненты: панель управления, оркестраторы, агенты, API, SDK.

- Создавать self-service инструменты, чтобы дата-инженеры и аналитики могли автономно запускать, мониторить и контролировать пайплайны.

- Обеспечивать мультитенантность, разграничение доступа и аудит-логирование.

- Гарантировать целостность, надёжность и безопасность данных на всех этапах.

- Оптимизировать вычислительные и storage-ресурсы: capacity planning, performance benchmarking, устранение узких мест.

- Развивать observability: мониторинг, APM, алертинг.

- Формировать технические стандарты команды: архитектурные принципы, code review, требования к документации.

- Систематизировать процессы разработки и унифицировать технологический стек.

Что важно иметь:

- Опыт проектирования горизонтально масштабируемых, отказоустойчивых data-intensive систем на bare-metal/VM и/или в Kubernetes.

- Понимание архитектурных компромиссов: оркестрация, хранение, доступ, мониторинг, и умение выбирать решение под конкретную нагрузку.

- Уверенное владение Python.

- Опыт разработки бэкенд-сервисов и API на FastAPI.

- Опыт работы с оркестраторами пайплайнов: Airflow, Dagster и аналоги.

- Понимание HTC/HPC-систем.

- Опыт с распределёнными хранилищами: Ceph (CephFS), S3-совместимые.

- Понимание объектного и файлового хранения для data-intensive нагрузок: производительность, масштабируемость, модели доступа.

- Опыт построения CI/CD в GitLab (тестирование, сборка, деплой сервисов платформы).

- Способность принимать и аргументировать системные архитектурные решения, увязывая надёжность, производительность и стоимость.

- Опыт формирования технических стандартов: архитектурные принципы, code review, инженерная документация, практики эксплуатации.

Будет плюсом:

- Опыт разработки на Go.

- Глубокое понимание Kubernetes: рабочие нагрузки, модель операторов, сетевые политики, безопасность.

- Опыт с планировщиками типа Slurm.

- Опыт с Singularity/Apptainer контейнерами.

- Опыт в домене биотехнологий/биоинформатики, позволит быстрее войти в контекст.

Условия:

- Оформление по ТК РФ.

- Достойный уровень ЗП, обсуждается индивидуально по навыкам.

- Быстрорастущая, стабильная организация, которой не страшен кризис.

- Команда профессионалов на стыке передовых IT и науки.

- Только современное оборудование для работы.

- Возможности для профессионального роста и обучения.

- График 5/2 в офисе в Москве, после испытательного срока возможен гибрид.

Здесь вы не просто "поддерживаете платформ", вы её создаёте. Процессы и стандарты ещё формируются, и есть возможность реально влиять на архитектуру и технологический стек. А данные, которые проходят через вашу платформу, работают на диагностику и лечение социально значимых заболеваний. Это редкое сочетание: сильная инженерная задача + смысл, который виден невооружённым глазом.