Senior Data Engineer, Python Developer, Java Developer

На данный момент Senior Data Engineer.

Мои компетенции и опыт

Роман Вырвихвист
Инженер данных, разработчик хранилищ данных (DWH), разработчик ETL

Москва

Ведущий инженер данных с 18-летним опытом построения и эксплуатации платформ данных объемом >10 ПБ и высоконагруженных пайплайнов приема/трансформации данных (Python, Java, Spark, Kafka, Hadoop, S3, Airflow); улучшил сквозное время обработки примерно на 40% и доступность до 99,9%. Руководил внедрением Data Vault 2.0, автоматизировал мониторинг качества данных, создавал повторно используемые библиотеки Spark и осуществлял крупномасштабные миграции (Greenplum, Trino, ClickHouse, MongoDB, PostgreSQL).

ЛИЧНАЯ ИНФОРМАЦИЯ

Адрес: Россия, Москва,

Гражданство:

Водительские права:

Хобби:

ПРОФИЛИ В СОЦИАЛЬНЫХ СЕТЯХ

LinkedIn: нужен доступ к резюме

ОПЫТ РАБОТЫ

Май 2020 – настоящее время
Ведущий инженер данных в Сбербанке, Москва

Проектирование и эксплуатация высоконагруженных пайплайнов приема и трансформации данных на Apache Hadoop и Spark для обработки корпоративных наборов данных объемом >10 ПБ, обеспечивая своевременную аналитику для бизнес-заказчиков.

Разработал архитектуру и внедрил хранилище данных Data Vault 2.0 (Spark, Hive, HBase) для обеспечения отслеживаемости происхождения данных, аудируемости и регламентной отчетности в критически важных предметных областях.

Оптимизировал Spark-задачи, распределение ресурсов кластера и шаблоны ввода-вывода — сократил сквозное время обработки примерно на 40% и повысил доступность пайплайнов до 99,9% для соответствия SLA.

Создал Python-автоматизацию для мониторинга качества данных и операционных инструментов, ускорив обнаружение инцидентов и снизив трудозатраты на ручную поддержку.

Стандартизировал оркестрацию с помощью Apache Airflow для централизованного планирования, управления зависимостями и оповещений о SLA, повысив надежность и прозрачность в кросс-командной работе.

Мигрировал и консолидировал исторические данные в Greenplum, Trino и ClickHouse; проектировал пайплайны на S3 + Iceberg для масштабируемой аналитики.

Создал повторно используемые компоненты — Spring-микросервис для маппинга натуральных ключей в суррогатные и Spark-библиотеку для разрешения сущностей — снизив дублирование инженерных усилий.

Разрабатывал агентов на LangChain/LangGraph с Qdrant для семантического поиска, автоматизированного анализа инцидентов и генерации NL-to-SQL для ускорения поиска данных и устранения неполадок.

Март 2019 – Апрель 2020
Инженер данных, интеграционный инженер в нужен доступ к резюме , Москва

Проектирование интеграционной архитектуры с использованием Apache Kafka и Oracle Database для улучшения взаимодействия и надежности обмена сообщениями между системами компании и клиентов.

Документирование структур сообщений и шаблонов взаимодействия для повышения прозрачности и сопровождаемости обмена данными.

Разработка модулей для отчетности по соответствию и администрирование Java-приложений обработки данных, построенных на Talend Open Studio.

Создание прототипов пайплайнов анализа данных для обучения моделей с использованием Python, KNIME и Weka для ускорения ML-экспериментов.

Проектирование логической модели данных для кредитного пайплайна и анализ внутренних и внешних источников данных для расширения функциональности сервиса.

Подготовка комплексной технической документации и координация задач разработчиков для обеспечения стабильной поставки и передачи знаний.

Апрель 2014 – Март 2019
Разработчик ETL в At Consulting, Ярославль

Руководство командой разработки ETL, реализующей проекты по интеграции и отчетности для федеральных ведомств, обеспечивая своевременную поставку и соответствие нормативным требованиям.

Разработка архитектуры и реализация модуля сверки данных на основе Talend для загрузки данных из файловых источников старого образца в PostgreSQL, обеспечивая консистентность данных для отчетности.

Проектирование хранилища данных на основе MongoDB и его интеграция с внешними веб-сервисами для предоставления консолидированного доступа downstream-системам.

Разработка ETL-модулей интеграции, наборов тестов и скриптов развертывания; написание руководств пользователя и технической документации для упрощения передачи проекта и сокращения времени адаптации новых сотрудников.

Апрель 2011 – Апрель 2014
Ведущий системный аналитик в I-Teco, Москва

Руководство проектами миграции для крупного российского банка, управление ETL-процессами и обеспечение бесперебойного переноса данных при обновлении систем.

Внедрение решений Business Intelligence и автоматизация отчетности для улучшения процесса принятия решений и операционной эффективности.

Разработка систем сверки данных для повышения точности данных и сокращения ручных вмешательств.

Составление детальной технической документации и руководство разработчиками баз данных для поддержания качества и преемственности.

ОБРАЗОВАНИЕ

Январь 2006 – Январь 2012
Ярославский государственный технический университет (ЯГТУ), Ярославль
Магистр информационных технологий

Подтвержденные международные академические квалификации
World Education Services
нужен доступ к резюме