C++-разработчик (inference / llama.cpp) Atomic Chat

BoilerLab — международная компания с прибыльным и устойчивым бизнесом. Мы активно расширяем линейку продуктов и развиваем общую экосистему сразу по трём направлениям: AI & ML, SaaS и блокчейн. 

Один из продуктов — Atomic Chat: опенсурсное локальное AI-приложение и движок инференса. Запускает open-weight модели прямо на устройстве пользователя, без облака. Под капотом — llama.cpp и MLX, OpenAI-совместимый сервер на localhost. 

В этот проект мы ищем C++ разработчика.

Чем предстоит заниматься:

— Развивать наш форк llama.cpp и держать его в синхроне с upstream. 
— Оперативно добавлять поддержку новых моделей и архитектур сразу после их выхода. 
— Квантизация и компрессия KV-кэша, ускорение инференса. 
— Low-level оптимизация: память, латентность, скорость. 
— Поддержка разных бэкендов и железа. 
— GPU-программирование и профилирование производительности. — Поддержка и развитие OpenAI-совместимого сервера инференса. — Следить за развитием движков инференса и быстро переносить лучшее к нам. 

Что мы ожидаем:

— Уверенный C/C++, опыт работы в больших кодовых базах. 
— Опыт с llama.cpp или другим движком инференса. 
— Опыт GPU-программирования (CUDA, Metal). 
— Понимание квантизации. 
— Опыт кросс-платформенной сборки на CMake. 
— Умение профилировать и оптимизировать производительность. 

Будет плюсом: 

— Контрибьюты в llama.cpp / ggml. 
— Опыт с MLX. 
— Знание Rust. 

Мы предлагаем:

— Работу в международной растущей компании. 
— Выплаты в рублях, валюте или USDT. 
— Индивидуальную программу роста. 
— Оплату курсов, семинаров и профильной литературы. 
— 28 календарных дней оплачиваемого отпуска, больничные — 100%. 
— Гибкое начало рабочего дня с 10 до 12
— Работу из офиса в Санкт-Петербурге. 
— Открытый код и влияние на продукт. 
— Маленькую команду и минимум бюрократии.

писать в тг vbeteneva