Senior AI Specialist (RAG/Agent Benchmarks)

Мы - молодой, динамично развивающийся стартап EnsecAI, который находится на переднем крае технологий искусственного интеллекта. Мы специализируемся на создании передовых продуктов с использованием современных подходов к разработке LLM-агентов и мультиагентских систем, при этом обладаем большим опытом в компьютерном зрении и обработке естественного языка.

Сейчас мы ищем Senior Machine Learning Engineer, который поможет нам в проектировании, разработке и внедрении агентских систем на основе LLM.

Мы - молодой, динамично развивающийся стартап EnsecAI, который находится на переднем крае технологий искусственного интеллекта. Мы специализируемся на создании передовых продуктов с использованием современных подходов к разработке LLM-агентов и мультиагентских систем, при этом обладаем большим опытом в компьютерном зрении и обработке естественного языка. Наша миссия — автоматизировать сложные процессы в самых разнообразных сферах, предоставляя инновационные и высокоэффективные решения на базе искусственного интеллекта.

Работа в EnsecAI — это уникальная возможность для профессионального роста и участия в захватывающих проектах, которые действительно меняют мир. Каждый член нашей команды — ключевой участник нашего успеха, и мы гордимся нашей культурой, где ценятся креативные идеи, инициативность и сотрудничество.

• Создание и настройка методик оценки качества для пайплайнов Retrieval-Augmented Generation и LLM Agents;
• Внедрение и улучшение методик для повышения метрик качества для RAG и Agents;
• Разработка подходов и инструментов для генерации синтетических датасетов, позволяющих масштабировать и автоматизировать процесс тестирования;
• Поддержка актуальности синтетических данных в соответствии с эволюцией моделей и новыми требованиями к бенчмаркам;
• Создание и оптимизация пайплайнов для прогона RAGсистем и LLM агентов через бенчмарки и метрики качества;
• Интеграция процесса тестирования и оценки моделей в существующие CI/CDпроцессы для автоматического контроля качества;
• Внедрение инструментов для непрерывного мониторинга и анализа работы LLM пайплайнов в продакшене;
• Оценка деградации качества и решение проблем, возникающих при масштабировании и эксплуатации решений на основе LLM;
• Мониторинг тенденций индустрии, анализ новых статей, инструментов и подходов в области LLM и мультиагентных систем;
• Взаимодействие с экспертами в предметных областях для актуализации и улучшения системы контроля качества.

• От 4 лет опыта в сфере Machine Learning / Data Science;
• Практический опыт работы с крупными MLсистем в продакшене;
• Участие в проектах, связанных с классическим NLP и LLM;
• Отличное знание Python (асинхронность/веб-сервисы/базы данных) и ключевых фреймворков для ML PyTorch или JAX;
• Понимание принципов архитектуры больших языковых моделей, методик файн-тюнинга и оптимизации;
• Сильные навыки и большой опыт prompt engineering;
• Понимание принципов работы Retrieval-Augmented Generation и архитектуры LLM Agents/мультиагентских систем;
• Умение разрабатывать и применять метрики для оценки качества генеративных и retrieval-моделей (такие как BLEU, ROUGE, точность/ полнота, BERTScore);
• Опыт интеграции MLпайплайнов в CI/CD GitLab CI, GitHub Actions, Jenkins или аналогичные инструменты);
• Понимание концепции LLM-as-a-judge;
• Понимание актуальных трендов в LLM/Agents, умение и желание разбираться с научными статьями в этой области.

• Участие в передовом проекте: работа с новейшими моделями и технологиями в fast-growing AI сфере;
• Карьерный рост: возможность напрямую влиять на новый продукт и на технологии в нем, иметь высокую зону ответственности;
• Гибкий гибридный формат работы: наш офис располагается в Москва-Сити, но можно работать удаленно по желанию;
• Технологические ресурсы: мощный GPUсервер для работы с локальными AIмоделями;
• Дружную команду экспертов, готовых делиться опытом и поддерживать профессиональный рост.