Определяет организационную async-стратегию для LLM-систем: корпоративные стандарты потокового инференса, кросс-командный governance async LLM-пайплайнов, модель зрелости async для AI-powered продуктов. Принимает стратегические решения по async-инфраструктуре для LLM-нагрузок.
Роли · LLM Engineer · Principal
Что должен уметь Principal }
31 ключевых навыков, всего 80. Ожидания по каждому навыку и что меняется на следующем уровне.
На этой странице — что ожидается от Principal }, навык за навыком. Ключевые навыки оценивают руководитель и коллеги в цикле ревью; остальные учитываются только в самооценке. Основные области: Основы программирования, Backend Development, Базы данных.
Ключевые навыки для Principal
Сгруппированы по областям. Метка справа — ожидаемая глубина: Осведомлённость, Применение, Продвинутый или Эксперт.
Основы программирования · 2
Определяет организационную ООП-стратегию для LLM-систем: корпоративные стандарты архитектуры пайплайнов промптов, кросс-командный governance дизайна цепочек/агентов, фреймворки абстракции провайдеров моделей. Принимает стратегические решения по архитектуре LLM-кода и инвестициям в инструменты.
Backend Development · 5
Определяет стратегию Elasticsearch / OpenSearch на уровне компании. Оценивает новые технологии и подходы. Формирует enterprise-стандарты и reference architectures.
Определяет стратегию организации по платформам LLM-шлюзов и оркестрации промптов, оценивая FastAPI и новые фреймворки обслуживания LLM. Устанавливает корпоративные стандарты API потокового инференса, управления бюджетом токенов и эталонные архитектуры сервисов маршрутизации мультимоделей.
Определяет стратегию Redis на уровне компании. Оценивает новые технологии и подходы. Формирует enterprise-стандарты и reference architectures.
Определяет стратегию S3 / Object Storage на уровне компании. Оценивает новые технологии и подходы. Формирует enterprise-стандарты и reference architectures.
Определяет стратегию Task Queues на уровне компании. Оценивает новые технологии и подходы. Формирует enterprise-стандарты и reference architectures.
Базы данных · 1
Определяет организационную стратегию данных для LLM-инфраструктуры: оценивает PostgreSQL pgvector vs выделенные векторные БД для корпоративных RAG-платформ, проектирует мультирегиональные архитектуры данных для глобальных LLM-приложений, устанавливает governance для данных диалогов и хранения эмбеддингов в организационном масштабе.
API и интеграции · 3
Определяет API-стратегию организации. Проектирует platform API. Формирует enterprise API governance и стандарты.
Определяет организационную API-стратегию для LLM: корпоративные стандарты платформы LLM API, кросс-командный governance API LLM-сервисов, решения об инвестициях в API-инфраструктуру для LLM-нагрузок. Проектирует enterprise-grade архитектуру API для LLM-платформ.
Определяет API-стратегию организации. Проектирует platform API. Формирует enterprise API governance и стандарты.
Облако и инфраструктура · 2
Определяет организационную облачную стратегию для инфраструктуры сервинга LLM, оценивая мультиоблачные опции GPU vs AWS Bedrock и кастомные деплои. Проектирует LLM-платформы enterprise-уровня с мультирегиональным инференсом, governance моделей и оптимизированным по затратам управлением GPU-флотом. Формирует FinOps-практики для governance GPU-вычислений на организационном уровне.
Определяет организационную облачную стратегию для инфраструктуры сервинга LLM, охватывающей мульти-GPU кластеры и edge inference деплои. Оценивает мультиоблачные архитектуры для портируемости GPU-нагрузок и оптимизации затрат на сервинг моделей. Проектирует платформы сервинга LLM enterprise-уровня и формирует FinOps-практики для governance GPU-вычислений на организационном уровне.
Тестирование и QA · 1
Определяет организационную QA-стратегию для LLM-систем: корпоративные стандарты оценки промптов, кросс-командный governance качества выходов LLM, фреймворки quality engineering для AI-powered продуктов. Внедряет платформенные решения тестирования надёжности LLM-пайплайнов.
Data Engineering · 1
Определяет data стратегию организации. Проектирует enterprise data platform. Формирует data governance framework.
Machine Learning и AI · 12
Формирует enterprise vector database стратегию. Определяет подходы к centralized vector infrastructure, multi-tenant architecture, cost optimization для billions of vectors на масштабе организации.
Определяет стратегию мониторинга моделей на уровне организации для LLM и генеративного AI. Устанавливает корпоративные стандарты evaluation-бенчмарков, мониторинга безопасности и governance затрат. Продвигает унифицированные платформы мониторинга для команд с разными LLM-провайдерами. Менторит лидов по построению надёжных практик LLMOps-мониторинга.
Формирует enterprise evaluation стратегию. Определяет подходы к continuous evaluation, model quality governance, benchmark development. Обеспечивает alignment между evaluation метриками и бизнес-целями.
Формирует общеорганизационные стандарты трекинга экспериментов для AI/LLM-инициатив: архитектурит централизованные системы, фиксирующие эволюцию промптов, линейность моделей и оценочные бенчмарки по всем LLM-продуктам; продвигает интеграцию трекинга экспериментов с фреймворками комплаенса и оптимизации затрат на масштабе
Формирует стратегию агентной инфраструктуры организации, определяя интеграцию агентных фреймворков с более широкой AI/ML-платформой. Ведёт исследования и инновации в агентных архитектурах — самоэволюционирующие экосистемы инструментов, стратегии мета-обучения агентов и новые подходы к безопасности и alignment агентов. Влияет на экосистему LLM-агентных фреймворков через open-source вклад, исследовательские публикации и лидерство в сообществе по паттернам дизайна продакшн-агентных систем.
Определяет общекорпоративную стратегию LLM-инжиниринга — выбор моделей, топологию деплоя и управление затратами. Архитектурит платформы нового поколения с мульти-модельной оркестрацией, непрерывной оценкой и автооптимизацией. Продвигает партнёрства и open-source вклад в развитие LLM-инфраструктуры.
Формирует enterprise fine-tuning платформу. Определяет подходы к automated fine-tuning, model versioning, A/B testing fine-tuned моделей. Оптимизирует стоимость и скорость fine-tuning на масштабе.
Определяет организационную стратегию MLflow для LLM-инициатив, объединяя трекинг fine-tuning, RAG evaluation и бенчмаркинга агентов между командами. Устанавливает стандарты registry для LLM-ассетов: базовые модели, адаптеры, embeddings и библиотеки промптов. Продвигает внедрение для governance LLM, трекинга затрат и compliance.
Определяет организационную стратегию LLM serving: архитектура inference-инфраструктуры, стратегия закупки GPU/TPU и governance затрат для LLM-операций. Оценивает решения build-vs-buy для LLM-инфраструктуры (self-hosted vs API-провайдеры). Продвигает внедрение эффективных практик LLM serving и формирует техническое видение AI-инфраструктуры в enterprise-масштабе.
Формирует платформу обучения LLM на PyTorch на уровне организации: распределение GPU между командами, стандарты model parallelism, инвестиции в pre-training vs fine-tuning. Драйвит внедрение компилятора PyTorch 2.x для LLM-нагрузок. Определяет стандарты артефактов моделей и оптимизации затрат.
Определяет стратегию RAG-архитектура на уровне организации. Формирует enterprise-подходы. Менторит leads и architects.
Формирует стратегию LLM на уровне организации: оценка провайдеров foundation models, политики AI governance, архитектура кросс-командной LLM-инфраструктуры. Стандарты model risk management, прогнозирования затрат и responsible AI. Менторит лидов по AI-платформам.
AI-ассистированная разработка · 4
Формирует видение инженерии AI-агентов организации, определяя фундаментальные архитектуры для автономных и полуавтономных агентных систем. Двигает исследовательские frontier-ы в разработке агентов — эмерджентные поведения агентов, самоэволюционирующие экосистемы инструментов, долгосрочное планирование с world models и новые подходы к alignment и верификации безопасности агентов. Публикует исследования и влияет на сообщество инженерии LLM-агентов через вклад в стандарты безопасности агентов, бенчмарки оценки и open-source агентную инфраструктуру.
Формирует enterprise-стратегию мультипровайдерного LLM-ландшафта. Определяет подходы к vendor lock-in mitigation, формирует frameworks оценки новых моделей и политику использования API.
Определяет стратегию Model Context Protocol на уровне организации. Формирует enterprise-подходы. Менторит leads и architects.
Формирует enterprise prompt engineering стратегию. Определяет организационные подходы к prompt management, automated optimization, качеству промптов. Менторит leads по advanced prompt design.
Дополнительные навыки
Команда их не оценивает, но они входят в самооценку и план развития.
} в открытой матрице компетенций: 80 навыков на 5 уровнях. Матрица бесплатна для специалистов и останется бесплатной.