Роли · LLM Engineer · Principal

Что должен уметь Principal }

31 ключевых навыков, всего 80. Ожидания по каждому навыку и что меняется на следующем уровне.

На этой странице — что ожидается от Principal }, навык за навыком. Ключевые навыки оценивают руководитель и коллеги в цикле ревью; остальные учитываются только в самооценке. Основные области: Основы программирования, Backend Development, Базы данных.

31ключевых навыков
49дополнительных навыков
9областей
100%на уровне Продвинутый или Эксперт
Оценить себя как Principal Полная матрица роли

Ключевые навыки для Principal

Сгруппированы по областям. Метка справа — ожидаемая глубина: Осведомлённость, Применение, Продвинутый или Эксперт.

Основы программирования · 2

Определяет организационную async-стратегию для LLM-систем: корпоративные стандарты потокового инференса, кросс-командный governance async LLM-пайплайнов, модель зрелости async для AI-powered продуктов. Принимает стратегические решения по async-инфраструктуре для LLM-нагрузок.

Определяет организационную ООП-стратегию для LLM-систем: корпоративные стандарты архитектуры пайплайнов промптов, кросс-командный governance дизайна цепочек/агентов, фреймворки абстракции провайдеров моделей. Принимает стратегические решения по архитектуре LLM-кода и инвестициям в инструменты.

Backend Development · 5

Определяет стратегию Elasticsearch / OpenSearch на уровне компании. Оценивает новые технологии и подходы. Формирует enterprise-стандарты и reference architectures.

Python Web Frameworks Эксперт

Определяет стратегию организации по платформам LLM-шлюзов и оркестрации промптов, оценивая FastAPI и новые фреймворки обслуживания LLM. Устанавливает корпоративные стандарты API потокового инференса, управления бюджетом токенов и эталонные архитектуры сервисов маршрутизации мультимоделей.

Redis Эксперт

Определяет стратегию Redis на уровне компании. Оценивает новые технологии и подходы. Формирует enterprise-стандарты и reference architectures.

S3 / Object Storage Эксперт

Определяет стратегию S3 / Object Storage на уровне компании. Оценивает новые технологии и подходы. Формирует enterprise-стандарты и reference architectures.

Task Queues Эксперт

Определяет стратегию Task Queues на уровне компании. Оценивает новые технологии и подходы. Формирует enterprise-стандарты и reference architectures.

Базы данных · 1

PostgreSQL Эксперт

Определяет организационную стратегию данных для LLM-инфраструктуры: оценивает PostgreSQL pgvector vs выделенные векторные БД для корпоративных RAG-платформ, проектирует мультирегиональные архитектуры данных для глобальных LLM-приложений, устанавливает governance для данных диалогов и хранения эмбеддингов в организационном масштабе.

API и интеграции · 3

gRPC и Protocol Buffers Эксперт

Определяет API-стратегию организации. Проектирует platform API. Формирует enterprise API governance и стандарты.

REST API Design Эксперт

Определяет организационную API-стратегию для LLM: корпоративные стандарты платформы LLM API, кросс-командный governance API LLM-сервисов, решения об инвестициях в API-инфраструктуру для LLM-нагрузок. Проектирует enterprise-grade архитектуру API для LLM-платформ.

Определяет API-стратегию организации. Проектирует platform API. Формирует enterprise API governance и стандарты.

Облако и инфраструктура · 2

AWS Эксперт

Определяет организационную облачную стратегию для инфраструктуры сервинга LLM, оценивая мультиоблачные опции GPU vs AWS Bedrock и кастомные деплои. Проектирует LLM-платформы enterprise-уровня с мультирегиональным инференсом, governance моделей и оптимизированным по затратам управлением GPU-флотом. Формирует FinOps-практики для governance GPU-вычислений на организационном уровне.

Kubernetes Core Эксперт

Определяет организационную облачную стратегию для инфраструктуры сервинга LLM, охватывающей мульти-GPU кластеры и edge inference деплои. Оценивает мультиоблачные архитектуры для портируемости GPU-нагрузок и оптимизации затрат на сервинг моделей. Проектирует платформы сервинга LLM enterprise-уровня и формирует FinOps-практики для governance GPU-вычислений на организационном уровне.

Тестирование и QA · 1

Определяет организационную QA-стратегию для LLM-систем: корпоративные стандарты оценки промптов, кросс-командный governance качества выходов LLM, фреймворки quality engineering для AI-powered продуктов. Внедряет платформенные решения тестирования надёжности LLM-пайплайнов.

Data Engineering · 1

Pandas / Polars Эксперт

Определяет data стратегию организации. Проектирует enterprise data platform. Формирует data governance framework.

Machine Learning и AI · 12

Формирует enterprise vector database стратегию. Определяет подходы к centralized vector infrastructure, multi-tenant architecture, cost optimization для billions of vectors на масштабе организации.

Определяет стратегию мониторинга моделей на уровне организации для LLM и генеративного AI. Устанавливает корпоративные стандарты evaluation-бенчмарков, мониторинга безопасности и governance затрат. Продвигает унифицированные платформы мониторинга для команд с разными LLM-провайдерами. Менторит лидов по построению надёжных практик LLMOps-мониторинга.

Оценка LLM Эксперт

Формирует enterprise evaluation стратегию. Определяет подходы к continuous evaluation, model quality governance, benchmark development. Обеспечивает alignment между evaluation метриками и бизнес-целями.

Формирует общеорганизационные стандарты трекинга экспериментов для AI/LLM-инициатив: архитектурит централизованные системы, фиксирующие эволюцию промптов, линейность моделей и оценочные бенчмарки по всем LLM-продуктам; продвигает интеграцию трекинга экспериментов с фреймворками комплаенса и оптимизации затрат на масштабе

AI Agent Frameworks Эксперт

Формирует стратегию агентной инфраструктуры организации, определяя интеграцию агентных фреймворков с более широкой AI/ML-платформой. Ведёт исследования и инновации в агентных архитектурах — самоэволюционирующие экосистемы инструментов, стратегии мета-обучения агентов и новые подходы к безопасности и alignment агентов. Влияет на экосистему LLM-агентных фреймворков через open-source вклад, исследовательские публикации и лидерство в сообществе по паттернам дизайна продакшн-агентных систем.

LLM приложения Эксперт

Определяет общекорпоративную стратегию LLM-инжиниринга — выбор моделей, топологию деплоя и управление затратами. Архитектурит платформы нового поколения с мульти-модельной оркестрацией, непрерывной оценкой и автооптимизацией. Продвигает партнёрства и open-source вклад в развитие LLM-инфраструктуры.

LLM Fine-tuning Эксперт

Формирует enterprise fine-tuning платформу. Определяет подходы к automated fine-tuning, model versioning, A/B testing fine-tuned моделей. Оптимизирует стоимость и скорость fine-tuning на масштабе.

MLflow Эксперт

Определяет организационную стратегию MLflow для LLM-инициатив, объединяя трекинг fine-tuning, RAG evaluation и бенчмаркинга агентов между командами. Устанавливает стандарты registry для LLM-ассетов: базовые модели, адаптеры, embeddings и библиотеки промптов. Продвигает внедрение для governance LLM, трекинга затрат и compliance.

Model Serving Эксперт

Определяет организационную стратегию LLM serving: архитектура inference-инфраструктуры, стратегия закупки GPU/TPU и governance затрат для LLM-операций. Оценивает решения build-vs-buy для LLM-инфраструктуры (self-hosted vs API-провайдеры). Продвигает внедрение эффективных практик LLM serving и формирует техническое видение AI-инфраструктуры в enterprise-масштабе.

PyTorch Эксперт

Формирует платформу обучения LLM на PyTorch на уровне организации: распределение GPU между командами, стандарты model parallelism, инвестиции в pre-training vs fine-tuning. Драйвит внедрение компилятора PyTorch 2.x для LLM-нагрузок. Определяет стандарты артефактов моделей и оптимизации затрат.

Определяет стратегию RAG-архитектура на уровне организации. Формирует enterprise-подходы. Менторит leads и architects.

Transformers и NLP Эксперт

Формирует стратегию LLM на уровне организации: оценка провайдеров foundation models, политики AI governance, архитектура кросс-командной LLM-инфраструктуры. Стандарты model risk management, прогнозирования затрат и responsible AI. Менторит лидов по AI-платформам.

AI-ассистированная разработка · 4

Формирует видение инженерии AI-агентов организации, определяя фундаментальные архитектуры для автономных и полуавтономных агентных систем. Двигает исследовательские frontier-ы в разработке агентов — эмерджентные поведения агентов, самоэволюционирующие экосистемы инструментов, долгосрочное планирование с world models и новые подходы к alignment и верификации безопасности агентов. Публикует исследования и влияет на сообщество инженерии LLM-агентов через вклад в стандарты безопасности агентов, бенчмарки оценки и open-source агентную инфраструктуру.

ChatGPT / Claude Эксперт

Формирует enterprise-стратегию мультипровайдерного LLM-ландшафта. Определяет подходы к vendor lock-in mitigation, формирует frameworks оценки новых моделей и политику использования API.

Model Context Protocol Эксперт

Определяет стратегию Model Context Protocol на уровне организации. Формирует enterprise-подходы. Менторит leads и architects.

Формирует enterprise prompt engineering стратегию. Определяет организационные подходы к prompt management, automated optimization, качеству промптов. Менторит leads по advanced prompt design.

Дополнительные навыки

Команда их не оценивает, но они входят в самооценку и план развития.

Алгоритмы и сложностьАрхитектура TransformerАрхитектуры нейросетейБезопасность LLMДеплой LLMДокументирование APIИндексирование БДИнтеграционное тестированиеКачество кода и рефакторингМасштабирование LLMМногопоточное программированиеОсновы сетейОсновы System DesignОценка ML-моделейПаттерны проектированияПрактики безопасного кодаРаспределённое обучениеСтруктурированное логированиеСтруктуры данныхТипобезопасность и системы типовТокенизацияТрекинг ML-экспериментовCode ReviewCursor IDEDeep LearningDockerEmbeddings и векторные БДGit AdvancedGitHub Actions / GitLab CIGitHub CopilotGPU-программированиеGraphQL DesignKubernetes и оркестрацияLLM AlignmentML DeploymentML-пайплайныNLPOpenTelemetryOWASP и безопасность приложенийPrometheus и GrafanaPrompt Engineering для LLMPythonRAG (Retrieval-Augmented Generation)RLHFTensorFlow / PyTorchTerraformTransfer LearningUnit-тестированиеvLLM и инференс
Прогоните это со всей командой
Самооценка плюс оценка руководителя и коллег по одной матрице, зоны роста и готовность к следующему уровню для каждого инженера. Team Pro бесплатно 14 дней; личные инструменты бесплатны всегда.
Попробовать с командой (14 дней бесплатно) Отправить тимлиду

} в открытой матрице компетенций: 80 навыков на 5 уровнях. Матрица бесплатна для специалистов и останется бесплатной.