Что должен уметь Lead }

Определяет стандарты асинхронного программирования для LLM-команды: гайдлайны архитектуры потоковых ответов, ревью дизайна конкурентного инференса, паттерны async RAG-пайплайна. Устанавливает best practices для async-паттернов в системах LLM serving.

Определяет стандарты ООП/SOLID для LLM-команды: гайдлайны иерархий классов цепочек/агентов, интерфейсные контракты провайдеров моделей, паттерны архитектуры модулей retrieval. Проводит ревью дизайна абстракций в компонентах LLM-пайплайна.

Определяет архитектурные решения по Elasticsearch / OpenSearch на уровне продукта. Формирует стандарты. Проводит design review и определяет технический roadmap.

Определяет архитектуру API обслуживания LLM и платформ управления промптами на FastAPI. Устанавливает стандарты для эндпоинтов потоковых ответов, трекинга использования токенов и middleware ограждений. Проводит ревью дизайна и определяет дорожную карту инфраструктуры LLM-шлюзов.

Определяет архитектурные решения по Redis на уровне продукта. Формирует стандарты. Проводит design review и определяет технический roadmap.

Определяет архитектурные решения по S3 / Object Storage на уровне продукта. Формирует стандарты. Проводит design review и определяет технический roadmap.

Определяет архитектурные решения по Task Queues на уровне продукта. Формирует стандарты. Проводит design review и определяет технический roadmap.

Определяет стратегию данных PostgreSQL для LLM-продуктов: устанавливает стандарты использования pgvector и архитектуры данных RAG, проектирует паттерны БД для управления диалогами в масштабе, обеспечивает внедрение лучших практик PostgreSQL для инфраструктуры данных LLM-приложений.

Определяет API-стратегию на уровне продукта. Формирует стандарты проектирования. Проводит API design review. Координирует межкомандное API-взаимодействие.

Определяет API-стратегию для LLM-сервисов на уровне продукта: стандарты API инференса LLM, governance API управления промптами, политики эндпоинтов учёта использования. Проводит архитектурные ревью API для сервисов LLM-платформы и устанавливает практики дизайна LLM API.

Определяет API-стратегию на уровне продукта. Формирует стандарты проектирования. Проводит API design review. Координирует межкомандное API-взаимодействие.

Определяет стратегию инфраструктуры AWS для платформ сервинга LLM, охватывающих GPU-кластеры, интеграцию Bedrock и автоматизацию деплоя моделей. Формирует стандарты IaC для управления GPU-инстансами, жизненного цикла артефактов моделей и политик масштабирования инференса. Проводит архитектурные ревью, оптимизируя затраты сервинга LLM, и координирует FinOps для расходов на GPU-вычисления.

Определяет инфраструктурную стратегию с Kubernetes Core. Формирует стандарты IaC. Проводит architecture review. Оптимизирует FinOps.

Определяет стратегию тестирования на уровне продукта для LLM-систем: стандарты тестирования оценки промптов, governance тестирования цепочек/агентов, фреймворки тестирования качества выходов LLM. Устанавливает культуру shift-left тестирования с автоматическими quality gates для деплоя LLM-пайплайнов.

Определяет data engineering стратегию. Формирует data platform. Координирует data teams. Оптимизирует data mesh/data fabric подходы.

Определяет vector database стратегию для LLM-платформы. Формирует guidelines по выбору vector DB, schema design, indexing strategy, мониторингу. Координирует migration и upgrades.

Определяет стратегию мониторинга моделей для LLM-продуктов на уровне команды. Устанавливает evaluation-фреймворки, комбинирующие автоматические метрики, воркфлоу ревью и мониторинг безопасности. Задаёт стандарты отслеживания затрат, бюджетов латентности и quality gates по версиям промптов. Проводит ревью покрытия мониторингом всех LLM-функций.

Определяет evaluation стандарты для LLM-команды. Формирует guidelines по оценке моделей, regression testing, benchmark management. Координирует human evaluation процессы и quality assurance.

Определяет стратегию трекинга экспериментов для продуктовых LLM-команд: стандартизирует трекинг итераций prompt engineering, оценок моделей и компромиссов стоимость/качество; строит командные дашборды, связывающие результаты экспериментов с продуктовыми метриками и решениями о релизах

Определяет архитектурные стандарты агентных фреймворков и методологии оценки для команд LLM-инженерии организации. Формирует лучшие практики тестирования агентов, safety guardrails, управления затратами и продакшн-мониторинга для агентных систем. Принимает архитектурные решения по выбору фреймворков, кастомной versus готовой агентной инфраструктуре и паттернам интеграции с существующими сервисами ML-платформы.

Руководит командой LLM-платформы, определяя архитектурные стандарты для инференса, файн-тюнинга и инфраструктуры оценки. Координирует кросс-командное управление промпт-инжинирингом и распределение бюджетов токенов. Ведёт оценку вендоров фундаментальных моделей по критериям возможностей, стоимости и комплаенса.

Определяет fine-tuning стратегию для LLM-команды. Формирует best practices по data preparation, training configuration, evaluation. Координирует fine-tuning experiments и model selection процесс.

Задаёт стратегию MLflow для LLM-команд, стандартизируя трекинг для fine-tuning, RLHF и prompt engineering воркфлоу. Устанавливает политики model registry для версионирования LLM с матрицами совместимости адаптеров. Ревьюит практики трекинга для соответствия требованиям data lineage и генерации model cards.

Определяет стратегию LLM serving для организации. Устанавливает политики управления затратами inference, SLA-цели serving и governance GPU-инфраструктуры. Оценивает фреймворки serving (vLLM, TGI, TensorRT-LLM). Проводит архитектурные ревью LLM-инфраструктуры. Продвигает внедрение cost-efficient паттернов LLM serving.

Определяет стандарты обучения LLM на PyTorch: выбор PEFT-стратегий, конфигурации распределённого обучения, бенчмарки оценки. Оценивает инструменты (vLLM, TensorRT-LLM) для продакшн-инференса. Ревьюит архитектуры дообучения. Устанавливает best practices для воспроизводимых LLM-экспериментов.

Определяет стратегию RAG-архитектура на уровне команды/продукта. Формирует стандарты и best practices. Проводит review.

Определяет стратегию LLM-платформы: критерии выбора моделей, пайплайны fine-tuning, стандарты serving-инфраструктуры. Устанавливает бенчмарки, safety guardrails и практики оптимизации затрат. Ревьюит архитектуру RAG-систем и agent-фреймворков.

Определяет стандарты разработки AI-агентов, фреймворки безопасности и архитектуру инфраструктуры для практики LLM-инженерии организации. Формирует методологии оценки агентов, требования продакшн-деплоя и стратегии оптимизации затрат для агентных систем. Принимает архитектурные решения по агентной инфраструктуре — runtime-окружения, governance маркетплейса инструментов и паттерны межкомандного переиспользования возможностей агентов.

Определяет стратегию использования коммерческих LLM API в организации. Формирует guidelines по выбору моделей, управлению rate limits, мониторингу качества и стоимости на уровне платформы.

Определяет стратегию Model Context Protocol на уровне команды/продукта. Формирует стандарты и best practices. Проводит review.

Определяет prompt engineering culture для LLM-команды. Формирует prompt design patterns, review процессы, tooling для промпт-разработки. Координирует prompt optimization как дисциплину.