Роли · LLM Engineer · Middle
5 ключевых навыков, всего 80. Ожидания по каждому навыку и что меняется на следующем уровне.
На этой странице — что ожидается от Middle }, навык за навыком. Ключевые навыки оценивают руководитель и коллеги в цикле ревью; остальные учитываются только в самооценке. Основные области: Machine Learning и AI, AI-ассистированная разработка.
Сгруппированы по областям. Метка справа — ожидаемая глубина: Осведомлённость, Применение, Продвинутый или Эксперт.
Самостоятельно администрирует vector databases в production: Pinecone, Weaviate, Qdrant. Настраивает индексы (HNSW, IVF), оптимизирует recall vs latency, управляет collections и metadata.
Самостоятельно проектирует evaluation pipeline: custom benchmarks, domain-specific eval sets, human evaluation protocols. Сравнивает модели по множеству метрик для принятия production-решений.
Самостоятельно проводит fine-tuning LLM: LoRA/QLoRA, подготовка instruction datasets, hyperparameter tuning. Мониторит training через W&B, оценивает результаты на held-out наборах данных.
Самостоятельно интегрирует ChatGPT и Claude API в production-pipeline. Настраивает system prompts, function calling, streaming responses. Сравнивает модели по качеству и стоимости для конкретных задач.
Самостоятельно разрабатывает production-ready промпты: structured output parsing, error recovery prompts, multi-turn dialog management. Применяет systematic approach к промпт-дизайну и тестированию.
Команда их не оценивает, но они входят в самооценку и план развития.
80 навыков получают более высокое ожидание или становятся ключевыми при переходе с Middle на Senior. Сначала самые большие скачки.
} в открытой матрице компетенций: 80 навыков на 5 уровнях. Матрица бесплатна для специалистов и останется бесплатной.