Что должен уметь Lead }

Оценивает вычислительную сложность SQL-трансформаций и dbt-моделей на больших объёмах данных. Оптимизирует алгоритмы агрегации и window-функций в аналитических запросах. Внедряет практики профилирования query plans в data warehouse.

Формирует стандарты качества dbt-проектов: sqlfluff для линтинга SQL, pre-commit хуки для YAML-валидации, обязательные dbt tests в CI/CD. Внедряет code review процессы с фокусом на производительность и читаемость моделей.

Определяет стандарты моделирования данных в dbt: выбор между nested structures и нормализованными таблицами, ARRAY/MAP типы в аналитических запросах. Ревьюит решения по структурам данных в контексте производительности BI-дашбордов.

Определяет стратегию интеграции streaming-данных в аналитическую платформу: Kafka topics как источники для near-real-time дашбордов, CDC-потоки для incremental-моделей, schema evolution policies для аналитических контрактов.

Определяет архитектуру search-функционала аналитической платформы: Elasticsearch для data discovery, автокомплит по именам метрик и моделей, fuzzy search по описаниям и тегам в каталоге данных.

Определяет архитектуру data services: API для metadata каталога, webhook-интеграции с BI-инструментами, self-service эндпоинты для аналитиков. Стандартизирует подходы к сериализации аналитических данных через API.

Определяет caching-стратегию аналитической платформы: Redis для горячих метрик и KPI, политики инвалидации при пересчёте моделей. Внедряет кеширование на уровне semantic layer для ускорения BI-запросов.

Определяет стандарты индексирования для аналитической платформы. Внедряет автоматический мониторинг производительности запросов и рекомендации по оптимизации. Обучает команду чтению query plans в контексте warehouse.

Определяет стратегию работы с данными на уровне продукта. Формирует стандарты Миграции БД. Проводит review схем данных и стратегий масштабирования.

Определяет стандарты производительности аналитических моделей: SLA на время выполнения, бюджеты на compute. Внедряет automated performance testing для dbt-моделей и alerting на деградацию скорости запросов.

Определяет стандарты моделирования данных для организации: naming conventions, слоёность dbt-проекта (staging/intermediate/marts), обязательные тесты и документация. Внедряет data mesh подходы с domain-ориентированными моделями.

Определяет стратегию использования ClickHouse в аналитической платформе: как движок для real-time дашбордов, integration с dbt через ClickHouse-adapter. Внедряет стандарты моделирования и TTL-политики для управления хранением.

Определяет стратегию использования PostgreSQL в аналитическом стеке: read replicas для BI-запросов, materialized views для промежуточных агрегаций. Внедряет стандарты именования и документирования схем для data catalog.

Определяет стандарты документирования интеграций: template-ы для описания API-источников, обязательные поля в data contracts, автоматическая валидация соответствия документации реальным схемам.

Определяет стандарты API-интеграций в аналитическом стеке: выбор между custom extractors и managed tools (Fivetran, Airbyte), SLA для freshness API-данных. Внедряет data contracts для internal API как источников аналитики.

Определяет AWS-стратегию для аналитики организации: выбор между Redshift и Athena для разных workloads, cost management через reserved capacity и serverless. Внедряет tagging и cost allocation для аналитических ресурсов.

Определяет стандарты контейнеризации аналитического стека: базовые образы для dbt-проектов, шаблоны для data extraction jobs, security-политики для образов. Внедряет container registry и versioning для аналитических инструментов.

Определяет стандарты CI/CD для аналитических проектов организации: reusable workflows для dbt, automated data quality gates, cost estimation в PR. Внедряет GitOps-подход для управления warehouse-ресурсами и permissions.

Определяет стандарты интеграционного тестирования: dbt source freshness checks, cross-model consistency tests, automated BI dashboard validation. Внедряет contract testing между data producers и аналитическими моделями.

Определяет стандарты тестирования аналитических моделей: обязательный test coverage для mart-слоя, automated regression suites для KPI-метрик. Внедряет тестовые среды с representative data samples для валидации моделей.

Определяет архитектуру data lake для аналитической платформы: medallion-подход (bronze/silver/gold), выбор форматов хранения (Parquet, Delta, Iceberg). Внедряет стандарты партиционирования и retention для оптимизации стоимости.

Определяет стратегию оркестрации аналитического pipeline: Airflow для координации dbt runs, sensor-ы для зависимостей от upstream данных. Внедряет стандарты DAG-дизайна: idempotency, retry policies, SLA monitoring для аналитических моделей.

Определяет BI-стратегию организации: выбор и стандартизация инструментов (Looker vs Tableau vs Metabase), governance для метрик и дашбордов, self-service аналитика для бизнес-пользователей. Внедряет semantic layer для единого определения метрик.

Внедряет modern orchestration для аналитики: Dagster assets как native интеграция с dbt models, software-defined assets для Python-трансформаций. Определяет стандарты для observable, testable pipeline-ов с built-in data quality checks.

Внедряет data catalog для аналитической платформы: интеграция dbt docs с enterprise каталогом (Atlan, DataHub, Alation), автоматическое обогащение метаданными. Определяет стандарты классификации и тегирования аналитических моделей.

Внедряет data contracts в аналитическую платформу: schema contracts в dbt, SLA для freshness и quality между командами-источниками и analytics engineering. Определяет процессы согласования изменений в контрактах.

Внедряет data lineage для аналитической платформы: dbt lineage graph, column-level lineage, интеграция с BI для end-to-end отслеживания. Использует lineage для impact analysis при изменении моделей и миграциях.

Определяет стандарты data quality организации: SLA на качество для каждого слоя, обязательные тесты для production моделей, процессы реагирования на quality incidents. Внедряет data observability platform (Monte Carlo, Elementary).

Определяет архитектуру аналитического warehouse: Kimball vs Data Vault vs One Big Table для разных доменов, стратегия кластеризации и партиционирования. Внедряет стандарты Snowflake/BigQuery best practices для dbt-проектов.

Определяет архитектуру dbt-проекта организации: модульная структура packages, cross-project references, shared macros library. Внедряет стандарты для incremental-моделей, snapshot-стратегий и управления dbt environments (dev/staging/prod).

Определяет стандарты использования Python vs SQL в аналитической платформе: когда оправдан pandas/polars вместо dbt, шаблоны для Python-моделей в dbt. Внедряет best practices для reproducible data preparation notebooks.

Определяет стандарты SQL-трансформаций организации: coding style guide, обязательные паттерны (surrogate keys, audit columns), библиотека dbt macros и packages. Внедряет automated SQL review и performance benchmarking для критических моделей.

Определяет стандарты использования AI-инструментов в analytics engineering команде: guidelines для Copilot в dbt-проектах, review-процессы для AI-generated SQL. Внедряет AI-assisted documentation и тестирование аналитических моделей.

Определяет стандарты observability аналитической платформы: dashboards для dbt pipeline health, SLA monitoring для freshness и качества данных. Внедряет incident management процессы для data quality issues с structured runbooks.

Определяет стандарты документирования для аналитической организации: обязательные описания для всех production-моделей, шаблоны для новых моделей и packages. Внедряет metrics и SLA для documentation coverage, автоматические reminders для undocumented моделей.

Определяет стандарты code review для analytics engineering: чек-листы для dbt PR (модель, тесты, docs, performance), automated checks в CI, review SLA. Создаёт culture of quality через конструктивный feedback и knowledge sharing.

Определяет стандарты version control для аналитической организации: mono-repo vs multi-repo для dbt-проектов, semantic versioning для dbt packages, release management. Внедряет Git-based governance для production-моделей.