Что должен уметь Middle }

Анализирует планы выполнения запросов для определения необходимых индексов в источниках данных. Создаёт составные индексы для типичных аналитических паттернов: фильтрация по дате + dimension. Понимает trade-off между скоростью чтения и записи.

Самостоятельно проектирует схемы и оптимизирует запросы с Миграции БД. Понимает индексирование и планы выполнения запросов. Использует ORM эффективно.

Оптимизирует dbt-модели и SQL-запросы: переписывает подзапросы в CTE, устраняет redundant JOIN-ы, использует incremental-стратегии для тяжёлых моделей. Анализирует query profile в Snowflake/BigQuery для выявления узких мест.

Проектирует dbt-модели по слоям: staging для очистки сырых данных, intermediate для бизнес-логики, marts для потребителей. Применяет dimensional modeling (Kimball) для аналитических витрин. Реализует SCD Type 2 для исторических измерений.

Пишет сложные аналитические запросы с использованием ClickHouse-специфичных функций: arrayJoin, windowFunnel, retention. Оптимизирует запросы через правильный выбор ORDER BY ключа и использование PREWHERE для фильтрации.

Создаёт сложные аналитические запросы с CTE, window-функциями и подзапросами в PostgreSQL. Использует EXPLAIN ANALYZE для профилирования запросов к большим таблицам. Работает с PostgreSQL-специфичными типами: JSONB, ARRAY, INTERVAL.

Самостоятельно строит аналитические data-продукты поверх слоёв data lake с использованием dbt и Spark SQL. Оптимизирует производительность запросов через интеллектуальное партиционирование и Z-ordering. Обеспечивает качество данных проверками Great Expectations на границах зон.

Самостоятельно строит DAG Airflow для ELT-пайплайнов с dbt-операторами и проверками качества данных. Настраивает политики повторов, SLA и алертинг для задач трансформации. Оптимизирует параллелизм задач и пулы ресурсов.

Проектирует аналитические дашборды с корректной бизнес-логикой: расчёт метрик на уровне BI vs dbt, параметризованные отчёты, cross-filtering. Оптимизирует производительность дашбордов через правильное моделирование данных в mart-слое.

Самостоятельно реализует data pipelines с Dagster / Prefect. Оптимизирует производительность. Обеспечивает data quality.

Самостоятельно поддерживает записи каталога данных для слоя трансформации. Настраивает автоматическое извлечение метаданных из dbt docs и графов lineage. Реализует таксономии тегов и классификацию данных для управляемого self-service доступа.

Самостоятельно определяет контракты данных для выходов слоя трансформации через dbt contracts и schema tests. Реализует автоматическую валидацию контрактов в CI/CD-пайплайнах. Согласует изменения контрактов с upstream-производителями данных.

Самостоятельно внедряет отслеживание lineage данных по слою трансформации dbt. Настраивает lineage на уровне колонок через метаданные dbt и внешние инструменты (OpenLineage, DataHub). Автоматизирует анализ влияния изменений схем.

Настраивает комплексное dbt-тестирование: custom generic tests, dbt expectations package для статистических проверок, freshness tests для source-ов. Реализует data quality dashboards для мониторинга метрик качества.

Проектирует dimensional-модели и семантические слои для множества потребителей данных. Создаёт переиспользуемые dbt-пакеты с правильными стратегиями материализации, инкрементальными моделями и документированными витринами. Реализует slowly changing dimensions и управляет эволюцией схем без нарушения аналитических пайплайнов.

Самостоятельно строит dbt-пайплайны трансформации с инкрементальными моделями, снэпшотами и кастомными макросами. Реализует тесты качества данных с пакетами dbt-expectations и dbt-utils. Настраивает материализации и оптимизирует производительность моделей.

Применяет pandas/polars для сложной предобработки данных: merge разнородных источников, pivot-таблицы, обработка временных рядов. Использует polars для ускорения локальной обработки больших файлов перед загрузкой в warehouse.

Разрабатывает сложные SQL-трансформации в dbt: window-функции для расчёта метрик, CTE-цепочки для многошаговой бизнес-логики, Jinja-макросы для DRY-подхода. Реализует incremental-модели с merge-стратегией для оптимизации.