Что должен уметь Middle }

Проектирует стратегии индексирования для аналитических нагрузок: покрывающие индексы для запросов дашбордов, частичные индексы для фильтрованных отчётов и columnstore-индексы для OLAP-паттернов. Понимает планы выполнения запросов и может рекомендовать изменения индексов DBA. Балансирует накладные расходы на обслуживание индексов с выигрышем производительности запросов.

Самостоятельно проектирует и оптимизирует аналитические запросы: оконные функции для скользящих вычислений, CTE для читаемости и переиспользования запросов и декомпозиция запросов для сложных отчётов. Анализирует планы выполнения для выбора между nested loops, hash joins и merge joins. Оптимизирует материализованные представления для производительности дашбордов.

Самостоятельно проектирует размерные модели для BI-отчётности. Реализует медленно меняющиеся измерения (SCD Type 1/2), согласованные измерения и агрегатные таблицы. Оптимизирует модели данных для производительности запросов дашбордов с правильной индексацией и партиционированием.

Проектирует материализованные представления в ClickHouse для предварительной агрегации метрик и ускорения дашбордов. Использует движки AggregatingMergeTree и SummingMergeTree для поддержания агрегатов в реальном времени. Пишет сложные запросы с GROUP BY, HAVING и вложенными подзапросами для интерактивных BI-отчётов с субсекундным временем отклика.

Создаёт оптимизированные отчётные представления и материализованные сводные таблицы в MySQL для BI-дашбордов. Оптимизирует агрегирующие запросы с помощью составных индексов и планов выполнения. Настраивает live- и extract-подключения в Tableau и Power BI с корректными параметрами драйвера MySQL для надёжного обновления по расписанию.

Самостоятельно проектирует аналитические схемы и оптимизирует сложные запросы: пишет производительные многотабличные JOIN с оконными функциями, понимает планы выполнения запросов для оптимизации, внедряет материализованные представления для ускорения отчётов. Понимает компромиссы между нормализованными схемами и аналитической денормализацией для BI-нагрузок.

Самостоятельно настраивает DAG Airflow для генерации отчётов и обновления данных дашбордов. Реализует сенсоры качества данных для валидации источников перед обновлением BI-слоя. Устраняет сбои пайплайнов, влияющие на отчётность.

Самостоятельно проектирует интерактивные дашборды в Tableau и Power BI с вычисляемыми полями и LOD-выражениями. Оптимизирует производительность запросов на больших данных. Реализует слои self-service BI для автономной работы бизнес-пользователей с KPI.

Самостоятельно управляет метаданными BI-слоя в каталоге данных. Настраивает определения метрик, иерархии KPI и маппинги дашборд-источник. Реализует индикаторы свежести данных и значки качества для отчётных датасетов.

Самостоятельно управляет контрактами данных для слоя потребления BI. Определяет контракты метрик, специфицируя правила агрегации, гранулярность и SLA свежести. Реализует валидацию на основе контрактов перед публикацией дашбордов.

Самостоятельно трассирует lineage данных от BI-дашбордов до систем-источников. Использует инструменты lineage для анализа влияния перед изменениями источников данных. Реализует документацию на основе lineage для прозрачности расчёта метрик.

Внедряет автоматические проверки качества в BI-пайплайнах через SQL и dbt tests. Настраивает мониторинг свежести данных для дашбордов Tableau/Power BI. Строит слои валидации в ClickHouse и BigQuery для отслеживания дрифта схем. Создаёт скоркарды качества и алертинг.

Проектирует star- и snowflake-схемы, оптимизированные для BI-отчётности. Создаёт агрегатные таблицы и материализованные представления, существенно ускоряющие запросы дашбордов. Предлагает изменения схем команде хранилища на основе требований отчётности и участвует в решениях по dimensional modeling для новых доменов данных.

Самостоятельно пишет dbt-модели для BI-слоя отчётности: определения метрик, агрегатные таблицы и размерные модели. Реализует schema tests и проверки свежести данных. Настраивает dbt exposures для документирования зависимостей downstream-дашбордов.

Реализует эффективные BI пайплайны данных с Pandas: мерж данных из множества источников, сложные цепочки агрегации и анализ временных рядов для детекции трендов. Оптимизирует использование памяти через правильный выбор dtype и чтение чанками для больших файлов. Создаёт переиспользуемые функции трансформации данных для повторяющихся аналитических задач.

Строит ETL-пайплайны для наполнения dimensional моделей BI-отчётности. Реализует загрузки SCD Type 1/2, управляет суррогатными ключами и обеспечивает ссылочную целостность между таблицами фактов и измерений.