Что должен уметь Middle }

Проектирует индексы для аналитических паттернов запросов: составные индексы для мульти-колоночных фильтров, expression-индексы для вычисляемых полей и частичные индексы для условных агрегаций. Анализирует планы выполнения запросов для выявления отсутствующих индексов и поведения index scan vs seek. Понимает влияние индексов на производительность ETL-пайплайнов.

Самостоятельно оптимизирует сложные аналитические запросы: partition pruning для анализа временных рядов, query pushdown для распределённых источников данных и эффективные стратегии JOIN для комбинаций больших таблиц. Использует профилировщики запросов для выявления и устранения узких мест производительности. Реализует стратегии кеширования запросов для повторяющихся аналитических паттернов.

Самостоятельно проектирует аналитические модели данных с подходящими уровнями нормализации. Реализует материализованные представления и сводные таблицы для повторяющихся паттернов анализа. Понимает компромиссы между нормализованными и денормализованными схемами для аналитических нагрузок.

Пишет продвинутые аналитические запросы с оконными функциями (ROW_NUMBER, LAG, LEAD, накопительные итоги) для анализа трендов и ранжирования. Применяет приближённые алгоритмы ClickHouse (uniqHLL12, quantileTDigest) для быстрых оценок на больших наборах данных. Строит когортные анализы удержания в масштабе, используя массивы и функции высшего порядка.

Пишет сложные аналитические SQL-запросы с оконными функциями (ROW_NUMBER, LAG, LEAD, нарастающие итоги) для анализа трендов и когорт в MySQL. Строит многоэтапные аналитические пайплайны с использованием CTE и временных таблиц. Оптимизирует запросы извлечения данных через анализ EXPLAIN и добавление целевых индексов для аналитических нагрузок.

Самостоятельно проектирует аналитические запросы и оптимизирует извлечение данных: пишет сложные CTE и оконные функции для аналитических нагрузок, понимает планы выполнения для тюнинга запросов, использует EXPLAIN ANALYZE для определения узких мест. Понимает компромиссы между материализованными представлениями и live-запросами для аналитической отчётности.

Самостоятельно строит DAG Airflow для автоматической выгрузки данных и подготовки когорт. Реализует задачи валидации данных с интеграцией Great Expectations. Настраивает расписание для периодического обновления аналитических данных.

Самостоятельно строит аналитические дашборды с продвинутыми статистическими визуализациями и динамическим когортным анализом. Оптимизирует производительность через тюнинг запросов и экстракты данных. Создаёт дашборды A/B-тестов с индикаторами значимости и доверительными интервалами.

Самостоятельно курирует метаданные аналитических датасетов в каталоге. Реализует описания на уровне колонок и отслеживание статистики использования. Создаёт словари данных и записи глоссария для улучшения обнаруживаемости в аналитической команде.

Самостоятельно работает с контрактами данных для обеспечения надёжности аналитических датасетов. Определяет ожидания схем и правила качества данных для аналитических таблиц. Сотрудничает с дата-инженерами по спецификациям контрактов для аналитических кейсов.

Самостоятельно использует инструменты lineage для трассировки аналитических потоков данных и отладки проблем качества. Реализует документацию lineage для сложных аналитических пайплайнов. Выполняет анализ влияния по графам lineage перед изменением общих датасетов.

Строит пайплайны валидации с помощью Great Expectations и dbt tests. Реализует обнаружение аномалий для датасетов A/B-тестов. Настраивает мониторы качества в Airflow DAG для раннего обнаружения проблем. Проектирует отчёты профилирования с pandas-profiling и SQL-проверками.

Проектирует аналитические схемы для конкретных бизнес-доменов, выбирая подходящие структуры фактов и измерений. Предлагает новые таблицы и представления хранилища для повышения эффективности запросов при повторяющихся аналитических задачах. Понимает компромиссы между нормализованным и денормализованным дизайном, выбирая подход под характер нагрузки.

Самостоятельно строит dbt-модели для аналитических датасетов с корректным тестированием и документацией. Реализует Jinja-макросы для переиспользуемой логики трансформации. Настраивает материализации моделей, подходящие для паттернов аналитических запросов и объёма данных.

Реализует эффективные аналитические пайплайны с Pandas: стратегии join-ов множества таблиц, оконные функции с rolling/expanding и ресэмплинг временных рядов для разных гранулярностей. Использует Polars для performance-critical трансформаций на больших датасетах. Создаёт параметризированные пайплайны анализа с правильной обработкой ошибок и валидацией данных.

Строит SQL ETL-пайплайны для когортного анализа и подготовки аналитических датасетов. Реализует трансформации очистки данных, обрабатывает пропуски и выбросы, создаёт переиспользуемые шаблоны ad-hoc трансформаций.