Что должен уметь Junior }

Понимает принципы индексирования и его влияние на скорость аналитических запросов. Читает планы выполнения запросов и определяет, когда индексы используются. Создаёт простые B-tree индексы по рекомендациям старших коллег.

Понимает основы миграций баз данных для аналитики: эволюция схемы в хранилищах данных, добавление/модификация колонок через dbt и базовые скрипты миграции для staging-таблиц. Следует командным паттернам для версионированных изменений схемы и обратно-совместимых трансформаций.

Пишет читаемые SQL-запросы, избегая SELECT * и ненужных JOIN-ов. Использует EXPLAIN для понимания базовых планов выполнения. Следует рекомендациям команды по написанию эффективных dbt-моделей.

Понимает базовые концепции моделирования данных: таблицы фактов и измерений, star schema. Создаёт простые dbt staging-модели по шаблонам команды. Документирует модели в YAML-файлах с описаниями колонок.

Выполняет базовые аналитические запросы к ClickHouse: агрегации, фильтрация по временным диапазонам, простые GROUP BY. Понимает колоночное хранение и его преимущества для аналитических задач. Использует HTTP-интерфейс или клиент.

Пишет базовые SELECT-запросы к PostgreSQL для извлечения данных из staging-таблиц. Понимает типы данных, JOIN-ы и GROUP BY для простых аналитических задач. Использует pgAdmin или DBeaver для исследования структуры базы.

Понимает зонную архитектуру data lake (raw, curated, consumption). Выполняет запросы из курируемых слоёв с помощью SQL и dbt-моделей. Следует командным конвенциям по партиционированию, форматам файлов и стандартам именования.

Понимает базовые концепции Airflow: DAG, операторы и зависимости задач. Использует готовые шаблоны DAG для построения простых пайплайнов трансформации. Применяет паттерны интеграции dbt + Airflow, определённые командой.

Создаёт простые дашборды в Metabase/Looker/Tableau на основе подготовленных dbt-моделей. Понимает принципы визуализации данных: выбор типа графика, фильтры, drill-down. Работает с mart-слоем как основным источником для BI.

Понимает основы Dagster/Prefect для оркестрации dbt-моделей и трансформаций данных. Запускает существующие пайплайны, читает логи и устраняет простые сбои задач в аналитических воркфлоу.

Понимает концепции каталога данных и основы управления метаданными. Регистрирует dbt-модели и источники в каталоге по командным конвенциям. Использует поиск по каталогу для обнаружения существующих датасетов перед созданием новых трансформаций.

Понимает концепции контрактов данных и основы валидации схем. Следует установленным спецификациям контрактов при построении dbt-моделей. Использует схемы контрактов для валидации результатов трансформации против ожидаемых структур.

Понимает концепции lineage данных и как трансформации связывают источники с выходами. Следует командным конвенциям документирования lineage в dbt-моделях. Использует графы lineage в dbt docs для трассировки потока данных через слои трансформации.

Запускает базовые dbt tests: not_null, unique, accepted_values, relationships. Понимает результаты тестов и исправляет простые data quality issues. Следит за dbt test warnings в CI.

Создаёт базовые dbt-модели поверх существующих схем хранилища. Формирует простые staging- и mart-слои, следуя принятым конвенциям dimensional modeling. Понимает основы star schema и реализует простые таблицы фактов и измерений для аналитических витрин данных.

Понимает структуру dbt-проекта, модели и функции ref/source. Следует установленным паттернам для написания SQL-трансформаций и schema tests. Использует команды dbt run и dbt test по командным CI/CD-workflow.

Использует pandas для простых задач подготовки данных: чтение CSV/Excel, базовые фильтрации и агрегации для ad-hoc аналитики. Понимает DataFrame-операции для исследования данных перед созданием dbt-моделей.

Пишет базовые SQL-трансформации в dbt: SELECT с переименованием колонок, type casting, простые фильтры для staging-моделей. Понимает концепцию ELT и роль SQL как основного языка аналитических трансформаций.