Что должен уметь Principal }

Определяет стратегию производительности data-платформы. Проектирует алгоритмы обработки петабайтных датасетов: partitioning, bucketing, approximate algorithms (HyperLogLog, Count-Min Sketch). Балансирует throughput и latency на уровне архитектуры.

Проектирует async-архитектуру data-платформы: event-driven ingestion, async CDC, streaming pipelines с exactly-once semantics. Определяет стратегию масштабирования real-time обработки через Kafka Streams и Flink.

Определяет стратегию технического качества data-платформы. Планирует миграции между версиями Spark/Airflow. Устанавливает метрики надёжности pipelines: SLA, data freshness, completeness.

Формирует архитектурную модель data-платформы: plugin-система для connectors, абстракции для data sources/sinks. Определяет где OOP оправдано, а где функциональный стиль (PySpark transformations) предпочтительнее.

Проектирует модели данных платформы: columnar форматы (Parquet, ORC) для аналитики, row-based для транзакций, graph-структуры для lineage. Определяет стратегию serialization/deserialization для cross-system совместимости.

Проектирует streaming-платформу организации: multi-cluster Kafka, MirrorMaker 2, tiered storage. Определяет governance для event schemas и data contracts между producer/consumer командами.

Проектирует search-инфраструктуру data mesh: federated search по каталогам доменов, ML-ранжирование для data discovery, cross-cluster search.

Проектирует API-слой data-платформы: self-service data portal, metadata API, data marketplace. Определяет стандарты API для доступа к данным через query engines (Trino, Presto).

Проектирует caching-инфраструктуру data-платформы: shared Redis для cross-pipeline lookup data, warming стратегии при деплоях, partitioning для масштабирования.

Проектирует object storage архитектуру: multi-region replication, S3-compatible storage (MinIO) для on-prem, cost optimization через storage classes. Определяет governance для data retention.

Проектирует архитектуру распределённой обработки: task queues для near-real-time vs batch schedulers, hybrid подходы. Определяет SLA и capacity planning для разных уровней приоритета.

Проектирует indexing-стратегию data-платформы: columnar indexes (Parquet row groups), zone maps, min/max statistics. Определяет подходы к индексированию в data lake (Iceberg metadata) и data warehouse.

Проектирует schema management платформу: schema registry, versioned data contracts, automated compatibility checking. Определяет governance для schema evolution в data mesh.

Проектирует query optimization стратегию: federated queries через Trino/Presto, query caching, materialized views. Определяет SLA для query latency по типам: ad-hoc, scheduled, interactive.

Проектирует data modeling стратегию организации: domain-driven data models, canonical data model, data mesh domain boundaries. Определяет governance для entity resolution и master data management.

Проектирует стратегию репликации данных через платформу: CDC через Debezium/Kafka Connect, cross-region replication для geo-distributed analytics, multi-master scenarios. Определяет consistency guarantees для разных data products.

Проектирует NoSQL-стратегию data-платформы: Cassandra для high-write ingestion, ScyllaDB для low-latency lookups. Определяет data modeling best practices для wide-column stores и интеграцию с Spark для batch analytics.

Проектирует data resilience стратегию: multi-region replication, cross-cloud DR, cold/warm/hot backup tiers. Определяет governance для data protection и compliance (GDPR right to delete).

Проектирует OLAP-стратегию платформы: ClickHouse cluster topology, cross-DC replication, capacity planning. Определяет когда ClickHouse vs Snowflake/BigQuery. Планирует data serving layer архитектуру.

Проектирует PostgreSQL-стратегию: logical replication для real-time CDC, Citus для distributed analytics, TimescaleDB для time-series pipelines. Определяет границы PostgreSQL в data architecture.

Проектирует serialization-стратегию data-платформы: единый schema registry, cross-format compatibility, schema evolution governance. Определяет когда Protobuf vs Avro vs Parquet schemas.

Проектирует API-стратегию data mesh: domain data product API, federated data access layer, API gateway для data services. Определяет стандарты для data-as-a-product interfaces.

Проектирует cloud-стратегию данных: multi-cloud (AWS + GCP/Azure), data residency compliance, vendor lock-in mitigation. Определяет reference architecture для cloud-native data platform.

Проектирует container-стратегию data-платформы: стандартизация runtime для Spark/Airflow/dbt, image governance, registry architecture. Определяет container vs serverless для разных workloads.

Проектирует Kubernetes-платформу для data: multi-cluster для staging/production, spot instances для batch, dedicated nodes для streaming. Определяет compute strategy и cost optimization.

Проектирует IaC-стратегию организации: self-service infrastructure provisioning для data teams, cost controls, compliance automation. Определяет multi-cloud infrastructure abstraction.

Проектирует CI/CD-стратегию data-платформы: unified pipeline для разных data tools (dbt, Airflow, Spark), environment management, data infrastructure provisioning. Определяет release governance.

Проектирует data lakehouse архитектуру: unified storage layer, query engine federation (Trino/Spark), governance framework. Определяет когда lakehouse vs traditional DWH vs data mesh.

Проектирует orchestration-стратегию: Airflow для batch, event-driven для real-time, hybrid patterns. Определяет multi-team governance, shared infrastructure, cost allocation.

Проектирует Spark-стратегию платформы: EMR vs Databricks vs self-hosted, cluster sizing, dynamic allocation. Определяет когда Spark vs DuckDB vs Polars. Планирует миграцию на Spark 4.0.

Проектирует next-gen orchestration: Dagster для software-defined data assets, Prefect для event-driven, hybrid с Airflow legacy. Определяет migration path и coexistence стратегию.

Проектирует metadata-платформу организации: federated catalog для data mesh, automated metadata extraction, ML-powered data discovery. Определяет metadata governance и interoperability standards.

Проектирует data contract платформу: centralized registry, automated enforcement, compatibility checking. Определяет governance model для inter-team data sharing в data mesh.

Проектирует lineage-платформу организации: end-to-end lineage от operational systems до BI dashboards, automated compliance reporting, lineage-driven data governance.

Проектирует data quality платформу: centralized quality monitoring, ML-based anomaly detection, quality-driven data trust scoring. Определяет organization-wide data quality framework.

Проектирует DWH-стратегию организации: centralized vs decentralized, semantic layer, cost management. Определяет evolution path: traditional DWH → lakehouse → data mesh. Планирует migration между платформами.

Проектирует transformation-стратегию: dbt для SQL-transformations, Spark для complex processing, dbt mesh для multi-team. Определяет governance для shared models и cross-project dependencies.

Проектирует open table format стратегию: Delta Lake vs Iceberg vs Hudi, catalog integration (Unity/Nessie), cross-engine interop. Определяет migration path от Hive tables.

Определяет стратегию local data processing: DuckDB для ad-hoc analytics, Polars для batch ETL, Arrow для zero-copy data exchange. Проектирует unified API для разных backends.

Проектирует transformation-стратегию: SQL для declarative ETL, Python для complex logic, hybrid подходы. Определяет query engine selection (Trino, BigQuery, Redshift) по workload pattern.

Проектирует streaming-архитектуру data-платформы: Kafka Streams для lightweight processing, Flink для complex CEP, hybrid batch+streaming. Определяет lambda vs kappa architecture по сценарию.

Определяет стратегию AI-ассистированной data engineering: выбор инструментов, governance-политики, quality gates для AI-сгенерированного кода и SQL. Оценивает LLM-based data tools (text-to-SQL).

Формирует observability-стратегию data-платформы: unified logging для Airflow/Spark/dbt, data-specific metrics (freshness, completeness, volume), automated anomaly detection.

Определяет review-стандарты организации: cross-team review для shared data models, architectural review board для platform changes. Формирует engineering excellence culture.

Определяет стратегию версионирования data-платформы: mono vs multi-repo для dbt/Airflow/infra, release management для data pipeline changes. Координирует cross-team collaboration.