Construindo uma plataforma de dados GCP-native do zero

Arquitetei e opero uma plataforma de dados na GCP que processa milhões de eventos por mês, com ingestão CDC entre clouds e governança alinhada a SOC2.

• GCP
• BigQuery
• Dataflow
• Dataform
• Cloud Composer
• Datastream CDC
• Terraform
• Terraform Cloud

Contexto

No meu papel atual, sou responsável pela plataforma de dados: uma stack de analytics GCP-native que ingere dados operacionais de vários sistemas de origem num data warehouse único no BigQuery.

Desafio

Construir uma plataforma de dados de produção a partir de um projeto GCP vazio — ingestão confiável de sistemas hospedados em outra cloud, um modelo de governança que atenda SOC2 sem travar o trabalho dos analistas, e infraestrutura que um time pequeno consiga operar de verdade.

O que fiz

• Desenhei uma arquitetura Medallion (Bronze/Silver/Gold) usando BigQuery, Dataflow e Dataform.
• Implantei Datastream CDC para replicação em tempo real de PostgreSQL/MariaDB hospedados na AWS para o BigQuery, por um caminho de rede privado.
• Orquestrei ingestão e transformação com Cloud Composer (Airflow).
• Tornei o Terraform (via Terraform Cloud, autenticado por OIDC do GitHub — sem credenciais de cloud de longa duração) o único caminho pra mudanças de infraestrutura, com gates de CI pra lint, segurança e cobertura.
• Construí a camada de governança alinhada a SOC2/PCI-DSS: IAM de menor privilégio, revisão Zero Trust, logging pronto pra auditoria.

Stack

GCP (BigQuery, Dataflow, Dataform, Dataplex, Cloud Composer, Datastream), Terraform + Terraform Cloud, GitHub Actions, AWS (lado de origem, RDS).

Resultado

Uma plataforma que sustenta o analytics operacional da empresa com alta confiabilidade, passou pela revisão de controles SOC2, e reduziu o ciclo de deploy de infraestrutura de dias para horas.