Início: Iago Bonifácio

Second Nature, 2024 até hoje

Plataforma de dados no GCP a partir de um projeto vazio

Desenho e opero a plataforma de analytics da Second Nature: 4M+ eventos por mês de 1.500+ clientes, com 99,9% de SLA e replicação CDC a partir da AWS.

Plataforma de dados: origens na AWS replicadas por CDC para o BigQuery em camadas bronze, prata e ouro, orquestrada pelo Composer, governada pelo Dataplex e provisionada com Terraform.OrigensAWS RDS, APIsIngestãoDatastream, Pub/SubBigQuerybronze, prata, ouroBIComposer10+ DAGsDataplexgovernançaTerraformCloud, OIDC
Plataforma de dados: origens na AWS replicadas por CDC para o BigQuery em camadas bronze, prata e ouro, orquestrada pelo Composer, governada pelo Dataplex e provisionada com Terraform.

Contexto

A Second Nature (Estados Unidos) processa eventos de aluguel de mais de 1.500 clientes de administração de imóveis. Os dados operacionais ficavam em PostgreSQL e MariaDB no AWS RDS, e o analytics precisava de um warehouse único no GCP.

Problema

Sair de um projeto GCP vazio e chegar a uma plataforma que um time pequeno consegue operar: ingestão confiável a partir de outra nuvem, governança que atende SOC2 e PCI DSS sem travar os analistas, e custo de BigQuery sob controle.

O que fiz

  • Arquitetura medallion (bronze, prata, ouro) com datasets do BigQuery, pipelines no Dataflow, transformações no Dataform e governança no Dataplex.
  • Replicação CDC com Datastream do RDS para o BigQuery por VPN, sem expor os bancos.
  • Orquestração no Cloud Composer (Airflow) com mais de 10 DAGs de ingestão, transformação e analytics.
  • Terraform como único caminho de mudança: Terraform Cloud com OIDC do GitHub (sem credencial de longa duração), pre-commit, tfsec e SonarCloud no CI.
  • Migração da integração NetSuite para Salesforce do MuleSoft para o Apigee X com Pub/Sub e BigQuery.
  • FinOps: compromisso de slots no BigQuery, armazenamento por camada, alertas de orçamento e painéis de custo.
  • Padronização de nomes em mais de 50 recursos do GCP e avaliações de SOC2 e PCI DSS no Drata.

Resultado

  • 4M+ eventos por mês de 1.500+ clientes, com 99,9% de SLA.
  • US$ 140 mil de economia anual (28% ano contra ano) com FinOps.
  • Ciclo de deploy de infraestrutura de dias para horas.