Inicio: Iago Bonifácio

Second Nature, 2024 a hoy

Plataforma de datos en GCP desde un proyecto vacío

Diseño y opero la plataforma de analítica de Second Nature: 4 M+ eventos al mes de 1.500+ clientes, con 99,9 % de SLA y replicación CDC desde AWS.

Plataforma de datos: orígenes en AWS replicados por CDC hacia BigQuery en capas bronce, plata y oro, orquestada por Composer, gobernada por Dataplex y provisionada con Terraform.OrígenesAWS RDS, APIsIngestaDatastream, Pub/SubBigQuerybronce, plata, oroBIComposer10+ DAGsDataplexgobiernoTerraformCloud, OIDC
Plataforma de datos: orígenes en AWS replicados por CDC hacia BigQuery en capas bronce, plata y oro, orquestada por Composer, gobernada por Dataplex y provisionada con Terraform.

Contexto

Second Nature (Estados Unidos) procesa eventos de alquiler de más de 1.500 clientes de administración de propiedades. Los datos operativos estaban en PostgreSQL y MariaDB sobre AWS RDS, y la analítica necesitaba un almacén único en GCP.

Problema

Partir de un proyecto de GCP vacío y llegar a una plataforma que un equipo chico pueda operar: ingesta confiable desde otra nube, gobierno que cumpla SOC2 y PCI DSS sin frenar a los analistas, y costo de BigQuery bajo control.

Qué hice

  • Arquitectura medallion (bronce, plata, oro) con datasets de BigQuery, pipelines de Dataflow, transformaciones en Dataform y gobierno en Dataplex.
  • Replicación CDC con Datastream desde RDS hacia BigQuery por VPN, sin exponer las bases.
  • Orquestación en Cloud Composer (Airflow) con más de 10 DAGs de ingesta, transformación y analítica.
  • Terraform como único camino de cambio: Terraform Cloud con OIDC de GitHub (sin credenciales de larga duración), pre-commit, tfsec y SonarCloud en el CI.
  • Migración de la integración NetSuite a Salesforce de MuleSoft hacia Apigee X con Pub/Sub y BigQuery.
  • FinOps: compromisos de slots en BigQuery, almacenamiento por niveles, alertas de presupuesto y tableros de costo.
  • Estandarización de nombres en más de 50 recursos de GCP y evaluaciones de SOC2 y PCI DSS en Drata.

Resultado

  • 4 M+ eventos al mes de 1.500+ clientes, con 99,9 % de SLA.
  • US$ 140 mil de ahorro anual (28 % interanual) con FinOps.
  • Ciclo de despliegue de infraestructura de días a horas.