Plataforma de pagamentos para mercados regulados: dados de PIX, cartões, aprovações, recusas, chargebacks, estornos, cash-in e cash-out.
- Criei a ingestão de 8 tabelas DynamoDB de 2 produtos: Lambda agendada no EventBridge exporta para a Bronze no S3 (bucket estruturado por mim), e jobs Glue em PySpark (carga inicial e incremental) convertem o JSON, inclusive campos struct, em Parquet particionado por data.
- Criei novas ingestões de RDS PostgreSQL com AWS DMS, seguindo os padrões da plataforma, e as incluí na DAG do Airflow.
- Investiguei timeouts na camada Silver e identifiquei small files como causa (corrigido pelo fornecedor). Documentei boas práticas de consulta no Athena.