Projetos

Portfólio de projetos em Banco de Dados, ETL e Soluções Cloud

Pipeline de Dados Meteorológicos

Pipeline de Dados Meteorológicos

Pipeline de dados meteorológicos com ingestão automatizada de dados reais do Distrito Federal, modelagem analítica em SQL e visualização via dashboards. Projeto desenvolvido como parte da minha transição de Analista de Banco de Dados Pleno para Engenharia de Dados, com foco em automação, qualidade e boas práticas.

pythonsqlmysqlsqlalchemypandasrequestsopen-meteo-apietldata-pipelinedata-modelingsql-viewsanalyticsdockerdocker-composegithub-actionscicdstreamlitplotlycronlinux
ML

Análise de Crédito com Aplicação Web

Projeto completo de Machine Learning para análise de risco de crédito, que simula o processo de decisão de instituições financeiras por meio de uma arquitetura em três camadas. A solução integra banco de dados PostgreSQL, uma API REST para inferência de modelos de aprendizado de máquina e uma interface web interativa, permitindo predições em tempo real, explicabilidade das decisões e deploy automatizado em ambientes locais e na Azure.

PythonPostgreSQLFlaskStreamlitTensorFlowKerasScikit-learnPandasNumPyLIMESHAPDockerDocker ComposeGitHub ActionsAzure Virtual MachinesAzure Container InstancesSQL
Pipeline de Dados

Pipeline de Dados

Projeto de Engenharia de Dados que implementa um pipeline em nuvem para ingestão de mensagens de um chatbot do Telegram, armazenamento em Data Lake na AWS, processamento em lote com ETL e análise exploratória de dados, permitindo gerar insights a partir das interações dos usuários de forma escalável e automatizada.

Telegram BotWebhooksAWS API GatewayAWS LambdaAWS S3AWS AthenaAWS EventBridgePythonPyArrowSQL
Desafio de Engenharia de Dados - Coco Bambu

Desafio de Engenharia de Dados - Coco Bambu

Projeto de Engenharia de Dados desenvolvido como parte do desafio Coco Bambu, focado na ingestão, validação e processamento de dados JSON em um Data Lake na AWS. A solução integra APIs simuladas via API Gateway e Lambda, organiza dados no S3, aplica um processo de ETL robusto com validação por schema e armazena os dados tratados em um banco PostgreSQL (RDS), garantindo escalabilidade, rastreabilidade e qualidade dos dados.

AWS S3AWS API GatewayAWS LambdaAWS RDS (PostgreSQL)PythonJSONSQLAWS CLI