top of page
Slow Changing Dimensions
em um Data Warehouse Utilizando Hive
Projeto desenvolvido com a finalidade de prever em tempo real a rotatividade de clientes de uma Operadora de Telecom fornecendo métricas para a empresa atuar com mais agilidade na prevenção de perdas de clientes e também fidelizar o consumidor satisfeito.
Uma Slow Changing Dimension será aplicada à um Data Warehouse utilizando o Hive que está sendo executado sobre o Apache Hadoop, e para que isso aconteça será necessário realizar a configuração total de um cluster pseudo – distribuído para armazenar e processar os dados.
O cluster será construído em ambiente Linux através de uma Virtual Machine (Máquina Virtual), ou seja, através da virtualização do ambiente na minha máquina física. Sendo assim realizei também toda a configuração da Máquina Virtual preparando para receber o ecossistema Hadoop.
Com o Banco de Dados na Máquina Virtual utilizei o Sqoop para carregar uma tabela do Banco de Dados fonte para dentro de um datalake no HDFS (Hadoop Distributed File System).
Por fim, desenvolvi uma sequência de códigos para que o Hive consiga realizar Slow Changing Dimension, ou seja, ler, comparar e adicionar novas informações na tabela realizando alterações nas dimensões de forma inteligente sempre que elas mudarem.
.
bottom of page