Data Cleansing – Limpeza de Bases de Dados
Standartização de Dados | Remoção de Duplicações | Divisão de Dados
O termo Data Cleansing envolve a detecção e correcção (e remoção) de registos corruptos ou incorrectos de uma Base de Dados. O serviço de Data Cleansing pode transformar e combinar diferentes dados, remover incorrecções, standartizar valores, remover redundâncias, dividir dados previamente juntos e remover dados corrompidos, criando assim informação consistente e fiável.
Fig. 1 Um exemplo de Data Parsing (divisão de dados):
O Nome Completo foi separado em colunas de Titulo, 1º nome, 2º nome, apelido e sufixo usando regras de reconhecimento automatizado. Alguns projectos de divisão mais complexos podem requerer variadas regras de reconhecimento para atingirem o sucesso desejável.
Fig. 2 Um exemplo de Standartização de Dados:
Variadas versões de Lisboa são standartizadas em apenas um único nome.
Data Integration – Integração de Dados
Data Integration é o processo de combinar dados a partir de diferentes origens e oferecer ao utilizador uma visão unificada dos dados. O processo de Data Cleansing está muitas vezes associado a este.
Durante o processo de Data Integration, dados de múltiplas origens são combinados numa única, e dados redundantes são identificados para consolidação ou eliminação.
O processo de Data Integration é essencial para uma correcta gestão da empresa, já que conecta informação necessária para fazer decisões estratégicas, permite fácil e correcto acesso aos dados, aumenta a qualidade e compreensão dos dados, promove a consistência e reduz os custos de armazenamento, processamento e recolha.
Fig. 3 Um exemplo de Data Integration:
Duas tabelas são consolidadas de forma a criar uma terceira devido a ligação do 1º e último nome (ligação através de uma “Key” comum)
Data Enrichment – Enriquecimento de Dados
Data Enrichment adiciona mais informação a partir de origens internas (outras bases de dados) ou externas (internet, bolsa, etc) à Base de Dados já utilizada na empresa. Este processo aumenta o valor da informação existente e permitindo maior analise do mesmo.
Um exemplo de enriquecimento dos dados e a associação do registo de cliente da Base da Dados da empresa com os dados de consumo gerais e informação estatística vinda de outras origens.
Fig. 4 Um exemplo de Data Enrichment:
Para definir o target em que o cliente se enquadra, a informação de rendimentos é integrada com a informação já existente.
Data Mining & Segmentações – Descobrir o que necessita saber
O Data Minning, tal como nome indica, vai “minando” os seus dados até descobrir as informações mais relevantes que estão escondidas na sua Bases de Dados. As informações descobertas podem ser padrões de consumo de produtos, informações sobre a produção e fabrico, ou custo de produção e despesas na sua empresa.
A utilização de Data Minning, e os padrões descobertos nos seus dados, desempenham um papel fundamental no processo de decisão na gestão da sua empresa, já que permitem um aumento do lucro e a descoberta de possíveis oportunidades ou ameaças os seus produtos ou serviços.
Esta analise aprofundada dos dados permite segmentar os mesmos sendo assim possível, por exemplo, contactar da forma mais adequada e personalizada os seus clientes, oferecendo-lhes promoções ou informações sobre os produtos que ele consome ou poderá vir a consumir.
Por fim, a informação resumida de quem, quando e como foi consumidor dos seus produtos ou serviços e a evolução desse consumo ao logo do tempo, permitir-lhe com antecedência prever e modificar a sua oferta para ir de encontro as necessidades futuras do mercado.
Fig. 5 Um exemplo de consolidação de dados para descobrir padrões de consumo por país:
O tratamento e análise dos dados globais permite retirar conclusões sobre a evolução por país e mês das vendas mundiais desta empresa
Fig. 6 Um exemplo de segmentação geográfica e de padrão de consumo, para envio de marketing personalisado:
Este exemplo mostra uma segmentação feita pelos critérios Geográficos (Loja do Porto) e de Consumo feito nessa loja (Procura-se consumidores de informática). Com esta listagem poder-se-a enviar comunicações de marketing especificas para o interesse destes consumidores (informática, electrónica, cameras digitais, etc.).