Bancos de dados tradicionais foram desenvolvidos para armazenar informações como as de compra e venda de mercadorias, cadastros de produtos e clientes. São informações que há muitos anos sabe-se que são de extrema importância para a boa saúde de uma empresa.
Estes mesmos bancos de dados podem armazenar informações geradas por máquinas e sensores, como registros de chamadas, medidores, histórico de localização, logs de acessos ou ainda dados sociais, como o perfil de clientes, seus hábitos, suas opiniões sobre produtos e até informação não estruturada, como arquivos de som, vídeo ou imagens. Até aqui, nenhuma novidade.
Consultas para encontrar a data de aniversário do funcionário contratado no mês passado é tarefa simples para qualquer banco de dados desenvolvido no milênio passado, buscar de uma tabela a foto de um equipamento em estoque é algo já praticado há muitos anos para montar páginas web em um site de e-commerce.
O que é Big Data?
Todos os dias são criados 2,5 quintilhões de bytes de dados, 90% das informações que temos armazenadas atualmente foram geradas nos últimos dois anos¹. Mas como transformar este “bunch” de informação em algo realmente útil? É este o tipo de resposta proposto por Big Data.
A proposta do “Big Data” é, não somente coletar, armazenar e apresentar dados simples ao usuário, mas, por exemplo, identificar qual produto pode ser oferecido a um determinado cliente de acordo com os seus comentários em redes sociais, os e-mails lidos e respondidos, sua posição geográfica, seu grupo de amizades ou suas procuras em sites de buscas.
Smartphones vivem em nossos bolsos e estão constantemente informando provedores de serviços sobre nossa localização, nossos hábitos e preferências. Empresas de cartão de crédito sabem onde gastamos nosso dinheiro e qual nosso poder de compra. Empresas como Google, Facebook ou Amazon vivem de Big Data, agregam valor à informação antes considerada inútil.
Como funciona o Big Data
Os sistemas baseados em Big Data são geralmente separados em três fases: Aquisição, Transformação e Análise.
A aquisição pode ser feita por sensores, geradores de logs de sistemas, imagem, som ou dados de bancos de dados convencionais, mas certamente não se resume a estes meios. Os dados podem ser armazenados de forma estruturada (bancos de dados) ou não estruturada (file system).
A transformação costuma ser feita por appliances que utilizam o paradigma MapReduce para “destilar” a informação, transformando lotes de dados em informação mais útil para ser analisada na última fase.
Algo como identificar informações importantes em um tweet, ou em um comentário no Facebook, aprender uma nova gíria analisando um som ou melhorar o desempenho de um sistema aprendendo o que o usuário mais utiliza.
A terceira e última fase de análise da informação é feita por aplicações DW ou analíticas para aproveitar a informação selecionada nas fases anteriores. Neste momento a informação está pronta para ser usada por sistemas de tomada de decisões, que apresentarão as informações desejadas.
Em resumo
Do nome “Big Data” podemos concluir que é um sistema de dados em massa, mas ele definitivamente não se resume a isso. Big Data é mais o conceito de uso de dados de diversas fontes para a tomada de decisões que propriamente o uso e gerenciamento de petabytes de informação.
Gostou do artigo? Então acompanhe também as redes sociais da Teclógica: Facebook, Instagram, Linkedin, Twitter e Youtube.
Para saber mais:
http://en.wikipedia.org/wiki/Big_data
http://www.nytimes.com/2012/02/12/sunday-review/big-datas-impact-in-the-world.html
http://mashable.com/2012/06/19/big-data-myths
