Vídeo: Как это устроено. Big Data. Большие данные (Novembro 2024)
Uma coisa que me impressionou na Bloomberg Enterprise Technology Summit de ontem foi o foco em lidar com dados de novas maneiras - em outras palavras, em lidar com o que geralmente é chamado de "big data".
Algumas das conversas tratavam do valor do big data e se era realmente uma "oportunidade de trilhão de dólares", enquanto outras tratavam dos desafios específicos que organizações individuais e a indústria como um todo enfrentam ao implantar mais amplamente essas novas técnicas.
Gerard Francis, chefe global da Bloomberg Enterprise Solutions, Bloomberg LP começou o dia sugerindo que a coisa mais importante que as empresas podem fazer é "capitalizar o valor dos dados usando-os" e se concentrar no acesso, qualidade e fluxo de dados. dados dentro de uma organização. Nos painéis subseqüentes, houve muita discussão sobre novas ferramentas que lidam com dados, além de questões específicas sobre armazenamento, gerenciamento e localização de pessoas para lidar com os dados.
Em um painel geral sobre tendências corporativas, Dwight Merriman, presidente e co-fundador do MongoDB, disse que a camada de dados da faixa de aplicativos está tendo "a maior interrupção e mudança que vimos em 25 anos". Ele disse que as empresas usam bancos de dados relacionais há 25 anos ou mais, tornando a tecnologia mais antiga da pilha. Mas agora há coisas acontecendo com o armazenamento baseado em arquivo, como o Hadoop e as novas tecnologias de banco de dados, geralmente agrupadas como "NoSQL". Ele afirmou que o Big Data não é "grande", mas sim sobre a forma dos dados, os tipos de dados e o movimento para lidar com dados em tempo real.
O diretor de informações do Google, Benjamin Fried, concordou que a maioria das empresas não tem problemas de "big data". Muitos dos conjuntos de dados - com dados de RH e dados financeiros - não são tão grandes, disse ele. O importante é a flexibilidade necessária para lidar adequadamente com os dados.
O que é Big Data Anyway?
Esse conceito - que a flexibilidade é tão importante quanto o tamanho dos dados - ecoou em outro painel no final do dia. Lá, os participantes concordaram que as empresas lidam com aplicativos com muitos dados há muito tempo, mas a escala mudou recentemente. Por exemplo, Mark F. Bregman, vice-presidente sênior e diretor de tecnologia da Neustar observou que algumas empresas estão agora "armazenando tudo" na esperança de que isso se mostre valioso.
"Big é melhor definido como complexidade", de acordo com Gary Bloom, CEO e Presidente da MarkLogic. Ele observou que muitos aplicativos chamados de "big data" envolvem muitos tipos diferentes de dados, mas não o tipo de volume que você normalmente ouve em aplicativos de "big data".
Ele citou um exemplo de tráfego aéreo que combina dados climáticos, dados de aeroportos, dados geoespaciais, dados de voos, dados de reservas de companhias aéreas e dados sociais. Ele observou que lidar com dados heterogêneos era realmente difícil de ser feito com os bancos de dados relacionais tradicionais, ecoando comentários anteriores de Merriman, do MongoDB, de que essa foi a "primeira mudança geracional no banco de dados em 25 anos" desde que passamos do mainframe para a era dos bancos de dados relacionais.
Ele observou que muitas pessoas falam sobre dados de mídia social, mas ele realmente precisa ser combinado com outros dados para realmente ter algo em que você possa capitalizar. A combinação desses dados é "o valor real".
Obviamente, algumas aplicações envolvem muitas informações, com Bregman dizendo que a heterogeneidade é apenas um fator. Ele citou dados de DNS, que podem gerar facilmente 8 TB de informações por dia, e a necessidade de armazenar essas coisas no Hadoop. Bregman e os outros observaram que, quando se trata de "capitalização de dados", o valor real não está nos dados brutos, mas nas análises quando se torna algo que você pode usar. Os outros membros do painel concordaram.
O CEO da Streambase, Mark Palmer, disse que combinar grandes quantidades de dados com análise de streaming é importante em muitas aplicações; e conversamos sobre o valor extra que poderia ser criado combinando análises tradicionais e em tempo real.
Mas ele concordou que a complexidade dos dados é um problema. Ele citou como Vivek Ranadivé, que dirige a Tibco (que agora é proprietária da Streambase), comprou um time de basquete em parte para descobrir como a tecnologia pode melhorar a experiência do fã. Ele voltou a falar sobre "misturar diferentes tipos de dados", começando em um fluxo do Twitter, mas também aproveitando outros tipos de dados.
Bloom observou que tudo depende da aplicação, dizendo que "a latência está nos olhos de quem vê". Alguns aplicativos precisam analisar os dados na conexão antes mesmo de atingir o banco de dados, enquanto outros não.
Bregman levantou a questão de que, em vez de ser difícil mover recursos de computação, agora está ficando muito mais difícil mover os dados. Ele observou que, para muitos aplicativos, o "bloqueio" é a localização dos dados. Depois de armazenar seus dados em uma nuvem pública, é muito difícil movê-los. Como resultado, ele disse, muitas organizações desejam armazenar grandes quantidades de dados em seus próprios locais e, em seguida, poderem se mudar para diferentes fornecedores para a funcionalidade de computação. Emprestando um termo do Bloom da MarkLogic, ele falou sobre como as organizações podem precisar de um "data center centrado em dados" como um local onde você mantém grandes quantidades de dados.
O Big Data é uma "oportunidade de trilhão de dólares?"
Outro painel discutiu as oportunidades e os desafios trazidos pelo big data, refletindo sobre um comentário de Porter Bibb, Managing Partner da MediaTech Capital Partners. Bibb disse que há realmente mais de um trilhão de dólares em benefícios para as empresas que usam as novas técnicas. Até o momento, ele disse, "nem começamos a explorar o potencial que essa tecnologia oferece".
Bibb falou sobre como era importante para as organizações alinhar sua estratégia de dados com a estratégia de negócios e estava preocupado com o fato de a maioria dos sistemas corporativos e governamentais estarem desalinhados.
Naquela primeira sessão, Scott Weiss, da Andreessen Horowitz, disse que "o Hadoop é como armazenamento criogênico", então o moderador Jason Kelly, da Bloomberg Link, perguntou ao arquiteto-chefe da Cloudera, Doug Cutting, que foi um dos criadores do Hadoop. este.
Cutting disse que o Hadoop está permitindo que as pessoas trabalhem com mais dados. Ele disse que as organizações estão retirando os dados da fita, tornando-os on-line e utilizáveis. Os clientes estão deixando de trabalhar com 90 dias de dados para cinco ou 10 anos em um "arquivo ativo".
Várias questões específicas de lidar com todos esses dados surgiram novamente neste painel. O CEO da Snaplogic, Gaurav Dhillon, falou sobre "gravidade de dados", dizendo que não faz sentido pegar dados que estão no local no Hadoop e movê-los para a nuvem. Mas, ao mesmo tempo, se houver dados na nuvem, como análise de fluxo de cliques, não faz sentido movê-lo no local. Como resultado, ele disse, ele estava vendo muito poucas "oportunidades transfronteiriças" na movimentação dos dados.
Cutting disse que não acreditava que havia realmente uma escassez de cientistas de dados. Em vez disso, ele disse que existem muitas pessoas que entendem matemática e negócios, mas elas simplesmente não têm as ferramentas. Você pode aprender o básico das ferramentas e o que elas fazem em algumas semanas, ele disse, mas entender o seu negócio leva anos. No entanto, muitas pessoas entendem isso.
Dhillon também refletiu preocupações sobre a legislação que trata de quais informações podem ser armazenadas onde. Ele disse que alguns mercados verticais exigem que as informações sejam armazenadas no local, mas estava preocupado com coisas como requisitos para não mover dados para fora do país de origem. Muito disso é uma reação exagerada a coisas como as revelações de Snowden e violações de dados, disse ele, observando que "a pressa de legislar nunca é boa".
Questionado se estava preocupado com o fato de as violações da Snowden e da Target estarem deixando os clientes com medo de dados, Cutting disse que estava preocupado com o fato de tantas pessoas estarem preocupadas. Muitas pessoas estão assustadas com a tecnologia, disse ele, e foi um fracasso do setor tornar os clientes confortáveis com a noção de que seus dados não estavam sendo usados. "Você não precisa ser assustador", disse ele.
No final, houve muita discussão sobre avaliações, com Bibb sugerindo que o recente investimento da Intel em Cloudera era um "grande negócio", pois valida o que a empresa está fazendo. Ele disse que outras grandes empresas, como Oracle, IBM, Microsoft e Amazon, estão pairando em torno de empresas de análise preditiva. "A corrida do ouro está apenas começando."
Dhillon disse que as avaliações refletem o que as empresas de encanamento trazem para o mercado de big data. Ele disse que estava feliz em ver que esses caras "pegam pá" recebem boas avaliações, mas disse que temem um pouco que as avaliações estejam ficando à frente do mercado.
Bibb disse que acha que o big data pode estar superexposto na mídia, mas é subexposto no "c-suite" (ou seja, CEOs, CFOs e outros altos executivos). Ele disse que tem um "enorme potencial econômico que ainda precisa ser descoberto."
