Vídeo: A importância do big data no mercado (Outubro 2024)
As empresas não obtêm nenhum argumento sobre a eficiência com que sua infraestrutura é executada ou o quão alto eles podem empilhar todos os Big Data que coletam. O que conta é a qualidade da análise e da inteligência que os dados produzem.
Nos últimos anos, Hadoop é a palavra que mais se tornou sinônimo de ingestão, processamento e transformação de dados. Essa estrutura de código aberto para armazenamento e processamento de dados distribuídos gerou seu próprio espaço corporativo e integrou seu caminho a todas as principais plataformas em nuvem. O Hadoop está longe de ser a única tecnologia de Big Data que vale a pena falar, mas tornou-se aquela em que muitas outras são construídas.
O problema para as empresas é que o espaço Hadoop está cheio de opções de distribuição e ferramentas e, como explicou o diretor de pesquisa da Gartner, Nick Heudecker, muitos deles têm a mesma aparência. Heudecker, cuja pesquisa abrange o gerenciamento de informações, incluindo os espaços Big Data e NoSQL, disse que, se você estiver olhando para as opções gerais de processamento de dados, muitos fornecedores oferecem recursos muito semelhantes.
Quebrando o mercado
Existem três principais empresas iniciantes do Hadoop, como Cloudera, Hortonworks e MapR, e todas cresceram constantemente em 2015. Segundo o Gartner, cada uma tem aproximadamente 700 clientes, mais ou menos 10%, colocando o mercado global entre 2.100 - 2.400 clientes Hadoop em todo o mundo. Os três oferecem um nível gratuito e um nível empresarial de sua distribuição Hadoop, e cada um deles contribui significativamente com código-fonte aberto para projetos sob o banner da Apache Software Foundation (ASF).
"Nossos dados indicam que 44% do uso do Hadoop atualmente não são pagos", disse Heudecker. "Existe um líder claro? Acho que não. Todos estão conquistando participação de mercado porque é um espaço muito novo".
Nos últimos meses, grande parte da concorrência entre os três se reduziu à concorrência por recursos de análise de dados e maneiras criativas de integrar o Apache Spark, um mecanismo de processamento de Big Data de código aberto com casos de uso de fluxos de dados em tempo real a aprendizado de máquina. O MapR anunciou recentemente o MapR Streams como parte de uma "plataforma de dados convergentes" que integra o Hadoop, processamento de fluxo baseado no Spark e análises. A Hortonworks lançou uma atualização para a Hortonworks Data Platform (HDP) com análises Spark na memória e a Cloudera oferece uma variedade de integrações Spark de código aberto por meio de sua One Platform Initiative, além de oferecer aulas de treinamento Spark.
"Há muita coisa acontecendo nos espaços de gerenciamento e infraestrutura de informações, e nem tudo é Hadoop", explicou Heudecker. "Existe um momento tremendo por trás do modelo de processamento de dados centrado na memória e na velocidade do Spark, embora o desenvolvimento do Spark ainda esteja em seus estágios iniciais. O Spark será outra língua franca no processamento de dados, assim como o SQL hoje, e está definitivamente mostrando sinais de que tem algumas pernas. à medida que mais e mais empresas investem nele ".
Heudecker também destacou a importância dos players da nuvem no Big Data; os gigantes da tecnologia que integraram o Hadoop e outras tecnologias de Big Data em suas ofertas existentes de Infraestrutura como Serviço (IaaS).
O Amazon Web Services (AWS) usa seu serviço Amazon Elastic MapReduce (EMR) para orquestração Hadoop baseada em nuvem. A Microsoft oferece toda uma série de serviços de Big Data em sua plataforma de nuvem do Azure, em parceria com a Hortonworks em seu serviço HDInsight para gerenciar o Apache Hadoop, Spark, HBase e Storm, juntamente com o Azure Data Lake e o Azure Data Analytics baseado em SQL. A IBM possui sua oferta IBM Open Platform local para Hadoop e IBM BigInsights, um pacote de análise a ser executado, juntamente com o Hadoop gerenciado e o Apache Spark-as-a-service em sua nuvem Bluemix. A lista continua e as empresas encontram os casos de uso mais aplicáveis na nuvem.
"Estimamos que a AWS sozinha tenha cerca de 5.000 clientes, o que representa mais do dobro da base de clientes do pure-plays combinados", disse Heudecker. "Uma das vantagens de mudar para a nuvem é que você obtém um ecossistema. Você pode obter as distribuições Hadoop pure-play em qualquer uma das ofertas de IaaS. O MapR está disponível em todas as nuvens que você pode imaginar, exceto as da IBM; o mesmo para Cloudera e Hortonworks. Não vimos a disponibilidade da nuvem se tornar um fator muito importante na escolha entre um fornecedor e outro ".
Escolhendo uma estratégia de dados corporativos
Tanto para pequenas como médias empresas (PMEs) quanto para empresas em crescimento, ao investir em soluções de processamento e análise de dados, Heudecker disse que o fator decisivo é qual plataforma pode oferecer o mais alto nível de serviço. O maior desafio para as empresas, de acordo com o Gartner, é a lacuna de habilidades - descobrir quem gerenciará a plataforma depois que ela for instalada e implantada.
"Se as empresas estão procurando um parceiro de plataforma de dados, quem as ajudará na ingestão de dados? Quem as ajudará a criar o aplicativo analítico? No que diz respeito aos três Hadoopers, os critérios de avaliação tendem a estar em torno do maturidade das ferramentas e consoles de gerenciamento, das ferramentas de governança de dados e do desempenho ".
O outro aspecto interessante de escolher uma plataforma Hadoop é a falta de lealdade. As empresas reavaliam sua plataforma Hadoop a cada 6 a 12 meses para ver se os componentes de processamento de dados ainda estão no ajuste certo, devido à rapidez com que o espaço está mudando e ao quão pouco os grandes players se diferenciam. Heudecker disse que 20% das empresas com as quais ele falou ter várias distribuições Hadoop sendo executadas em seus data centers ou na nuvem, permitindo que equipes diferentes escolham sua plataforma de escolha ou diversificando intencionalmente para evitar ficarem presas em apenas uma distribuição Hadoop.
Esse tipo de portfólio diversificado de plataformas alimenta o que Frank Buytendijk, vice-presidente de pesquisa e distinto analista do Gartner com foco em estratégia digital, chama de "informação como um ativo". Como você não pode administrar uma empresa sem capital, mão de obra, materiais e instalações físicas ou virtuais, a Buytendijk disse que não é possível administrar uma empresa sem informações.
"Costumávamos analisar os negócios em termos dos três fluxos: o fluxo primário era de mercadorias, o fluxo secundário era de dinheiro e o fluxo terciário era uma informação para garantir que os bens e o dinheiro estivessem alinhados. Agora, na maioria das empresas, é o contrário. O fluxo principal são as informações, da identificação e configuração ao marketing de conteúdo, etc. Se você chama isso de Big Data ou não, isso realmente não importa."
"Big Data" está desatualizado
Buytendjik disse que não vê o Big Data como uma tecnologia separada para as empresas, mas como um tema ou mentalidade dentro de sua estratégia digital geral.
"Não acredito em uma estratégia de Big Data", disse Buytendjik. "Dificilmente existe uma estratégia de negócios sem componentes digitais, por isso acredito em ter uma estratégia digital na qual todos os tipos de tecnologias ofereçam recursos críticos. Isso inclui dispositivos móveis, sociais, nuvem, IoT, máquinas inteligentes e Big Data".
Heudecker acredita que começaremos a falar sobre "Big Data" cada vez menos, porque agora são apenas dados. É assim que os negócios são feitos. Volumes maciços e alta velocidade de dados não são mais tão assustadores.
"O Big Data está se tornando novamente absorvido por informações e análises", disse Heudecker. "Francamente, a categoria Big Data não diferencia. Sempre nos perguntam o tamanho do mercado de Big Data, mas o que isso significa? Big Data não é realmente um mercado, é um conceito. Para uma empresa, pensar em Big Data como algo único e especial radicalmente diferente do que você fez antes é um erro. Nesse momento, os dados são normais."
