Revisão e classificação do Google bigquery

O Google BigQuery, que é gratuito por 10 gigabytes (GB) por mês, é o armazém de dados em escala gigante, de petabytes (PB) da gigante das pesquisas para análise. É um produto SQL de nível empresarial e o Big Data está no DNA do Google. Todas as ferramentas e serviços da empresa são uma prova disso. Em resumo, se você quiser fazer alguma coisa com dados, pode apostar que o Google possui uma ferramenta para fazer isso acontecer. Se você possui conjuntos de dados massivos ou aumenta seus dados misturando-os a conjuntos de dados públicos ou comerciais, o Google BigQuery pode ser uma escolha sólida. Ele foi projetado para verificar terabytes (TBs) em segundos e PBs em minutos. A maior consulta até o momento é de 2, 1 PBs e o Google BigQuery a tratou sem problemas. Apesar desses recursos, a análise de Big Data é desafiadora e, se você estiver trabalhando com conjuntos de dados menores, pode ser um exagero. Ainda assim, o Google BigQuery é uma escolha sólida que fica atrás do Banco de Dados SQL do Microsoft Azure e do MongoDB Atlas, as escolhas dos editores em nossas soluções DBaaS.

Modelo de Preços

O Google BigQuery é um modelo de análise de dados sem servidor. A separação entre armazenamento e computação oferece melhores controles de preços, que tendem a ser de maior interesse para as pessoas que executam projetos excepcionalmente grandes. O armazenamento é fixado o preço a taxas fixas e calcula as taxas de uso. Os primeiros 10 GB de armazenamento são gratuitos todos os meses e os custos começam em 2 centavos por GB por mês depois disso. Por exemplo, se você armazenar 1 terabyte (TB) por um mês, o custo será de US $ 20. As inserções de dados de streaming começam em 1 centavo por 200 megabytes (MBs). O primeiro 1 TB de consultas é gratuito, com análises adicionais a US $ 5 por TB posteriormente. As operações de metadados são gratuitas.

Você também tem a opção de pagar conforme o uso ou uma taxa fixa mensal. Alguns desenvolvedores preferem a taxa fixa para aliviar a ansiedade no orçamento. Como o armazenamento já está com uma taxa fixa, essa opção significa apenas que a computação também é feita com uma taxa fixa mensal. Mas antes que você fique muito empolgado com a inscrição para preços fixos, lembre-se de que apenas contas com mais de US $ 40.000 em gastos mensais em análise se qualificam para essa opção.

O nível gratuito do Google BigQuery fornece até 1 TB de dados analisados ​​por mês e 10 GB de armazenamento de dados, mas, sério, se você estiver bem abaixo dessa marca, existem outras ferramentas mais adequadas para a tarefa, como o Microsoft Azure SQL Database, IBM Db2 on Cloud, ou Google Cloud com Google Analytics 360.

Passo a passo

Você precisará de uma conta do Google, portanto, configure uma se ainda não a tiver. Você precisará se registrar em uma conta do Google Cloud Platform, que também exigirá um cartão de crédito para usar a avaliação gratuita. Mas não se preocupe, pois você não será atualizado e cobrado automaticamente no final do período de avaliação. Você precisa atualizar manualmente para que tudo seja cobrado no seu cartão de crédito.

Na interface do usuário do Google Cloud, acesse BigQuery. A interface do usuário do BigQuery é um pouco simples, mas sua concisão também facilita o uso. O Google me diz que está trabalhando em uma nova interface do usuário agora. Com a interface do usuário atual, se você quiser apenas explorar, clique em Redigir consulta e escolha um dos conjuntos de dados públicos na página de boas-vindas. Escreva uma consulta SQL padrão na caixa de consulta usando o Editor de Consultas ou o Editor de Função Definida pelo Usuário (UDF), e pronto.

Os guias de início rápido são úteis na transferência de dados ou na rotação de um banco de dados de sua preferência no Cloud Bigtable, Cloud Spanner, Cloud SQL ou Cloud Datastore (banco de dados NoSQL). O BigQuery usa SQL compatível com American National Standards Institute (ANSI), bem como drivers Open Database Connectivity (ODBC) e Java Database Connectivity (JDBC) para integrar dados em outros produtos em nuvem e tipos adicionais de aplicativos. Implementações SQL exclusivas projetadas para facilitar a consulta significam que existem vários dialetos SQL, que podem ser confusos. Percebi que, embora o padrão seja "SQL herdado", desmarque a caixa de dialeto do SQL para reverter para o verdadeiro SQL padrão.

O Google BigQuery também possui um mecanismo de processamento de fluxo para captura e análise de dados em tempo real. Use a guia Criar conjunto de dados no menu suspenso Meu primeiro projeto para criar um conjunto de dados. Digite o ID do conjunto de dados, escolha o local dos dados (EUA, União Europeia ou Ásia-Nordeste) e defina a expiração dos dados. O Google BigQuery pode detectar automaticamente o esquema. Depois que o conjunto de dados estiver configurado, você estará pronto para executar as consultas.

A caixa de ferramentas

Existem conectores para a maioria das ferramentas de business intelligence (BI). Mas você pode querer usar o Data Studio, que é a ferramenta de visualização de BI do Google, e é gratuito. A lista de ferramentas do Google que você pode usar é longa. Eu recomendo que você comece revisando a lista de camadas gratuitas do Google Cloud Platform.

O Google Cloud Platform possui 15 regiões, 45 zonas, mais de 100 pontos de presença e uma rede global bem provisionada com mais de 100.000 milhas de cabo de fibra óptica. Você obtém melhores preços usando o serviço global, mas pode especificar as regiões conforme desejar.

Os backups e os acordos de nível de serviço (SLAs) estão sob os auspícios do Google SQL Cloud. O SLA completo está aqui. O Cloud SQL mantém sete backups automatizados para cada instância. Os backups de primeira geração (gen) capturam tudo e são incluídos nos custos de sua instância (no modelo por uso). O espaço de armazenamento deles não conta no espaço de armazenamento alocado. Os backups de segunda geração capturaram apenas os dados que foram alterados e seu armazenamento é cobrado a uma taxa reduzida.

No geral, o Google BigQuery é projetado de maneira brilhante. É mais adequado para grandes conjuntos de dados e para aqueles que trabalham com eles. Se você gosta de escrever aplicativos de aprendizado de máquina (ML) ou criar dados de treinamento de ML, vai adorar esse produto. O mesmo acontece com os desenvolvedores que trabalham em aplicativos da Internet das Coisas (IoT) ou qualquer desenvolvimento que exija ingestão flexível de dados e análise massiva de dados.