Revisão e classificação do Deepcrawl

O DeepCrawl aumentou um pouco o preço desde que o analisamos. A ferramenta agora começa em US $ 89 por mês, cobrada mês a mês; $ 81, 50 quando cobrados anualmente). Isso equivale a cerca de US $ 10 a mais do que custou anteriormente, portanto, não deve ser um problema para a maioria dos clientes da ferramenta de otimização para mecanismos de pesquisa (SEO). O que pode interessar você, no entanto, é o foco no design: essa ferramenta é destinada a uma coisa e apenas uma coisa: rastreamento de sites de dentro para fora e de cima para baixo. As ferramentas de SEO geralmente podem ser agrupadas em três categorias principais. Primeiro, há uma pesquisa de palavras-chave ad hoc, que ajuda a encontrar as páginas de pesquisa mais oportunas para o seu conteúdo ter uma classificação mais alta. Em seguida, há um monitoramento contínuo de posições, que é como você monitora suas posições de pesquisa para identificar onde está ganhando e perdendo terreno. Por fim, existe o rastreamento, no qual os bots da Web analisam um único site ou rastreiam sistematicamente e indexam toda a Internet. O DeepCrawl não realiza rastreamentos em toda a Internet, mas fornecerá ao seu site o mais abrangente possível "exame de corpo inteiro" de SEO.

Esse tipo de rastreamento profundo do site é útil para as empresas de várias maneiras. O DeepCrawl é uma ferramenta para usuários iniciantes que procuram destacar problemas no site ou usuários avançados que personalizam seus rastreamentos, mas sem restrições no acesso a dados. O rastreamento também facilita o monitoramento da integridade do site, tanto em tempo real quanto em contexto histórico, oferecendo às empresas a capacidade de comparar rastreamentos ano após ano e pesquisar diversas tendências e tipos de relatório. Você geralmente precisa usar uma combinação de várias ferramentas nas três categorias de SEO para obter a estratégia mais eficaz, e os rastreadores de sites são como você identifica os pontos fortes e fracos de seu próprio site e páginas de destino.

Ferramentas de SEO escolhidas pelos editores O Moz Pro, SpyFu e AWR Cloud têm uma profundidade muito maior de monitoramento de palavras-chave e posições, mas não têm quase o recurso de rastreamento e auditoria de sites. Por exemplo, se você usou uma das ferramentas Editors 'Choice ou um produto específico de palavra-chave, como KWFinder.com, para identificar uma página de resultados do mecanismo de pesquisa de destino (SERP) e um local ideal para a classificação do seu conteúdo, você executaria uma verificação DeepCrawl da arquitetura do seu site para gerar quebras de página e identificar os problemas específicos de SEO que seu site precisa para melhorar e resolver a classificação dessa página. O mesmo vale para descobrir por que seu conteúdo está perdendo espaço nos rankings de pesquisa, rastreados em uma ferramenta de monitoramento como a AWR Cloud ou em realizar algumas análises de causa raiz sobre o motivo pelo qual seu site foi atingido com uma penalidade de pesquisa no Google e como você pode se recuperar. Mais cedo ou mais tarde, uma estratégia de SEO sempre volta a auditar seu próprio site. Esse é o único trabalho do DeepCrawl.

Preços e Planos

Como afirmado, o DeepCrawl começa em US $ 81, 50 por mês, cobrado anualmente (US $ 89 por mês) pelo seu plano Starter, que vem com 100.000 URLs ativos, cinco projetos ativos, além de acesso completo à interface de programação de aplicativos (API). A maioria das ferramentas de SEO reserva acesso à API para níveis corporativos, o que é uma vantagem definitiva para os usuários do DeepCrawl que desejam uma personalização mais profunda sem o preço da empresa.

Outra mudança ocorrida desde a última revisão da ferramenta é que a empresa acabou com seus outros planos de preços. Para aqueles que desejam se inscrever on-line para o serviço, existe o plano inicial e é isso. Recursos mais avançados e opções de serviço aprimoradas agora estão disponíveis em apenas um outro tipo de plano: O Plano Corporativo. Não há muitos detalhes aqui, além dos preços "sob medida", que assumimos como uma ligação para um representante da empresa, para que eles possam adaptar um serviço e um plano de preços às suas necessidades.

Rastreamento de site

O processo de rastreamento do site no DeepCrawl começa com uma configuração rápida de quatro etapas. Em qualquer rastreamento, você pode incluir até cinco fontes, mapas de sites, sites, análises, backlinks e listas de URL. A idéia é facilitar a identificação de lacunas na arquitetura do site, com métricas específicas que você não encontrará em outras ferramentas de rastreamento, como Páginas Órfãs Direcionando Tráfego. O DeepCrawl foi projetado para fornecer aos usuários uma visão completa da saúde técnica de seus sites, com dados e informações acionáveis ​​para aumentar a visibilidade do SEO e transformar o tráfego orgânico em receita.

Quando você se inscreve para uma avaliação gratuita do DeepCrawl, a interface o leva primeiro ao painel do projeto. Para configurar meu projeto de teste PCMag, digitei PCMag.com como o domínio principal. A segunda etapa é escolher fontes de dados para o rastreamento, que incluem o próprio site, os mapas de site da PCMag e as análises que você pode acessar com uma conta ativa do Google Analytics. Você também pode adicionar parâmetros específicos de backlink e destino de URL no domínio (por exemplo, se você identificou páginas de destino em uma ferramenta de pesquisa de palavras-chave) fazendo o upload de arquivos CSV de backlinks específicos ou listas de URL. Há também uma caixa pop-up na parte inferior da página para assistir a um tutorial em vídeo sobre como configurar projetos e rastreamentos do DeepCrawl.

A etapa três permite configurar os parâmetros para o próprio rastreamento. Consegui alternar a velocidade de rastreamento para qualquer lugar entre um URL e 50 URLs por segundo. A partir daí, tive a opção de definir quantos "níveis de rastreamento" a profundidade da verificação deve percorrer na página inicial do PCMag e definir o número máximo de URLs nos quais o rastreamento deve parar. Meu teste gratuito foi para o plano Starter, então meus URLs foram limitados a 100.000. A etapa final é definir se esse será um rastreamento único ou recorrente, que pode ser a cada hora, diariamente, semanalmente, quinzenalmente, mensalmente ou trimestralmente, com a opção de definir os horários de início e término do rastreamento.

Esse é um recurso importante a ser definido se você precisar de auditorias regulares no site, mas tenha cuidado com os limites de URL, dependendo do plano escolhido. Também há configurações mais avançadas para restrições mais profundas de rastreamento, URLs excluídos, reescrita de URL e retornos de chamada da API, mas um usuário de SEO não técnico não precisará necessariamente entrar nessas. A partir daí, cliquei em Iniciar rastreamento e recebi um email alguns minutos depois, quando o rastreamento foi concluído.

No painel de rastreamento concluído, você é imediatamente confrontado com uma parede de informações. Se você souber o que está procurando, existem duas barras de pesquisa na parte superior para encontrar um URL específico ou encontrar o relatório em uma área específica da arquitetura do site; isso pode ser qualquer coisa, desde conteúdo do corpo e tags sociais até URLs com falha e redirecionamentos do site. No total, o DeepCrawl publicou 175 relatórios em meus URLs - que no período de teste gratuito foram limitados a pouco mais de 10.000 - e descobriram 30 problemas no site e rastrearam seis "níveis" ou links profundos na página inicial.

A página principal do painel fornece uma lista detalhada de todos os problemas atuais do site, a partir dos quais você pode detalhar os URLs específicos nos quais o DeepCrawl destacará erros de página, como conteúdo duplicado, páginas quebradas, links em excesso ou páginas com títulos, descrição e metadados que precisam melhorar o SEO. Ao lado dessa lista, encontrei um detalhamento interativo da página do gráfico de pizza dos problemas mais prevalentes entre as mais de 10.000 páginas rastreadas.

O DeepCrawl também atualizou sua interface de usuário (UI) desde a nossa revisão inicial, adicionando trilhas em cada página para facilitar a navegação para outras partes da plataforma e adicionando uma seção de painel para avaliar todos os rastreamentos em execução em um único local. No meu domínio, descobri que, embora não houvesse grandes problemas com 49% das minhas páginas (a maioria delas "primárias"), 30% das minhas páginas abaixo da superfície estavam lidando com erros do servidor 5xx, cinco% das páginas tinham URLs com falha e 16% das páginas eram "não indexáveis". De acordo com o DeepCrawl, os erros 5xx provavelmente ocorreram devido ao site PCMag bloqueando aspectos do rastreamento ou devido ao rastreamento rápido demais para o servidor manipular. O DeepCrawl também esclareceu que as páginas sinalizadas como principais não são necessariamente livres de problemas e ainda podem ser revisadas para incluir páginas ausentes, excluir páginas de baixo valor e anotadas com recomendações de SEO na página.

Algumas das outras ferramentas de rastreamento que testei, incluindo Ahrefs e Majestic, também oferecem esse tipo de detalhamento, incluindo problemas básicos de site e indexação de backlinks, significando os hiperlinks recebidos de outros sites para o seu. O que os outros não fazem é aprofundar-se ao ponto que o DeepCrawl faz, particularmente com falhas como as páginas protegidas com o protocolo HTTPS mais seguro em oposição ao HTTP, algo que o algoritmo do Google leva em consideração ao classificar as páginas.

O DeepCrawl também fornece agrupamentos de páginas inteligentes (que você pode encontrar em Configurações avançadas ao configurar um rastreamento), o que significa que sua amostra é baseada em uma porcentagem de páginas e não em um número. O agrupamento de páginas dessa maneira é importante, pois fornece uma amostra consistente entre os rastreamentos. Pense nisso como um experimento científico: se você é um site de comércio eletrônico que rastreia 20% das páginas de seus produtos, no rastreamento a seguir, o Deepcrawl verificará os mesmos 20% em busca de páginas que foram adicionadas, removidas, ausentes ou alteradas dentro cada relatório. Isso também reduz o tempo e o custo do rastreamento, pois você o direciona para o subconjunto específico de páginas em que está interessado.

Da mesma forma, as Extrações personalizadas do DeepCrawl podem ser usadas para incluir ou excluir os parâmetros de sua escolha. Esse é um recurso mais avançado, projetado para rastreamento mais especializado, para aprimorar suas áreas de foco. A empresa também adicionou extrações personalizadas predefinidas para usuários não técnicos, pois a criação de extrações personalizadas requer conhecimento da linguagem de expressão regular (Regex).

Relatórios avançados

Além da integração do GSC, os aprimoramentos mais importantes do DeepCrawl estão em seus recursos de relatórios, para os quais o DeepCrawl adicionou 75 novos relatórios no ano passado. Além do básico - compartilhamento e exportação de relatórios ou adição de uma tarefa para esse relatório - você pode clicar no botão Compartilhar para obter um link compartilhável para esse relatório. Você pode enviar o relatório por email para qualquer número de destinatários. Você também pode fazer o download do relatório como um arquivo CSV ou um mapa do site XML e personalizar os relatórios com a marca personalizada.

O recurso baseado em tarefas é particularmente útil. O DeepCrawl me permitiu adicionar uma tarefa para relatórios específicos - nesse caso, a lista de erros do servidor 5xx - para executar uma ação sobre essa vulnerabilidade de SEO. O DeepCrawl permite não apenas agendar e personalizar rastreamentos, mas, usando o Gerenciador de tarefas, você pode acompanhar o progresso e gerenciar os fluxos de trabalho de prazos e prazos. A marca de uma boa ferramenta é aquela que não apenas descobre um problema ou uma oportunidade, mas ajuda você a agir com recomendações direcionadas. Tive a opção de definir uma tarefa aberta ou fixa; designar uma prioridade baixa, média, alta ou crítica; defina um prazo e atribua essa tarefa a indivíduos específicos da minha equipe. O DeepCrawl me deu um caminho tangível para resolver problemas de SEO no meu site. Somente as recomendações direcionadas do SpyFu e KWFinder.com forneceram a mesma capacidade de atuar nos relatórios de SEO, e nenhum dos outros rastreadores incluiu esse tipo de recurso de ação baseado em tarefas.

O DeepCrawl aprimorou a barra de pesquisa de navegação esquerda para encontrar relatórios usando palavras-chave também (mesmo que as palavras-chave não apareçam no título real dos relatórios) e filtrar os relatórios por qualquer URL ou métrica de link relevante. Há também uma série de novas visualizações de dados nas telas de relatório e categoria, incluindo gráficos de detalhamento, gráficos relacionados, novos gráficos de tendências e melhorias no UX, como rolagem e alternância de gráficos, além de explicações interativas sobre métricas específicas exibidas em um determinado gráfico. A interface do usuário do painel de relatórios também é flexível, o que significa que você pode arrastar e soltar os relatórios que deseja exibir.

Clicar em qualquer URL em qualquer relatório fornece métricas detalhadas por página. Em todos os seus relatórios URL por URL, o DeepCrawl usa uma métrica personalizada chamada DeepRank, que mede o "peso interno" de um link calculado de maneira semelhante ao algoritmo PageRank do Google. É a métrica de autoridade de URL do DeepCrawl, em uma escala de 0 a 10, mostrando seus URLs mais importantes ou aqueles que precisam de mais aprimoramentos. Portanto, enquanto a página inicial do PCMag e as páginas principais foram classificadas na faixa de 8 a 10, algumas páginas carregadas de problemas ficaram com um DeepRank próximo de zero.

Além de sincronizar com o Google Analytics, o DeepCrawl também inclui uma seção de dados dividindo as páginas de desktop e móveis, não apenas para um design responsivo da web, mas todas as configurações móveis, incluindo páginas móveis e de desktop separadas, páginas dinâmicas e páginas AMP. Esses tipos de falhas de dispositivos móveis também podem ser encontrados no SpyFu e SEMrush, mas não na profundidade das métricas do DeepCrawl e em nenhuma das outras ferramentas de rastreamento de rastreadores e backlinks que testei, incluindo o LinkResearchTools.

A maior atualização de recursos do DeepCrawl desde a nossa análise inicial é uma integração com o Google Search Console (GSC) e ainda mais experiência avançada do usuário página a página (UX) e métricas de desempenho do site. A integração permite conectar as informações de desempenho do site existentes do DeepCrawl às informações de pesquisa orgânica do relatório Search Analytics da GSC. Ao adicionar sua propriedade do Search Console como fonte de URL nas configurações de rastreamento, o DeepCrawl agora pode fornecer métricas de impressão, clique, taxa de cliques (CTR) e média de posição para cada página indexada que aparece nos resultados de pesquisa. O relatório do Google Analytics da pesquisa vem com um limite de 1.000 URL na interface do GSC, mas o acesso ao relatório pelo DeepCrawl o ajuda a contornar isso.

Outras ferramentas de SEO, como SEMrush e Majestic, também se integram ao Google Search Console, mas a integração do DeepCrawl é a única entre as ferramentas que testamos para usar isso para fornecer métricas SERP específicas do dispositivo. Por meio da integração, o DeepCrawl lançou 10 novos relatórios, dois novos gráficos e comparações mais profundas de computadores / dispositivos móveis / tablets. As análises e comparações de dispositivos agora extraem dados do GSC, país a país, impressões e eficácia de pesquisa para páginas indexáveis ​​e não indexáveis, páginas de rastreamento que obtêm tráfego da pesquisa de imagens e métricas nas páginas AMP do Google.

Um recurso exclusivo aqui é uma medida de páginas móveis / AMP que recebem tráfego de desktop e vice-versa, o que significa que o DeepCrawl mostrará se suas páginas estão classificadas no dispositivo errado. Isso significa que o DeepCrawl rastreia todos os URLs móveis ou AMP separados para destacar diferenças e incompatibilidades entre o conteúdo para computador e para celular. Os relatórios verificam se todas as páginas de alto valor existem no celular.

O DeepCrawl também fornece dados sobre marcação social, como as páginas com Twitter Cards válidos, além de uma guia que mostra o desempenho da página em termos de tempo de carregamento ou do tempo necessário para "buscar" uma página. Por fim, a ferramenta fornece relatórios de migração de sites para analisar sites ao vivo e em teste durante uma migração e reportar especificamente nas páginas HTTP e HTTPs. Essas são métricas que você encontrará nas ferramentas de monitoramento de sites, mas em termos de SEO, pode ser valioso simplesmente na identificação de páginas em que o UX é ruim e na garantia de migrações suaves de sites.

Sob o microscópio de rastreamento do site

O DeepCrawl é a melhor ferramenta de rastreamento que testamos por uma ampla margem. Ele fornece a maior profundidade de varredura de domínio e relatórios de SEO com dados e métricas extremamente granulares que, para um iniciante em SEO, podem ser honestos demais. Grande parte do mapeamento da arquitetura do site e da análise de domínio que ele fornece é sem dúvida mais adequado para desenvolvedores e TI. O PCMag não analisa os recursos beta, mas o DeepCrawl também está testando um modo experimental do Site Explorer, permitindo que você explore visualmente a arquitetura do site.

Assim como o domínio do KWFinder.com na pesquisa de palavras-chave ad hoc, o foco do laser do DeepCrawl no rastreamento é tanto sua bênção quanto sua maldição. Esse escopo restrito de sua funcionalidade impede o DeepCrawl de receber um aceno da Editors 'Choice ao lado de plataformas de SEO mais desenvolvidas, Moz Pro e SpyFu. Mas em termos de recursos de rastreamento autônomo para digitalizar seu site ou os sites dos concorrentes de cima para baixo, o DeepCrawl é um microscópio SEO de alta potência.