Symantec declara enganosos os testes antivírus sob demanda

Na semana passada, o laboratório antivírus independente AV-Comparatives divulgou os resultados de um teste de detecção de antivírus sob demanda. O fato de a Microsoft ter chegado perto do fundo não foi uma grande novidade; o fato de a Symantec ter uma pontuação ainda menor foi realmente surpreendente. Em uma publicação no blog divulgada hoje, a Symantec criticou toda a prática de realizar testes de verificação de malware sob demanda, chamando de "enganosa".

Nos primeiros anos dos testes antivírus, todos os testes eram de verificação sob demanda. Os pesquisadores reuniam uma coleção de malware conhecido, executavam uma verificação completa e registravam a porcentagem de amostras detectadas. Os laboratórios modernos trabalham duro para criar testes que reflitam mais de perto a experiência do usuário no mundo real, levando em consideração o fato de que a grande maioria das infecções entra no computador pela Internet. A Symantec afirma que apenas o tipo de teste do mundo real é válido; Eu não concordo inteiramente.

Proteção aleijada?

Alejandro Borgia, diretor sênior de gerenciamento de produtos da Symantec Corporation, afirmou categoricamente em seu blog que "as taxas de detecção citadas são enganosas e não representam a eficácia do produto no mundo real". Borgia disse: "Esses tipos de testes de verificação de arquivos são executados em ambientes artificiais que prejudicam todos os recursos modernos de proteção".

É verdade que a AV-Comparatives garantiu que os sistemas de teste tivessem acesso à Internet, dando à instalação da Symantec acesso ao poderoso sistema de reputação do Norton Insight baseado em nuvem. Quando perguntei aos meus contatos da Symantec sobre isso, eles explicaram que, para toda a potência, o Norton Insight conta com informações completas, "como o arquivo foi obtido, quando foi obtido ou de onde foi obtido (por exemplo, URL e endereço IP)". Um teste de verificação de arquivos sob demanda em arquivos cuja chegada o antivírus da Symantec não observou não é o mesmo de quando o usuário realmente baixa arquivos. Isso é verdade, mas é o mesmo que quando um usuário instala antivírus para limpar um problema de malware existente.

Os componentes de prevenção de intrusões de rede também não tiveram chance de ajudar, pois as amostras de arquivos foram baixadas antes da instalação do software antivírus. Mais uma vez, você estaria em uma situação semelhante ao instalar o antivírus pela primeira vez em um sistema infestado. E, claro, a detecção baseada em comportamento nunca entra em ação até que um programa realmente comece a ser executado.

Em resposta a uma pergunta sobre a proteção baseada em comportamento que executa uma ação somente após o lançamento de um arquivo malicioso, meus contatos da Symantec apontaram que "comportamento" inclui mais do que ações executadas pelo programa. "Nossa tecnologia comportamental leva em consideração a localização de um programa, como ele é registrado no sistema (por exemplo, quais chaves de registro se referem a ele) e muitos outros fatores", explicaram. "Na maioria dos casos, o programa será interrompido antes de causar algum dano."

É enganador?

Quanto à alegação de que o teste é enganoso, a AV-Comparatives não concorda. A introdução ao próprio relatório de que "a taxa de detecção de arquivo de um produto é apenas um aspecto" e aponta para "outros relatórios de teste que abrangem diferentes aspectos".

"É claramente afirmado que apenas um recurso do produto é testado", disse Peter Stelzhammer, co-fundador da AV-Comparatives. "Se a Symantec pensa que o recurso de detecção de arquivos não vale nada, por que ele ainda está incluído no produto?" Stelzhammer apontou que a detecção de arquivos é necessária para a limpeza inicial e que os PCs nem sempre têm uma conexão com a Internet. Mesmo assim, "o teste foi executado com conexão completa à Internet e os recursos da nuvem da Symantec receberam acesso à sua nuvem".

Borgia compara o teste de detecção de arquivos sozinho ao teste dos sistemas de segurança de um carro, desativando tudo, menos o cinto de segurança, afirmando que esse teste seria "totalmente defeituoso". E, no entanto, um teste como esse pode muito bem identificar problemas com um cinto fraco, de modo que "totalmente defeituoso" parece um exagero.

Apenas testes no mundo real?

Borgia observa que a Symantec suporta fortemente testes do mundo real, testes "que mais representam o ambiente de ameaças e utilizam todas as tecnologias proativas fornecidas com um produto". Mal posso discordar, mas esses testes exigem uma quantidade enorme de tempo e esforço. A postagem do blog sustenta os testes realizados pelo Dennis Labs como um exemplo brilhante. O Dennis Labs registra o processo de infecção a partir de URLs do mundo real e, em seguida, usa um sistema de reprodução na Web para repetir exatamente o mesmo processo sob a proteção de cada produto antivírus. Admirável, de fato, mas é preciso muito tempo e esforço.

O próprio AV-Comparatives executa testes do mundo real todos os dias, desafiando uma coleção de produtos antivírus instalados em plataformas de teste idênticas para se defender contra malware de centenas de URLs maliciosos do mundo real. Todo mês, eles resumem os dados e a cada trimestre eles lançam um relatório completo da Proteção do mundo real. O processo é trabalhoso o suficiente para contar com a ajuda da Universidade de Innsbruck e com o financiamento parcial do governo austríaco.

Você esperaria que a Symantec brilhasse neste teste do mundo real da AV-Comparatives. "Infelizmente", observou Stelzhammer, "a Symantec não quis se juntar à nossa principal série de testes". A Symantec optou por não participar, disseram eles, porque "o AV-Comparatives não oferece aos fornecedores uma assinatura focada apenas em testes do mundo real, enquanto opta pelo teste de verificação de arquivos". No entanto, essa estratégia parece ter saído pela culatra. Embora a empresa não tenha se inscrito, a AV-Comparatives colocou a Symantec no teste sob demanda ", pois os resultados foram altamente exigidos por nossos leitores e pela imprensa".

Vários testes têm valor

A publicação do blog da Symantec conclui: "Estamos ansiosos pelo dia em que todos os testes publicados são do mundo real. Enquanto isso, os leitores precisam tomar cuidado com os testes artificiais que mostram comparações enganosas de produtos". Eu também ficaria emocionado ao ver mais testes compatíveis com a experiência do mundo real de um usuário, mas acho que não podemos descartar os testes de detecção de arquivos.

Considere isto. Se você comprar um software antivírus para um sistema que nunca teve proteção, esperará que ele limpe todo e qualquer malware, sem ter certeza de que não teve a chance de usar sua prevenção contra intrusões na rede. Em um caso como esse, você provavelmente procurará pontuações altas em um teste como o teste sob demanda AV-Comparatives, um teste que corresponde bastante à sua situação.

Para proteção contínua, sim, você também desejará um produto que obtenha as melhores pontuações nos testes do mundo real. Portanto, escolha um produto com alta pontuação em ambas as áreas e em testes de vários laboratórios. Dessa forma, você obterá uma proteção que pode resolver qualquer problema existente na instalação e também evitar futuros ataques de malware.