Especialistas criticam estudo antivírus imperva

A empresa de segurança Imperva divulgou um estudo sombrio no mês passado, sugerindo que os caros pacotes de segurança podem não valer o preço e que todos os programas antivírus sofrem com grandes pontos cegos. Pesquisas sombrias e sombrias como essa sempre exigem um alto teor de sal, mas depois de conversar com vários especialistas do setor, pode ser necessário um agitador inteiro.

A Imperva analisou uma variedade de soluções de segurança de fornecedores como Kaspersky, Avast, AVG, Microsoft e McAfee, para citar alguns. Eles colocaram esses sentinelas em 82 amostras de malware coletadas aleatoriamente, examinando o sucesso do software de segurança na detecção de softwares invasores.

De seu trabalho, Imperva afirma que o software anti-malware não é rápido ou responsivo o suficiente para combater ameaças modernas. O software de segurança, escreve Imperva, é "muito melhor na detecção de malware que se espalha rapidamente em grandes quantidades de amostras idênticas, enquanto as variantes de distribuição limitada (como ataques patrocinados pelo governo) geralmente deixam uma grande janela de oportunidade".

Eles também não encontraram correlação entre o dinheiro gasto pelos usuários na proteção contra vírus e a segurança fornecida pelo software e sugerem que os clientes individuais e empresariais procurem alternativas de freeware.

Independent Labs Push Back

O estudo atraiu muita atenção, mas, ao falar com profissionais de segurança e com algumas das empresas mencionadas no estudo, o Security Watch encontrou muitas pessoas que acreditam que o estudo é profundamente defeituoso.

Praticamente todas as empresas de laboratório ou segurança consideravam que o tamanho da amostra de malware da Imperva era muito pequeno para apoiar as conclusões do estudo. Andreas Marx, da AV-Test, nos disse que sua empresa recebe cerca de um milhão de amostras de malware novo e exclusivo por semana. Da mesma forma, Peter Stelzhammer, da AV-Comparatives, nos disse que eles recebem 142.000 novos arquivos maliciosos por dia.

Por seu lado, Imperva escreveu no estudo que eles usaram intencionalmente uma pequena amostra, mas insistem que é uma demonstração das ameaças existentes. "Nossa seleção de malware não foi tendenciosa, mas foi retirada aleatoriamente da Web, refletindo um método potencial para a construção de um ataque", escreve Imperva.

O diretor de pesquisa do NSS Labs, Randy Abrams, tinha uma interpretação muito diferente da metodologia da Imperva. "É garantido que a busca por nomes de arquivos não ataca ataques sofisticados e a maioria dos outros malwares", disse Abrams à Security Watch, comentando os meios que a Imperva usou para localizar malware no estudo. "O foco nos fóruns russos influencia significativamente a coleta de amostras. É óbvio que não se pensou em obter um conjunto representativo de amostras no mundo real".

Problemas de Metodologia

Para realizar seu estudo, a Imperva usou a ferramenta online VirusTotal para realizar seus testes, que foi citada como uma fraqueza crítica do teste. "O problema desse teste é que ele rasgou ameaças, na forma de arquivos executáveis, e depois examinou as que usavam o VirusTotal", disse Simon Edwards, do Dennis Labs. "O VT não é um sistema adequado a ser utilizado na avaliação de produtos antimalware, principalmente porque os scanners usados ​​no VT não são suportados por tecnologia adicional, como sistemas de reputação na web".

A Kaspersky Labs, cujo produto foi usado no estudo, também questionou a metodologia de teste empregada pela Imperva no experimento. "Ao verificar arquivos potencialmente perigosos, o serviço VirusTotal usado pelos especialistas da Imperva não usa as versões completas dos produtos antivírus, mas apenas conta com um scanner independente", escreveu a Kaspersky Labs em comunicado à Security Watch.

"Essa abordagem significa que a maioria das tecnologias de proteção disponíveis no software antivírus moderno é simplesmente ignorada. Isso também afeta as tecnologias proativas projetadas para detectar novas ameaças desconhecidas".

Notavelmente, uma parte do site da VirusTotal desencoraja qualquer pessoa a usar seu serviço na análise de antivírus. A seção 'Sobre' da empresa diz: "estamos cansados ​​de repetir que o serviço não foi projetado como uma ferramenta para executar análises comparativas de antivírus Aqueles que usam o VirusTotal para executar análises comparativas de antivírus devem saber que estão cometendo muitos erros implícitos em sua metodologia."

Abrams também teve uma visão sombria do uso do VirusTotal para realizar o estudo, dizendo que a ferramenta pode ser usada para distorcer os resultados em direção aos desejados pelos testadores. "Testadores competentes e experientes sabem melhor do que usar o VirusTotal para avaliar as habilidades de proteção de qualquer coisa que não seja um scanner de linha de comando", disse ele.

Imperva defendeu o uso do VirusTotal em seu estudo. "A essência do relatório não é uma comparação de produtos antivírus", escreve Imperva. "Em vez disso, o objetivo é medir a eficácia de uma única solução antivírus, bem como de soluções antivírus combinadas, considerando um conjunto aleatório de amostras de malware".

Enquanto os especialistas com quem conversamos concordaram que vulnerabilidades de dia zero e malware recém-criado são um problema, nenhum deles apoiou as afirmações da Imperva sobre o tempo ou as baixas taxas de detecção. "As taxas mais baixas de proteção durante um teste de dia zero no 'mundo real' são de 64 a 69%", disse Marx à Security Watch. "Em média, observamos uma taxa de proteção de 88 a 90% para todos os produtos testados, ou seja, 9 em cada 10 ataques serão bloqueados com sucesso, apenas 1 causará uma infecção".

Outra conclusão importante do relatório Imperva foi que o software anti-malware é bem compreendido pelos criadores de malware, que ajustam suas criações para subverter os sistemas de proteção. "Os invasores entendem profundamente os produtos antivírus, familiarizam-se com seus pontos fracos, identificam os pontos fortes dos produtos antivírus e compreendem seus métodos para lidar com a alta incidência de propagação de novos vírus na Internet", escreve Imperva no estudo.

O estudo continua: "variantes com distribuição limitada (como ataques patrocinados pelo governo) geralmente deixam uma grande janela de oportunidade".

O Stuxnet não está atrás de você

"O pessoal do malware é realmente duro, forte e inteligente", disse Stelzhammer. "Um ataque direcionado é sempre perigoso." Mas ele e outros salientaram que ataques direcionados nos quais o malware é especificamente adaptado ao anti-malware são tão raros quanto perigosos.

O esforço e as informações necessárias para criar um malware para derrotar todas as camadas de proteção são excelentes. "Esse teste exige muito tempo e habilidades, para que não sejam baratos", escreveu Marx. "Mas essa é a razão pela qual eles são chamados de 'alvos'".

Nesse ponto, Abrams brincou: "Francamente, não estou realmente preocupado com o Stuxnet entrar no meu computador e atacar uma centrífuga de enriquecimento de urânio em minha casa ou no escritório do empregador".

Quase todo mundo com quem conversamos concordou, pelo menos em princípio, que soluções anti-malware gratuitas poderiam fornecer proteção valiosa para os usuários. No entanto, a maioria discordou de que era uma opção viável para clientes corporativos. Stelzhammer ressalta que, mesmo que os usuários corporativos desejem usar software livre, os contratos de licenciamento às vezes os impedem de fazê-lo.

"Não se trata apenas de detecção", disse Stelzhammer em entrevista à Security Watch. "É sobre administração, é sobre a implantação para os clientes, é sobre visão geral. Você não receberá isso com um produto gratuito".

Um usuário informado em casa, continuou Stelzhammer, poderia usar camadas de software livre para fornecer proteção comparável ao software pago, mas ao custo da simplicidade. "Ele pode organizar um sistema bem protegido com software livre, mas a maior vantagem do software pago é a conveniência".

No entanto, Edwards, do Dennis Labs, discordou da comparação favorável com o software livre. "Isso é contrário a todas as nossas descobertas ao longo de muitos anos de testes", disse Edwards. "Quase sem exceção, os melhores produtos são pagos". Essas descobertas são semelhantes aos testes de software anti-malware da PC Magazine.

Desde a publicação do estudo, no mês passado, a Imperva escreveu uma postagem no blog defendendo sua posição. Falando à Security Watch, o diretor de estratégia de segurança da Imperva, Rob Rachwald, disse: "Qualquer crítica focada em nossa metodologia está perdendo a realidade que vemos hoje". Ele continuou dizendo que a maioria das violações de dados é resultado de invasão de malware, que a empresa vê como prova de que o atual modelo antimalware simplesmente não está funcionando.

Embora possa haver alguma verdade inerente às conclusões de Imperva, nenhum dos especialistas com quem conversamos viu o estudo positivamente. "Normalmente, eu aviso contra testes patrocinados por fornecedores, mas se esse teste tivesse sido realizado por uma organização independente, eu alertaria contra a própria organização", escreveu Abrams, do NSS Labs. "É raro encontrar uma metodologia tão incrivelmente sofisticada, critérios de coleta de amostras inadequados e conclusões sem suporte agrupadas em um único PDF".

Para mais informações de Max, siga-o no Twitter @wmaxeddy.