Muitos conjuntos de segurança aprimoram a proteção em testes do mundo real

Os pesquisadores da AV-Comparatives, com sede em Innsbruck, trabalham incansavelmente para testar o poder protetor dos conjuntos de segurança da maneira mais próxima possível da experiência do usuário no mundo real. Todos os dias eles submetem quase vinte suítes a ataques de malware reais, usando um sistema automatizado para registrar o desempenho do produto. Nos últimos seis meses, eles passaram por mais de 3.000 casos de teste. Os resultados do semestre estão chegando e um número impressionante de produtos melhorou desde o último relatório desse tipo.

A importância do tamanho da amostra

É intuitivamente óbvio que um teste como esse obterá resultados mais precisos com um conjunto maior de amostras, mas desta vez o AV-Comparatives explicou claramente as consequências de um conjunto de amostras muito pequeno. Um simples relatório separado apresenta as estatísticas e elas são um pouco surpreendentes.

Suponha que um produto específico tenha detectado 80% de um conjunto de 10.000 amostras de malware. Agora, suponha que você escolha apenas dez amostras aleatoriamente da mesma coleção. Usando um gráfico de todos os resultados possíveis, o relatório demonstra que alcançar a mesma taxa de detecção, uma taxa de detecção mais alta ou uma taxa de detecção mais baixa é quase sempre provável. Sim, reduzir para dez amostras é um caso extremo, mas com certeza faz o ponto.

Métodos de teste

Usando métodos de pesquisa automatizados e manuais, a equipe de pesquisa reúne URLs maliciosos do mundo real todos os dias. Eles selecionam especificamente uma mistura de links diretos para arquivos de malware e sites de download drive-by. Analisando as amostras do dia, uma a uma, eles expõem todos os produtos a um URL específico simultaneamente e observam como cada produto reage. Se algum componente do pacote repelir o malware, é um sucesso. Se o malware passa despercebido e configura a limpeza, isso é um fracasso.

Às vezes, o conjunto aparece com uma notificação de que encontrou algo , perguntando ao usuário se deve bloquear ou permitir. Para fins de teste, os analistas do AV-Comparatives sempre optam por permitir a ação. Um produto que defende com êxito o sistema, apesar dessa ação, recebe crédito total; um produto que permite que o sistema seja comprometido devido a uma escolha errada do usuário recebe meio crédito.

Após a conclusão de um caso de teste específico, todos os sistemas de teste são reimaginados de volta ao estado pré-malware, prontos para o próximo caso de teste.

Falso-positivo

Um resultado falso positivo ocorre quando o software de segurança bloqueia erroneamente o acesso a um arquivo ou site legítimo. Claramente, você não quer que seu pacote de segurança limpe arquivos válidos ou o mantenha longe de sites inofensivos. A AV-Comparatives testou cada produto com cerca de mil domínios escolhidos aleatoriamente e cerca de cem programas novos e populares. Para fins de teste, eles baixaram cada programa do site do desenvolvedor, não de um portal de download.

O relatório observa que a análise de segurança estatística e baseada em reputação geralmente bloqueia ou avisa sobre novos programas e sites. Ele afirma: "Embora essas técnicas de proteção… ajudem a obter pontuações mais altas do produto… isso também pode levar à detecção / bloqueio de arquivos e URLs inocentes / limpos apenas porque são… muito novos". O Norton, um forte defensor desse tipo de detecção, não participa dos testes do AV-Comparatives.

Muita melhoria

Mais da metade dos produtos incluídos no relatório atual obteve uma pontuação melhor do que na edição anterior deste relatório. Vipre, McAfee e Fortinet falharam na última vez, nem mesmo recebendo STANDARD, a nota mais baixa de aprovação. Desta vez, Fortinet e McAfee classificaram ADVANCED e Vipre chegaram ao padrão. Todos os três tiveram sua classificação reduzida devido a falsos positivos; com base apenas na detecção, a McAfee e a Fortinet classificariam ADVANCED +, a classificação mais alta.

O eScan saltou de STANDARD para ADVANCED +, enquanto o avast!, ESET e Trend Micro passaram de ADVANCED para ADVANCED +. Vários outros que anteriormente classificaram STANDARD conseguiram uma classificação AVANÇADA desta vez.

O Bitdefender obtém regularmente as melhores pontuações em testes independentes de laboratório. Apenas com base na detecção de malware, ele teria classificado ADVANCED +, como na última vez, mas os falsos positivos o derrubaram em ADVANCED. O mesmo aconteceu com a F-Secure e o BullGuard.

O teste dinâmico do produto AV-Comparatives está entre os testes com mais trabalho que eu já encontrei. Não é de surpreender, portanto, que o laboratório conte com o apoio da Universidade de Innsbruck e do governo austríaco. É muito trabalhoso, mas o resultado final é um teste que aproxima muito de quão bem um produto protege os usuários do mundo real.