Microsoft supera symantec em teste antivírus

No último teste sob demanda da AV-Comparatives, alguns produtos perderam pontos devido a falsos positivos - identificando erroneamente um programa válido como malware. A Symantec e a Microsoft tiveram a mesma pontuação com base na detecção de amostras de malware, mas a Symantec perdeu pontos devido a falsos positivos. Há mais na história do que isso, no entanto.

Verificação sob demanda

O teste de varredura sob demanda expõe cada produto testado a uma coleção de "amostras das últimas semanas / meses que estão / estavam atingindo usuários em campo". As amostras são analisadas ainda mais para classificar arquivos semelhantes e reduzir o tamanho do conjunto de amostras, de modo que "cada erro é destinado a representar um grupo perdido". Este teste específico usa 136.610 amostras recentes. A pontuação inicial de um produto é a porcentagem de amostras detectadas.

Surpreendentemente, o Norton AntiVirus da Symantec demonstrou a menor taxa de detecção (antes de considerar falsos positivos), com 91, 2% de detecção. O Microsoft Security Essentials subiu mais, detectando 92% das amostras. Com 99, 9% de detecção, o G Data AntiVirus ficou no topo da lista. Vários outros conseguiram melhor que 99%.

Falso-positivo

Os pesquisadores da AV-Comparatives usam uma técnica de agrupamento para identificar os pontos de corte que separam ADVANCED + (a classificação mais alta) de AVANÇADO e AVANÇADO de STANDARD. Esse é o ponto de partida, mas um produto com muitos (16 a 50) falsos positivos perde um nível de classificação e um com muitos (51 a 100) perde dois. Independentemente de sua classificação inicial, se um produto exibir "muitos loucos" (mais de 100) falsos positivos, ele sempre receberá a classificação de não aprovação de TESTADO.

Nove dos vinte produtos testados perderam um nível de classificação devido a muitos falsos positivos. Pelo menos nenhum deles tinha muitos ou "muitos loucos" FPs. Norton, começando com uma classificação de STANDARD, afundou em TESTADO, assim como a AhnLab. No círculo dos vencedores, com uma classificação de AVANÇADO +, encontramos Avira, Bitdefender, BullGuard, F-Secure e Kaspersky. Clique aqui para visualizar o relatório completo.

Observe que você não encontrará a Microsoft listada na seção de prêmios. A princípio, pensei que isso fosse um descuido, mas o cofundador da AV-Comparatives, Peter Stelzhammer, me esclareceu. "Decidimos não listar mais a Microsoft na seção de prêmios (e em quaisquer outros testes)", explicou Stelzhammer, "pois a proteção pronta para uso é ativada no Windows por padrão". De maneira semelhante, o AV-Test optou por tratar a pontuação da Microsoft como uma linha de base mínima.

Positivos falsos ponderados

Durante anos, a Symantec alegou que uma simples contagem de falsos positivos não é útil. Os pesquisadores da Symantec recomendam que qualquer teste de falso positivo inclua uma ponderação com base na prevalência do arquivo envolvido. Eles alegam que o sistema de análise do Norton Insight exclui a possibilidade de um falso positivo em qualquer arquivo, exceto naqueles com baixa prevalência. Um documento secundário da AV-Comparatives sugere que eles podem estar certos.

O apêndice de falsos positivos do relatório sob demanda lista todos os arquivos que cada produto detectou erroneamente como malware, juntamente com o nome do malware usado e uma estimativa de prevalência. Eles identificaram cinco níveis, de "provavelmente menos de cem usuários" a "provavelmente várias centenas de milhares (ou milhões)".

Só para ver, escolho um número representativo de usuários em cada nível, 50 usuários para o primeiro nível e dez vezes maior para cada nível superior, com 500.000 usuários dos programas mais prevalentes. Calculei o número de usuários que podem ser afetados pelos falsos positivos de cada produto. Os resultados, mostrados na tabela abaixo, sugerem que os AV-Comparatives devem considerar o uso de um cálculo de FP ponderado semelhante.

Neste gráfico, os produtos que perderam um nível de classificação devido a falsos positivos são exibidos em negrito e itálico. Meu cálculo ponderado tem o Norton FP afetando potencialmente 13.750 usuários. Vários produtos que não foram adulterados com base no número de FPs tiveram um efeito maior que a Symantec, incluindo os vencedores Kaspersky e F-Secure.

A Emsisoft teve o maior número de falsos positivos no geral, 38 deles. Terrível, certo? Mas nenhum foi um dos dois níveis mais altos de prevalência; portanto, seu efeito teórico é menor que o de Sophos, com 6 PFs totais, ou ESET, com 9 PFs.

A McAfee obteve uma classificação AVANÇADA no teste básico sob demanda. Com 15 falsos positivos, fica aquém do número que causaria a perda de um nível de classificação. No entanto, meu cálculo ponderado é potencialmente responsável por afetar mais de duzentos mil usuários, quase 16 vezes mais que o Norton.

Esses não são números do mundo real, apenas um experimento mental para ajudar a entender o que o uso da prevalência na medição de falsos positivos significaria. Depois de fazer este exercício, fico esperando que os AV-Comparatives encontrem uma maneira de fatorar a prevalência em seus testes de falsos positivos. Apenas contar os números claramente não é suficiente.