Microsoft refuta falha no teste de antivírus

Trabalhar no Microsoft Malware Protection Center deve ser difícil. Aqui sua empresa está entre as maiores do mundo, mas um pequeno (mas bem conceituado) laboratório de testes de antivírus na Alemanha diz que seu software antivírus não reduz a mostarda. Não apenas uma, mas duas vezes nos últimos meses, a Microsoft não recebeu a certificação do AV-Test.

Joe Blackbird, gerente de programas do Centro, explicou em uma postagem no blog que falhar neste teste não significa que o usuário da Microsoft não esteja protegido.

Transparência nos testes

De acordo com os princípios da AMTSO, o AV-Test não esconde a metodologia usada na realização dos testes de certificação em andamento. Isso significa que o Blackbird pode verificar e verificar exatamente por que o Microsoft Security Essentials não passou.

O teste dá o mesmo peso a três elementos de segurança: proteção (impedir que novos malwares infestem um sistema limpo), reparo (limpar malwares que já estão presentes) e usabilidade (realizar o trabalho sem diminuir a velocidade do sistema ou acusar falsamente programas válidos). A Microsoft se saiu bem nas áreas de reparo e usabilidade, mas obteve apenas 1, 5 dos 6 pontos possíveis para proteção.

Não é do mundo real?

A principal alegação do Blackbird é que esse teste não reflete a experiência do mundo real dos clientes da Microsoft. Segundo o AV-Test, a Microsoft perdeu 28 de 100 ameaças de dia zero. No entanto, a telemetria da Microsoft mostra que "99, 999% dos nossos clientes atingidos em qualquer dia 0 não encontraram as amostras de malware testadas neste teste". Observe que ele não está falando de 99.997% de todos os clientes. Ele está dizendo que, daqueles que encontraram algum tipo de ameaça de dia zero, apenas 0, 003% encontraram um que o AV-Test realmente usou.

Mas isso é necessariamente uma acusação do método de teste? Vejamos o contrário. Os ataques de dia zero ocorrem constantemente, em grandes números. Se os 0, 003% representam apenas um cliente, 300.000 clientes encontraram esse ataque. Obviamente, o número poderia ser maior. O AV-Test escolheu uma amostra aleatória de 100 e encontrou 28 que a Microsoft não consegue detectar. Isso soa meio ruim, não é?

A Microsoft também perdeu 9% dos 216.000 arquivos da coleção "malware recente", mas, segundo o Blackbird, as amostras perdidas "não representam o que nossos clientes encontram. Quando procuramos esses arquivos explicitamente, não conseguimos encontrá-los em nosso site. máquinas dos clientes ".

Priorização focada no cliente

"Em dezembro de 2012", continuou o Blackbird, "processamos 20 milhões de novos arquivos potencialmente maliciosos e, usando telemetria e impacto no cliente para priorizar esses arquivos, adicionamos proteção que bloqueou 4 milhões de arquivos maliciosos diferentes em quase 3 milhões de computadores. os arquivos poderiam ter impactado o cliente se não os tivéssemos priorizado adequadamente ". Em outras palavras, a Microsoft se saiu mal neste teste devido à ênfase em priorizar arquivos que impactariam ativamente seus clientes.

É um ponto interessante, mas outros fornecedores conseguem proteger seus usuários e também obtêm as melhores pontuações com o AV-Test. Bitdefender, F-Secure e Trend Micro receberam 6 de 6 pontos possíveis no teste de proteção.

Concordo que o AV-Test não usou todo o malware realmente encontrado pelos usuários da Microsoft para o teste. Isso seria impossível. Os testadores de antivírus devem fazer o possível para usar amostras representativas. No entanto, meus próprios testes práticos com o Microsoft Security Essentials, usando amostras que estão longe do dia zero, sugerem que ele não é tão eficaz quanto os melhores produtos antivírus.

Para mais informações sobre Neil, siga-o no Twitter @neiljrubenking.