Como testamos antivírus e software de segurança

Todo produto antivírus ou de conjunto de segurança promete protegê-lo de uma variedade de riscos e aborrecimentos à segurança. Mas eles realmente cumprem suas promessas? Ao avaliar esses produtos para revisão, testamos suas reivindicações de várias maneiras diferentes. Cada revisão relata os resultados de nossos testes, bem como a experiência prática com o produto. Este artigo vai mais fundo, explicando como esses testes funcionam.

Obviamente, nem todo teste é apropriado para cada produto. Muitos utilitários antivírus incluem proteção contra phishing, mas outros não. A maioria dos pacotes inclui filtragem de spam, mas alguns omitem esse recurso e alguns produtos antivírus o adicionam como bônus. Quaisquer que sejam os recursos que um determinado produto oferece, nós os testamos.

Testando antivírus em tempo real

Toda ferramenta antivírus completa inclui um scanner sob demanda para procurar e destruir infestações de malware existentes e um monitor em tempo real para evitar novos ataques. No passado, mantivemos uma coleção de máquinas virtuais infestadas por malware para testar a capacidade de cada produto de remover malware existente. Os avanços na codificação de malware tornaram os testes com malware ativo muito perigosos, mas ainda podemos exercer a proteção em tempo real de cada produto.

A cada ano, no início da primavera, quando a maioria dos fornecedores de segurança termina seu ciclo de atualização anual, reunimos uma nova coleção de amostras de malware para esse teste. Começamos com um feed das mais recentes URLs de hospedagem de malware, baixamos centenas de amostras e as reduzimos para um número gerenciável.

Analisamos cada amostra usando várias ferramentas codificadas manualmente. Algumas amostras detectam quando estão em execução em uma máquina virtual e evitam atividades maliciosas; nós simplesmente não os usamos. Procuramos uma variedade de tipos diferentes e amostras que fazem alterações no sistema de arquivos e no Registro. Com algum esforço, reduzimos a coleção a um número gerenciável e registramos exatamente quais alterações no sistema cada amostra faz.

Para testar as habilidades de bloqueio de malware de um produto, baixamos uma pasta de amostras do armazenamento em nuvem. A proteção em tempo real de alguns produtos entra em ação imediatamente, eliminando malware conhecido. Se necessário, para acionar a proteção em tempo real, clique uma vez em cada amostra ou copie a coleção para uma nova pasta. Tomamos nota de quantas amostras o antivírus elimina à vista.

Em seguida, lançamos cada amostra restante e observamos se o antivírus a detectou. Registramos a porcentagem total detectada, independentemente de quando a detecção ocorreu.

A detecção de um ataque de malware não é suficiente; o antivírus deve realmente impedir o ataque. Um pequeno programa interno verifica o sistema para determinar se o malware conseguiu fazer alguma alteração no Registro ou instalar algum de seus arquivos. No caso de arquivos executáveis, também verifica se algum desses processos está em execução. E assim que a medição é concluída, desligamos a máquina virtual.

Se um produto impedir a instalação de todos os rastreamentos executáveis ​​por uma amostra de malware, ele ganhará 8, 9 ou 10 pontos, dependendo de quão bem ele impediu sobrecarregar o sistema com rastreamentos não executáveis. Detectar malware, mas não impedir a instalação de componentes executáveis, recebe meio crédito, 5 pontos. Finalmente, se, apesar da tentativa de proteção do antivírus, um ou mais processos de malware estiverem em execução, isso vale apenas três pontos. A média de todas essas pontuações se torna a pontuação final de bloqueio de malware do produto.

Testando o bloqueio de URL malicioso

O melhor momento para aniquilar o malware é antes que ele chegue ao seu computador. Muitos produtos antivírus se integram aos seus navegadores e os afastam dos URLs conhecidos de hospedagem de malware. Se a proteção não entrar nesse nível, sempre haverá uma oportunidade de eliminar a carga útil do malware durante ou imediatamente após o download.

Embora o teste básico de bloqueio de malware use o mesmo conjunto de amostras por uma temporada, os URLs de hospedagem de malware que usamos para testar a proteção baseada na Web são diferentes sempre. Recebemos um feed das URLs maliciosas mais recentes da MRG-Effitas, com sede em Londres, e normalmente usamos URLs com mais de um dia de duração.

Usando um pequeno utilitário criado para fins específicos, descemos a lista, iniciando cada URL por vez. Descartamos qualquer que não aponte para um download de malware e qualquer que retorne mensagens de erro. De resto, observamos se o antivírus impede o acesso ao URL, apaga o download ou não faz nada. Depois de registrar o resultado, o utilitário salta para o próximo URL na lista que não está no mesmo domínio. Ignoramos arquivos com mais de 5 MB e também arquivos que já apareceram no mesmo teste. Mantemos isso até acumularmos dados para pelo menos 100 URLs verificados de hospedagem de malware.

A pontuação neste teste é simplesmente a porcentagem de URLs para as quais o antivírus impediu o download de malware, seja cortando o acesso ao URL completamente ou eliminando o arquivo baixado. As pontuações variam muito, mas as melhores ferramentas de segurança gerenciam 90% ou mais.

Testando a detecção de phishing

Por que recorrer a cavalos de Tróia elaborados para roubar dados, quando você pode simplesmente induzir as pessoas a abrirem suas senhas? Essa é a mentalidade dos malfeitores que criam e gerenciam sites de phishing. Esses sites fraudulentos imitam bancos e outros sites confidenciais. Se você inserir suas credenciais de login, acabou de entregar as chaves do reino. E o phishing é independente da plataforma; funciona em qualquer sistema operacional que ofereça suporte à navegação na Web.

Esses sites falsos geralmente são colocados na lista negra pouco tempo após a criação, portanto, para testar, usamos apenas os URLs de phishing mais recentes. Reunimos essas informações em sites orientados a phishing, favorecendo aqueles que foram denunciados como fraudes, mas ainda não foram verificados. Isso força os programas de segurança a usar a análise em tempo real, em vez de depender de listas negras simplistas.

Usamos quatro máquinas virtuais para este teste, uma pelo produto em teste e uma usando a proteção contra phishing incorporada ao Chrome, Firefox e Microsoft Edge. Um pequeno programa utilitário inicia cada URL nos quatro navegadores. Se algum deles retornar uma mensagem de erro, descartamos esse URL. Se a página resultante não tentar imitar ativamente outro site ou não capturar dados de nome de usuário e senha, nós a descartamos. Quanto ao restante, registramos se cada produto detectou ou não a fraude.

Em muitos casos, o produto em teste não pode funcionar tão bem quanto a proteção integrada em um ou mais navegadores.

Testando a filtragem de spam

Atualmente, as contas de email da maioria dos consumidores têm o spam removido pelo provedor de email ou por um utilitário em execução no servidor de email. De fato, a necessidade de filtragem de spam está diminuindo constantemente. O laboratório de testes austríaco AV-Comparatives testou a funcionalidade antispam há alguns anos, descobrindo que somente o Microsoft Outlook bloqueou quase 90% do spam, e a maioria dos pacotes se saiu melhor, alguns deles muito melhor. O laboratório nem promete continuar testando os filtros de spam voltados para o consumidor, observando que "vários fornecedores estão pensando em remover o recurso antispam de seus produtos de segurança para consumidores".

No passado, executamos nossos próprios testes antispam usando uma conta do mundo real que recebe spam e email válido. O processo de baixar milhares de mensagens e analisar manualmente o conteúdo da pasta Caixa de entrada e spam levou mais tempo e esforço do que qualquer outro teste prático. Gastar o máximo esforço em um recurso de importância mínima não faz mais sentido.

Ainda há pontos importantes a serem relatados sobre o filtro de spam de uma suíte. Quais clientes de email são compatíveis? Você pode usá-lo com um cliente não suportado? É limitado a contas de email POP3, ou também processa email IMAP, Exchange ou mesmo baseado na Web? No futuro, consideraremos cuidadosamente os recursos antispam de cada conjunto, mas não faremos mais o download e a análise de milhares de e-mails.

Testando o desempenho do Security Suite

Quando o seu conjunto de segurança está atento a ataques de malware, defendendo-se contra invasões de rede, impedindo o navegador de visitar sites perigosos etc., está claramente usando parte da CPU e outros recursos do seu sistema para fazer seu trabalho. Alguns anos atrás, os conjuntos de segurança obtiveram a reputação de absorver tantos recursos do sistema que o uso do seu computador foi afetado. As coisas estão muito melhores hoje em dia, mas ainda executamos alguns testes simples para ter uma ideia do efeito de cada suíte no desempenho do sistema.

O software de segurança precisa carregar o mais cedo possível no processo de inicialização, para que não encontre malware já no controle. Mas os usuários não querem esperar mais do que o necessário para começar a usar o Windows após uma reinicialização. Nosso script de teste é executado imediatamente após a inicialização e começa a solicitar ao Windows que relate o nível de uso da CPU uma vez por segundo. Após 10 segundos seguidos com o uso da CPU não superior a 5%, ele declara o sistema pronto para uso. Subtraindo o início do processo de inicialização (conforme relatado pelo Windows), sabemos quanto tempo o processo de inicialização levou. Executamos muitas repetições deste teste e comparamos a média com a de muitas repetições quando nenhum conjunto estava presente.

Na verdade, você provavelmente não reinicia mais de uma vez por dia. Um conjunto de segurança que diminuiu as operações diárias de arquivos pode ter um impacto mais significativo em suas atividades. Para verificar esse tipo de desaceleração, cronometramos um script que move e copia uma grande coleção de arquivos grandes para grandes entre as unidades. Na média de várias execuções sem suíte e de várias execuções com o conjunto de segurança ativo, podemos determinar quanto o conjunto atrasou essas atividades de arquivo. Um script semelhante mede o efeito do conjunto em um script que fecha e descompacta a mesma coleção de arquivos.

A desaceleração média nesses três testes nas suítes com o toque mais leve pode ser inferior a 1%. No outro extremo do espectro, muito poucas suítes têm em média 25% ou mais. Você pode notar o impacto dos conjuntos mais pesados.

Testando a proteção do firewall

Não é tão fácil quantificar o sucesso de um firewall, porque diferentes fornecedores têm idéias diferentes sobre o que um firewall deve fazer. Mesmo assim, existem vários testes que podemos aplicar à maioria deles.

Normalmente, um firewall tem dois trabalhos, protegendo o computador contra ataques externos e garantindo que os programas não usem mal a conexão de rede. Para testar a proteção contra ataques, usamos um computador físico que se conecta através da porta DMZ do roteador. Isso dá o efeito de um computador conectado diretamente à Internet. Isso é importante para o teste, porque um computador conectado por meio de um roteador é efetivamente invisível para a Internet em geral. Atingimos o sistema de teste com varreduras de portas e outros testes baseados na Web. Na maioria dos casos, descobrimos que o firewall oculta completamente o sistema de teste desses ataques, colocando todas as portas no modo furtivo.

O firewall interno do Windows lida com o sigilo de todas as portas, portanto esse teste é apenas uma linha de base. Mas mesmo aqui, existem opiniões diferentes. Os designers da Kaspersky não veem valor em portas furtivas, desde que as portas estejam fechadas e o firewall evite ativamente ataques.

O controle do programa nos primeiros firewalls pessoais foi extremamente prático. Toda vez que um programa desconhecido tentava acessar a rede, o firewall fazia uma consulta perguntando ao usuário se permitia ou não o acesso. Essa abordagem não é muito eficaz, pois o usuário geralmente não tem idéia de qual ação está correta. A maioria apenas permitirá tudo. Outros clicarão em Bloquear sempre, até que interrompam algum programa importante; depois disso eles permitem tudo. Realizamos uma verificação prática dessa funcionalidade usando um pequeno utilitário de navegador codificado em horas, que sempre será qualificado como um programa desconhecido.

Alguns programas maliciosos tentam contornar esse tipo de controle simples, manipulando ou disfarçado como programas confiáveis. Quando encontramos um firewall antigo, testamos suas habilidades usando utilitários chamados testes de vazamento. Esses programas usam as mesmas técnicas para evitar o controle do programa, mas sem nenhuma carga maliciosa. Encontramos cada vez menos testes de vazamento que ainda funcionam nas versões modernas do Windows.

No outro extremo do espectro, os melhores firewalls configuram automaticamente permissões de rede para bons programas conhecidos, eliminam programas ruins conhecidos e aumentam a vigilância de incógnitas. Se um programa desconhecido tentar uma conexão suspeita, o firewall entra em ação nesse ponto para interrompê-lo.

O software não é e não pode ser perfeito; portanto, os bandidos trabalham duro para encontrar brechas de segurança em sistemas operacionais, navegadores e aplicativos populares. Eles planejam explorações para comprometer a segurança do sistema usando as vulnerabilidades encontradas. Naturalmente, o fabricante do produto explorado emite um patch de segurança o mais rápido possível, mas até você aplicar esse patch, você fica vulnerável.

Os firewalls mais inteligentes interceptam esses ataques de exploração no nível da rede, para que nunca cheguem ao seu computador. Mesmo para aqueles que não fazem a varredura no nível da rede, em muitos casos o componente antivírus elimina a carga útil do malware da exploração. Usamos a ferramenta de penetração CORE Impact para atingir cada sistema de teste com cerca de 30 explorações recentes e registrar o desempenho do produto de segurança.

Por fim, executamos uma verificação de integridade para verificar se um codificador de malware pode desativar facilmente a proteção de segurança. Procuramos um botão liga / desliga no Registro e testamos se ele pode ser usado para desativar a proteção (embora já se passaram anos desde que encontramos um produto vulnerável a esse ataque). Tentamos finalizar os processos de segurança usando o Gerenciador de tarefas. E verificamos se é possível interromper ou desativar os serviços essenciais do Windows do produto.

Teste do controle dos pais

O controle e monitoramento dos pais abrange uma ampla variedade de programas e recursos. O utilitário típico de controle dos pais mantém as crianças afastadas de sites desagradáveis, monitora o uso da Internet e permite que os pais determinem quando e por quanto tempo as crianças podem usar a Internet todos os dias. Outros recursos variam de limitar contatos de bate-papo a patrulhar postagens no Facebook para tópicos de risco.

Sempre executamos uma verificação de integridade para garantir que o filtro de conteúdo realmente funcione. Acontece que encontrar sites pornográficos para teste é fácil. Praticamente qualquer URL composto por um adjetivo de tamanho e o nome de uma parte do corpo normalmente coberta já é um site pornô. Muito poucos produtos falham neste teste.

Utilizamos um pequeno utilitário interno do navegador para verificar se a filtragem de conteúdo é independente do navegador. Emitimos um comando de rede de três palavras (não, não estamos publicando aqui) que desativa alguns filtros de conteúdo simplórios. E verificamos se podemos evitar o filtro usando um site proxy anônimo e seguro.

A imposição de limites de tempo no computador das crianças ou no uso da Internet só é eficaz se as crianças não puderem interferir na marcação do tempo. Verificamos se o recurso de agendamento de horário funciona e tentamos evitá-lo, redefinindo a data e a hora do sistema. Os melhores produtos não dependem do relógio do sistema para data e hora.

Depois disso, é simplesmente uma questão de testar os recursos que o programa afirma ter. Se ele promete bloquear o uso de programas específicos, envolvemos esse recurso e tentamos quebrá-lo movendo, copiando ou renomeando o programa. Se ele disser que exclui palavrões de email ou mensagens instantâneas, adicionamos uma palavra aleatória à lista de bloqueios e verificamos que ela não foi enviada. Se ele alegar que pode limitar os contatos de mensagens instantâneas, iniciamos uma conversa entre duas de nossas contas e banimos uma delas. Qualquer que seja o poder de controle ou monitoramento que o programa prometa, fazemos o possível para testá-lo.

Interpretando testes de laboratório antivírus

Não temos recursos para executar o tipo de testes antivírus exaustivos realizados por laboratórios independentes em todo o mundo, por isso prestamos muita atenção às suas descobertas. Seguimos dois laboratórios que emitem certificações e quatro que lançam resultados de testes pontuados regularmente, usando seus resultados para ajudar a informar nossas análises.

Os ICSA Labs e West Coast Labs oferecem uma ampla variedade de testes de certificação de segurança. Seguimos especificamente suas certificações para detecção e remoção de malware. Os fornecedores de segurança pagam para testar seus produtos, e o processo inclui ajuda dos laboratórios para corrigir quaisquer problemas que impedem a certificação. O que estamos vendo aqui é o fato de que o laboratório considerou o produto significativo o suficiente para testar e o fornecedor estava disposto a pagar pelos testes.

Sediado em Magdeburg, Alemanha, o AV-Test Institute continuamente coloca programas antivírus em uma variedade de testes. O que focamos é um teste de três partes que premia até 6 pontos em cada uma das três categorias: Proteção, Desempenho e Usabilidade. Para obter a certificação, um produto deve ganhar um total de 10 pontos sem zeros. Os melhores produtos levam para casa 18 pontos perfeitos neste teste.

Para testar a proteção, os pesquisadores expõem cada produto ao conjunto de referência da AV-Test com mais de 100.000 amostras e a vários milhares de amostras extremamente difundidas. Os produtos recebem crédito por impedir a infestação em qualquer estágio, seja bloqueando o acesso ao URL que hospeda o malware, detectando o malware usando assinaturas ou impedindo a execução do malware. Os melhores produtos geralmente atingem 100% de sucesso neste teste.

O desempenho é importante - se o antivírus prejudicar visivelmente o desempenho do sistema, alguns usuários o desativarão. Os pesquisadores do AV-Test medem a diferença de tempo necessária para executar 13 ações comuns do sistema com e sem o produto de segurança presente. Entre essas ações estão o download de arquivos da Internet, a cópia de arquivos localmente e pela rede e a execução de programas comuns. Com média de várias execuções, eles podem identificar quanto impacto cada produto tem.

O teste de usabilidade não é necessariamente o que você pensa. Não tem nada a ver com facilidade de uso ou design de interface do usuário. Em vez disso, mede os problemas de usabilidade que ocorrem quando um programa antivírus sinaliza erroneamente um programa ou site legítimo como malicioso ou suspeito. Os pesquisadores instalam e executam ativamente uma coleção de programas populares em constante mudança, observando qualquer comportamento estranho do antivírus. Um teste separado somente de verificação verifica se o antivírus não identifica mais de 600.000 arquivos legítimos como malware.

Reunimos resultados de quatro (anteriormente cinco) dos muitos testes lançados regularmente pela AV-Comparatives, sediada na Áustria e que trabalha em estreita colaboração com a Universidade de Innsbruck. As ferramentas de segurança que passam no teste recebem a certificação padrão; aqueles que falham são designados como meramente testados. Se um programa ultrapassar o mínimo necessário, poderá obter a certificação Advanced ou Advanced +.

O teste de detecção de arquivos da AV-Comparatives é um teste estático simples que verifica cada antivírus em cerca de 100.000 amostras de malware, com um teste de falsos positivos para garantir a precisão. E o teste de desempenho, como o AV-Test, mede qualquer impacto no desempenho do sistema. Anteriormente, incluímos o teste heurístico / comportamental; este teste foi descartado.

Consideramos o teste dinâmico de todo o produto da AV-Comparatives o mais significativo. Este teste tem como objetivo simular o máximo possível a experiência real do usuário, permitindo que todos os componentes do produto de segurança tomem medidas contra o malware. Por fim, o teste de correção começa com uma coleção de malware que todos os produtos testados são conhecidos por detectar e desafia os produtos de segurança a restaurar um sistema infestado, removendo completamente o malware.

Onde o teste AV e o AV-Comparatives geralmente incluem de 20 a 24 produtos em teste, o SE Labs geralmente reporta não mais que 10. Isso é em grande parte devido à natureza do teste deste laboratório. Os pesquisadores capturam sites do mundo real que hospedam malware e usam uma técnica de repetição para que cada produto encontre exatamente o mesmo download drive-by ou outro ataque baseado na Web. É extremamente realista, mas árduo.

Um programa que bloqueia totalmente um desses ataques ganha três pontos. Se ele tomou uma ação após o início do ataque, mas conseguiu remover todos os rastreamentos executáveis, vale dois pontos. E se ele simplesmente encerrou o ataque, sem limpeza completa, ainda recebe um ponto. No infeliz evento em que o malware é executado gratuitamente no sistema de teste, o produto em teste perde cinco pontos. Por esse motivo, alguns produtos tiveram pontuação abaixo de zero.

Em um teste separado, os pesquisadores avaliam até que ponto cada produto evita erroneamente identificar softwares válidos como maliciosos, ponderando os resultados com base na prevalência de cada programa válido e quanto impacto a identificação de falso positivo teria. Eles combinam os resultados desses dois testes e certificam os produtos em um dos cinco níveis: AAA, AA, A, B e C.

• As melhores suítes de segurança em 2019 As melhores suítes de segurança em 2019
• A melhor proteção antivírus para 2019 A melhor proteção antivírus para 2019
• A melhor proteção antivírus gratuita para 2019 A melhor proteção antivírus gratuita para 2019

Por algum tempo, usamos um feed de amostras fornecidas pela MRG-Effitas em nosso teste malicioso de bloqueio de URL. Este laboratório também libera resultados trimestrais para dois testes específicos que seguimos. O teste 360 ​​Assessment & Certification simula a proteção do mundo real contra malware atual, semelhante ao teste dinâmico do mundo real usado pelo AV-Comparatives. Um produto que impede completamente qualquer infestação pelo conjunto de amostras recebe a certificação Nível 1. A certificação de nível 2 significa que pelo menos algumas das amostras de malware plantaram arquivos e outros rastreamentos no sistema de teste, mas esses rastreamentos foram eliminados no momento da próxima reinicialização. A Certificação do Online Banking testa muito especificamente a proteção contra malwares financeiros e botnets.

Não é fácil apresentar um resumo geral dos resultados do laboratório, pois nem todos os laboratórios testam a mesma coleção de programas. Desenvolvemos um sistema que normaliza as pontuações de cada laboratório para um valor de 0 a 10. Nosso gráfico agregado de resultados de laboratório relata a média dessas pontuações, o número de testes de laboratórios e o número de certificações recebidas. Se apenas um laboratório incluir um produto em teste, consideramos que essas informações são insuficientes para uma pontuação agregada.

Você pode ter notado que esta lista de métodos de teste não abrange redes privadas virtuais ou VPNs. O teste de uma VPN é muito diferente do teste de qualquer outra parte de um conjunto de segurança; portanto, fornecemos uma explicação separada sobre como testamos os serviços de VPN.