Teste de antivírus 101

Em vários locais do mundo, equipes de pesquisadores dedicados colocam dezenas de produtos antivírus em testes exaustivos. Alguns desses laboratórios de teste de antivírus executam procedimentos que levam meses. Outros desafiam os produtos antivírus para detectar centenas de milhares de amostras. Não há como um revisor solitário como eu possa duplicar esses esforços, mas eu persisto na realização de testes práticos para todas as análises de antivírus. Por quê? Existem várias razões.

A oportunidade é uma das razões. Faço o possível para revisar cada novo produto de segurança assim que for lançado. Os laboratórios realizam seus testes em um cronograma que raramente corresponde às minhas necessidades. A abrangência é outra. Nem toda empresa de segurança participa de todos os laboratórios; alguns não participam de forma alguma. Para aqueles que não participam, meus próprios resultados são tudo o que tenho para continuar. Por fim, os testes práticos me dão uma idéia de como o produto e a empresa lidam com situações difíceis, como malware que impede a instalação do software de proteção.

Para obter uma comparação razoável, preciso executar cada produto antivírus no mesmo conjunto de amostras. Sim, isso significa que nunca testarei com malware de dia zero e nunca antes visto. Confio nos laboratórios, com seus maiores recursos, para realizar esse tipo de teste. A criação de um novo conjunto de sistemas de teste infestados leva muito tempo, então só posso fazê-lo uma vez por ano. Dado que minhas amostras não são remotamente novas, você pensaria que todos os produtos de segurança os tratariam bem, mas não é isso que observo.

Coletando amostras

Os grandes laboratórios independentes mantêm vigilância na Internet, capturando constantemente novas amostras de malware. É claro que eles precisam avaliar centenas de suspeitos para identificar aqueles que são realmente maliciosos e determinar que tipo de comportamento malicioso eles exibem.

Para meus próprios testes, conto com a ajuda de especialistas de diversas empresas de segurança. Peço a cada grupo que forneça URLs do mundo real para dez ameaças "interessantes". É claro que nem toda empresa deseja participar, mas recebo uma amostra representativa. Obter os arquivos da sua localização no mundo real tem dois benefícios. Primeiro, não preciso lidar com o email ou a segurança da troca de arquivos eliminando amostras em trânsito. Segundo, elimina a possibilidade de uma empresa jogar com o sistema, fornecendo uma ameaça única que apenas seu produto pode detectar.

Os criadores de malware estão constantemente mudando e transformando suas armas de software, então eu baixo exemplos sugeridos imediatamente após receber os URLs. Mesmo assim, alguns deles já desapareceram quando tento agarrá-los.

Solte o vírus!

A próxima etapa, árdua, envolve o lançamento de todas as amostras sugeridas em uma máquina virtual, sob o escrutínio do software de monitoramento. Sem revelar muitos detalhes, uso uma ferramenta que registra todas as alterações de arquivos e do Registro, outra que detecta alterações usando antes e depois das capturas instantâneas do sistema e a terceira informa sobre todos os processos em execução. Também executo alguns scanners rootkit após cada instalação, pois, em teoria, um rootkit pode evitar a detecção por outros monitores.

Os resultados são frequentemente decepcionantes. Algumas amostras detectam quando estão sendo executadas em uma máquina virtual e se recusam a instalar. Outros desejam um sistema operacional específico, ou um código de país específico, antes de agirem. Outros ainda podem estar aguardando instruções de um centro de comando e controle. E alguns danificam o sistema de teste a ponto de não funcionar mais.

Das minhas sugestões mais recentes, 10% já tinham desaparecido no momento em que tentei baixá-las e cerca de metade do resto era inaceitável por um motivo ou outro. Dos que restaram, escolhi três dúzias, procurando obter uma variedade de tipos de malware sugeridos por uma mistura de empresas diferentes.

Está lá?

Selecionar amostras de malware é apenas metade do trabalho. Eu também tenho que passar por resmas e resmas de arquivos de log gerados durante o processo de monitoramento. As ferramentas de monitoramento registram tudo, incluindo alterações não relacionadas à amostra de malware. Eu escrevi alguns programas de filtragem e análise para me ajudar a descobrir os arquivos específicos e os rastreamentos do Registro adicionados pelo instalador do malware.

Depois de instalar três amostras cada uma em doze máquinas virtuais idênticas, eu executo outro pequeno programa que lê meus logs finais e verifica se os programas, arquivos e rastreamentos de registro em execução associados às amostras estão realmente presentes. Muitas vezes, tenho que ajustar meus logs porque um Trojan polimórfico foi instalado usando nomes de arquivos diferentes dos usados ​​quando executei minha análise. De fato, mais de um terço da minha coleção atual precisava de ajustes para o polimorfismo.

É ido?

Com toda essa preparação concluída, analisar o sucesso da limpeza de um determinado produto antivírus é uma questão simples. Eu instalo o produto em todos os doze sistemas, execute uma varredura completa e execute minha ferramenta de verificação para determinar quais (se houver) vestígios permanecem para trás. Um produto que remove todos os rastreamentos executáveis ​​e pelo menos 80% do lixo não-executável obtém dez pontos. Se remover pelo menos 20% do lixo, vale nove pontos; menos de 20% obtém oito pontos. Se os arquivos executáveis ​​ficarem para trás, o produto terá cinco pontos; isso diminui para três pontos se algum dos arquivos ainda estiver em execução. E, claro, uma falta total não ganha pontos.

A média dos pontos de cada uma das três dezenas de amostras me dá uma boa visão de como o produto lida com a limpeza de sistemas de teste infestados por malware. Além disso, tenho experiência prática do processo. Suponha que dois produtos obtenham pontuações idênticas, mas um instalado e verificado sem problemas e o outro exigia horas de trabalho pelo suporte técnico; o primeiro é claramente melhor.

Agora você sabe o que há no gráfico de remoção de malware que eu incluo em todas as análises de antivírus. É uma tonelada de trabalho uma vez por ano, mas esse trabalho vale a pena.