Crédibilité/imbécilité des tests comparatifs antivirus

Nous sommes, là, devant le cas typique du test le plus imbécile qui soit. Il peut être conduit par un simple particulier n'y connaissant rien ! Ce genre de stupidité doit déclencher les foudres de toute personne un peu impliquée dans la sécurité des systèmes d'information, de la vie privée, des données et des ordinateurs.

Ce genre de tests permet de tester la base de données (la base de signatures) de l'antivirus, la technologie " Réactive " et le moteur "On-demand" des antivirus (l'analyse de fichiers), face à "une collection de parasites" récupérés à droite ou à gauche, donc une collection de trucs déjà connus pour être des virus, parfois depuis plusieurs années. C'est sans intérêt. C'est exactement le truc dont personne n'a besoin !

Non seulement les virus sont anciens mais, en plus, les virus et malveillances actuels déploient des trésors de technologies pour empêcher la constitution de bases de données de signatures exhaustives.

1. Polymorphisme des virus : c'est le virus lui-même qui mute chaque fois qu'il se réplique (ce qui est complexe à écrire et brillant, en termes de développement informatique pur). Des bases de signatures exhaustives sont impossibles.
2. Clones singuliers des virus : c'est la capacité de certains générateurs de virus à générer le même code des millions de fois en introduisant des millions de variantes. C'est le générateur de virus qui crée des clones comportant des singularités (ce qui est beaucoup plus trivial). Des bases de signatures exhaustives sont impossibles.
3. Déploiements instantanés en utilisant un BotNet. Des centaines de millions d'ordinateurs peuvent être attaqués en quelques minutes lorsqu'il y a exploitation d'une faille de sécurité. Le temps de réponse des éditeurs d'antivirus est trop lent. Ils doivent prendre le temps de recevoir des exemplaires de la malveillance, de l'analyser, d'en extraire des signatures certaines, de les introduire dans une mise à jour de leurs bases de signatures, de pousser ces mises à jour chez leurs clients (ou d'attendre que ceux-ci fassent une mise à jour périodique de leur antivirus). Tout ceci prend, au mieux, quelques heures, au pire plusieurs jours. C'est trop tard - le parc informatique est pénétré.

Seule compte l'observation du comportement d'un antivirus lorsqu'il observe le comportement d'un virus dans un environnement confiné : « bac à sable » (« sandbox ») ou « machine virtuelle ».

Il faut activer chacune des malveillances (les faire s'exécuter).

Ce qui intéresse, dans un test d'antivirus et un comparatif d'antivirus, c'est leurs comportements face à des parasites actuellement en circulation, c'est-à-dire qui ont moins de deux ou trois semaines. Les autres, plus anciens, sont depuis longtemps parfaitement traités.

• Liste des parasites actuels (à l'instant).

Les échantillons de cette liste, la « Wild List », ne sont pas diffusés. Les petits rigolos qui font leurs tests imbéciles n'y auront jamais accès.

Les technologies réactives des antivirus et antimalwares (leurs utilisations à la demande [« On-demand »]) peuvent être parfaitement visualisées (et facilement comprises par l'utilisateur). Il suffit de lancer, par exemple, les versions gratuites de :

• Malwarebytes
• Hitman Pro

Ces outils vont probablement trouver des malveillances qui ont pénétré l'appareil. C'est trop tard. Elles n'auraient jamais du pénétrer/être là. Une analyse imbécile, à la demande (« On-demand » - cas de la confrontation des antivirus à une collection de virus dormants), c'est juste :

• faire un état des lieux des parasites installés
• faire un rapport sur les échecs de la protection

Recommander un antivirus sur la base d'un test « On-demand » est un manque complet de lucidité ! C'est une méconnaissance du fonctionnement des systèmes d'exploitation, des virus et parasites, et des outils de lutte contre les parasites. C'est une méconnaissance des fondamentaux de la sécurité informatique. Ce type de comparatifs antivirus permet juste de « faire du papier » pour attirer le gogo !

Reconnaissons que cela permet de comparer entre eux les antivirus qui ne disposent pas de comportement "On-access". La belle affaire ! Ce sont, justement, tous les antivirus que l'on doit rejeter. En plus, il n'en reste qu'un : ClamAV , dans le monde Linux/BSD (et sa version Windows ClamWin ainsi que son utilisation temps réel sous Windows avec Clam Sentinel, mais uniquement basé sur les signatures, rien sur l'analyse comportementale, le sandboxing, pas même l'analyse heuristique, etc. le réel temps réel) !

Mais comparer ensembles des antivirus dotés de technologie « Proactive » et « On-access » ou « On-execution » avec des antivirus gratuits sans module « On-access », c'est faire injure aux bons produits.

Seules comptent, avec les antivirus :

• les technologies « Proactives » (« analyse en temps réel »)
• le comportement « On-access » ou « On-execution »
• le confinement et l'impossibilité de traverser les murs de la « Sandbox » ou de la « machine virtuelle »
• l'impossibilité pour le virus de détecter qu'il se trouve dans une « Sandbox » ou une « machine virtuelle »

Il faut ouvrir chaque objet exécutable de la WildList dans un environnement confiné et surveillé (« Sandbox » ou « machine virtuelle ») avant de l'autoriser ou de lui interdire de s'ouvrir dans la machine réelle.

Faire un comparatif antivirus sur la base des virus « in the wild » (à condition d'avoir accès à cette liste et à la collection de leurs échantillons) et de quelques autres, actifs actuellement (par exemple un échantillon des 300 virus les plus actifs actuels), représente un travail titanesque. Il faut, brossé à grands traits :

1. Installer une machine (une version particulière du système d'exploitation et un antivirus à tester).
   
   
2. Faire un "ghost" (une copie image de cette installation)
   
   
3. Injecter un virus, observer le comportement "On-access" de l'antivirus, prendre des copies d'écrans, lancer la réparation, comparer les fichiers originaux aux fichiers réparés, prendre des notes... Au moins une heure de travail par virus.
   
   
4. Restaurer la machine à partir du ghost et recommencer 300 fois pour tester l'antivirus contre les 300 virus « In the Wild ». C'est un minimum de 300 heures de travail par antivirus.
   
   
5. Recommencer tout le cycle avec un autre antivirus. Recommencer 12 ou 15 ou 20 fois tout le cycle pour tester 12 ou 15 ou 20 antivirus. Pour 20 antivirus, on est à 6000 heures de travail. On peut accélérer le processus en disposant d'un parc de 12 ou 15 ou 20 machines strictement identiques et calibrées et d'un nombre équivalent de collaborateurs.
   
   
6. Recommencer tout le cycle avec plusieurs autres versions du système d'exploitation (XP, Vista, 7, 8, 10, serveur, etc.). Le temps passé se compte en mois !
   
   
7. Quand tous les tests sont fini, il faut rédiger le document - générer les graphiques et les tableaux chiffrés - choisir et retoucher les captures d'écran... Au moins une semaine de travail.
   

Après quoi, il reste à refaire le test de protection Internet durant un scéance de navigation (pages de phishing, téléchargement viraux, sites tentant d'exploiter une faille de sécurité, document tentant d'exploiter une faille d'un plugin etc.

Après quoi, il reste à refaire le test contre des eMail piégés entrant et contre les liens piégés qu'ils embarquent.

Etc. Après un an de test, les résultats sont déjà périmés ! Seuls des organismes lourdement équipés pour cela, payés par des demandes d'enquêtes continues (de la part de sites gouvernementaux, des Etats, des grandes entreprises, des revues qui peuvent se payer une telle débauche d'hommes et de moyens, etc.) sont crédibles.

• Exemple d'un protocole de test de protection de la navigation Internet
• Exemple d'un protocole de test de réparation après une attaque
• Exemple d'un protocole de test d'ergonomie, performances et faux positifs

Tests de résidents ?
Est-ce que les tests ont portés sur l'analyse anti-anti-hook (l'anti-hook est la capacité d'un processus à détecter qu'un autre processus tente de regarder qui il est et à l'en empêcher ou à lui donner de fausses informations afin de rester caché), difficile à conduire, et significative d'un test bien fait ?

Quels informations techniques sur les tests et les résultats sont publiées ?
Date du test, numéro de version de chaque binaire, numéro de version de chaque base de signatures, captures d'écrans, réglages des anti-trojans testés, logs produits, liste des parasites contenues dans la collection de test, nombre de détections par le scanner mais, surtout, nombre d'éradications par le scanner, balayage de tout un PC en sus de la collection de tests et nombre de faux positifs... Si aucune information n'est disponible, les résultats des tests sont sujet à caution.

Bien entendu, les antivirus, bases de signatures et code binaire, doivent être tous figés à une date et heure donnée, à la seconde près. Il faut donc obtenir toutes ces licences en même temps, tous les installer sur 12, 15 ou 20 machines, et lancer une mise à jour simultanée de tous les antivirus puis faire les "ghost".

Les antivirus doivent être tous réglés de la même manière. Il n'est pas question d'en régler un, que l'on souhaiterait enfoncer, en mode "superficiel" ou "rapide" ou "léger", et de régler un autre, que l'on souhaiterait promouvoir, en mode "parano".

Le tout doit être sauvegardé et reproductible (les "ghosts" et la collection de virus), en cas de plainte déposée par un éditeur d'antivirus écorné par le test.

Ce n'est pas à la portée d'un particulier, ni d'un site, ni d'une revue informatique.

Depuis 2008, les tests sont normalisés et étendent les test basés sur EICAR. Ils doivent répondre aux spécifications de :

• AMTSO : The Anti-Malware Testing Standards Organization - (fondée en mai 2008).

Les laboratoires effectuant des tests significatifs sont, à l'exclusion de tout autre :

• Av-Comparatives
  
• Av-Test
  
• Dennis Technology Labs
  
• CheckVir - Résultats payants
  
• Virus Bulletin - Résultats payants
  
• ICSALabs - Résultats payants
  
• WestcoastLabs - Résultats payants
  
• CheckMark - Résultats payants
  
• NSS Labs - Résultats payants
  
• ProtectStar (semblent avoir changé d'activité)
  

Un regard porté sur quelques tests comparatifs d'antivirus.

1. Comparatif Antivirus 2012 : quel est le meilleur antivirus ? Clubic - 18 janvier 2012. (là)
   

   Antivirus installés "out of the box" (sans aucun réglage car les utilisateurs sont des cons qui utilisent leurs antivirus tel quel). Le comparatif porte sur l'analyse "On-demand" d'une collection de 7009 "menaces". Nous sommes, là, devant le cas typique du test le plus imbécile qui soit. Il peut être conduit par un simple particulier n'y connaissant rien ! Ce genre de tests permet de tester la base de données (la base de signatures) de l'antivirus, pas l'antivirus ! Le test porte sur la technologie " Réactive " et le moteur "On-demand" des antivirus (l'analyse de fichiers), face à "une collection de parasites" récupérés à droite ou à gauche, donc une collection de trucs déjà connus pour être des virus, parfois depuis plusieurs années. C'est sans intérêt.

   La dernière phrase de leurs conditions de test (D'une règle générale,...) est complètement alambiquée et incompréhensible. Si on veut porter quelque chose à leur crédit, on peut tenter de comprendre cette phrase de la manière suivante : un test "On-access" a été conduit et tous les antivirus auraient été testés en accédant à 50 sites Internet piégés (probablement des exploitations de failles de sécurité conduisant à des "Drive by Download"). Chaque antivirus testé aurait été percé au moins 10 fois ! A moins qu'il ne faille comprendre qu'il s'agit d'un test de filtrage d'URLs, auquel cas cela n'a pas beaucoup d'intérêt car, d'une part, les antivirus se partagent les quelques bases d'URLs blacklistées, qui ne proviennent généralement pas d'eux mais de Google SafeBrowsing et quelques autres (Norton Safe Web, etc. ...) et des Internautes (tous les services de "Web Réputation" et "Sites de confiance") et, d'autre part, cela signifierait que les tests "On-access" n'ont pas été effectués, ce que je suis plutôt porté à croire.

   
   Les critères que Clubic utilise pour évaluer et comparer les logiciels antivirus.
   On-demand uniquement ! Sur leur site le 01 avril 2012 à 03h28.
   
   
   
2. Comparatif Antivirus 2013 : quel est le meilleur antivirus ? Clubic - 22 février 2013. (là)
   

   Mêmes remarques que pour leur test de 2012, ci-dessus. Celui de 2013 ne porte plus que sur 1644 virus connus, toujours en tests inutiles : technologie " Réactive " et moteur "On-demand" des antivirus (l'analyse de fichiers). Toutefois, il faut porter au crédit de Clubic, mouture 2013, qu'ils disent, dès la première page, que leur test n'est pas un test, et qu'ils laissent les tests aux spécialistes des tests.

   Clubic : Comparatif Antivirus 2013 : quel est le meilleur antivirus ?

   D'autres comparatifs réalisés par des laboratoires comme AV Comparatives, AV Test ou Dennis Technologies se concentrent davantage sur des résultats chiffrés. Nous réalisons certes un test de détection sur un nombre plus réduit de menaces collectées sur le web, mais nous n'avons pas l'ambition de nous substituer à des laboratoires dédiés à ces tests.

   
   
3. Comparatif Antivirus 2014 : quel est le meilleur antivirus ? Clubic - 24 février 2014. (là)
   

   La critique du comparatif antivirus 2012 de Clubic avait porté ses fruits et Clubic s'était abstenu d'en faire un de même nature en 2013. Mais la tentation est trop forte.

   • Il existe, côté presse informatique et sites informatiques, un marché (au sens économique du terme) des tests comparatifs : les tests comparatifs sont des machines à faire des acheteurs de revues, des visiteurs de sites et des trolleurs des forums.
   • Il existe, côté utilisateurs, un véritable culte du test comparatif.

   Donc, en 2014, bis repetita ! Oh ! Stéphane Ruscher commence bien son article par " On aimerait s'en passer, mais ils restent indispensables. " Donc, même chose que pour 2012, cette fois avec une collection de 10001 menaces.

4. Antivirus payants 2012 : comparatif des versions et fonctionnalités. CNET France. 12 sept 2011. (là)
   Euuhhh... Je ne sais pas quoi dire. C'est une collection de recopie des pages des éditeurs eux-mêmes d'antivirus, qui, chacun, compare les fonctionnalités des deux ou trois versions de produits qu'il a à son catalogue. En ce sens, le titre de l'article ne ment pas ! Il n'y a aucun test comparatif et il n'y a même pas de comparaison entre les produits des différents éditeurs. On tourne en rond indéfiniment dans une galerie d'images, avec des liens pour acheter, à l'image du CNET qui n'est qu'un vaste système marchand. C'est tout ! On ajoutera, à cela, le comportement suspect du CNET à propos de l'ensemble de ses téléchargements.
   A propos du CNET, lire nos articles :
   Ils utilisent des downloader
   Installation d'applications - Attention aux truc indésirables qui viennent avec.
   
   
5. Comparatif Antivirus 2012. Guide Antivirus - 06 janvier 2012. (là)
   Hallucinant. C'est un test subjectif d'utilisation ! On ne sait même pas si un test de la fonction antivirus des antivirus a été effectuée, comment, contre quoi, On-access ? On-demand ? C'est le flou total. Il faut lire leur prose.
   
   
   
   Les critères que GuideAntivirus utilise pour évaluer et comparer les logiciels antivirus.
   C'est hautement... technique ! Sur leur site le 01 avril 2012 à 02h55.
   
   
   
   
6. Comparatif des meilleurs anti-virus 2011 et 2012. ActuVirus - pas daté. (là)
   Il faut lire les critères qu'ils utilisent pour évaluer et comparer les logiciels antivirus. C'est hautement... technique !
   
   
   
   Les critères qu'ActuVirus utilise pour évaluer et comparer les logiciels antivirus.
   C'est hautement... technique ! Sur leur site le 01 avril 2012 à 02h43.
   
   
   
   
7. Test Comparatif Antivirus 2011. ECI Média. Pas daté. (là)
   Antivirus installés "out of the box" (sans aucun réglage car les utilisateurs sont des cons qui utilisent leurs antivirus tel quel). Le comparatif porte sur l'analyse "On-demand" d'une collection de 533 "menaces".
   
   
   
   Les critère de test et comparaison de ECI Média pour évaluer et comparer les logiciels antivirus.
   On-demand uniquement. Sur leur site le 01 avril 2012 à 03h35
   
   
   
8. Comparatif antivirus 2014 : Et les meilleurs antivirus sont... par Frederic Pailliot (là)
   Il y a de quoi être admiratif devant la travail de Frederic Pailliot qui a passé des dizaines d'heures, si ce n'est plus, à tester plusieurs antivirus, une fois de plus. Si le test purement technique consiste en une analyse d'une collection statique de malveillances (dito le test de Clubic), sur une clé USB, Frederic Pailliot a manifestement utilisé chaque produit et a pris des notes. Faire ce travail seul est un travail de titan lorsque des revues de la presse écrite ou en ligne font la même chose avec des moyens bien plus importants et du personnel. En ce qui concerne la validité technique du test, Fréderic Paillot dit, aves sincérité : " Nous n’avons pas vocation à nous substituer aux organismes indépendants de tests et aux professionnels de la sécurité qui effectuent des tests poussés mais orientés performance. Notre approche est volontairement celle d’un utilisateur en condition réelle, même si nous utilisons des malwares et des outils qui nous permettent d’observer le comportement des logiciels testés.".
   

• Qu'est-ce que la personne ou la société qui publie le comparatif y gagne ?
  C'est le vieil adage policier : "chercher à qui le crime profite". Un test précis, de plusieurs antivirus, exige des mois de travail, à plusieurs, sur de très nombreuses machines. Personne ne se lance dans la conduite d'un tel chantier sans une bonne raison qui est, presque toujours, l'argent : augmenter les ventes de telle revue ou augmenter le nombre de visiteurs de tel site (et donc les revenus publicitaires). Il faut se poser cette question : Est-ce que l'objectif qui sous tend le test comparatif a pu influencer les résultats (est-ce que tel antivirus à été mis au pinacle car il est un gros annonceur publicitaire etc. ...) ?
  
  
• Le comparatif est-il conduit par un acteur du monde de la sécurité informatique ?
  Si l'auteur du comparatif est lié, de près ou de loin, au monde des antivirus, même s'il s'agit d'une filliale éloignée ou d'une personne physique semblant agir à son compte alors qu'elle est employée ou actionnaire d'un éditeur d'antivirus, le comparatif est biaisé et l'auteur n'a aucune crédibilité. L'ensemble des tests, commentaires et comparatifs peuvent être mis à la poubelle. L'auteur ne doit avoir aucun lien avec aucun acteur de ce monde. La simple constitution d'une bibliothèque de parasites est déjà un énorme travail. Si cette collection est fournie par l'un de ces acteurs, le comparatif n'a aucune signification. Une forme de dépendance est celle de la presse informatique dont les versions d'essai des utilitaires leurs sont fournies gratuitement par les éditeurs eux-mêmes. Leurs tests sont forcément entachés de cette dépendance car aucun groupe de presse n'a les moyens financier d'acheter incognito tous les utilitaires sortant et de les maintenir à jour. Ils ne peuvent, en ce sens, dire du mal d'un produit sans être "punis" par la suppression de leurs ressources publicitaires. On a vu, en France, la quasi disparition d'une revue à cause de sa franchise.
  
  
• Les tests et le comparatif sont-ils conduits par un acteur crédible et compétant ?
  Conduire des tests d'utilitaires de sécurité nécessite d'être du métier (informaticien connaissant la programmation, la sécurité, les classes de parasites appelés (abusivement) "trojans", les virus, les modes de propagation, de réplication, d'infestation, d'action...). Il faut se poser cette question : est-il compétant pour en parler
  
  
• Les dernières mises à jour ont-elles été appliquées avant le test ?
  Par défaut, les antivirus sont livrés avec une base de signatures telle qu'elle était au moment de la publication de la dernière version du binaire de l'utilitaire. Les binaires étant relativement peu souvent modifiés, cette base de signatures est obsolette et, dès l'installation d'un antivirus, il faut mettre à jour cette base. Il s'agit d'un impératif critique lors d'un test. Toutes les bases de signatures de tous les produits testés doivent être mises à jour en même temps, à l'heure près, sinon le test est entaché de favoritisme ou d'inéquité.
  
  
• La collection de parasites est-elle orientée pour favoriser un antivirus plutôt qu'un autre ?
  Cette question est parfois posée. Faut-il considérer un utilitaire qui n'est pas un virus lui-même, mais qui sert à générer des virus ou des chevaux de Troie, comme un parasite ? Faut-il considérer un document contenant un cours de fabrication de virus ou un cours de crack de carte bancaires ou un cours de vol de mots de passe sur AOL comme un parasite ? Bien entendu, les antivirus qui ne traitent pas une classe donnée de parasites contestent, mais un chef d'entreprise souhaite, au contraire, que son antivirus débusque ces outils et documents sur ses machines.
  
  
  Note
  Cette contestation a visé, par exemple, l'anti-spywares PestPatrol, dans les années 2001/2004. Cet outil de sécurité fit de l'ombre à beaucoup d'anti-trojans en ayant un spectre de parasites total alors que les autres anti-spywares, une classe d'outils naissante, ne ciblaient que quelques classes de parasites et que les antivirus ne ciblaient que les virus, une classe de parasites déjà en déclin. Il a, depuis, été racheté par Computer Associates (CA Technologies) qui l'a introduit dans son produit eTrust.
  
  
  
• Amplitude de la collection de parasites de test.
  Certaines collections de parasites utilisées par certains pseudo tests sont constituées de parasites du laboratoire d'un éditeur d'anti-trojans qui ne sont détectés que par l'anti-trojan de cet éditeur. Ce genre de tests n'a aucune signification. Dans le même ordre d'idée, certaines collections restrintes ne permettent pas de tester efficacement les anti-trojans. Il n'existe pas, dans le monde des tests d'anti-trojans, une collection similaire à la WildList du monde des tests d'antivirus. Aujourd'hui, un test doit porter sur une collection d'au moins 5.000 parasites, cette collection n'étant pas fournie par un éditeur d'anti-trojans mais constituée par le testeur.
  
  
• Quels tests ont été conduits ?
  Tous, absolument tous les tests d'anti-trojans consistent, comme pour les antivirus, à confronter les anti-trojans à une collection dormante de parasites et à compter les résultats en terme de détection. Il s'agit de scan à la demande ("On-demand"). Comme pour les antivirus il s'agit de la partie la plus triviale, la plus facile à conduire et la moins significative, que tous les anti-trojans doivent réussir à 100%. Un bon test doit porter sur
  
  
  • Capacité de détection en véritable "On-access" (recouvre une vaste gamme de dispositifs : crochetage des appels systèmes (les APIs), sandbox, analyses comportementales, analyses heuristiques). Par exemple, le module dit "temps réel" de Spybot Search and Destroy, appelé "Tea-timer", n'est pas un module "On-access".
  • Capacité d'éradication d'un parasite
  • Capacité de désinfection de programmes parasités tout en restituant ces programmes désinfectés dans leur état initial de fonctionnement (reconstruction du code)
  • Capacité de détection de parasites montés en mémoire (devenus des processus)
  • Capacité de détection de processus écoutant les frappes au clavier sans être dans les bases de signature (keyloggers)
  • Capacité de détection des tentatives d'injection de code dans les processus
  • Analyse sous toutes les techniques de compression et de compressions multiples mono ou multi algorithmes de compression, y compris les compressions UPX.
  • Analyse des listes blanches (tâches, filtres URLs...)
  • Analyse des listes noires (URLs...)
  • Tests de ports
  • Tests de mutex (synchronisation de threads dépendants d'autres threads et synchronisation de processus)
  • Tests de "class" de fenêtre
  • Tests de ressources consommées
  • ...