Alertes de sécurité en cours Discussion Discussion
Faire un lien Lien
Assiste.com - Sécurité informatique - Décontamination - Antivirus - Protection - Protection de la Vie Privée Assiste.com - Sécurité informatique - Décontamination - Antivirus - Protection - Protection de la Vie Privée


Crédibilité des tests comparatifs antivirus

Dernière mise à jour : 2016-12-03T00:00 - 03.12.2016 - 00h00
31.07.2014 - 00h45 - Paris - (Assiste - Pierre Pinard) - Mise à jour - Comparatif antivirus 2014 par Frederic Pailliot

Il existe un véritable culte des tests comparatifs antivirus ! Il en sort de nouveaux tout le temps, faits par tout le monde et, surtout, par n'importe qui. Quelle crédibilité leur accorder ?

Assiste.com - Test comparatif antivirus

Dossier : Virus / Antivirus

Dossier : Virus
Dossier : Antivirus
Dossier : Anti-Spywares
Dossier : Filtres anti-phishing
Dossier : Contrôleurs d'intégrité
Dossier : Web Réputation
Soumission aux antivirus (faux positifs...)

Virus
Virus Histoire et historique des virus
Virus Charge utile
Virus de boot
Virus à propagation Web : Ver (Worm)
Virus Macrovirus
Virus Polymorphes (Polymorphisme)
Virus Clones singuliers
Virus Compte-gouttes
Virus dropper
Virus in the Wild
Virus Mac (Apple)
Virus Mesure du risque
Virus Convention de nommage
Virus PebCak

Virus StuxNet - Attaque d'un site isolé d'Internet
Virus Regin - 10 ans d'activité avant d'être découvert

Comparatifs antivirus
Comparatif antivirus Windows
Comparatif antivirus Android
Organismes crédibles de tests et comparatifs
Crédibilité des tests comparatifs antivirus
Comparatif antivirus avec/sans Windows Update
Comparatif anti-phishing / malwares navigateurs

Archives : Comparatifs AV Windows 2013 09
Archives : Comparatifs AV Windows 2013 10
Archives : Comparatifs AV Windows 2013 11
Archives : Comparatifs AV Windows 2013 12
Archives : Comparatifs AV Windows 2014 07
Archives : Comparatifs AV Windows 2014 12
Archives : Comparatifs AV Windows 2015 01
Archives : Comparatifs AV Windows 2015 05
Archives : Comparatifs AV Windows 2015 09
Archives : Rosenthal's Antivirus Test

Les technologies et méthodes des antivirus
Fonctionnement On-demand
Fonctionnement On-access
Fonctionnement On-execution
Technologie Réactive ("Base de signatures")
Technologie Proactive ("Heuristique - Sandbox")
Méthodes d'analyses : Heuristiques
Méthodes d'analyses : Sandboxing

Antivirus génériques
Ad-Aware - (Graves polémiques Ad-Aware)
AdwCleaner
AhnLab
AntiVir (Avira)
   Antiy-AVL
A-Squared (A²)
   Avast!
Avira antivirus Pro
Avira EU Cleaner
Avira Free Antivirus
Avira Internet Security Suite
Avira Removal Tool
   AVG
   Bitdefender Antivirus Plus
   Bitdefender Family Pack
   Bitdefender Antivirus for MAC
   Bitdefender Antivirus for MAC & PC
   Bitdefender Mobile Security
   BitDefender Internet Security
   BitDefender Total Security
BitDefender Quickscan
   Bullguard
ByteHero System Defense Software
   CAT-QuickHeal
   ClamAV
   ClamWin (Open Source, On-demand
   Commtouch
   Comodo antivirus
CounterSpy Anti-spyware
   DAVFI
   DrWeb
   Emsisoft Anti-Malware (EAM)
   eSafe
   eScan
   Eset
   eTrust-Vet
   Fortinet FortiClient
   F-Prot Antivirus
   F-Secure Anti-Virus
   Forticlient (gratuit)
   G Data AntiVirus
   Gyrus cinerea - gratuit et mises à jour gratuite
   Hitman Pro
   Home Network Security Services
   Ikarus
   Immunet (pour Windows, base ClamAV)
   Intego VirusBarrier (pour MAC)
   IOBit Malware Fighter
   Jiangmin
   K7AntiVirus
   Kaspersky Anti-Virus
   Kaspersky Internet Security - KIS
Kaspersky Pure
Malwarebytes Anti-Malware
   McAfee AOL Gratuit
   McAfee LinuxShield
   McAfee Stinger
   McAfee VirusScan
   Metascan Client (OPSWAT)
   Microsoft Removal Tools (MRT)
   Microsoft Security Essentials gratuit
Microsoft Windows Defender gratuit
   NOD32
Norman Virus Control (périmé - N'existe plus)
   Norman Security Suite Pro
   Norton AntiVirus
   nProtect
   Outil de suppression de logs malveillants Microsoft
   Panda Antivirus
   PC Tools une version est gratuite
   PC-cillin Internet Security
   PCSafer internet security version gratuite
   Prevx
   Quick Heal (voir CAT-QuickHeal)
   Rising Antivirus
   Sophos Anti-Virus
Spybot 1.n - Search & Destroy (Spybot S&D)
Spybot 2.n - Search & Destroy (Spybot S&D)
   SUPERAntiSpyware
   Symantec AntiVirus Corporate Edition
   Symantec Client Security SCS
   SpywareBlaster
   TheHacker
TiraniumData Security
   TrendMicro
   TrendMicro-HouseCall
   TrustPort
   VBA32 (VirusBlockAda)
   Viguard
   Vipre
   ViRobot
   VirusBarrier
   VirusBuster
   VirusKeeper
   ZoneAlarm Free Antivirus + Firewall
   ZoneAlarm Internet Security Suite
   ZoneAlarm Extreme Security

Micro-Antivirus gratuits - spécifiques

Dossier : Micro-Antivirus gratuits

Tableau de synthèse
Microsoft - MSRT
McAfee - Stinger
Avira - Removal Tool
Avira - EU-Cleaner
Symantec - Virus Removal Tool
F-Secure - Removal tool
Kaspersky - Removal tool
Kaspersky - TDSSKiller
Kaspersky - Rakhni Decryptor
Kaspersky - Rannoh Decryptor
Kaspersky - Scatter Decryptor
Kaspersky - Xorist Decryptor
Kaspersky - Capper Killer
Kaspersky - Kido Killer
Kaspersky - Fipp Killer
Norton - Power Eraser
AhnLab - Tous les micro-antivirus
Sophos - Virus Removal Tool
GData - Anti-FakeAV
ESET - Stand-alone malware removal tools
ESET - Rogue Application Remover (ERAR) 32
ESET - Rogue Application Remover (ERAR) 64
Etc. ...

Les antivirus gratuits en ligne
Antivirus et multiantivirus - Analyse fichier
Antivirus et multiantivirus - Analyse ordinateur

Ils utilisent un ou des moteurs tiers
Ils utilisent Bitdefender
Ils utilisent un ou des moteurs tiers

Procédures de décontamination
Procédure 1 - Décontamination antivirus
Procédure 2 - Décontamination anti-malwares
Forums d'entraide et de décontamination

Organismes fédérateurs et centralisateurs
WildList
EICAR antivirus test

Supprimer complètement toutes traces d'un antivirus
Comment désinstaller complètement un antivirus

Prévenir plutôt que guérir
Mises à jour périodiques d'un PC sous Windows
Nettoyage périodique d'un PC sous Windows
Protéger navigateur, navigation et vie privée
Bloquer totalement mécanismes publicitaires

   

Quels tests comparatifs antivirus sont significatifs et crédibles ?Quels tests comparatifs antivirus sont significatifs et crédibles ?Quels tests comparatifs antivirus sont significatifs et crédibles ?

Actions rapides - Pas le temps de lire

Pour les comparatifs en eux-mêmes, voir :

Tests et comparatifs des antivirus.

Paris le 30.10.2013

Quiconque vendant un petit journal d'informatique dans les kiosques à journaux, ou disposant d'un petit site Internet parlant un peu de sécurité informatique, peut faire un test comparatif d'antivirus et publier un papier. Cela va immédiatement créer un buzz énorme et booster les ventes du journal ou faire grimper les statistiques de fréquentation du site. Ce type de tests prétendus " comparatifs antivirus " est à la portée du premier venu et n'a aucune signification. Les véritables tests d'antivirus sont des travaux cauchemardesques à conduire. Ils sont à la portée d'une toute petite poignée de laboratoires hautement spécialisés, lourdement équipés et ayant l'oreille de tous les éditeurs d'antivirus.

Qui fait quoi ? Qui croire ? Que croire ?

Avant de lire les résultats des tests et comparatifs d'antivirus, d'anti-trojans, d'anti-adwares, d'anti-spywares, d'anti-tout etc. ... il convient d'être vigilant et de garder un esprit critique, voire sceptique.

  • Tous les tests et les comparatifs ne sont pas égaux !
  • Tous les tests et les comparatifs ne se valent pas !
  • Certains tests et comparatifs ne valent rien !
La lecture préalable de cet article, Real world antivirus product reviews and evaluations - The current state of affairs, est vivement conseillée car certains tests et / ou certains organismes testeurs ont souvent été soupconnés de partialité et / ou de favoritisme. Cet article met en cause la crédibilité des "organismes crédibles" en éveillant chez le lecteur, la méfiance et la défiance - apprenez à lire entre les lignes et à deviner ce qui n'est pas dit. C'est en anglais et c'est très "instructif".

Un certain nombre de questions doivent toujours vous venir à l'esprit chaque fois que vous lisez un test ou un comparatif d'antivirus ou d'anti-quelque chose (ou n'importe quel comparatif, d'ailleurs), afin d'en mesurer la crédibilité.

  • A qui profite ce comparatif ?
  • Quel est la compétence et le niveau de crédibilité de celui qui le conduit ?
  • S'agit-il de gonfler un ego ?
  • S'agit-il de faire de la vente d'un journal ?
  • S'agit-il de ramener des visiteurs sur un site ou un forum soutenu par ses insertions publicitaires ?
  • S'agit de gonfler la vente d'un produit dont l'éditeur rémunère l'auteur du test ?
  • Qui sous-tend la réalisation de ce comparatif et quel est son intérêt ?
  • Où est l'argent ?
  • Etc. ...
Tout d'abord, tordons le cou à tous ces tests comparatifs qui soumettent un panel d'antivirus à une collection de virus bien sagement rangés dans un répertoire. Pourquoi ? Parce que :

De quoi ai-je besoin ?
Je veux un antivirus capable de prévenir l'infection, capable d'arrêter une tentative d'implantation d'un virus, en temps réel, avant qu'il ne s'implante, grâce à des technologies proactives.

Je n'ai nul besoin d'un antivirus travaillant en temps différé, utilisant des technologies réactives, qui détecte la présence d'un virus et, donc, constate l'échec de la protection (ou l'abscense de protection) au lieu de prévenir l'infection !

Je me fiche complètement d'un antivirus capable de détecter une collection de virus dormants, stokés dans un répertoire ! C'est trop tard ! Ils sont déjà là et n'auraient jamais dû arriver là ! A la limite, ces tests " imbéciles " ne testent pas un antivirus mais l'amplitude d'une base de signatures et leurs variantes par des méthodes d'analyses heuristiques, ce qui n'a aucune signification, d'autant que les antivirus " haut de gamme " travaillent en analyse comportementale, dans une machine virtuelle (" Sandbox " ou " bac à sable ") qui se moquent complètement des signatures et analysent le comportement actif des objets, ouverts dans une machine virtuelle.

Antivirus ou anti-trojans ou anti-spywares etc. ...Est-ce qu'un antivirus est aussi un anti-trojans ou anti-spywares etc. ...Antivirus ou anti-trojans ou anti-spywares etc. ...

Les anti-trojans, anti-spywares, anti-adwares, anti-tout et le reste, etc. ... ont fait florès jusqu'en 2003, date où le plus puissant d'entre-eux, PestPatrol, fut racheté par Computer Associates.

Pourquoi ajouter un anti-malwares alors que j'ai déjà un antivirus ?
Parce que les virus classiques ne représentent plus que 0,5% des malveillances

Déjà, au tout début des années 2000, Assiste prédisait la fusion inéluctable et rapide des anti-spywares et anti-trojans avec les antivirus. Pourquoi ? Parce que les anti-spywares et anti-trojans, etc. ... fonctionnent sur la base de signatures et que les antivirus savent le faire depuis bien plus longtemps qu'eux. Les antivirus avaient méprisé tout ce qui n'était pas des virus mais la mutation des parasites était en route.

Nous annoncions également, depuis 2007, que les virus ne représentaient quasiment plus rien par rapport aux autres formes d'attaques et parasites.

Le terme " Virus " : Les virus " classiques " n'existent plus.

L'éditeur d'une solution antivirus et antimalwares Emsisoft, l'un des acteurs majeurs de la lutte contre les malveillances informatiques, écrivait, en 2012 :

"Notre laboratoire d'analyse a calculé que les virus classiques constituent moins de 0,5 % de la totalité des menaces. .../... « Emsisoft anti-malware » inclut toutes sortes de menaces, telles que les virus (0,5 %), logiciels de sécurité falsifiés (rogue) (0,5 %), publiciels (adwares) (2,7 %), applications possiblement malicieuses (PUP) (4,1 %), vers (worms) (4,6 %), logiciels malveillants financiers et voleurs de mot de passe (password stealer, fiching, spywares...) (5,3 %), enregistreurs de frappe (keyloggers) (6,9 %), portes dérobées (backdoors) (13,3 %) et chevaux de Troie (trojans) (61,3 %)."

Aujourd'hui, tous les produits qui subsistent sont, simultanément, des antivirus et des anti-trojans. Tous les éditeurs d'antivirus ont racheté des sociétés éditrices d'anti-trojans ou leur bases de signatures. Emsisoft, lui, à fait l'inverse : l'un des meilleurs anti-trojans est aussi devenu un antivirus. SpyBot Search and Destroy emprunte le même chemin annoncé, dans une interview avec Assiste, pour le second semestre 2013.

Archétype des tests comparatifs d'antivirus les plus imbécilesTests comparatifs d'antivirus imbéciles : Signatures vs ComportementArchétype des tests comparatifs d'antivirus les plus imbéciles


J'ai récupéré une collection de 5000 virus et j'ai lancé 12 antivirus contre !
Résultat de ce test comparatif d'antivirus


Nous sommes, là, devant le cas typique du test le plus imbécile qui soit. Il peut être conduit par un simple particulier n'y connaissant rien ! Ce genre de stupidité doit déclencher les foudres de toute personne un peu impliquée dans la sécurité des systèmes d'information, de la vie privée, des données et des ordinateurs.

Ce genre de tests permet de tester la base de données (la base de signatures) de l'antivirus, la technologie " Réactive " et le moteur "On-demand" des antivirus (l'analyse de fichiers), face à "une collection de parasites" récupérés à droite ou à gauche, donc une collection de trucs déjà connus pour être des virus, parfois depuis plusieurs années. C'est sans intérêt.

Non seulement les virus sont anciens mais, en plus, les virus et malveillances actuels déploient des trésors de technologies pour empêcher la constitution de bases de données de signatures exhaustives.

  1. Polymorphisme : c'est le virus lui-même qui mute chaque fois qu'il se réplique (ce qui est complexe à écrire et brillant, en termes de développement informatique pur). Des bases de signatures exhaustives sont impossibles.
  2. Clones singuliers : c'est la capacité de certains générateurs de virus à générer le même code des millions de fois en introduisant des millions de variantes. C'est le générateur de virus qui crée des clones comportant des singularités (ce qui est beaucoup plus trivial). Des bases de signatures exhaustives sont impossibles.
  3. Déploiements instantanés en utilisant un BotNet. Des centaines de millions d'ordinateurs peuvent être attaqués en quelques minutes lorsqu'il y a exploitation d'une faille de sécurité. Le temps de réponse des éditeurs d'antivirus est trop lent. Ils doivent prendre le temps de recevoir des exemplaires de la malveillance, de l'analyser, d'en extraire des signatures certaines, de les introduire dans une mise à jour de leurs bases de signatures, de pousser ces mises à jour chez leurs clients (ou d'attendre que ceux-ci fassent une mise à jour périodique de leur antivirus). Tout ceci prend, au mieux, quelques heures, au pire plusieurs jours. C'est trop tard - le parc informatique est pénétré.


Seul compte le comportement d'un objet : son comportement est-il suspect ?

Pour voir quel est son comportement, il faut l'activer (l'exécuter) et, pour l'exécuter dans l'ordinateur de l'utilisateur sans mettre l'ordinateur en danger, il faut l'exécuter dans un " bac à sable " (une " sandbox " ou " machine virtuelle ").

Ce qui intéresse, dans un classement comparatif, c'est le comportement de la technologie " Proactive " et du moteur "On-access" face à des parasites actuellement en circulation, c'est-à-dire de moins de deux ou trois semaines (cette liste, appelée « In the Wild » - « dans la nature » - est maintenue entre éditeurs d'antivirus et n'est pas diffusée - les petits rigolos qui font leurs tests imbéciles n'y auront jamais accès).

Rappelons que les technologies " Réactives " des antivirus, antispywares, etc. ... à la demande ("On-demand" ) sont des dispositifs d'analyse des fichiers, pas d'analyse des comportements. Une analyse "On-demand" fait, trop tard, un état des lieux des parasites installés, parfois depuis des mois ou des années, et vire ces parasites avec les fichiers contaminés, parfois vos propres fichiers ! Il y a longtemps que ces parasites ont fait leur basse besogne. L'analyse "On-demand" permet de remettre une machine compromise dans un état plus ou moins propre, c'est tout. C'est la fonction que l'on utilise la première fois que l'on installe un antivirus (une analyse préliminaire avec, au moins, l'outil multi-antivirus Hitman Pro, est indispensable), puis elle ne sert quasiment plus. Seules comptent les technologies " Proactives " (ou " analyse en temps réel "), et le moteur "On-access", analysant le comportement d'un objet (analyse comportementale), en l'ouvrant dans une machine virtuelle, avant de l'autoriser ou de lui interdire de s'ouvrir dans la machine réelle.

C'est la technologie " Proactive " et le moteur "On-access" qui protègent en temps réel contre l'infection.

On utilisera la fonction "On-demand", de manière épisodique, une fois par mois ou par trimestre, plus pour se rassurer qu'autre chose, et pour utiliser les toutes dernières mises à jour de la base de signatures afin de s'assurer qu'un virus dormant (donc pas détecté par la fonction "On-access" tant qu'il ne cherche pas à monter en mémoire et s'exécuter), inconnu lors de la précédente analyse "On-demand", n'est pas, désormais, détecté. Les tout nouveaux virus ne sont, bien entendu, pas connus des collections utilisées pour les tests comparatifs "On-demand". Les collections de virus opposées aux antivirus à tester ne peuvent contenir les virus « In the Wild » et les tests comparatifs "On-demand" regardent des fichiers "dormant" qui ne cherchent pas à s'activer.
L'utilisateur n'a strictement rien à faire d'un antivirus qui regarderait passer les virus et les laisserait s'installer, pour les effacer plus tard, lorsqu'il prendra à l'utilisateur l'envie de relancer une analyse "On-demand", parce que sa machine est perturbée ou ralentie, alors que les parasites auront depuis longtemps volé les mots de passe, "écouté" les frappes au clavier, détourné la machine pour l'insérer dans un réseau de zombies et vidé les comptes bancaires etc. ...

L'utilisateur n'a rien à faire de la vitesse d'exécution de l'analyse "On-demand" puisqu'il ne l'utilisera qu'une fois, lors de l'installation de son antivirus, une nuit, puis de manière très épisodique dans les années à venir. C'est la vitesse de l'analyse "On-access" qui importe. De combien est-ce que les hook introduits dans les APIs ralentissent le temps de réponse du système lors d'une demande d'accès à une ressource ? Voilà l'information dont on a besoin.

Recommander un antivirus sur la base du comportement de son moteur "On-demand" est un manque complet de lucidité ! C'est une méconnaissance du fonctionnement des systèmes d'exploitation, des virus et parasites, et des outils de lutte contre les parasites. C'est une méconnaissance des fondamentaux de la sécurité informatique. Ce type de comparatifs antivirus permet de "faire du papier" pour attirer le gogo ! Et cela induit le lecteur en erreur avec, parfois, de graves conséquences.

Reconnaissons que cela permet de comparer entre eux les antivirus qui ne disposent pas de comportement "On-access". La belle affaire ! Ce sont, justement, tous les antivirus que l'on doit rejeter avec mépris car inutiles, voire dangereux. Mais comparer ensembles des antivirus dotés de technologie " Proactive " et de modules "On-access" avec des antivirus gratuits sans module "On-access", c'est faire injure aux bons produits.

Principes d'un test comparatif d'anivirus crédiblePrincipes d'un test comparatif d'anivirus crédiblePrincipes d'un test comparatif d'anivirus crédible

Faire un comparatif antivirus sur la base des virus "on the wild" (à condition d'avoir accès à cette liste et à la collection de leurs codes) et de quelques autres, actifs actuellement (par exemple un échantillon des 300 virus les plus actifs actuels), représente un travail titanesque. Il faut, brossé à grands traits :
  1. Installer une machine (une version particulière du système d'exploitation et un antivirus à tester).

  2. Faire un "ghost" (une copie image de cette installation)

  3. Injecter un virus, observer le comportement "On-access" de l'antivirus, prendre des copies d'écrans, lancer la réparation, comparer les fichiers originaux aux fichiers réparés, prendre des notes... Au moins une heure de travail par virus.

  4. Restaurer la machine à partir du ghost et recommencer 300 fois pour tester l'antivirus contre les 300 virus « In the Wild ». C'est un minimum de 300 heures de travail par antivirus.

  5. Recommencer tout le cycle avec un autre antivirus. Recommencer 12 ou 15 ou 20 fois tout le cycle pour tester 12 ou 15 ou 20 antivirus. Pour 20 antivirus, on est à 6000 heures de travail. On peut accélérer le processus en disposant d'un parc de 12 ou 15 ou 20 machines strictement identiques et calibrées et d'un nombre équivalent de collaborateurs.

  6. Recommencer tout le cycle avec plusieurs autres versions du système d'exploitation (XP, Vista, 7, 8...). Le temps passé se compte en mois !

  7. Quand tous les tests sont fini, il faut rédiger le document - générer les graphiques et les tableaux chiffrés - choisir et retoucher les captures d'écran... Au moins une semaine de travail.
Après quoi, il reste à refaire le test de protection Internet durant un scéance de navigation (pages de phishing, téléchargement viraux, sites tentant d'exploiter une faille de sécurité, document tentant d'exploiter une faille d'un plugin etc. ...

Après quoi, il reste à refaire le test contre des eMail piégés entrant et contre les liens piégés qu'ils embarquent.

Etc. ... Après un an de test, les résultats sont déjà périmés ! Seuls des organismes lourdement équipés pour cela, payés par des demandes d'enquêtes continues (de la part de sites gouvernementaux, des Etats, des grandes entreprises, des revues qui peuvent se payer une telle débauche d'hommes et de moyens, etc. ...) sont crédibles.

Exemple d'un protocole de test de protection de la navigation Internet
Exemple d'un protocole de test de réparation après une attaque
Exemple d'un protocole de test d'ergonomie, performances et faux positifs

Tests de résidents ?
Est-ce que les tests ont portés sur l'analyse anti-anti-hook (l'anti-hook est la capacité d'un processus à détecter qu'un autre processus tente de regarder qui il est et à l'en empêcher ou à lui donner de fausses informations afin de rester caché), difficile à conduire, et significative d'un test bien fait ?

Quels informations techniques sur les tests et les résultats sont publiées ?
Date du test, numéro de version de chaque binaire, numéro de version de chaque base de signatures, captures d'écrans, réglages des anti-trojans testés, logs produits, liste des parasites contenues dans la collection de test, nombre de détections par le scanner mais, surtout, nombre d'éradications par le scanner, balayage de tout un PC en sus de la collection de tests et nombre de faux positifs... Si aucune information n'est disponible, les résultats des tests sont sujet à caution.

Bien entendu, les antivirus, bases de signatures et code binaire, doivent être tous figés à une date et heure donnée, à la seconde près. Il faut donc obtenir toutes ces licences en même temps, tous les installer sur 12, 15 ou 20 machines, et lancer une mise à jour simultanée de tous les antivirus puis faire les "ghost".

Les antivirus doivent être tous réglés de la même manière. Il n'est pas question d'en régler un, que l'on souhaiterait enfoncer, en mode "superficiel" ou "rapide" ou "léger", et de régler un autre, que l'on souhaiterait promouvoir, en mode "parano".

Le tout doit être sauvegardé et reproductible (les "ghosts" et la collection de virus), en cas de plainte déposée par un éditeur d'antivirus écorné par le test.

Ce n'est pas à la portée d'un particulier, ni d'un site, ni d'une revue informatique.

Depuis 2008, les tests sont normalisés et étendent les test basés sur EICAR. Ils doivent répondre aux spécifications de :
AMTSO : "The Anti-Malware Testing Standards Organization" - (fondée en mai 2008).

Les laboratoires effectuant des tests significatifs sont, à l'exclusion de tout autre :


Quels tests comparatifs antivirus sont significatifs et crédibles ?Analyse de quelques tests comparatifs antivirusQuels tests comparatifs antivirus sont significatifs et crédibles ?

Un regard porté sur quelques tests comparatifs d'antivirus.

  1. Comparatif Antivirus 2012 : quel est le meilleur antivirus ? Clubic - 18 janvier 2012. ()

    Antivirus installés "out of the box" (sans aucun réglage car les utilisateurs sont des cons qui utilisent leurs antivirus tel quel). Le comparatif porte sur l'analyse "On-demand" d'une collection de 7009 "menaces". Nous sommes, là, devant le cas typique du test le plus imbécile qui soit. Il peut être conduit par un simple particulier n'y connaissant rien ! Ce genre de tests permet de tester la base de données (la base de signatures) de l'antivirus, pas l'antivirus ! Le test porte sur la technologie " Réactive " et le moteur "On-demand" des antivirus (l'analyse de fichiers), face à "une collection de parasites" récupérés à droite ou à gauche, donc une collection de trucs déjà connus pour être des virus, parfois depuis plusieurs années. C'est sans intérêt.

    La dernière phrase de leurs conditions de test (D'une règle générale,...) est complètement alambiquée et incompréhensible. Si on veut porter quelque chose à leur crédit, on peut tenter de comprendre cette phrase de la manière suivante : un test "On-access" a été conduit et tous les antivirus auraient été testés en accédant à 50 sites Internet piégés (probablement des exploitations de failles de sécurité conduisant à des "Drive by Download"). Chaque antivirus testé aurait été percé au moins 10 fois ! A moins qu'il ne faille comprendre qu'il s'agit d'un test de filtrage d'URLs, auquel cas cela n'a pas beaucoup d'intérêt car, d'une part, les antivirus se partagent les quelques bases d'URLs blacklistées, qui ne proviennent généralement pas d'eux mais de Google SafeBrowsing et quelques autres (Norton Safe Web, etc. ...) et des Internautes (tous les services de "Web Réputation" et "Sites de confiance") et, d'autre part, cela signifierait que les tests "On-access" n'ont pas été effectués, ce que je suis plutôt porté à croire.

    Les critères que Clubic utilise pour évaluer et comparer les logiciels antivirus. On-demand uniquement ! Sur leur site le 01 avril 2012 à 03h28.
    Les critères que Clubic utilise pour évaluer et comparer les logiciels antivirus.
    On-demand uniquement ! Sur leur site le 01 avril 2012 à 03h28.

  2. Comparatif Antivirus 2013 : quel est le meilleur antivirus ? Clubic - 22 février 2013. ()

    Mêmes remarques que pour leur test de 2012, ci-dessus. Celui de 2013 ne porte plus que sur 1644 virus connus, toujours en tests inutiles : technologie " Réactive " et moteur "On-demand" des antivirus (l'analyse de fichiers). Toutefois, il faut porter au crédit de Clubic, mouture 2013, qu'ils disent, dès la première page, que leur test n'est pas un test, et qu'ils laissent les tests aux spécialistes des tests.

    Clubic : Comparatif Antivirus 2013 : quel est le meilleur antivirus ?

    D'autres comparatifs réalisés par des laboratoires comme AV Comparatives, AV Test ou Dennis Technologies se concentrent davantage sur des résultats chiffrés. Nous réalisons certes un test de détection sur un nombre plus réduit de menaces collectées sur le web, mais nous n'avons pas l'ambition de nous substituer à des laboratoires dédiés à ces tests.


  3. Comparatif Antivirus 2014 : quel est le meilleur antivirus ? Clubic - 24 février 2014. ()

    La critique du comparatif antivirus 2012 de Clubic avait porté ses fruits et Clubic s'était abstenu d'en faire un de même nature en 2013. Mais la tentation est trop forte.

    • Il existe, côté presse informatique et sites informatiques, un marché (au sens économique du terme) des tests comparatifs : les tests comparatifs sont des machines à faire des acheteurs de revues, des visiteurs de sites et des trolleurs des forums.
    • Il existe, côté utilisateurs, un véritable culte du test comparatif.

    Donc, en 2014, bis repetita ! Oh ! Stéphane Ruscher commence bien son article par " On aimerait s'en passer, mais ils restent indispensables. " Donc, même chose que pour 2012, cette fois avec une collection de 10001 menaces.

  4. Antivirus payants 2012 : comparatif des versions et fonctionnalités. CNET France. 12 sept 2011. ()
    Euuhhh... Je ne sais pas quoi dire. C'est une collection de recopie des pages des éditeurs eux-mêmes d'antivirus, qui, chacun, compare les fonctionnalités des deux ou trois versions de produits qu'il a à son catalogue. En ce sens, le titre de l'article ne ment pas ! Il n'y a aucun test comparatif et il n'y a même pas de comparaison entre les produits des différents éditeurs. On tourne en rond indéfiniment dans une galerie d'images, avec des liens pour acheter, à l'image du CNET qui n'est qu'un vaste système marchand. C'est tout ! On ajoutera, à cela, le comportement suspect du CNET à propos de l'ensemble de ses téléchargements.
    A propos du CNET, lire nos articles :
    Ils utilisent des downloader
    Installation d'applications - Attention aux truc indésirables qui viennent avec.

  5. Comparatif Antivirus 2012. Guide Antivirus - 06 janvier 2012. ()
    Hallucinant. C'est un test subjectif d'utilisation ! On ne sait même pas si un test de la fonction antivirus des antivirus a été effectuée, comment, contre quoi, On-access ? On-demand ? C'est le flou total. Il faut lire leur prose.

    Les critères que GuideAntivirus utilise pour évaluer et comparer les logiciels antivirus. C'est hautement... technique ! Sur leur site le 01 avril 2012 à 02h55.
    Les critères que GuideAntivirus utilise pour évaluer et comparer les logiciels antivirus.
    C'est hautement... technique ! Sur leur site le 01 avril 2012 à 02h55.


  6. Comparatif des meilleurs anti-virus 2011 et 2012. ActuVirus - pas daté. ()
    Il faut lire les critères qu'ils utilisent pour évaluer et comparer les logiciels antivirus. C'est hautement... technique !

    Les critères qu'ActuVirus utilise pour évaluer et comparer les logiciels antivirus. C'est hautement... technique ! Sur leur site le 01 avril 2012 à 02h43.
    Les critères qu'ActuVirus utilise pour évaluer et comparer les logiciels antivirus.
    C'est hautement... technique ! Sur leur site le 01 avril 2012 à 02h43.


  7. Test Comparatif Antivirus 2011. ECI Média. Pas daté. ()
    Antivirus installés "out of the box" (sans aucun réglage car les utilisateurs sont des cons qui utilisent leurs antivirus tel quel). Le comparatif porte sur l'analyse "On-demand" d'une collection de 533 "menaces".

    Les critère de test et comparaison de ECI Média pour évaluer et comparer les logiciels antivirus. On-demand uniquement. Sur leur site le 01 avril 2012 à 03h35
    Les critère de test et comparaison de ECI Média pour évaluer et comparer les logiciels antivirus.
    On-demand uniquement. Sur leur site le 01 avril 2012 à 03h35

  8. Comparatif antivirus 2014 : Et les meilleurs antivirus sont... par Frederic Pailliot ()
    Il y a de quoi être admiratif devant la travail de Frederic Pailliot qui a passé des dizaines d'heures, si ce n'est plus, à tester plusieurs antivirus, une fois de plus. Si le test purement technique consiste en une analyse d'une collection statique de malveillances (dito le test de Clubic), sur une clé USB, Frederic Pailliot a manifestement utilisé chaque produit et a pris des notes. Faire ce travail seul est un travail de titan lorsque des revues de la presse écrite ou en ligne font la même chose avec des moyens bien plus important et du personnel. En ce qui concerne la validité technique du test, Fréderic Paillot dit, aves sincérité : " Nous n’avons pas vocation à nous substituer aux organismes indépendants de tests et aux professionnels de la sécurité qui effectuent des tests poussés mais orientés performance. Notre approche est volontairement celle d’un utilisateur en condition réelle, même si nous utilisons des malwares et des outils qui nous permettent d’observer le comportement des logiciels testés.".

Quelques questions à se poser à propos des tests comparatifs antivirusQuelques questions à se poser à propos des tests comparatifs antivirusQuelques questions à se poser à propos des tests comparatifs antivirus


  • Qu'est-ce que la personne ou la société qui publie le comparatif y gagne ?
    C'est le vieil adage policier : "chercher à qui le crime profite". Un test précis, de plusieurs antivirus, exige des mois de travail, à plusieurs, sur de très nombreuses machines. Personne ne se lance dans la conduite d'un tel chantier sans une bonne raison qui est, presque toujours, l'argent : augmenter les ventes de telle revue ou augmenter le nombre de visiteurs de tel site (et donc les revenus publicitaires). Il faut se poser cette question : Est-ce que l'objectif qui sous tend le test comparatif a pu influencer les résultats (est-ce que tel antivirus à été mis au pinacle car il est un gros annonceur publicitaire etc. ...) ?

  • Le comparatif est-il conduit par un acteur du monde de la sécurité informatique ?
    Si l'auteur du comparatif est lié, de près ou de loin, au monde des antivirus, même s'il s'agit d'une filliale éloignée ou d'une personne physique semblant agir à son compte alors qu'elle est employée ou actionnaire d'un éditeur d'antivirus, le comparatif est biaisé et l'auteur n'a aucune crédibilité. L'ensemble des tests, commentaires et comparatifs peuvent être mis à la poubelle. L'auteur ne doit avoir aucun lien avec aucun acteur de ce monde. La simple constitution d'une bibliothèque de parasites est déjà un énorme travail. Si cette collection est fournie par l'un de ces acteurs, le comparatif n'a aucune signification. Une forme de dépendance est celle de la presse informatique dont les versions d'essai des utilitaires leurs sont fournies gratuitement par les éditeurs eux-mêmes. Leurs tests sont forcément entachés de cette dépendance car aucun groupe de presse n'a les moyens financier d'acheter incognito tous les utilitaires sortant et de les maintenir à jour. Ils ne peuvent, en ce sens, dire du mal d'un produit sans être "punis" par la suppression de leurs ressources publicitaires. On a vu, en France, la quasi disparition d'une revue à cause de sa franchise.

  • Les tests et le comparatif sont-ils conduits par un acteur crédible et compétant ?
    Conduire des tests d'utilitaires de sécurité nécessite d'être du métier (informaticien connaissant la programmation, la sécurité, les classes de parasites appelés (abusivement) "trojans", les virus, les modes de propagation, de réplication, d'infestation, d'action...). Il faut se poser cette question : est-il compétant pour en parler

  • Les dernières mises à jour ont-elles été appliquées avant le test ?
    Par défaut, les antivirus sont livrés avec une base de signatures telle qu'elle était au moment de la publication de la dernière version du binaire de l'utilitaire. Les binaires étant relativement peu souvent modifiés, cette base de signatures est obsolette et, dès l'installation d'un antivirus, il faut mettre à jour cette base. Il s'agit d'un impératif critique lors d'un test. Toutes les bases de signatures de tous les produits testés doivent être mises à jour en même temps, à l'heure près, sinon le test est entaché de favoritisme ou d'inéquité.

  • La collection de parasites est-elle orientée pour favoriser un antivirus plutôt qu'un autre ?
    Cette question est parfois posée. Faut-il considérer un utilitaire qui n'est pas un virus lui-même, mais qui sert à générer des virus ou des chevaux de Troie, comme un parasite ? Faut-il considérer un document contenant un cours de fabrication de virus ou un cours de crack de carte bancaires ou un cours de vol de mots de passe sur AOL comme un parasite ? Bien entendu, les antivirus qui ne traitent pas une classe donnée de parasites contestent, mais un chef d'entreprise souhaite, au contraire, que son antivirus débusque ces outils et documents sur ses machines.

    Note
    Cette contestation a visé, par exemple, l'anti-spywares PestPatrol, dans les années 2001/2004. Cet outil de sécurité fit de l'ombre à beaucoup d'anti-trojans en ayant un spectre de parasites total alors que les autres anti-spywares, une classe d'outils naissante, ne ciblaient que quelques classes de parasites et que les antivirus ne ciblaient que les virus, une classe de parasites déjà en déclin. Il a, depuis, été racheté par Computer Associates (CA Technologies) qui l'a introduit dans son produit eTrust.

  • Amplitude de la collection de parasites de test.
    Certaines collections de parasites utilisées par certains pseudo tests sont constituées de parasites du laboratoire d'un éditeur d'anti-trojans qui ne sont détectés que par l'anti-trojan de cet éditeur. Ce genre de tests n'a aucune signification. Dans le même ordre d'idée, certaines collections restrintes ne permettent pas de tester efficacement les anti-trojans. Il n'existe pas, dans le monde des tests d'anti-trojans, une collection similaire à la WildList du monde des tests d'antivirus. Aujourd'hui, un test doit porter sur une collection d'au moins 5.000 parasites, cette collection n'étant pas fournie par un éditeur d'anti-trojans mais constituée par le testeur.

  • Quels tests ont été conduits ?
    Tous, absolument tous les tests d'anti-trojans consistent, comme pour les antivirus, à confronter les anti-trojans à une collection dormante de parasites et à compter les résultats en terme de détection. Il s'agit de scan à la demande ("On-demand"). Comme pour les antivirus il s'agit de la partie la plus triviale, la plus facile à conduire et la moins significative, que tous les anti-trojans doivent réussir à 100%. Un bon test doit porter sur

    • Capacité de détection en véritable "On-access" (recouvre une vaste gamme de dispositifs : crochetage des appels systèmes (les APIs), sandbox, analyses comportementales, analyses heuristiques). Par exemple, le module dit "temps réel" de Spybot Search and Destroy, appelé "Tea-timer", n'est pas un module "On-access".
    • Capacité d'éradication d'un parasite
    • Capacité de désinfection de programmes parasités tout en restituant ces programmes désinfectés dans leur état initial de fonctionnement (reconstruction du code)
    • Capacité de détection de parasites montés en mémoire (devenus des processus)
    • Capacité de détection de processus écoutant les frappes au clavier sans être dans les bases de signature (keyloggers)
    • Capacité de détection des tentatives d'injection de code dans les processus
    • Analyse sous toutes les techniques de compression et de compressions multiples mono ou multi algorithmes de compression, y compris les compressions UPX.
    • Analyse des listes blanches (tâches, filtres URLs...)
    • Analyse des listes noires (URLs...)
    • Tests de ports
    • Tests de mutex (synchronisation de threads dépendants d'autres threads et synchronisation de processus)
    • Tests de "class" de fenêtre
    • Tests de ressources consommées
    • ...

Lien permanentEn savoir plusEcrire
Les tests comparatifs "On-demand" sont-ils significatifs ?
On-access
On-demand
Proactive Technology (Détection proactive)
Reactive Technology (Détection réactive)
Crédibilité des tests comparatifs des antivirus
Avfs: An On-Access Anti-Virus File System - (CS Department, Stony Brook University - Août 2004)
Archives Assiste.com : le « Rosenthal's Antivirus Test »