Assiste.com
Organismes crédibles de tests et comparatifs : antivirus, autres produits de sécurité. Quel est le niveau de crédibilité de sources d'informations comparatives.
cr 01.04.2012 r+ 21.08.2020 r- 16.05.2024 Pierre Pinard. (Alertes et avis de sécurité au jour le jour)
|
Dossier (collection) : Encyclopédie |
|---|
| Introduction Liste Malwarebytes et Kaspersky ou Emsisoft (incluant Bitdefender) |
| Sommaire (montrer / masquer) |
|---|
Liste des organismes crédibles de tests et de comparatifs d'antivirus, suites de sécurité et autres produits de sécurité.
Cette liste exclue, évidemment, tous les pseudos tests et tests imbéciles faits par des particuliers ou par des organes de presses ou sites WEB, dont le but n'est pas de tester, mais de se faire mousser et gagner de l'argent en augmentant le nombre de visiteurs d'un site ou le nombre de ventes d'un magasine.
Il faut des mois, avec un laboratoire de tests comprenant beaucoup de matériel et beaucoup de personnel, pour conduire des tests crédibles puis élaborer des comparatifs crédibles.
Au regard de ce qui précède, toujours conserver son sens critique et se demander quel est le niveau de crédibilité d'une source d'informations.
.
|
1 Tests et comparatifs des antivirus Windows
Certains antivirus (pas tous) sont testés régulièrement par des organismes crédibles de tests et comparatifs antivirus, dont c'est le métier, les autres étant des comparatifs critiquables, voire imbéciles.
2 Prétention de tests et comparatifs d'antivirus avec des virus inconnus
Il est impossible de soumettre un virus inconnu à un panel d'antivirus, lors d'un test comparatif, pour la bonne raison que, par essence, le virus ou la menace (malware, exploit, etc.) inconnu est... inconnu ! Le testeur n'en a pas plus connaissance que les produits testés ! Seuls les virus et menaces (malwares, exploits, etc. ...) connus peuvent être soumis.
Un test comparatif qui prétendrait le faire est un test purement mensonger qui doit immédiatement rejoindre l'interminable liste des comparatifs d'antivirus sans aucune crédibilité (liste des comparatifs imbéciles d'antivirus).
Se souvenir à jamais du Rosenthal antivirus test.
3 Comparatif antivirus - Confrontation à la Wild List
La Wild List est la liste des virus réellement dans la nature au moment du test. Cette liste est maintenue et partagée par l'ensemble des grands acteurs cooptés du monde des antivirus. Les margoulins, vendeurs de rogues et fakes, ne peuvent approcher ce cercle très fermé de vrais professionnels. Par contre, certains développeurs de virus ou malveillances sont extrêmement brillants et peuvent tenir en échec des antivirus durant des années (voir, par exemple, Equation Group et Shadow Brokers).
Ces tests comparatifs sont effectués tous les mois sauf janvier et juillet où les moyennes des 5 mois précédents sont calculées.
Les graphiques suivants sont extraits de nos comparatifs antivirus. Il est important de lire nos sévères critiques de comparatifs antivirus imbéciles trouvés dans la presse et sur certains sites Web.
4 Comparatif antivirus - Confrontation à des malwares
Malwares est un mot générique pour nommer l'ensemble de toutes les classes de parasites et malveillances (on énumère des centaines de classes de malwares).
Ces tests sont effectués tous les 6 mois, en mars et septembre.
5 Comparatif antivirus juillet 2018 - Impact sur le système (ralentissement)
Impact (ralentissement) sur le système. Dans ces histogrammes, plus la barre est haute, plus l'impact (le ralentissement) est important.
Ces mesures sont effectuées tous les 6 mois, en avril et octobre.
 Comparatif antivirus - Impact sur le système - Avril 2016 |  Comparatif antivirus - Impact sur le système - Octobre 2016 |  Comparatif antivirus - Impact sur le système - Juin 2017 |  Comparatif antivirus - Impact sur le système - Octobre 2017 |  Comparatif antivirus - Impact sur le système - Avril 2018 |
6 Services d'antivirus pour cybercriminels
Il existe une foule de services multiantivirus gratuits en ligne, agissants dans le darkweb, reprenant l'esprit de VirusTotal et autres services multiantivirus gratuits en ligne, dédiés à la cybercriminalité. Ces services naissent et meurent à toute vitesse, et renaissent aussi vite sous un autre nom. Le but est, pour les cybercriminels, de mettre au point un virus qui ne sera pas détecté par aucun antivirus et, si le virus en cours de mise au point est détecté par un ou plusieurs antivirus, le cybercriminel corrige son code tandis que les antivirus de ces services multiantivirus pour cybercriminels ne communiquent pas les échantillons détectés aux autres antivirus utilisés, contrairement aux VirusTotal(plus de 70 antivirus en 2020) et autres services publics). Ces services multiantivirus en ligne pour cybercriminels sont payants (entre cybercriminels on n'est pas là pour s'entraider, mais pour se faire du fric), permettent aux cybercriminels de vérifier que les virus ou les malveillances qu'ils sont entrain de développer et s'apprêtent à lancer dans la nature, NE SONT PAS DÉTECTÉS, y compris par les analyses heuristiques et dans les sandbox (ou la virtualisation) des antivirus / antimalwares.
Les faiseurs de virus sont nombreux et actifs. Voir, dans la Liste des Outils Gratuits en Ligne (OGL) :
|
Pourquoi tous les outils de sécurité ne figurent-ils pas dans tous les tests et comparatifs existants ?
Nous avons déjà vu que ces tests et élaborations de comparatifs nécessitaient de gros équipements de laboratoire, avec beaucoup de personnel.
Les tests de performance (benchmarks) et les analyses comparatives (benchmarking) pratiqués par les organismes crédibles de tests et comparatifs ne sont pas gratuits. Les laboratoires facturent les éditeurs de solutions de sécurité.
Lors d'une interview remontant à janvier 2015, l'éditeur d'antivirus VirusKeeper nous donnait une information :
Coût des tests et comparatifs
« Un bench simple coûte environ 1.500€ H.T. Un bench "sur mesure" coûte environ 4.500 € H.T. et pour un bench complet de certification il faut prévoir un budget de l'ordre de 12.000€ H.T. ».
VirusKeeper, en janvier 2015, dans ce fil de discussion sur PCastuces.
On conçoit donc aisément que :
- Les éditeurs ne peuvent pas tous se payer annuellement 4 à 12 analyses par laboratoires chez une dizaine de laboratoires de tests, soit jusqu'à 120 fois 12.000 H.T.. Seuls les plus grands éditeurs peuvent se le permettre.
- À ce coût, seuls les plus grands et les meilleurs laboratoires sont sollicités.
|
L'emploi du terme « virus » est devenu habituel et facile pour désigner toutes les formes de menaces. Mais qu'en est-il des vrais « virus », ceux qui répondent à la signification historique de ce terme ?
Les virus « classiques » n'existent plus.
L'éditeur d'une solution antivirus et antimalwares Emsisoft, l'un des acteurs majeurs de la lutte contre les malveillances informatiques, écrivait, en 2012 :
« Notre laboratoire d'analyse a calculé que les virus classiques constituent moins de 0,5 % de la totalité des menaces. .../... « Emsisoft anti-malware » inclut toutes sortes de menaces, telles que les virus (0,5 %), logiciels de sécurité falsifiés (rogue) (0,5 %), publiciels (adwares) (2,7 %), applications possiblement malicieuses (PUP) (4,1 %), vers (worms) (4,6 %), logiciels malveillants financiers et voleurs de mot de passe (password stealer, fiching, spywares...) (5,3 %), enregistreurs de frappe (keyloggers) (6,9 %), portes dérobées (backdoors) (13,3 %) et chevaux de Troie (trojans) (61,3 %). »
Si l'on fait attention au nommage des solutions de sécurité proposées par les éditeurs, pratiquement plus aucune ne comporte le mot « antivirus » dans son nom. Mais, par simplification et avec le poids des habitudes, toutes sont qualifiées et classées à « antivirus ».
|
Comparatifs indépendants d'antivirus
Les capacités de protection des produits participants sont évaluées sur différentes plateformes.
Tests « en monde réel » (y compris ransomware)
Test de protection « réelle » dynamique du produit complet
Tests de mesures correctives
Test de suppression des programmes malveillants
Android et Mac
Analyse et test de la sécurité mobile sous Android
Analyse et test de la sécurité sous MacPhishing et ransomware
Test anti-phishing
Test de protection contre les logiciels malveillants
|
Il s'agit d'un groupe de recherches sous la tutelle du "GEGA IT-Solutions GbR" (René Gladis, Andreas Marx, Marc Schneider) et du "Project of the University of Magdeburg" (Otto-von-Guericke University Magdeburg). Son représentant et Andreas Marx. Cette organisation, dans le cadre du Projekt "Av-Test" conduit régulièrement des tests d'antivirus depuis février 2000. Ces tests sont conduits dans les laboratoires de recherches du "Workgroup Business Information Systems" dans les locaux de l'Institute of Technical and Business Information systems. Le laboratoire de tests de virus est constitué de 2 professeurs et d'une quinzaine d'étudiants travaillant régulièrement sur la réplication des virus ainsi que sur l'analyse et le test des antivirus. GEGA IT-Solutions GbR est une société de consultants en sécurité avec une spécialisation sur les incidents d'ordinateurs d'origines virales.
Les récompenses sont décernées aux solutions qui démontrent des résultats exceptionnels constants sur une année.
Tests « en monde réel » (y compris ransomware)
Certification bimensuelle : particuliers et professionnelsTests Android, Mac et contrôle parental
Test des produits de sécurité mobiles Android Test de détection et de performances pour Mac pour les entreprises et les particuliers
Test de contrôle parental pour Android, iOS et Windows
|
Organisme hongrois indépendant de tests d'antivirus créé à l'initiative du Ministère de l'éducation, de la Recherche et du Développement ainsi que du Ministère de l'Information et de la Communication. Ils délivrent une certification appelée "CheckVir" (qui existe en deux versions : Standard ou Avancée). Leurs tests sont privés (pour le compte de leurs clients) et les résultats publiés, qui ne sont pas comparatifs, sont anonymes (les produits testés sont appelés " A ", " B ", etc. ...).
|
Ce laboratoire est l'un des innombrables sites Internet du groupe de presse Dennis Publishing. Certains tests sont atypiques.
A fermé le 01.01.2016. Son directeur technique (et ancien Président du Conseil d'Administration du Testing Standards Organisation Anti-Malware (AMTSO), Simon Edwards, fonde SE Labs.
|
Tests et certification d'antivirus (et aussi anti-spam, anti-spywares, cryptographie, pare-feu matériel, pare-feu applicatifs, IDS, IPSec). Délivrent une certification « ICSAlabs Certification »
Cette certification de détection des menaces avancée évalue la capacité d'une solution à détecter des menaces nouvelles ou peu connues, tout en réduisant les faux positifs.
APT
Certification de détection des menaces avancées
Organisme Chinois. Quelques tests et comparatifs publiés en anglais.
- Tests de protection contre les programmes malveillants Android
- Tests de produits de sécurité des postes de travail
- Tests de solutions de sécurité entreprises / PME
- Tests privés, services de tests de supports.
La plus importante revue consacrée aux virus et antivirus.
Des études comparatives sont organisées pour évaluer plusieurs types de produits de sécurité et de passerelle sur différents systèmes d'exploitation.
Évaluation comparative et certification VB100
Évaluation comparative VBWeb
Tests et certifications d'antivirus. Délivrent une certification appelée « CheckMark ».
Ce laboratoire de tests est né dans la foulée de la fermeture du Dennis Technology Labs le 01.01.2016. Son directeur technique (et ancien Président du Conseil d'Administration du Testing Standards Organisation Anti-Malware (AMTSO), Simon Edwards, fonde alors SE Labs.
La méthode de test des menaces du monde réel en temps réel est utilisée pour comparer l'efficacité des produits et des services de sécurité des emails.
- Tests « en monde réel » (y compris ransomware et exploitation de failles)
Test de protection des terminaux pour les entreprises
Test de protection contre les programmes malveillants pour les particuliers
Test de protection des terminaux pour les petites entreprises - Protection des emails
Protection des services de sécurité des emails
Tests de certification, tests comparatifs, tests indépendants ponctuels, tests menés pour leurs propres travaux de recherches. Les évaluations commerciales confidentielles commandées par des particuliers sont exclues.
