Nos conseils pour bien comprendre les tests comparatifs antivirus

Nous respectons le droit des utilisateurs de choisir une solution antivirus fiable. C’est pourquoi Kaspersky Lab participe à presque tous les tests indépendants reconnus par l’industrie : après tout, quand les utilisateurs veulent comparer des solutions de sécurité, ils vont utiliser les résultats de ces tests. Mais il est important de comprendre ce qui se cache derrière chaque logo « approuvé » ou « certifié ».

Bien sûr, chaque vendeur affirmera que son produit est le meilleur. C’est pourquoi, au moment de choisir entre plusieurs solutions de sécurité célèbres, un utilisateur ne devra pas seulement regarder les  arguments et les déclarations de chaque développeur, mais aussi les analyses indépendantes. De nombreuses compagnies passent leurs journées à réaliser des tests de solutions antivirus, de firewalls, de systèmes de protection proactive et autres composants de sécurité qui sont désormais intégrés dans les suites de protection complètes utilisées par les particuliers et les entreprises. Chaque laboratoire de tests a son propre système d’évaluation et sa méthodologie, il est donc important de comprendre ce que valent leurs « prix » et ce que vous pouvez attendre d’une solution certifiée. Nous vous décrivons brièvement les systèmes d’évaluation des laboratoires indépendants les plus célèbres : AV-Comparatives, AV-TEST, Dennis Technology Labs et VirusBulletin.

Le test principal

La chose la plus importante évaluée dans les laboratoires de test (et qui est difficile à évaluer à la maison) est la qualité de la protection anti-malware (protection contre les virus). Deux approches principales sont pour cela utilisées – « monde réel » et « classique » – et une combinaison des deux est parfois utilisée.

Aujourd’hui, de nombreux experts pensent que le test « monde réel » est le plus important pour les utilisateurs. Il simule des situations où des sites Web malveillants ou infectés ainsi que des pièces jointes d’e-mail sont ouverts sur un ordinateur protégé et ils calculent ensuite le pourcentage de menaces détectées et bloquées avant qu’elles ne pénètrent le système. L’avantage de cette méthode est son habilité à vérifier toutes les technologies de protection intégrées dans le produit (et elles sont de nos jours nombreuses) en utilisant les menaces les plus récentes.

Il existe plusieurs variations de l’approche classique, mais le test est généralement effectué de la manière suivante : une analyse de virus est réalisée sur un dossier contenant des milliers de fichiers et qui contient des centaines voir même des milliers de programmes malveillants actifs de différents types. Idéalement, la solution devrait détecter 100% des fichiers malveillants. Un autre paramètre important, qui peut être évalué simultanément, est le pourcentage de faux positifs. Les fichiers « propres » contenus dans  le dossier doivent être ignorés, afin d’atteindre le taux idéal de 0%.

 Éléments additionnels importants

Même la plus fiable des solutions antivirus ne peut garantir une protection à 100%. Savoir détecter les virus n’est pas suffisant – une solution antivirus doit être capable de traiter l’ordinateur infecté si, par exemple, une infection a déjà pénétré la machine. C’est important car selon les statistiques de Kaspersky Lab, 5% des solutions antivirus sont installées sur des ordinateurs déjà infectés. En outre, les erreurs des utilisateurs peuvent aussi aider les malwares à accéder à l’ordinateur.

Dans l’idéal, l’antivirus ne devrait pas ralentir le système et ne devrait pas déranger l’utilisateur avec des demandes et des avertissements fréquents indiquant l’activité du programme car cela dérange les utilisateurs et cela ralentit l’efficacité de la protection car les utilisateurs finissent par ignorer les fenêtres pop-up.

AV-Comparatives

Le laboratoire AV-Comparatives réalise des tests séparés pour évaluer les fonctions les plus importantes : la protection dans le monde réel, la détection de fichiers infectés (test classique), les performances et bien d’autres. Une fois par an, basé sur tout ses tests, AV-Comparatives annonce son « Produit de l’Année »  ainsi que ses médailles d’or, d’argent et de bronze dans chaque test. Mais si vous ne voulez pas attendre la fin de l’année, vous pouvez vous faire une bonne idée de l’efficacité d’un produit en regardant les résultats de 2 à 5 tests différents. Les plus intéressants sont le test « monde réel » et l’évaluation des performances. Les faux positifs réduisent le score du premier test. Les meilleures solutions reçoivent un certificat Advanced +. Celles qui ne sont pas aussi parfaites reçoivent un certificat Advanced alors que les autres recevront des badges « Standard » et « Testé ». Chaque mois, AV-Comparatives publie des résultats intermédiaires de son test « monde réel » qui contient des informations sur les menaces actuelles que toutes les solutions antivirus ont été capables de bloquer. Le niveau de protection le plus bas, qui peut être fourni par le système intégré Windows Defender ou Microsoft Security Essential bloque environ 90% des menaces. Les leaders du marché se battent souvent pour un centième de point et obtiennent des résultats compris entre 95 et 100%. Kaspersky Internet Security a bloqué 100% des menaces dans le dernier test « monde réel ».

AV-TEST

Jusqu’à récemment, la certification AV-TEST était délivrée une fois tous les deux mois et elle était composée de trois catégories de tests : Protection, Réparation et Facilité d’utilisation. Chacune des trois catégories était notée de 1 à 6. Une solution qui obtenait un total de 11 points ou plus recevait un certificat.

Néanmoins, cette année, les tests ont été modifiés et il est désormais bien plus facile d’obtenir un certificat. Avant, des facteurs tels que le taux de détection, le taux de réparation, le nombre de faux positifs et le niveau de ralentissement du système étaient pris en compte. Cette année, la catégorie Réparation a été retirée et le score minimal pour obtenir un certificat a été descendu à 10 points. Cela signifie qu’une solution antivirus certifiée en 2013 sera peut-être incapable de réparer un système infecté. Kaspersky Anti-Virus a reçu les prix et les certificats AV-TEST avant ces changements. Il sera maintenant encore plus facile pour les solutions médiocres d’obtenir la certification du laboratoire. Vous pouvez en lire davantage sur les raisons de ces changements de règles de certification sur le blog d’Eugène Kaspersky.

Dennis Technology Labs

Le laboratoire de tests britannique dirigé par Simon Edwards est depuis longtemps spécialisé dans les tests d’antivirus dans le « monde réel ». Dennis Labs publie des rapports trimestriels pour différentes catégories de produits – protections pour les particuliers, SOHO et autres grandes entreprises.

La méthodologie de certification mérite d’être soulignée, car elle a été créée en accord avec les recommandations de l’association internationale AMTSO. De nombreux facteurs affectent les résultats finaux : la capacité à détecter les malwares, la capacité à traiter les infections, la fréquence de faux positifs. Chaque facteur a son propre poids et le résultat final indique assez précisément la qualité du logiciel antivirus dans le monde réel.

Dennis Labs diversifie également ses compétences en ajoutant de nouveaux tests – à la fin 2012, Dennis Labs a commencé à tester la fonctionnalité de contrôle des applications des anti-virus corporatifs.

Virus Bulletin

L’une des ressources les plus anciennes et des plus respectées dans le monde des antivirus, qui est apparue en 1989 sous forme d’un magazine, et qui réalise ses propres tests antivirus et remet ses certificats, connus sous le nom de VB100.  Seules les solutions qui détectent 100% des menaces et obtiennent 0% de faux positifs reçoivent ces certificats. Virus Bulletin conduit des tests classiques plutôt qu’en « environnement réel »; les produits doivent analyser une série de fichiers contenant une petite quantité de virus actuels. Un produit de bonne qualité atteindra les 100% assez facilement. Par exemple, les résultats d’Avril ont montré que 29 des 67 solutions testées avaient réussi le test. Malheureusement, la certification VB100 ne prend pas en compte la qualité des performances et des réparations, ce qui rend l’évaluation d’un produit impossible. Le consommateur doit garder à l’esprit une autre caractéristique du prix VB100 – le logo peut être utilisé par les développeurs de solutions même après avoir obtenu uniquement une certification basique. C’est pourquoi nous vous recommandons d’utiliser un tableau de résultats, qui vous fournira un aperçu rapide des derniers tests.

Autres tests

Nous avons seulement mentionner quatre laboratoires célèbres qui testent les logiciels antivirus, mais il en existe bien d’autres qui effectuent un travail similaire, sans mentionner les tests réalisés par les magazines et les autres sources d’informations comparatives. Ces tests sont très différents en matière de qualité et d’exhaustivité – comme nous l’avons déjà mentionné, même les laboratoires leaders n’aspirent pas forcément à la qualité la plus haute. Par conséquent, si vous êtes intéressé par un test en particulier, nous vous recommandons de vérifier comment il a été effectué. Les principaux fournisseurs ont-ils tous participé à ce test ? Qu’elle était la taille de la série de fichiers sains et de fichiers infectés ? Tous les éléments clé indiquant la qualité d’une solution antivirus ont-ils été pris en compte ? Et enfin, quel genre de résultats permet d’obtenir le prix le plus important ? Si plus d’une douzaine de solutions ont reçu la distinction la plus haute, c’est que celle-ci a été donnée trop facilement.