Technik
Möglicherweise übersteigt ein Test von Antiviren-Programmen die Möglichkeiten von Stiftung Warentest.
Möglicherweise übersteigt ein Test von Antiviren-Programmen die Möglichkeiten von Stiftung Warentest.(Foto: Stiftung Warentest)

Stiftung Warentest auf dem Prüfstand: Virenschutz-Test wertlos?

Wenn Stiftung Warentest ein Produkt für "gut" befindet, ist dies enorm verkaufsfördernd. Umgekehrt ist eine schlechte Bewertung verheerend fürs Geschäft. Auch der aktuelle Test von Antiviren-Programmen wird von vielen Nutzern aufmerksam gelesen. Experten bezweifeln allerdings den Wert der Ergebnisse. Sie kritisieren die Testmethoden der Stiftung als nicht mehr zeitgemäß.

Wenn ein Produkt von Stiftung Warentest geprüft und für "gut" oder "sehr gut" befunden wurde, kann man es bedenkenlos kaufen. Viele Deutsche vertrauen der 1964 gegründeten Verbraucherorganisation nahezu blind und sehr oft fällt eine Kaufentscheidung erst nach einem Blick auf die Testergebnisse der Stiftung. Bei den meisten Produkten ist das Vertrauen der Verbraucher auch absolut gerechtfertigt. Schließlich hat die Organisation über Jahrzehnte bewiesen, dass ihre Methoden in der Regel unbestechlich sind. Doch was IT-Produkte betrifft, mehren sich die Zweifel an der Kompetenz der Stiftung und der Relevanz der Testergebnisse.

Offline und virtuell

Jüngstes Beispiel ist der aktuelle Test von 18 Antiviren-Programmen, der vom Tech-Magazin "ZDNet" als "Pseudo-Test" bezeichnet wird. Der Autor fragt sich, warum Stiftung Warentest abgekoppelt vom eigentlichen Betriebssystem in einer virtuellen Umgebung, ohne Internetanbindung und mit einer geringen Anzahl von Schadprogrammen (1800) getestet hat.

"ZDNet" fragte bei Herstellern von Antiviren-Software nach. Deren Aussagen sind natürlich nicht als neutral einzustufen, die Argumente der Experten sind allerdings nicht von der Hand zu weisen.

"Wenn man sich den Test genauer anschaut, stellt man fest, dass es im Wesentlichen um die signaturbasierende Erkennung von inaktiver Schadsoftware ging", sagt Stefan Wesche von Symantec. "Das kann man testen, man sollte aber nicht den Fokus darauf legen." Er vermutet, dass es sich bei den verwendeten Viren um älteren Schadcode handelte, für den es schon Signaturen gibt. Allerdings griffen gut 75 Prozent des weltweit verbreiteten Schadcodes heute weniger als 50 Nutzer an. Eine in erster Linie auf Virensignaturen basierende Erkennung sei daher nicht sinnvoll.

"So hat man das vor zehn Jahren gemacht"

McAfee-Experte Toralv Dirro hält die Zahl von nur 1800 geprüften Schad-Programmen für problematisch. "Wir finden täglich mindestens 45.000 neue Malware-Samples", sagt er. Über alle Hersteller hinweg sind Erkennungsraten von 98 Prozent in anderen Tests festgestellt worden. Nimmt man wie die Stiftung Warentest nur 4 Prozent der täglich neu auftretenden Malware, dann ist allein aus Gründen der Statistik eine wirklich valide Aussage nicht möglich."

Vor allem kritisieren die Experten aber die Tatsache, dass praktisch ohne Internetverbindung getestet wurde. So etwas sei schon seit Jahren nicht mehr zeitgemäß. Verhaltensbasierende (heuristische) Virenerkennung oder andere Echtzeit-Schutzmaßnahmen seien wichtige Bestandteile moderner Schutzprogramme. Deshalb hätten bei Stiftung Warentest auch die Hersteller gut abgeschnitten, die "nicht in moderne Malwareerkennung investiert haben." McAfee-Spezialist Dirro: "So wie getestet wurde, hat man das vor zehn Jahren gemacht. Heute ergibt das keinen Sinn mehr. Warum wurde beispielsweise der Echtzeitschutz anders gewertet als ein Scan?"

Die Experten der Schutz-hersteller sind sich einig, dass die Tests von AV-Test und AV Comparatives wesentlich praxisnäher und aussagekräftiger seien. "Bei denen kann man auch damit leben, wenn man einmal schlecht abschneidet, denn man kann nachvollziehen, warum das so ist", sagt Trend-Micro-Vize Raimund Genes.

Stiftung Warentest widerspricht

Update: Der bei Stiftung Warentest zuständige Projektleiter Marcus Pritsch hat sich gegenüber n-tv.de zu den Vorwürfen von "ZDNet" und den Schutzprogramm-Herstellern geäußert. Er sagt, dass es im Test sehr wohl eine Internetanbindung gegeben habe: "Wir haben die Tests online und offline durchgeführt." Die Antiviren-Programme seien zwar tatsächlich auf virtuellen Rechnern installiert worden. Da aber einige Schadprogramme dies erkennen könnten, habe man für Stichproben Programe auch im Betriebssystem installiert.

"Um realistisch zu testen, haben wir die Programme standardmäßig installiert, wie es Nutzer machen würden. Wir haben also keine eigenen Einstellungen vorgenommen", sagt Pritsch. Sei eine heuristische, also verhaltensbasierte Erkennung aktiviert gewesen, sei sie auch eingeschaltet geblieben.

Die meisten Test-Schadprogramme seien zwei bis drei Monate, höchstens aber sechs Monate alt gewesen. "Einige waren auch tagesaktuell." Um nicht nur die Erkennung bekannter Signaturen zu prüfen, habe man im Test auch bekannterweise verseuchte Webseiten besucht, wo beispielsweise Drive-by-Download-Fallen lauerten. Die mit 1800 relativ geringe Zahl an eingesetzter Malware erklärt Pritsch dadurch, dass man wirklich nur unterschiedliche Typen von Schadprogrammen verwendet habe und keine Modifikationen, das heißt leicht veränderte Programme.

Quelle: n-tv.de

Empfehlungen