Jak porovnávat antivirové programy?
K tomuto zamyšlení mě přiměla diskuze ke článku o AVG 8, která se rozproudila poté, co uživatel Damel přinesl sbírku virů, na které lze antiviry „testovat“. Je takový způsob rozumný? Jak testují antiviry profesionálové? Co je to AMTSO? Odpovědi dá tento článek.
Na první pohled je vše jasné - vezmu sbírku virů pochytanou všemi možnými antiviry, udělám balíček a na tom testuji. Za tímto přístupem se skrývá několik „ale“. Je způsob testování, tj. výchozí podmínky, pro všechny stejné? Má smysl testovat i mrtvé fragmenty virů či vzorky, které se již nevyskytují? Jak oddělit adware od virů? Je lepší preciznější test s falešnými poplachy nebo naopak? Jak důležitá je rychlost antiviru?
V současnosti existují dva hlavní poměrně uznávané testy antivirových řešení:
Virus Bulletin
Jedná se o časopis založený v roce 1989 ve Velké Británii, který zveřejňuje přibližně jednou za dva měsíce test antivirů na nějaké z platforem. Windows XP budou například na pořadu dne v srpnu 2008. Modlou se přitom stalo označení VB100, které získá antivir se stoprocentní detekcí „in the wild“ virů (on-demand i on-access) a to bez žádného falešného poplachu.
AV-comparatives
Druhým testem je projekt Andrease Clementiho z Rakouska, který provádí opakovaně dva testy - Retrospective/ProActive Test a On-demand comparative. Druhý test je zřejmý, zajímavý je především ten první, který se soustřeďuje na schopnosti heuristické analýzy a proaktivních metod antivirů, kdy k nějakému datu zakonzervuje databázi signatur, po čase předhazuje nové viry a zkoumá, zda se antivir s novinkami vypořádá. Jen pro zajímavost: od roku 2008 server neposkytuje své služby zdarma a vytvořil alianci s Anti-Malware Test Lab.
Mezi další známé testery patří maďarský checkvir.com nebo lepší německý AV-Test.org.
Je zajímavé, jak málo lidí se angažuje v „redakcích“ obou hlavních testů. Že tyto testy i přes svou oblíbenost (nebo spíše osamocenost) nejsou tím nejlepším počinem, mi potvrdil i Petr Odehnal z AVG Technologies:
„S testy je to až taková bída, že jsme se rozhodli založit nezávislou organizaci, která by s tím mohla trošku pomoci. Účastní se toho většina testerů i AV výrobců, první schůzka proběhla koncem ledna v Bilbau, schůzky pracovních skupin budou během 14 dnů v Amsterdamu, uvidíme jak to dopadne.“
AMTSO
Zabrousil jsem tedy na stránky AMTSO (Anti-Malware Testing Standards Organization), kde se píše, že jde o organizaci, která chce „pomoci zvýšit objektivitu, kvalitu a relevanci testů antimalwarových technologií“. Členy sdružení mohou být všichni, kteří dodrží vnitřní směrnici organizace, typicky má jít o výrobce a dodavatele antivirů, recenzenty, testery i akademickou sféru. Cílem je řešit stále větší nesrovnalosti mezi tím, co antimalware skutečně dělá, co je pro jeho kvalitu důležité, a testovacími metodami, které se je snaží hodnotit.
Mezi zapojenými organizacemi do projektu nalezneme i nám známý Alwil Software, AVG Technologies, ESET, Microsoft a v podstatě všechny další významné hráče na poli bezpečnosti. Zástupci společností stručně uvádějí i své důvody pro participaci na projektu. Rozhodně doporučuji zájemcům stránku navštívit.
Oslovil jsem také Pavla Baudiše z Alwil Software, který k testování antivirů poznamenal toto:
Kvalitní testováni je dnes velice složitý úkol, který podle mého soukromého názoru nezvládá nikdo na světě. Problém je v tom, že musíte mít kvalitní, ověřenou databázi malware, kterou je dnes třeba neustále doplňovat o ověřené nové vzorky (> 20 000 měsíčně), k tomu musíte testovat a v rozumném čase publikovat výsledky, které musí být metodicky správné a opakovatelné. Opravdu nic jednoduchého a laciného.
Řada testerů (např. VB) to vyřešila tak, ze testuje jakousi omezenou množinu malware, což ale nemá velkou vypovídací schopnost - aspoň jsou schopni zaručit rozumný čas publikace a opakovatelnost.
Jiní zase testují na všem, co dostanou (je v tom spousty garbage), pak pošlou AV firmám to, co nechytly, ty protestují, ze X a Y nefunguje, a tak se testerovi sbírka aspoň trochu vytřídí a práci za něj udělají AV firmy.
ZOO sbírka v diskuzi
Vzorek virů, který se objevil v naší diskuzi, a testy nad ním prováděné, představuje přesně takový způsob, jaký provádí například www.virus.gr a který odborníci považují za neprůkazný.
Petr Odehnal se na naši zoo-sbírku rychle podíval:
1) Podle obsahu je to sbírka DOSových vymřelin a podle většiny použitých jmen je to založeno na slavné WCIVR kolekci, takže bych to datoval tak k roku 1993-94.
2) Kolekce obsahuje značné množství stejných souborů, které se pouze jinak jmenují. Konkrétně 424 souborů je tam dvakrát, 134 třikrát, 19 čtyřikrát, 4 pětkrát a jeden dokonce šestkrát.
Když vyházím ty duplicity a vyházím zjevně zcela nesmyslné soubory:
Pet.asm, .obj, .map, druid, scrunch.asm, com.ccc, comm.ccc, mndrt2_.ans, MATTHEW.DOC, REDHRNG.DOC, TMTMID.TXT, chklist.ms, tak dostanu 2952 unikátních souboru.
Kolik z toho jsou skutečně živé vzorky a kolik z toho jsou poškozeniny je druhá otázka. Typicky třeba TIME.COM začíná E9 81 20 ale má 455 bajtu, takže jeho první instrukce je JMP, který vede do oblasti za zavedeny image.
V každém případě se dá říct, že výsledky testu na teto sadě dají o kvalitě AV enginu přibližně stejnou představu jako čísla získaná házením kostkou. :-)
Pavel Baudiš se k „našemu testování“ vyjádřil podobně:
Takový test nemá vůbec žádný smysl - podobné sbírky obsahují neuvěřitelné množství „smetí“ - tj. falešných poplachu (většinou jednoho programu, který používá jeho autor), vadných programů, částečně „vyléčených“ programu a podobně. Navíc její velikost je většinou omezena, takže vypovídací schopnost se limitně blíží nule.
O kvalitě dnešních antivirů si myslí následující:
Řekl bych, že z hlediska detekce je nejlepších řekněme pět až deset programů na tom docela stejně a srovnatelně - někdy je lepší ten, jindy onen, žádný nechytá 100 % věcí, které jsou mezi uživateli.
Pak samozřejmě nabývají vliv další věci: rychlost reakce, velikost aktualizací (a to, jestli se tahají automaticky), stabilita, kompatibilita a náročnost na zdroje a podobně.
Zajímavé je, že jsem nikde neviděl, že by měřítkem kvality byla schopnost odstraňování virů. Dle mých uživatelských zkušeností je podstatný rozdíl mezi tím, zda je škůdce odhalen a zda jej antivirový software dokáže i zneškodnit (včetně toho důvodu, že jde o falešný poplach). Na internetu je celá řada diskuzí, kde se uživatelé potýkají s trojskými konmi, které blokují antivirový software, zastavují jeho procesy, zapisují do systémového adresáře, do registrů, používají stealth techniky, pouští více svých procesů, které se navzájem kontrolují apod. Málokterý antivir se dokáže se všemi projevy malware vypořádat a správně je odstranit. To by dle mého názoru měl být další aspekt hodnocení antimalware produktů.
Děkuji Damelovi za zoo-sbírku, která dala vzniknout tomuto článku. Vzhledem k výhradám k tomuto typu testování antivirů zde nebudu přepisovat seznam dosažených výsledků, který najdete v diskuzi a nechám na Vás, zda a jak v tomto testu budete pokračovat.
Zdroje a zajímavé odkazy:
