LINKS

 

 

[回首页]

CHIP的测试公正完美吗?

当然,我并不是说反病毒产品的功能,资源占用等并非不重要,我只觉得脱离了其最根本的反病毒能力讨论这些没有意义。那么就是抛开这些从CHIP测试内容本身来看,也存在着大量不严谨之处,横向测试必须有一个公平的基础,而对于杀毒这样软件专业性比较强的产品的话,构筑公平的基础,也需要比较丰富的相关专业知识。应该说CHIP测试工程师表现的功底不足。

举一个突出的例子,譬如说CHIP这次测试对扫描速度的统计,应该是毫无价值的。杀毒软件的扫描速度与扫描机理、扫描对象,可检测病毒数量都有关系、包括本身的行为定义都有很大关系。比如,如果两个软件扫描机理相同,但一个能查千余种病毒,一个能查2万种病毒,来比查毒速度,就好比用两列火车完全通过一个涵洞的时间来比较火车速度,但一列火车有一百节,另一列火车有十节,如果直接用绝对时间来对比,不是很可笑么?因为无论如何,前者至少会比后者慢一些。当然这里的机理稍微复杂一点,也并非就是与病毒库数量直接成正比。不过从目前国内一些反病毒产品的反病毒数目能力来看确实与国外产品相差一个数量级。

另外一个单纯采用特征码扫描机制的产品和一个采用特征码和启发式扫描结合的产品的扫描速度就没有可比性。即使比较也应该在后者关闭掉所谓启发式扫描或者所谓代码分析的选项后才有比较的价值。事实上,CHIP所推崇的两款软件在启发式扫描方面都并不成熟。另外就是与扫描的对象有关,比如CHIP所选的扫描对象包括WINDOWS系统目录,但WINDOWS目录下有大量CAB、ZIP,等格式的压缩文件,如果杀毒软件选择的查压缩包的话,那么可以解CAB格式的杀毒软件就要比不能解CAB格式的慢一些,假定一种杀毒软件根本就没有查压缩包的能力,那就有可能最快。大家看,这合理么?

同样的,监控程序对COPY文件的影响也与扫描机理等有关,所以单纯比较速度是没有价值的。如果需要比较的话,就必须在了解软件结构的基础上(甚至包括部分逆向工程工作的基础上)进行一个合理的加权。

  再逐次说一下,CHIP现有测试体系的不合理性,先说所谓功能部分,首先是加权值的不合理,对10个方面是采用平均的态度,但实际上这些加权应该做的更准确一些,比如至少实时监控的权重是理应要比定时扫描重得多的。另外,刚才已经说了,实时监控决不是简单的有无的问题,还有机理和质量的问题,某个国内软件实时监控程序曾经出现过一个问题,就是在监控条件下运行带毒程序,虽然弹出报警,但病毒仍然感染其他文件,这实际上是所采用监控机理是有问题的。

  另外就是说多平台的问题,由于一些产品对某些SERVER平台是单独作为产品的,所以这样的比较似乎没有什么意义,值得指出的是,国内某些反病毒厂商在平台的问题上,有一些说法是不能让人赞赏的,比如某软件一直宣称其是FOR DOS/95的,事实上对程序设计知识有一定了解的人都明白,这种所谓的FOR 95事实上只是利用95对DOS的兼容性,能在95下运行而已,其实FOR 95和在95中能运行是两个概念。另外该软件曾经宣称的FOR NOVELL,也是利用NOVELL工作站的DOS兼容性,而真正意义上的,NOVELL反病毒产品至少应当是个服务器端的NLM模块,这样才有意义。国内另一杀毒厂商宣称其解决了工作站版软件不能在服务器上运行的世界难题,应该说更令人有些啼笑皆非,具体解释不免罗嗦,不过我要提醒相关用户的是,单机产品可以在SERVER上运行,并不代表单机产品可以代替FOR SERVER的产品。

DOS平台的产品涉及到了启动磁盘的问题,就我私下了解,任何商用产品,如果在产品中采用微软的三个系统文件(io.sys、msdos.sys、command.com)引导,是要向微软支付一定费用的。国外一些反病毒企业,是采用这样的思路来回避这一价格不菲的支出。就是提倡用户制作应急盘,当用户生成应急盘时,也把用户自己机器上系统文件传递到应急盘上,只要用户本身是MS系统的正版用户,他的这一行为就是合法的,而用户如果是盗版用户,用户行为本身和反病毒软件公司也没有关系。国内的产品一般都是提供软盘启动的,我不了解他们是否向MS支付了相关费用,但愿希望别人尊重他们版权的公司,也能尊重别人的版权。

所以,多数国外产品包装中是不包括启动盘的,但并不是说他们没有FORDOS的产品,部分产品的FOR DOS版本就生成到启动盘中,而且这些杀毒公司一般认为这样的FOR DOS版本是FREE的。

  再从资源及速度一章来看,关于扫描速度和COPY速度的问题前面已经说的比较明了了,另外就是对于系统资源占用的计算来看,不知CHIP的测试工程师是采用一些比较专业的系统测试工具还是简单的采用类似控制面版/系统/性能/系统资源的方法,作者没有说,但至少后者这样的方法是不科学的。

  另外对启动速度的影响,决不仅仅是软件自身监控程序的启动速度,这与该软件启动后扫描那些东西有关。如果对机理没有认识,单纯比较速度也没有意义。

  在升级服务中,有一个主要的问题,就是以病毒库升级文件大小来作为一个评分标准,这是不合理的。其实,作者在这里列举的病毒库升级文件,一般都是自某一版本起的累计病毒库,国内外大部分公司也都是发布类似的累计病毒库,只有AVP等少数公司还发布一套每周升级的病毒库。

  那么这就涉及到一个重要的问题,有的厂商有遍布全球的反病毒监控网络,所以得到的病毒很多,而有的厂商没有这样的网络,得到的病毒必然比较少,那么一个包含2000种病毒特征和杀毒参数的升级文件,原则上要比一个包含200种病毒特征和杀毒参数的升级文件大很多,结果CHIP测试就会导致这样的结果,反病毒网络越不发达,收集到病毒越少的公司,本项测评分数就越高。

升级文件的大小也取决于反病毒数据库的结构是否合理,病毒特征和清除参数的描述是否巧妙,大家都赞叹AVP的小巧,这更主要是其病毒库所采用的一系列算法。而国内还有反病毒产品依旧采用上千个子程序而不是反病毒引擎和反病毒库的结构,那么对此也就没有讨论的价值了。

(YESKY,2000-07-19)