악성코드/테스트

일반인 백신 테스트의 문제점

쿨캣7 2010. 10. 10. 22:12
728x90
반응형
인터넷을 돌아다니다보면 백신 프로그램 테스트 결과가 있는데 뜨아.. 하는 내용도 종종 봅니다.

그중 하나가....

- 세기의 대결! 알약과 하나포스 V3플레티넘이 제대로 싸웠다!! (2008년 4월 7일)
http://tvpot.daum.net/clip/ClipViewByVid.do?vid=79kfv0SQPpc$

다행히 V3가 좋게 결과가 나와서..
그냥 넘어갈까 했지만 (글쓰려니 귀찮기도하고....)

일반인(비전문가)의 백신 프로그램 테스트에는 문제가 없는지 잠깐 알아 보겠습니다


자.. 그럼 어떤 부분에서 문제가 있을까요 ?

우선 회사 이름도 잘못되었네요. 안철수바이러스연구소라고 나오는데.. 2000년에 안철수연구소로 변경되었습니다.
- 뭐.. 이부분은...

1. 테스트 제품 선정

알약 무료 버전을 사용했다면 동일 급이라고 할 수 있는 V3라이트(V3Lite)를 사용해야 맞겠죠.
물론 V3라이트가 2008년 말에 공개되었기 때문에 테스트 당시 동일 제품이 존재하지는 않습니다.
여기서는 테스트 당시의 제약이 있지만 의외로 테스트 제품 선정부터 문제가 있는 경우도 있습니다.

흡사...
자동차 테스트를 할 때 경차와 중형차를 비교하거나 심한 경우 승용차와 트럭을 비교 하는 것과 유사하겠죠.


2. 테스트 방식

테스트 방식이 두개 컴퓨터를 이것저것 이용합니다.
이미 여기서 문제가 발생합니다.

두개 컴퓨터에서 각기 다르게 이런저런 작업한게 다릅니다.
만약 두대 컴퓨터 중 하나는 알약을 하나는 V3만 설치했다면 테스트의 기본인 동일 환경에서 벗어납니다.

동영상만 봐서는 어떤지 알 수 없네요.



3. 진단 수의 함정

알약 43개, V3 93개 나왔습니다.
진단수만 보면 V3가 월등히 뛰어나구나 오해할 수 있습니다.




여기서 잠깐...
단순 진단수에서 문제가 발생할 수 있습니다.

예를들어 A 제품은 AAA와 BBB 악성코드를 진단하고 B 제품은 BBB와, CCC를 진단 한다고 가정해 보죠.

사용자 컴퓨터에 AAA라는 악성코드가 5개 있고 BBB라는 악성코드 1개, CCC 라는 악성코드가 1개 있다고 할 때 A제품은 6개, B 제품은 2개를 진단합니다. 단순히 진단수만 보면 A제품이 월등해 보이지만 사실 둘 다 엇비슷하다고 볼 수 있죠. 


동영상에서 잠깐 나온 V3 진단명을 보면 Win32/Nimda.B.eml.79232 가 다수입니다.


화면에서 보면 동일 악성코드만 이미 5개네요. 만약 알약에서 위 파일을 진단하지 못한다면 ....
분명 1개의 악성코드이지만 진단수는 여러개 차이나는 걸로 보일 수 있죠.

그리고, 진단된 파일이 정말 악성코드인지도 검증할 필요가 있겠죠. 하지만, 많은 테스트에서 이런 부분을 놓치는 경우가 많습니다.

사실 전문가들이 참가한 테스트에서도 공정성 문제가 다양하게 제기 됩니다.


인터넷에는 다양한 자료가 돌아 다닙니다. 관점에 따라 논란의 여지가 있는 경우도 있지만 미처 잘몰라서 발생 할 수 있는 오류 있는 자료도 많이 있습니다. 테스트 자료도 마찬가지 입니다. 어떤 테스트 결과가 있을 때 100% 믿지말고 한번쯤 의심(?)할 필요는 있습니다.




728x90
반응형