인터넷을 돌아다니다보면 백신 프로그램 테스트 결과가 있는데 뜨아.. 하는 내용도 종종 봅니다.

그중 하나가....

- 세기의 대결! 알약과 하나포스 V3플레티넘이 제대로 싸웠다!! (2008년 4월 7일)
http://tvpot.daum.net/clip/ClipViewByVid.do?vid=79kfv0SQPpc$

다행히 V3가 좋게 결과가 나와서..
그냥 넘어갈까 했지만 (글쓰려니 귀찮기도하고....)

일반인(비전문가)의 백신 프로그램 테스트에는 문제가 없는지 잠깐 알아 보겠습니다


자.. 그럼 어떤 부분에서 문제가 있을까요 ?

우선 회사 이름도 잘못되었네요. 안철수바이러스연구소라고 나오는데.. 2000년에 안철수연구소로 변경되었습니다.
- 뭐.. 이부분은...

1. 테스트 제품 선정

알약 무료 버전을 사용했다면 동일 급이라고 할 수 있는 V3라이트(V3Lite)를 사용해야 맞겠죠.
물론 V3라이트가 2008년 말에 공개되었기 때문에 테스트 당시 동일 제품이 존재하지는 않습니다.
여기서는 테스트 당시의 제약이 있지만 의외로 테스트 제품 선정부터 문제가 있는 경우도 있습니다.

흡사...
자동차 테스트를 할 때 경차와 중형차를 비교하거나 심한 경우 승용차와 트럭을 비교 하는 것과 유사하겠죠.


2. 테스트 방식

테스트 방식이 두개 컴퓨터를 이것저것 이용합니다.
이미 여기서 문제가 발생합니다.

두개 컴퓨터에서 각기 다르게 이런저런 작업한게 다릅니다.
만약 두대 컴퓨터 중 하나는 알약을 하나는 V3만 설치했다면 테스트의 기본인 동일 환경에서 벗어납니다.

동영상만 봐서는 어떤지 알 수 없네요.



3. 진단 수의 함정

알약 43개, V3 93개 나왔습니다.
진단수만 보면 V3가 월등히 뛰어나구나 오해할 수 있습니다.




여기서 잠깐...
단순 진단수에서 문제가 발생할 수 있습니다.

예를들어 A 제품은 AAA와 BBB 악성코드를 진단하고 B 제품은 BBB와, CCC를 진단 한다고 가정해 보죠.

사용자 컴퓨터에 AAA라는 악성코드가 5개 있고 BBB라는 악성코드 1개, CCC 라는 악성코드가 1개 있다고 할 때 A제품은 6개, B 제품은 2개를 진단합니다. 단순히 진단수만 보면 A제품이 월등해 보이지만 사실 둘 다 엇비슷하다고 볼 수 있죠. 


동영상에서 잠깐 나온 V3 진단명을 보면 Win32/Nimda.B.eml.79232 가 다수입니다.


화면에서 보면 동일 악성코드만 이미 5개네요. 만약 알약에서 위 파일을 진단하지 못한다면 ....
분명 1개의 악성코드이지만 진단수는 여러개 차이나는 걸로 보일 수 있죠.

그리고, 진단된 파일이 정말 악성코드인지도 검증할 필요가 있겠죠. 하지만, 많은 테스트에서 이런 부분을 놓치는 경우가 많습니다.

사실 전문가들이 참가한 테스트에서도 공정성 문제가 다양하게 제기 됩니다.


인터넷에는 다양한 자료가 돌아 다닙니다. 관점에 따라 논란의 여지가 있는 경우도 있지만 미처 잘몰라서 발생 할 수 있는 오류 있는 자료도 많이 있습니다. 테스트 자료도 마찬가지 입니다. 어떤 테스트 결과가 있을 때 100% 믿지말고 한번쯤 의심(?)할 필요는 있습니다.




Posted by mstoned7

댓글을 달아 주세요

  1. 전 말입니다. 2010.10.11 03:00  댓글주소  수정/삭제  댓글쓰기

    동급에서 성능을 비교하자면 경차vs경차겠지만,
    급간의 성능차를 비교하자면 경차vs수퍼카겠죠.
    비교 목적이 무엇이었는지에 따라서 무료vs유료 비교도 가능하다고 봅니다.
    자동차라면 경차vs수퍼카의 차이는 초등학생도 알기에 비교할 필요도 없겠지만
    무료vs유료 백신간 성능차이가 있다vs없다는 역시 충분한 논란거리이므로.

  2. 초록별 2010.10.11 12:27  댓글주소  수정/삭제  댓글쓰기

    얼마전...김홍선ceo님 인터뷰를 보니...
    백신을 무엇을 쓰는가가 중요한 것이 아니라...어차피 약간의 숫자 차이는 무의미할 뿐...
    ...
    어떻게 보호하고 관리하는지가...
    더 중요하다는 말씀을 하시던데요?...
    ...
    실제로...백신 안 깔렸어도 검사해보면 깨끗한 경우도 있지만...
    백신 설치 및 업데이트해도...관리 안 하는 경우, 바이러스나 스파이웨어(또는 가짜 백신) 투성이인 경우도...많더군요^^;

    • 하나뿐인지구 2010.12.04 12:13  댓글주소  수정/삭제

      존알람만 쓰다가 코모도도 설치해봤는데,
      둘다 동시 사용 가능하네요?
      ...
      코모도는 세부 설정이 많고 일일이 해줘야하는 점이
      장점및단점일 듯...
      (며칠전 설치하고...포트랑 다른 거 대충 설정ㅋㅋㅋ...
      is2007과 aps...전전 acs쓰는 것 같아서...괜찮네요ㅎ...)
      ...
      존알람은 차단 및 어플관련이 장점인 듯...

  3. 카레 2010.10.15 12:50  댓글주소  수정/삭제  댓글쓰기

    초록별님 의견에 동의합니다.

    실제로 보안 패치 만 잘해주고 기본 수칙만 잘 지킨다면은 자기 컴퓨터를 안전하게 지킬수 있습니다.


VB100 2009.6 결과가 나왔다.

아쉽게도 오진이 발생해서 통과에는 실패했다. 해당 오진은 제품 제출하고 얼마 후 발견되어 제외된 시그니처이다.

- 발표 : 2009년 6월
- 플랫폼 : Windows 2003 Server x64
- 참가업체 : 23개 (17개 업체 통과, 6개 업체 탈락)


VB100 2009.6 결과

VB100 2009.6 결과



Posted by mstoned7

댓글을 달아 주세요

  1. 물여우 2009.06.03 21:08 신고  댓글주소  수정/삭제  댓글쓰기

    이번에도 국내에서 참가한 건 안랩 뿐이었는데 아쉽습니다.

  2. 나그네 2009.06.04 14:02  댓글주소  수정/삭제  댓글쓰기

    겨우 한 개 오진인데 합격이나 마찬가지입니다. V3 화이팅 !


VB100 2009년 4월

Windows XP SP3 결과가 나왔다.

- 플랫폼 : Windows XP SP3
- 제출 마감 : 2009년 2월 24일 (와일드리스트 2009년 1월로 테스트)

- 참가 제품 : 39 개 (34개 회사)
- 통과 제품 : 28 개 (71.79% 제품이 통과)
- 불합격 제품 : 11 개


안철수연구소 V3는 이번 인증에 통과했다.

안랩 VB100 Windows XP SP3 (2009.04) 결과

안랩 VB100 Windows XP SP3 (2009.04) 결과



Posted by mstoned7

댓글을 달아 주세요

  1. 벌새 2009.04.02 12:22 신고  댓글주소  수정/삭제  댓글쓰기

    G DATA의 능력은 정말 놀랍군요.

    • mstoned7 2009.04.02 15:24 신고  댓글주소  수정/삭제

      G-Data ... 사용해보지 않아서.. 유심히 보지는 않았네요. 그쪽 담당자가 키가 아주크고(2 m 될듯) 꽁지머리 묶고 있다는 기억이..

  2. 벌새 2009.04.02 12:24 신고  댓글주소  수정/삭제  댓글쓰기

    그리고 Dr.Web은 이번에 참여를 안한 것 같네요?

    • mstoned7 2009.04.02 15:24 신고  댓글주소  수정/삭제

      네. 참가 안했더군요. 혹은 예전 안랩처럼.. 저희가 보낸 메일이 스팸함에 있을 수도 있구요. (예전에 안랩에서 보낸 메일이 스팸으로 분류되어서 참가 못했었다는....)

  3. 물여우 2009.04.03 11:20 신고  댓글주소  수정/삭제  댓글쓰기

    트랙백 감사합니다.
    쿨캣님의 댓글이 있는 게시글이 삭제되서 아쉽네요. ㅜ-ㅜ


러시아의 바이러스토털을 바탕으로 한 진단율 순위 사이트이다.

http://virusinfo.info/index.php?page=testseng

Posted by mstoned7

댓글을 달아 주세요


개인적으로 한달 유럽 간 사이 진행되어 조금 조마조마했는데....
무사히 VB100 인증을 받았네요.

http://www.virusbtn.com/vb100/archive/2008/12

* 발표 : Virus Bulletin 2008년 12월호
* 플랫폼 : Windows Vista X64
* 제품 : AhnLab V3 Internet Security 7.0 Platinum Edition 7.6.4.1

* 진단율

- itW : 100%
- Polymorphic : 99.78 % (51개 미진단)
- Worms & bots : 98.87 % (3 개 미진단)
- Trojans : 66.73 % (853 개 미진단)
- 오진 (False positives) : 0

트로이목마 진단율을 향상 시킬 방안을 고민해야 할 듯 합니다.

실시간 검사 결과


수동 검사 결과


그리고, VB100 정도는 그냥 받는걸로 생각하는 날이 빨리 왔으면 하네요.
맨날 가슴 조마조마하니... TT







Posted by mstoned7

댓글을 달아 주세요

  1. lovefeel 2008.12.02 08:29  댓글주소  수정/삭제  댓글쓰기

    폴리모픽 100% 진단그룹을 제외하고 전체 2위 진단율을 보였네요.. 폴리모픽 샘플도 전부 메타모픽 수준인데, 대단한 성적이라 볼 수 있습니다.

    폴리모픽 진단만 볼때 Kaspersky나 Microsoft 그리고 Sophos 보다 높은 진단율이 나타났네요..! 축하.!

  2. 물여우 2008.12.04 02:00 신고  댓글주소  수정/삭제  댓글쓰기

    좋은 정보 잘 봤습니다. ^^

  3. 진군 2009.05.07 00:40  댓글주소  수정/삭제  댓글쓰기

    V3 간신히 통과 ㅋㅋ


Virus Bulletin 2008 in 오타와(Ottawa) 관계로 일찍 공개되었다.

http://www.virusbtn.com/vb100/archive/2008/10

V3는 이번 테스트에 통과했다.
 
[안랩보도 자료]

http://kr.ahnlab.com/company/pr/comIntroKoNDView.ahn?B_SEQ=143172

이번 테스트의 경우 TS 엔진으로 변경된 후 최초 인증이다.
이전 윈도우 XP SP3가 첫번째 테스트였지만 진단 중 발생한 문제로 인증을 받지 못했었다.
 
Posted by mstoned7
TAG VB100

댓글을 달아 주세요


VB100 award

October 2008: Windows Server 2008. Submission for this review has closed.

10월에 있을 Windows Server 2008 용 제품을 어제 제출하고 결과를 기다리고 있다.
생각외로 이래저래 작업할 일이 많아서 며칠 동안 야근하고 주말에 출근하고...

그리고 2008년 8월 Windows XP 결과를 보면 와일드리스트가 2개 미진단으로 나와있는데
http://www.virusbtn.com/vb100/archive/2008/08
다시 확인 결과 모두 진단했다고 한다.

진단 도중 다형성진단 함수 쪽의 버그로 블루스크린이 떠서 떨어졌다.

이번에는 좋은 결과 기다리며..

향후 일정은 다음과 같다.

December 2008: Windows Vista x64.
February 2009: Red Hat Enterprise Linux.


Posted by mstoned7
TAG VB100

댓글을 달아 주세요

그분이 오셨다.

'공부 잘하는 학생은 시험 환경을 탓하지 않는다.'라는 말이 있는 것 처럼 여러가지 제한 (샘플 셋 구성, 오진 여부 미검증,  등)이 있지만 그냥 참고할 만하다. 특히 이상하게(다른 나라도 그런가 ?) 국내에서 이슈가 되는 테스트 이기에...

2008년 6월에는 28위 75.23% 이다.

http://www.virus.gr/portal/en/content/2008-06%2C-1-21-june

2007년 4월 테스트에서는 33위 55.09 %
 
33. V3 Internet Security version 2007.04.21.00 - 55.09%
 
http://www.virus.gr/portal/en/content/2007-04%2C-23-april-10-may

1년 사이 20% 정도의 진단율 향상이 있었다.
(테스트에 사용된 샘플수가 얼마나 증가했는지는 알 수 없다.)

2007년에서 2008년까지 엄청난 시그니처가 추가되었는데 20% 라니 !
몇 % 를 올리기 위해서도 엄청난 수를 넣어야 하나보다.

다만, 이번에도 V3 만으로 테스트한 것으로 보이므로 SpyZero 까지 포함하면 진단율은 더 올라갈 것으로 보인다.

ps.

왜 국산을 달고 있는 제품이 나란히일까 ?!

28. V3 Internet Security version 2008.05.31.00 - 75.23%

29. ViRobot Expert version 5.5 - 74.50%

30. Virus Chaser version 5.0a - 73.65%


Posted by mstoned7

댓글을 달아 주세요

  1. 힐러 2008.08.04 12:49  댓글주소  수정/삭제  댓글쓰기

    여기서뵙네요.

    저기효 ;
    이런테스트를 쿨켓님이 올리시다닝.

    이런건 전혀 신빈성없어요 (탕!)

    그보다
    vb100은 언제쯤 통과할까요...쩝

    • mstoned7 2008.08.04 14:43 신고  댓글주소  수정/삭제

      사실 어떤 테스트도 문제점 제기할 수 있습니다. 다만, 진정으로 공부를 잘하는 사람은 어떤 시험에서도 좋은 결과를 얻을 수 있다고 생각되기 때문이지요. 아쉽게도 VB는 8월에도 떨어졌습니다 TT 블루 스크린 떴는데 원인 파악중이예요.. 흑

http://mtc.sri.com/live_data/av_rankings/

처음 들어보는 곳인데 자체 허니팟으로 구축된 생생한(?) 샘플들을 대상으로 진단 테스트를 했습니다.

in-the-wild 샘플도 중요하지만 한달이라는 기간, 하루에 2,500 개 이상 발견되는 현재 시점에서
현재 활동하는 악성코드에 대한 진단율은 테스트는 의미있겠죠.

물론 여기에도 한계는 있습니다.
어느 정도 공신력을 얻기 위해서는 허니팟 수나 분포 지역 등이 넓어야겠죠.

안랩은 1030개 파일 중 134개를 미진단해 87% 진단율로 32개 업체중 14위에 올랐네요.

Posted by mstoned7

댓글을 달아 주세요

virus.gr 에서 2007년 4월 테스트 결과가 나왔습니다.

http://www.virus.gr/english/fullxml/default.asp?id=85&mnu=85

virus.gr 은 명확한 인증기관이 아닌 언더그라운드 성격이 강하고 공정성과 신뢰도에 대한 이슈가 많이 제기되고 있지만 그런 부분은 여러번 언급되었고 안랩 제품 진단율이 낮게 나온게 또 사실이니 이런 저런 확인 중에 다음 사실을 되었습니다.

오늘 확인된 바로는 테스트된 V3 의 경우 스파이웨어 검사는 안하고 바이러스만 검사 했다고 하네요.

Malware 샘플 수는 총 12,463개이고 V3 진단율은 22.18 %  나왔습니다.
Malware = Adware, DoS, Constructors, Exploit, Flooders, Nukers, Sniffers, SpamTools, Spoofers, Virus Construction Tools, Droppers, PolyEngines
로 언급되어 있고 상당수가 Adware 로 가정한다면 Malware 항목에서 V3 진단율이 낮게 나올 수 밖에 없습니다. (원래 진단을 안하니까요.)

Dr. Web 과 Virus Chaser 의 경우 바이러스 체이서는 오진 문제 때문에 Heuristic 진단 기능이 빠져있다고 하는군요. 따라서, 바이러스체이서 진단율이 좀 더 낮게 나온거라고 합니다.

최근 몇몇 제품은 파일이 실행압축되어 있거나 조금만 수상하면 의심스럽다고 경고를 냅니다.
따라서, 모든 옵션을 켜도 진단할 경우 당연히 이런 제품이 진단율이 올라가겠죠. 하지만, 그만큼 오진율도 올라간다는걸 알아두어야합니다.

이 테스트에서 바라는 점이 있다면 제품에서 의심스럽다고 진단되는건 별도로 빼는게 좋을 듯 합니다. 진단되었다와 의심스럽다는 분명히 다른 것이까요. 그리고, V3 도 바이러스 검사만하지말고 스파이웨어 검사도 같이 해줘야지 좀 더 공정하지 않을까요 ?



Posted by mstoned7

댓글을 달아 주세요