소시모 백신 테스트 논쟁 및 AMTSO

회사에서는 이미 지나간 일이지만 인터넷을 검색하다보니 2008년 11월 소시모에서 발표한 테스트 결과에 대한 논쟁(?)이 있었다.

http://blog.naver.com/hahaj1/20056626015

-----

정말 공부 잘하는 사람은 어떤 시험에서도 1등하고 그렇지 않은 사람이 시험 난이도가 어떠니 문제가 이상하니라고 변명(?)한다고 생각해 객관적으로 잘못된 부분 외에 필요 이상으로 테스트 방법에 문제가 있네 그러는건 바람직한 자세가 아니라 생각하고 있어 이 테스트 자체에 대해서는 여기서 언급하지 않겠다.
- 이미 관련 내용은 두 논쟁에서도 나오고 있으니까...

다만, 비전문가들의 테스트는 꽤 큰 오류를 가질 수 있다.
- 그렇다고 테스트 전문 기관의 테스트가 완전 무결하다는건 아니다.


기본적으로 백신 프로그램 테스트는 전문성을 요구한다.
단순히 인터넷에서 수집한 샘플 모아서 수동 검사로 몇 개 진단해서 진단율 계산하는게 테스트의 전부는 아니라는거다.

업계에서는 비전문가들의 이런 식의 테스트 때문에 고생을 많이해서 다수의 사람들이 만족하는 표준 테스트를 만들면 어떨까하는 논의가 있었다.

이에 2008년 AMTSO(Anti-Malware Testing Standards Organization)가 탄생했다.

http://www.amtso.org

물론 AMTSO도 사람이 만드는 것이고 100% 신뢰할 수 있는 테스트 방식은 아니다.
게다가 여러 업체 참여자가 토론과 투표를 통해 안이 만들어진다고해도 백신 업체, 테스트 기관, 언론사 등에서 자신의 이해 관계에서 100% 자유롭지는 않을 거다.

게다가 현실적으로 업체별 발언의 힘은 차이가 있다.

AMTSO 미팅 때 안랩 참석자가 "여기 있는 사람들의 대부분은 북미나 유럽에서 왔는데 한중일의 악성코드 현황은 여러분 국가와는 다르므로 테스트 방안에 지역 샘플이나 지역 환경에 대해서도 잘 생각했으면 좋겠다."라는 말을 해도 과연 얼마나 먹힐까 ? 

AMTSO 가이드라인은 비전문가들이 테스트할 때도 도움이 되도록 작성하고 있으며 향후 유명 테스트 기관에서 AMTSO 에서 제안한 방법으로 테스트가 이뤄질 가능성이 높다. 사용자는 그 테스트가 AMTSO 가이드라인에 맞춰 테스트 되었는지 확인하면 된다. (다시 한번 얘기하지만 AMTSO 가이드라인데 맞췄다고해도 100% 공정한건 아니다.)

ps.

마지막으로 여러 백신 관련 테스트에서 초기 참여하는 업체는 대체로 결과가 안 좋은 경우가 많다.
예를들어 안랩의 경우 나름 준비하고 처음 V3가 VB100에 참여했을 때 기본 설정 상태로 테스트되는걸 몰랐다. 결국 모든 파일 검사 모드가 아니어서 확장자가 없는 파일을 검사하지 않아 초기 참가한 VB100에서 샘플을 진단 할 수 있는데도 억울하게 인증 통과를 못한적도 있다.

그런데, 이런 테스트 기관의 샘플은 어디서 올까 ?
요즘은 허니팟 등으로 자체 수집하는 샘플도 있지만 상당부분은 여러 백신 업체에서 제공받는다.
그렇다면 테스트 기관에 샘플을 제공되는 업체와 아닌 업체의 테스트 결과 차이가 날 가능성도 있다. 

물론 테스트 기관은 최대한 많은 샘플을 확보해야하므로 업체로 부터 샘플을 받는게 잘못은 아니다.
다만, 그 샘플을 특정 업체에 유리하거나 불리하지 않게 하는게 중요할 거다.

지난 10월 영국 출장 때 유명 테스트 기관 사람을 만나 인사를 했다.
과연, 나는 명함만 주고 받았을까 ?

그 테스트 기관에 안랩에서 처리한 샘플 제공에 대한 내용을 제의해 향후 안랩 제품 테스트시 진단율이 조금이라도 더 올라가게 노력했을까 ?

업체 직원이라면 어떻게 했을지는 상상에 맡기겠다.

개인적으로는 결과가 좋던 나쁘던 테스트에 참여해보고 문제를 파악하고 어떻게 개선할 것인가 고민하는것도 좋겠지만 어떤 시험에서도 1등할 수 있는 엘리트는 아직 아니라 현실은 그리 간단하지 않다.