|
이번은 마지막 테스트로
원래는 일정에는 없는 테스트였지만 오늘 따끈따끈한 소식 때문에 급하게 추가시킨 페이지이며 이번 페이지를 통해서 오늘 뉴스틀 통해서
올라가 Futuremark사의 3DMark03의 새로운 패치적용에 따른 결과와 그들이 주장하는 치팅문제를 알려드릴까한다.
Futuremark사의 주장
Futuremark사의
주장은 크게 두가지로 결론 지을 수 있는데 nVIDIA의 Detonator FX(44.03)의 경우 3DMark03이 드라이버에
전달하는 명령중 백버퍼 크러이 명령을 무시하고 드라이버 자체에서 임의적으로 결정하여 성능향상을 있는 것처럼 하고 있으며
3DMark03에서 드라이버에 전달하는 다른 인스트럭션에 대해서도 자체적인 다른 인스트럭션으로 적용하여 GPU의 부하를 줄이고
랜더링하여 성능향상이 있는 것처럼 보이게 한다고 한다.
그리고 나머지 한가지는
3DMark나 기존의 벤치마크 플그램들이 테스트에 적용하는 방식인 정해진 틀. 그러니까 카메라 워킹에 따른 랜더링 이외의 구성부분을
처음부터 제외시켜 랜더링하는 방식으로 성능향상이 있는 것처럼 만들었다고 한다.
따라서 그들은 이번에
발표한 새로운 패치로 그들이 각 테스트마다 사용한 치팅을 적용하지 못하게 막았다고 하는데 이로인해 기존 버전의 사용후 나타난 결과보다
24.1%정도의 성능하락이 있어 치팅문제가 심각한 것으로 공개하고 있다. 그런데 이것은 ATI의 RADEON9800 PRO에서도 약
1.9%의 성능하락이 나타났고 Game Test 4에서는 8.2%의 차이가 나타나 ATI도 치팅문제에 자유로울 수는 없다고 한다.
새로운 패치버젼과
기존 버전의 테스트결과
|
 |
 |
|
3DMark03 v320 - Detonator 43.45 |
3DMark03 v330 - Detonator 43.45 |
|
 |
 |
|
3DMark03 v320 - Detonator FX(44.03) |
3DMark03 v330 - Detonator FX(44.03) |
위의 결과가 기존 버전의
테스트결과와 오늘 공개된 새로운 패치버젼의 테스트결과를 비교한 것이다. 결과는 FutureMark사에서 주장한 것과 같이 기존 버전의
3DMark03보다 새로운 패치버젼에서 17%정도의 성능하락이 나타났는데 주된 성능하락 요인은 역시 Shader연산부분이 포함되어
있는 것을 알 수 있으며 그들이 주장했듯이 Game Test 1에서도 Vertex Shader를 드라이버에서 감지하기 때문에 이를
막아놓은 새로운 패치버젼에서의 Game Test 1의 결과가 상당히 떨어지게 나온 것으로 볼 수 있다.(아마 이 점수대는 처음
Geforce FX 5800용 드라이버가 나왔을 때의 테스트결과와 비슷할 것이다.)
단 아직
Futuremark사에서도 Game Test 1부분의 치팅은 정확히 발견하지 못했다고 하는데 Shader부분에 대한 차이를 아래
이미지를 통해서 알아보자.
|
 |
 |
|
3DMark03 v320 - Detonator 43.45 |
3DMark03 v330 - Detonator 43.45 |
|
 |
 |
|
3DMark03 v320 - Detonator FX(44.03) |
3DMark03 v330 - Detonator FX(44.03) |
위의 이미지들이 각
드라이버별 그리고 3DMark03의 버전 두가지별 Game Test4의 강물부분을 캡쳐하여 300%로 확대한 이미지이다.
|
 |
|
|
RADEON9700 PRO - 3DMark03 v320 |
Geforce FX 5800 - 3DMark03 v330 |
결과물을 보면
3DMark03의 이번 패치적용으로 Shader부분의 연산이 기존에 알려진 것과 같이 FP16연산에서 그들이 3DMArk03에
적용하고 있고 표준규격으로 알려진 FP24연산이 적용되게 만들은 것을 알 수 있는데 Futuremark사에서 Shader연산부분에서
nVIDIA의 Detonator 44.03가 인위적으로 조작하여 나타낸다고 지적한 것이 이 FP연산부분이라는 것을 알 수
있다.(정확히는 이부분도 포함되는 것이라 할 수 있는데 Game Test 4에서 강물부분이 차지하는 비중이 꽤 높으며 이외에도
하늘부분에서도 치팅이 있는 것이 드러났다고 하고 있다.)
따라서 이번 버전에서는
FP16이 적용되지 못하게 막아놨으며 FP32연산이 적용되게 되어 있는 것으로 결론지을 수 있다.
이번 치팅문제의
필자의 의견..
지금까지 치팅문제에 대해
상당히 많은 소식이 전해지고 있었고 FP연산문제가 거의 사실로 굳어지고 있었는데 이번 Futureamark사의 공식언급으로 인해
nVIDIA의 치팅문제가 상당히 심각하다는 것을 유저여러분도 알 수 있을 것이다.
사실 필자의 경우 이번
소식이 있기전까지 FP연산부분의 경우 FP24연산이 없는 NV3x제품들에게 어느정도 이해해주고 넘어갈 수도 있는 부분이라고 변명아닌
변명쪽으로 손을 들어주고 싶고 위에서 지적한 것중 드라이버 자체에서 자동으로 명령어를 감지하여 적절한 다른 명령어로 바꾼다는 것에
대해 자신만의 API를 가지고 있고 이에 최적화된 GPU를 적절한 명령어 전환을 통해서 성능향상을 이룰려고 한 것에 대해서는 그리
문제삼고 싶지는 않다.
하지만 이번의 클리핑문제는
위의 명령어부분과 달리 상당히 심각한 것인데 정해진 카메라 워킹에 따라 진행되어지는 지금까지의 프레임체크방식의 벤치 플그램이나
게임등에서 화면에 보이지 않게되는 부분을 미리 잘라내어 눈속임으로 성능향상을 보이는 방식은 3DMark03만의 문제가 아닌 다른
어플리케이션과 벤치마크 플그램에서도 적용될 수 있기에 상당히 심각한 문제로 볼 수 있다.
뭐 nVIDIA가 말한
것처럼 UltraShadow기능과 같은 알고리즘에 의해 일반적인 화면에서 우리눈에 보이지 않는 부분을 랜더링하지 않게 하는 기술은
상당히 획기적인 기술이고 이전에도 그랬고 앞으로도 이러한 기술의 발전으로 GPU성능 자체를 끌어올리는 것과 함께 최적화된 랜더링
환경을 제공하는 것은 환영할 만한 일이지만 만약 이러한 비슷한 방식으로 보이는 이번 치팅문제가 계속된다면 nVIDIA로서는 상당한
타격이 될 것이다..
아직 nVIDIA는
이부분에 대한 공식적인 입장을 표명하지 않고 있는데 nVIDIA의 입장이 어떻게 전해질지 상당히 궁금해진다.
마무리....
드디어 기나긴 글의 마지막
페이지에 왔지만 이들 최신 드라이버가 등장한 이후 10일이 가까워지고 있는 이 시점에서 이번 리뷰를 포스팅 한다는게 너무 뒷북성이
아닌가하는 생각이 들기도 하는데 이번 리뷰의 테스트는 해당 드라이버들이 발표된 직후 바로 시작하였으나 여러 상황 때문에 너무
늦어지게 되어 유저분들께 그다지 많은 것은 전해드리지는 못한 것 같아 상당히 아쉽게 생각된다.
그러나 이번 리뷰로 그들이
주장한 것에 대한 검증이 어느정도 이루어졌으며 혹시나 하는 부분까지 어느정도 알려드릴 수 있는 기회가 되었다고 생각되는데 오늘 공개된
3DMark03의 새로운 패치에 따른 nVIDIA의 치팅 문제는 이글을 거의 마무리해가는 시점에서 추가로 작성하게 되어 그리 많은
테스트가 이루어지지는 못했다.
하지만 이번 테스트를 통해
뉴스를 통해서도 알려드렸듯이 3DMark2001SE에서의 랜더링 문제등을 발견할 수 있었으며 RADEON9000과 8500계열의
Unreal Tournament 2003에서의 버그등을 발견할 수 있었는데 지금까지 알려진 nVIDIA의 드라이버와 ATI의
드라이버에 대한 상황, 그러니까 완성도등은 기존과 그리 달라진 것은 없다는 생각이다.
단. ATI의 경우 자사의
홈페이지를 통해 새로운 드라이버 공개시 테스트 노트를 공개하여 어떤부분에서 어떻게 성능향상이 있고 어떤부분을 수정했는지를 정확히
공개하고 있어 자잘한 버그로 고생하는 ATI에 대한 인식의 변화가 있었는데 이와 반대로 nVIDIA는 최신드라이버를 공개하면서
무턱대로 30%의 성능향상이 있다고만 공개하고 있고 밑에 조그마한 글씨로 그것이 Geforce FX 5600 Ultra와 Unreal
Tournament 2003에서의 테스트결과를 말하는 것이라고 표시하는 방식은 ATI에 비하면 눈속임에 불과하다고 말할 수 있다.
[하단부분을 보면 성능
향상이 어떤 것을 말하는지 조그만하게 표시하고 있으며 이번 드라이버의 WHQL인증부분이 Geforce FX 제품군에만 해당된다고
표시하고 있다.]
|
