Osobno, kod testiranja kartica uopće ne gledam maksimalni FPS niti minimalni.
Još za testiranja Crysisa (debela beta, nekih 5000 ljudi) primijetio sam da nVidia ima jednu gadnu boljku: fps-ovi skakuću cijelo vrijeme; malo je 33, iduće sekunde 37, pa 30, pa 49, pa 35... i razmaci su ogromni.
Znao sam rekordati demoe outdoor i indoor. Unutar prostorije ili dok gledam u zid, moja tada nova 8800GTX bi skakala i do 75 FPS-a, a u nekim scenama hvatao sam 19 FPS-a (uz plažu i u šumi npr.)
Ogroman nesrazmjer minimalnog i maksimalnog koji jako smeta tijekom igranja iako u testovima gura karticu u nebo.
Čim je izašla 2900XT gurnuo sam i nju i također testirao. Rezultat je bio meni osobno draži. Kartica nije išla ni blizu ovih 75 već oko 45 max, ali se isto tako u niti jednoj situaciji nije spuštala ispod 25 FPS-a. 8800GTX skakuće prosječno od 22-45, a 2900XT od 25-30... 8800GTX s maksimumom od 75 ili čak 90, a 2900XT nikako preko 50.
Pogledom na benchmark lako je brzopleto zaključiti da je 8800GTX i do 200% brzine 2900XT, ali u stvarnosti stvari nisu crno-bijele.
Izlaskom igre testirao sam i punu verziju. Rezultat je bio sličan: 8800GTX s rasponom od 18 - 41, 2900XT od 20-24.
Zašto ovo pišem? - Zato jer sam baš prije sat vremena vidio najnoviju 8800GT (clockanu verziju čak) i testirao na WoW-u. Čak i dok stojim u mjestu, dakle scena se ne mijenja previše, kartica je skakutala od 34-52. 2900XT u istoj situaciji (identična scena) ima raspon od 29-32.
Uzmem li za primjer drugu igru u kojoj sam bio i u beti i na releaseu, moram reći da je 8800GTX pomeo 2900XT ne za duplo, već tri puta.
Istovremeno, ista ta 8800GTX doslovno je umrla na Oblivionu, dok je realno puno sporija 2900XT, veselo crtala šumske proplanke.
Iz tog razloga sam mrvicu skeptičan prema svim testovima dok ne vidim kartice u praksi i smatram 3D Mark i slične testove vrlo realnim pokazateljem koji ne ovisi previše o neprovjerenim i nestabilnim uvjetima.
S ovim na umu, sve testove nove 9800GX2 uzimam s debelom rezervom i čekam testve u pojedinačnim igrama i subjektivne dojmove. Sami benchmark chartovi pojedinih igara loš su pokazatelj.
Sintetički testovi nisu posve sulude situacije. Scene, shaderi itd. sve je to izrađeno vrlo pametno na način da se kartica podvrgne svakoj mogućoj situaciji i to uključuje jako puno toga što neke igre neće nikada ni vidjeti, a druge su time možda pretrpane.
Istina je da je 3D Mark 2003 izgubio nešto kredibiliteta, ali ne zbog sebe, nego zbog varanja u samim driverima koji bi namjerno reducirali kvalitetu renderinga za bolji rezultat.
Kao što je poznato, takve stvari se vrlo brzo otkriju (kao i nedavno nVidijino varanje u Crysisu ili najnovije na 9600GT karticama) pogotovo kod sintetičkih testova koji se izvedu na stotinama tisuća konfiguracija, kartica i drivera i za koje se zna kako točno moraju izgledati.
Jedan od jednostavnijih načina za provjeru ovakve teze (iako featursima izrazito ograničen) je i skidanje DirectX SDK-a i pokretanje tamo dostupnih primjera.
S obzirom da se radi o školskim primjerima i da je svaki primjer moguće provesti u softverskom rendereru i tako provjeriti i kvalitetu slike koja se traži, iznimno je lako uvidjeti točno kako se koja kartica ponaša u točno određenoj situaciji.
Iz navedenih razloga mnogi vremenski ograničeni testovi (leakovi novih kartica npr.) često dolaze provedeni samo na 3D Marku, a ne na nekoj igri.