Testes de benchmarks são comuns para obter uma medição simples do desempenho que um dispositivo pode entregar em função do software.
São vários tipos de testes disponíveis, mas a maioria não é confiável. Quase todos que incluem testes de benchmarks se limitam a cenas com alto nível cinemático, com sequências de ação intensa e vários efeitos especiais, mas sem mostrar personagens secundários na tela, recriando de forma irreal o ambiente do jogo, entregando resultados imprecisos e nada confiáveis.
No vídeo abaixo, podemos ver isso perfeitamente explicado com diferentes jogos. Os benchmarks de Tomb Raider 2013 e Rise of The Tomb Raider deixam claro esse problema. As cenas utilizadas são muito simples, sem apresentar sequências de ação intensa, deixando claro que este é ‘o melhor cenário possível’.
O desempenho não é o mesmo do que uma cena com ação complexa e efeitos diversos. Se limita a mostra uma Lara Croft correndo de forma cômoda em um cenário fixo.
É preciso também levar em consideração que tais benchmarks podem ser mais realistas em determinados jogos, mas ao mostrar apenas as taxas de FPS em média podem ocultar problemas graves como o stuttering (a perda de sincronização entre fotogramas que produz padrões continuados na imagem).
Ou seja, a melhor forma de avaliar o desempenho real de um jogo é mesmo jogando e, se possível, em várias situações. Entre um nível e outro, é possível obter diferenças de desempenho importantes, derivados da própria complexidade do jogo em questão.