Не так давно ми оновили нашу методику тестування на основі реальних неігрових програм. А тепер розглянемо оновлену методику вимірювання ігрової продуктивності, яка зазнала суттєвих змін у порівнянні з методикою iXBT Game Benchmark 2017.

Набір ігор, використовуваних для тестування

Отже, порівняно з попереднім варіантом методики вимірювання продуктивності в іграх ми поміняли в оновленому варіанті і набір ігор, і опції запуску тестів. Всі ігри можуть запускатися при дозволах 1920×1080, 2560×1440 і 3840×2160. Дозвіл 1366×768 ми прибрали, оскільки воно вже не актуально для ігрових систем і не використовується нами при тестуванні.

Важливим нововведенням в новому бенчмарку стало додавання опції настройки ігор на середню якість: тепер всі ігрові тести в нашому бенчмарку запускаються в трьох режимах — з максимальною, середньою і мінімальною якістю.

Крім того, як і в попередній версії нашого ігрового бенчмарку, передбачена можливість задавати кількість прогонів кожного тесту. Після кожного прогону проводиться перезавантаження системи і витримується пауза. За результатами всіх прогонів розраховується середньоарифметичний результат (середнє значення FPS) і похибка результату.

Підкреслимо, що дана методика не замінює собою методику тестування дискретних відеокарт і буде використовуватися нами для тестування ноутбуків, комп’ютерів, моноблоків, а також процесорів. Дана методика сумісна тільки з 64-бітною версією операційної системи Windows 10.

Нагадаємо, що одна з головних проблем, пов’язаних з розробкою пакетів ігрових бенчмарків, полягає в тому, що, по-перше, розміри дистрибутивів багатьох сучасних ігор дуже великі, а по-друге, все менше випускається ігор з вбудованими бенчмарками.

Проблема розміру дистрибутива особливо актуальна при тестуванні ноутбуків. Якщо мова йде про стенді, який створюється один раз, і потім на ньому тестуються, приміром, відеокарти, то розмір дистрибутива не настільки важливий. А от коли мова заходить про ноутбуках, то все не так просто.

Справа в тому, що далеко не кожен ноутбук або моноблок має накопичувач, який дозволить встановити всі ігри відразу. Можна, звичайно, встановлювати їх порціями по кілька штук (скільки вміщається), потім проводити тестування на основі встановлених ігор, видаляти їх і встановлювати наступну порцію. Однак це дуже незручно і сильно затягує процес тестування, оскільки робить його лише частково автоматизованим. Тому якщо в ігровому ноутбуці або ПК системний накопичувач має маленький обсяг (наприклад, SSD розміром 256 ГБ), то проблема розміру дистрибутива ігор стає дуже актуальною.

Як правило, в ігрових ноутбуках може бути не дуже ємний системний SSD, але при цьому є ємний HDD, і всі ігри можна встановити саме на HDD. Проблема таким чином вирішується, але це вимагає зайвих рухів: потрібно мати дві версії тестового сценарію (одну для варіанту, коли ігри встановлюються не на диск C:) або писати код, який би визначав, де саме встановлена гра.

Є й інша проблема використання ігор з дистрибутивами великих розмірів. Установка таких ігор вимагає дуже багато часу, і в результаті на установку ігор часу витрачається більше, ніж на сам процес тестування, що робить тестування невиправдано дорогим і нерентабельним.

В ідеалі добре б використовувати для тестування гри, розмір дистрибутива яких не перевершує 30 ГБ і які мають вбудований бенчмарк. І звичайно ж, це повинні бути відносно нові ігри (у всякому разі, випущені не раніше 2016 року).

На жаль, повністю задовольнити цим вимогам не виходить (особливо в плані розміру дистрибутивів). На сьогоднішній день ми відібрали для тестування наступний набір ігор та ігрових бенчмарків.

  • World of Tanks enCore;
  • F1 2017;
  • Far Cry 5;
  • Total War: Warhammer II;
  • Tom clancy’s Ghost Recon Wildlands;
  • Final Fantasy XV Benchmark;
  • Hitman.

Раніше ми використовували гру Hitman, всі інші ігри або ігрові бенчмарки — нові або оновлені версії.

Всі ці ігри мають вбудовані бенчмарки. Більш того, які фігурують у цьому списку World of Tanks enCore і Final Fantasy XV Benchmark — це не ігри, а окремі ігрові бенчмарки, випущені виробниками спеціально для ігор World of Tanks 1.0 Final Fantasy XV.

Звичайно, наявність вбудованого бенчмарка — не обов’язкова умова, щоб гру можна було використовувати для тестування. Можна написати ігровий скрипт з імітацією дій користувача, який буде заміняти собою ігровий бенчмарк, однак, по-перше, це вимагає багато часу, а по-друге, використання вбудованих в ігри загальнодоступних бенчмарків дозволяє легко перевірити отримані результати.

Поки ми також розглядаємо варіант додавання в наш тестовий пакет двох ігор, які ми використовували раніше:

  • Rise of the Tomb Raider;
  • Deus Ex: Mankind Divided.

Однак це питання не вирішено остаточно.

Налаштування ігор в режимах мінімального, максимального і середнього якості

World of Tanks enCore

Для нової версії гри World of Tanks 1.0 компанія Wargaming випустила окремий бенчмарк на базі нового графічного движка World of Tanks. У цьому ігровій програмі передбачено три режими налаштувань якості: Ультра, Середній і Мінімальний. Саме ці режими ми використовуємо при тестуванні.

Налаштування гри на максимальну якість еквівалентні налаштувань, наведеним на наступному скріншоті:

Налаштування гри на середню якість еквівалентні налаштувань, наведеним на наступному скріншоті:

Налаштування гри на мінімальну якість еквівалентні налаштувань, наведеним на наступному скріншоті:

На жаль, результати, одержувані в ігровій програмі World of Tanks enCore, ніде не фіксуються. Тому в нашому тестовому пакеті для реєстрації результату (середнього значення FPS) використовується утиліта FRAPS.

F1 2017

У грі F1 2017 є вбудований бенчмарк, результати якого зберігаються в файлі Benchmark_*.xml (C:/Users/User/Documents/My Games|F1 2017).

Налаштування гри можуть коригуватися у файлі hardware_settings_config.xml (C:/Users/User/Documents/My Games|F1 2017|hardwaresettings).

Налаштування гри на максимальну якість еквівалентні налаштувань, наведеним на наступних двох скріншотах:


Налаштування гри на середню якість еквівалентні налаштувань, наведеним на наступних двох скріншотах:


Налаштування гри на мінімальну якість еквівалентні налаштувань, наведеним на наступних двох скріншотах:


Final Fantasy XV

Для нової версії гри Final Fantasy XV був випущений окремий бенчмарк Final Fantasy XV Benchmark. У цьому ігровій програмі передбачено три режими налаштувань якості: High Quality, Quality Standard і Lite Quality (є ще налаштування Custom). Саме ці режими ми і використовуємо при тестуванні. Пресет High Quality відповідає режиму налаштування на максимальну якість, Quality Standard — режиму налаштування на середню якість, а Lite Quality — режиму налаштування на мінімальну якість.



Вибір конкретного пресета можна проводити через файл Settings.xml (C:/Users/User/AppData/Local/SquareEnix/Final Fantasy XV Benchmark).

На жаль, результати, одержувані в ігровій програмі Final Fantasy XV Benchmark, ніде не фіксуються і, більш того, виводяться на екран у якихось умовних балах (Score). Тому в нашому тестовому пакеті для реєстрації результату (середнього значення FPS) використовується утиліта FRAPS.

Far Cry 5

У грі Far Cry 5 є вбудований бенчмарк, результати якого зберігаються в файлі result.html (C:/Users/User/Documents/My Games|Far Cry 5|benchmarks|benchmark*).

Налаштування гри можуть коригуватися у файлі gamerprofile.xml (C:/Users/User/Documents/My Games|Far Cry 5).

Налаштування гри на максимальну якість еквівалентні налаштувань, наведеним на наступному скріншоті:

Налаштування гри на середню якість еквівалентні налаштувань, наведеним на наступному скріншоті:

Налаштування гри на мінімальну якість еквівалентні налаштувань, наведеним на наступному скріншоті:

Total War: Warhammer II

У грі Total War: Warhammer II є невеликий вбудований бенчмарк, який ми використовуємо для тестування. Причому бенчмарків навіть два: battle benchmark та campaign benchmark. Ми для тестування використовуємо бенчмарк battle benchmark.

Результати бенчмарка зберігаються в текстовому файлі *.txt (C:/Users/User/AppData/Roaming/The Creative Assembly|Warhammer2|Benchmarks).

Налаштування гри зберігаються у файлі preferences.script.txt (C:/Users/User/AppData/Roaming/The Creative Assembly|Warhammer2|scripts).

Налаштування гри на максимальну якість еквівалентні налаштувань, наведеним на наступному скріншоті:

Налаштування гри на середню якість еквівалентні налаштувань, наведеним на наступному скріншоті:

Налаштування гри на мінімальну якість еквівалентні налаштувань, наведеним на наступному скріншоті:

Потрібно зазначити, що результати, які зберігає в текстовий файл бенчмарку battle benchmark, можуть бути неправильними. Точніше, в деяких випадках реалізується некоректний переклад тривалості кадрів (в мілісекундах) у FPS:

В даному прикладі середнє значення FPS становить 12,1, хоча повинно бути приблизно 104,2 (1000/9,6). Тому при аналізі результатів бенчмарка в грі Total War: Warhammer II ми орієнтуємося саме на середню тривалість кадру, переводячи її у середнє значення FPS.

Tom clancy’s Ghost Recon Wildlands

У грі Tom clancy’s Ghost Recon Wildlands є вбудований бенчмарк, результати якого зберігаються в файлі index.html (C:/Users/User/Documents/My Games|Ghost Recon Wildlands|Benchmark| Benchmark*).

Налаштування гри можуть коригуватися у файлі GRW.ini (C:/Users/User/Documents/My Games|Ghost Recon Wildlands).

Далі в таблиці наведено параметри, відповідні максимального, середнього та мінімального якості (для ілюстрації налаштувань кожного режиму потрібно за три скріншота, це не дуже зручно).

Максимальна
Середнє
Мінімальне
Попереднє налаштування

Згладжування

Обтекающее затінення

Дистанція промальовування

Рівень деталізації

Якість текстур

Анізотропна фільтрація

Якість тіней

Якість грунту

Якість рослинності

Ефект дерну

Розмиття при русі

Глибина поля прицілів

Якісна глибина поля

Світіння

Об’ємні промені

Розсіювання над поверхнею

Відблиски лінз

Далекі тіні

угода висока низька
SMAA+FXAA швидке згладжування викл.
HBAO+ SSBC викл.
дуже висока висока низька
ультра висока низька
ультра висока низька
16 4 викл.
ультра висока викл.
ультра висока низька
ультра висока низька
вкл. викл. викл.
вкл. вкл. викл.
вкл. викл. викл.
вкл. викл. викл.
вкл. вкл. викл.
удосконалений вкл. N/A
вкл. викл. викл.
вкл. вкл. викл.
вкл. вкл. N/A

Hitman

У грі Hitman є вбудований бенчмарк, який ми використовуємо для тестування. Результати бенчмарка зберігаються в текстовому файлі profiledata.txt (C:/Users/User/hitman). У файлі зберігається два результату — CPU і GPU:

Різниця між ними не дуже велика, але вона є. Ми в нашому тестуванні використовуємо результат GPU. Тести ми запускаємо в режимі Direct3D 12.

Налаштування на максимальну якість наступні:

Налаштування на середню якість наступні:

Налаштування на мінімальну якість наступні:

Приклад результатів тестування

В якості прикладу ми наведемо результати, отримані при тестуванні настільного ПК наступної конфігурації:

Процесор

Материнська плата

Оперативна пам’ять

Відеокарта

Накопичувач

Операційна система

Intel Core i7-8700K
Asus Maximus X Hero (Intel Z370)
16 ГБ DDR4-3200 (двоканальний режим)
Nvidia GeForce GTX 1070
SSD Seagate ST480FN0021 (480 ГБ)
Windows 10 (64-бітна)

Ще раз зазначимо, що ми нічого ні з чим порівнюємо, це просто абсолютні результати такої системи в дозволі 1920×1080.

Ігрові тести
Максимальна якість
Середня якість
Мінімальна якість
World of Tanks enCore

F1 2017

Far Cry 5

Total War: Warhammer II

Tom clancy’s Ghost Recon Wildlands

Final Fantasy XV Benchmark

Hitman

101,1±0,3 269,6±1,1 655±8
86,3±1,4 177,7±2,9 214±5
64,3±1,4 75,0±0,5 88,0±0,5
21,0±0,3 83,3±0,5 104,2±0,5
41,0±0,2 69,3±0,2 105,7±1,3
52,4±1,6 65,6±0,1 89,6±1,0
86,4±0,3 98,5±0,5 104,0±0,1

Висновок

На даний момент у нашому тестовому пакеті сім ігор. Начебто це не дуже багато, однак їх дистрибутиви посідають 122 ГБ. Можливо, в остаточному варіанті нової методики ми додамо ще кілька ігор, але доцільність цього потребує обговорення. Тому ми закликаємо висловлюватися в коментарях з приводу того, що вам ще хотілося б бачити в якості ігрового тесту. Звичайно, всі побажання навряд чи вдасться реалізувати, але конкретні пропозиції не залишаться без уваги.