Термін бенчмарк у широкому розумінні має на увазі спеціальний еталонний тест (англ. benchmark — еталон) для вимірювання ефективності різних систем та формування шкали оцінки для їхнього подальшого порівняння.
Спочатку з'явилися комп'ютерні бенчмарки, але з поширенням смартфонів виникла потреба і в мобільних аналогах. Одним із перших став китайський AnTuTu, пізніше додалися «молодші» версії відомих комп'ютерних тестів 3DMark, PCMark, Geekbench. Всі вони, окрім докладних відомостей про смартфон, дозволяють оцінити продуктивність процесора, відеочіпа, пам'яті, накопичувача та протестувати інші компоненти.
Результати загальних тестів зазвичай представлені у вигляді абстрактних балів, які іронічно називають «папугами» — з посиланням на старий мультфільм, де удава вимірювали у птахах, мавпах та слонах.
Проте все менше користувачів та експертів довіряють бенчмаркам. Нині вони майже втратили свою актуальність, і ось чому.
Продуктивність смартфонів вирівнялася
Розвиток мобільних чіпсетів призвів до досягнення так званого порога достатності, і тепер майже будь-які смартфони забезпечують необхідну продуктивність для повсякденних завдань на кшталт перевірки соціальних мереж, перегляду відео, роботи з месенджерами та браузером.
Як наслідок, пристрої однієї цінової категорії працюють плюс-мінус однаково швидко. Більше того, навіть між середньобюджетними смартфонами та флагманами різниця у швидкодії майже непомітна для звичайної людини.
А якщо говорити про порівняння топових пристроїв, то відмінності навряд чи вловимі — виробники давно вперлися в ту межу потужності, коли подальше нарощування вже не дає відчутних змін.
Бенчмарки не оцінюють реальну швидкодію
Головна претензія до бенчмарків — суто синтетичні тести, які мало того, що проводяться в ідеальних умовах, так ще й рідко зустрічаються в реальному житті.
Наприклад: робота процесора на максимальній частоті, кодування відео чи шифрування великих обсягів даних. У той час як більш важливі плавність інтерфейсу, швидкість відкриття додатків та взаємодії з ними у режимі багатозадачності штучні сценарії не враховують. Фонові процеси, нагрівання, мікрофризи — це теж ігнорується.
Бали, які ми бачимо в результатах бенчмарків, є горезвісні папуги. Вони майже повністю відірвані від реальності, а інтерпретувати їх розуміння фактичної продуктивності досить складно, якщо неможливо. Саме тому вибирати смартфон, орієнтуючись на бали у тестах, — найгірше, що можна вигадати.
Високі оцінки не гарантують хороший досвід користувача
Інформативність бенчмарків є досить сумнівною. Рекордні бали створюють ілюзію бездоганного досвіду використання, тоді як насправді все може бути інакше, оскільки залежить багатьох інших чинників.
Ключову роль відіграють оптимізація софту та зручність оболонок, які у смартфонах кожного виробника різняться. Нерідко пристрій з меншою кількістю балів приємніший і чуйний у роботі.
Плавність роботи виміряти не можна, тому виробники, особливо китайські бренди, наполегливо продовжують хвалитися рекордами в AnTuTu прямо на презентації новинок — та ще й з фанфарами та звуковим ефектом вибуху.
Тести не враховують продуктивність у реальному житті
Істотний недолік більшості бенчмарків у тому, що процес тестування триває лише кілька хвилин і не відображає умов реальної експлуатації. Бенчмарки виконуються на стерильних пристроях з порожнім накопичувачем, без встановлених програм та фонових процесів.
Не враховується не лише нагрівання при тривалій роботі, а й «засміченість» пам'яті, падіння продуктивності під впливом постійної активності сервісів Google та китайських аналогів, а також природна деградація акумулятора, здатна впливати на продуктивність процесора.
Ідеальні результати, отримані один раз, не гарантують такі ж через кілька тижнів або місяців, не кажучи вже про довші дистанції в 2–3 роки.
Те саме стосується і автономності, яка важлива не менше, ніж швидкодія. Короткострокові безперервні тести акумуляторів не об'єктивні, оскільки не враховують індивідуальні звички користувачів, різні режими роботи і поступове хімічне старіння батареї.
Виробники оптимізують пристрої під бенчмарки
Повальне захоплення тестами призвело до того, що бренди почали хитрувати. Вони додають алгоритми, які розпізнають запуск популярних бенчмарків та перемикають смартфони в режим максимальної швидкодії для досягнення кращих результатів за будь-яку ціну. У реальному житті їх, звичайно, ніколи не буде.
У тестах тимчасово підвищується тактова частота процесора, відключаються чи знижуються температурні обмеження, а процес бенчмарку отримує максимальний пріоритет перед системними чи звичайними програмами.
Ще у 2013-му Samsung викрили в оптимізації роботи смартфона Galaxy S4 у тестах: вони розблокували недоступну у звичайному житті частоту графічного процесора та покращили тим самим результати на 11%. Китайські компанії давно перейняли цей досвід.
Маркетологи теж не гребують підтасовуванням фактів. Часто в рекламних кампаніях використовують лише вигідні, гучні показники, а не такі вражаючі. Та ж Apple на презентаціях зіставляє потужність нових пристроїв із абстрактними смартфонами «інших виробників». Або порівнює свій флагман не з попереднім, а зі старшим на два-три покоління, щоб показати приріст продуктивності у три, а то й у п'ять разів.
Що далі буде з бенчмарками
Ймовірно, час беззаперечної довіри до бенчмарків добігає кінця. І хоча тести як і раніше дають певну інформацію про технічні характеристики, очевидно, що вони не здатні спрогнозувати реальний досвід користувача.
Набагато релевантнішими стають повноцінні тести у різних сценаріях повсякденної експлуатації протягом тижнів та місяців, які проводять техноблогери, а також відгуки реальних власників. У відриві від цього бенчмарки майже нічого не означають. Тільки комплексний підхід дозволить оцінити можливості смартфона.
А як ви ставитеся до бенчмарків? Розкажіть у коментарях!
