Во время тестирования Samsung Galaxy Note 3 в своём обзоре журналисты Anandtech обратили внимание на слишком хорошие результаты устройства в ряде тестовых пакетов. Особенно неправдоподобно смотрелось то, что Snapdragon 800 @2,3 ГГц в аппарате Samsung оставляет далеко позади такой же Snapdragon 800 @2,3 ГГц в смартфоне LG. После такого открытия журналисты решили внимательнее проверить поведение Note 3 в тестовых пакетах.

В результате выяснилось, что Samsung внесла в программное обеспечение своего аппарата особые модификации, которые искусственно переводят процессор в высокопроизводительный режим при обнаружении запуска некоторых известных тестовых пакетов. Причём эти оптимизации дают большой прирост очков (при увеличении энергопотребления, конечно), но, разумеется, никак не отражаются на повседневной работе.

Уликой является работа процессора в режиме простоя — при запуске практически любого популярного тестового пакета Note 3 включает процессор в особый форсированный режим, в котором все ядра всегда активны и работают на максимальной частоте 2,3 ГГц вне зависимости от нагрузки. Наверняка в Note 3 используются и другие специальные оптимизации, влияющие на конечный результат. В любом случае, запуск Geekbench 3 под другим именем пакета приводит к совершенно иному, нормальному, режиму работы процессора Snapdragon 800 в Note 3.

Разница с оптимизациями весьма серьёзная. В многоядерном тесте Geekbench Note 3 они дают 20% прироста по сравнению с «нормальным» результатом. С отключением оптимизации производительность Note 3 опускается в бенчмарке примерно до уровня LG G2, на котором она и должна быть — ведь в аппаратах используются одинаковые однокристальные системы. По-видимому, Note 3 не только игнорирует режим простоя CPU, но и прибегает к иным уловкам, серьёзно влияющим на число получаемых в тесте очков.

Как удалось обнаружить журналистам, такой особый режим работы CPU используется исключительно в тестовых пакетах, которые включают Geekbench, Quadrant, Antutu, Linpack, GFXBench и даже некоторые тесты самой Samsung. Для этих бенчмарков применяется особый код, вызывающий функции PACKAGES_FOR_BOOST_ALL_ADJUSTMENT (явно некий CPU-ускоритель) и PACKAGES_FOR_LCD_FRAME_RATE_ADJUSTMENT (похоже на то, что телефон изменяет частоту работы экрана или иным образом влияет на работу GPU).

Журналисты переименовали и другие из приведённых бенчмарков, в результате чего выяснили, что, например, Linpack в оптимизированном режиме демонстрирует на 50% более высокий результат! Ирония в том, что даже с отключением ускорения Note 3 по-прежнему вырывается в лидеры. Так или иначе, но обман тестов сводит на нет сам смысл тестирования, которое подразумевает работу всех устройств в одинаковом режиме.

Однако одна ли Samsung использует такую сомнительную тактику для повышения результатов тестов своих устройств? Журналисты решили протестировать ряд современных популярных устройств, чтобы выяснить этот вопрос. Оказывается, грешит подобными оптимизациями, нацеленными на тестовые пакеты, не одна Samsung.

Сотрудники Anandtech начали обращать внимание на подобную практику в июле этого года и даже обращались к производителям устройств и создателям процессоров для её прекращения. За исключением Apple и Motorola буквально каждый отдельный производитель поставил на рынок минимум одно устройство с подобными «оптимизациями». Это системная проблема, которая возникла минимум два года назад и распространяется далеко не на одну Samsung.

Из приведённой таблицы также видно, что оптимизаций нет ни в одном аппарате Nexus — это вполне естественно, ибо в таком случае модификации должны быть частью AOSP-сборок Android. В результате аппараты Nexus часто проигрывают своим аналогичным собратьям по числу очков в тестах. LG G2 тоже включает оптимизации, только для другого набора тестов. Интересно, что список бенчмарков с оптимизациями у LG гораздо скромнее, чем у Samsung.

Даже Galaxy Tab 3 10.1 на базе Intel CloverTrail+ прибегает к такой практике. Intel и Qualcomm наверняка не одобряют действия партнёров, но и публичного порицания ни та, ни другая компания пока не высказывали.

Любопытно, что с течением времени оптимизации меняются. Например, на Galaxy S4 результаты 3DMark и Geekbench 3 не затронуты, в отличие от Galaxy Note 3. Природа этих оптимизаций такова, что список тестов необходимо поддерживать, так что вместе с обновлениями прошивки владельцы смартфонов получают не только новые функции, но и новые оптимизации для бенчмарков.