10 апреля 2020

MediaTek попалась на читерстве с бенчмарками

Константин Иванов

По материалам AnandTech

История вокруг того, что некоторые производители смартфонов могут играться с настройками своих аппаратов таким образом, чтобы на бенчмарк-тестах они выдавали характеристики выше, чем могут в реальной жизни, – дело давнее. Громкий скандал был в 2013 году, когда подобные опции были найдены в смартфоне Samsung Galaxy S4. Было даже судебное разбирательство, закончившееся для Samsung штрафом в 13,4 млн долларов. Поднятая в результате шумиха в СМИ дала свой эффект, крупные производители смартфонов от подобной практики отказались – потенциальный ущерб сильно перевешивал все возможные плюсы.

Но в последнюю пару лет к этим методам стали возвращаться. В первую очередь речь идет о китайских вендорах. Наиболее известный случай был два года назад, когда выяснилось, что Huawei отключает температурный троттлинг, позволяя бенчмаркам разгонять чипсет до максимально возможных параметров, пока не срабатывает температурная защита, отключающая все. Снова привлечение внимания сработало, и компания перешла к более прозрачным и честным механизмам, да и у устройств проблем стало меньше.

Проблема при этом никуда не делась. Рынок китайских вендоров настолько велик, что никто не в состоянии проверить каждое устройство на предмет честности при работе с бенчмарками. В результате обман подобных программ сохраняется как общепринятая практика. Т.е. возврат Huawei к практике настройки аппаратов для бенчмарков в особый режим – это вполне рациональное соображение, поскольку все так делают.

Определенным предохранителем был тот факт, что производитель чипсета мог ограничивать возможности разработчика устройства. Т.е. ни один аппарат в принципе не мог «разогнаться» до величин, не предусмотренных создателями чипсета. И вот тут-то мы подходим к той практике, которую вела компания MediaTek последние несколько лет. Если раньше обвинять в завышении характеристик нужно было создателей смартфонов, то теперь оказывается, что подобную практику внедряли на самом базовом уровне, непосредственно при создании чипсета.

Helio P95 производительнее Dimensity 1000L?!

Внимание журналистов из AnandTech привлек аппарат Oppo Reno 3 Pro. Его европейская версия строится на чипсете MediaTek Helio P95. На тестах в PCMark смартфон выдал параметры, которых никак нельзя было ожидать от устройства на платформе с ядрами Cortex-A75. Еще интереснее оказалось сравнение с китайской версией Reno3, которая строится на платформе MediaTek Dimensity 1000L – более новой и производительной, но при этом показывающей в бенчмарке результат хуже, чем Р95. Копнули поглубже, и оказалось, что путь лежит в настоящую пропасть.

Проверка с помощью анонимизированной версии PCMark подтвердила предположение о фейковых результатах смартфона. Причем поразила не столько общая разница в результатах (в целом она составила около 30%), сколько масштаб подделок отдельных подтестов. Например, в проверке на загрузку записью данных отклонения составили 75%. Причем PCMark обычно не используют для читерства – он не только призван имитировать работу устройства под реальной нагрузкой, но также является тестом для определения времени работы от батареи. То есть если в нем подделать результат производительности, то высокий расход заряда негативно скажется на показателях автономности.

Контрольная проверка была сделана с помощью Oppo Reno3 Pro. У него есть еще одна китайская версия на чипсете Snapdragon 765G. Если компания Oppo осуществляет махинации с результатами бенчмарков, то он тоже должен выдавать завышенные показатели в PCMark. Однако результаты тестов показали, что он работает с бенчмарком ровно на том же уровне производительности, что и с любым другим приложением. Дальнейшее исследование того, как Oppo Reno3 обманывал бенчмарки, показало, что эта схема применяется MediaTek вот уже несколько лет:

В файлах ПО устройства имеется файл power_whitelist_cfg.xml, чаще всего расположенный в папках /vendor/etc. Проверка файла показала, что в нем находится список наиболее популярных приложений с различными режимами расхода энергии для них, а также список различных бенчмарков. Нашлось APK ID для PCMark, и там был выставлен режим расхода энергии с характерным названием «Спортивный режим». Разумеется, в списке нет абсолютно всех бенчмарков, но самые основные в нем присутствуют. Как используемые повсеместно GeekBench, AnTuTu, 3DBench и PCMark, так и несколько устаревшие вроде Quadrant или популярного в Китае 鲁大师 / Master Lu. Присутствуют и новейшие бенчмарки для работы с ИИ: Master Lu AIBench и ZTH AI Benchmark. 

Самым поразительным было наличие корпоративной версии Kishonti GFXBench. Для него не было «Спортивного режима», но присутствовали изменения в дефолтных DVFS, температурных настроек и планировщика. То есть данный список включает в себя бенчмарки, которые не предназначены для публичного использования, и их включение не может быть оправдано желанием удовлетворить потребность покупателей похвастаться высокими показателями своего смартфона, поскольку доступ к ним есть только у небольшого числа людей.

Но что же этот «Спортивный режим» делает? Для начала он незаметно изменяет некоторые параметры DVFS чипсета, например, заставляя контроллер памяти все время работать на максимальной частоте. Планировщик также перенастраивается таким образом, чтобы более агрессивно работать с нагрузкой, что дает возможность задачам быстрее поднимать частоту ядер процессора и поддерживать ее более длительное время, подобно тому, как это делают режимы буста.

Не совсем понятно, за что отвечают строки с _FPS_, но характерное название намекает на то, что они должны влиять на показания бенчмарков. Самая странная вещь, что в списке имеются строки, которые разгоняют файловую систему на устройствахF2FS, что и обуславливает работу с бенчмарками вроде AndroBench.

И так практически на всех устройствах с MediaTek

Важный момент. Такие файлы присутствуют не только в смартфонах OPPO. Их можно найти практически во всех устройствах, которые получили платформы от MediaTek. Конечно, полной проверки всех устройств, присутствующих на рынке, не проводилось, но вот таблица, которую смогли составить в AnandTech при беглой проверке:

Удивляет широта охвата. Самым старым аппаратом с «читерскими файлами» оказался Sony XA1 с чипсетом Helio P20 образца 2016 года. И далеко не факт, что это действительно самый старый аппарат с таким оснащением. Характерно, что у аппарата самый короткий список бенчмарков, а современные, работающие с ИИ вообще отсутствуют. Не менее характерно и то, что компания Sony никогда не попадала в списки «читеров», напротив, избегая привлекать к себе внимание такой практикой. А это указывает на то, что происхождение данный механизм ведет непосредственно от MediaTek и интегрирован в BSP (Board Support Package) платформы.

Не менее подозрительно и то, что при проверке ПО смартфона Oppo Reno3 Pro журналисты AnandTech обнаружили исчезновение этого списка бенчмарков. Произошло это после выпуска обновления ПО от OPPO. К сожалению, это не означало, что список вообще удалили и механизм перестал работать. При запуске бенчмарков смартфон продолжал себя вести по-прежнему, демонстрируя все те же характеристики, что и ранее в «Спортивном режиме». Так что список не убрали, а перепрятали.

Официальная позиция MediaTek

Компания MediaTek не могла остаться в стороне от обвинений AnandTech и дала изданию официальный ответ:

Заявление MediaTek для AnandTech

MediaTek следует общепринятым отраслевым стандартам и уверена, что сравнительные тесты точно отражают возможности наших чипсетов. Мы тесно сотрудничаем с мировыми производителями устройств, когда речь идет о тестировании и проверке в бенчмарках устройств на базе наших чипсетов, но в конечном итоге бренды имеют возможность настраивать свои собственные устройства по своему усмотрению. Многие компании разрабатывают устройства для работы на максимально возможном уровне производительности при проведении сравнительных тестов, чтобы продемонстрировать все возможности чипсета. Это показывает, каков верхний предел производительности на данном чипсете.

Конечно, в реальных сценариях существует множество факторов, которые будут определять работу чипсетов. Наборы микросхем MediaTek предназначены для оптимизации мощности и производительности, чтобы обеспечить наилучшее взаимодействие с пользователем при максимальном сроке работы от аккумулятора. Если кто-то запускает программу с интенсивными вычислениями, например, требовательную игру, чипсет будет интеллектуально приспосабливаться к вычислительным паттернам для обеспечения устойчивой производительности. Это означает, что пользователь будет видеть разные уровни производительности в разных приложениях, поскольку набор микросхем динамически управляет ресурсами процессора, графического процессора и памяти в соответствии с мощностью и производительностью, которые требуются для наилучшего взаимодействия с пользователем. Кроме того, в некоторых регионах могут быть включены разные типы режимов, поэтому производительность устройства может варьироваться в зависимости от требований регионального рынка.
Мы считаем, что демонстрация всех возможностей чипсета при проведении сравнительных тестов соответствует практике других компаний и дает потребителям точную картину производительности устройства.

Такой ответ несколько разочаровывает. Но давайте посмотрим, на чем компания сосредотачивает внимание. В заявлении говорится о том, что различные настройки чипсета позволяют добиться максимально репрезентативной демонстрации его возможностей. В общем случае это действительно так, и ранее уже говорилось о том, что именно так многие производители и поступают, поскольку полностью обмануть бенчмарк нельзя. И только когда разработчик бенчмарка меняет режим замеров производительности, данная схема перестает работать. Это всегда вызывало дискуссию насчет корректности бенчмарков и их результатов, но в любом случае это не вариант MediaTek. Хотя, конечно, стоило бы иметь более подробную техническую информацию о том, как работают все настройки «Спортивного режима».

Но и как аргумент в защиту MediaTek это не годится. Он верен в случае с тем, как GeekBench тестирует процессор или GFXBench проверяет производительность графической подсистемы. Они настроены именно на получение максимально возможных характеристик. Но ведь в схеме вносятся изменения, затрагивающие и работу тестов, пытающихся имитировать нагрузку в реальном использовании, как в случае с PCMark. Они создаются, чтобы оценить смартфон целиком, а не только чипсет.

Тот факт, что MediaTek работает и с такими тестами, прямо противоречит второму абзацу их же заявления, указывающему, что чипсеты предоставляют оптимизированный режим работы в реальных условиях. Если это так, то почему бы не дать чипсету и ПО возможность честно продемонстрировать свои способности? Что дает обман бенчмарков накопителя и файловой системы и как это влияет на возможности чипсета?

Заявление MediaTek, что производители смартфонов добавляют специальные режимы максимальной производительности, безусловно, верно. Об этом уже говорилось неоднократно, и это стало как раз результатом привлечения внимания к особым режимам работы с бенчмарками.

В смартфонах OPPO и многих других китайских производителей есть специальный «Высокопроизводительный режим», который можно выбрать в настройках смартфона. Он отличается от обычного режима высокой производительности, который имеется в смартфонах Samsung или Huawei, поскольку в нем аппарат выводится на режим, при котором энергоэффективность отсутствует как таковая. Это совершенно бесполезный для повседневного использования режим, но он присутствует во многих устройствах, включая модели на Snapdragon. Зато так можно получить максимум баллов в бенчмарке.

Но дело в том, что это чистый маркетинг, который не нужен ни большинству пользователей, ни производителю чипсета. То есть MediaTek в общем случае не должна была бы заниматься разработкой такого режима работы. Запуск бенчмарков в дефолтном состоянии смартфона как раз и давал бы представление о производительности в повседневном использовании аппарата. Однако отличие еще и в том, что механизм MediaTek непрозрачный. Он работает скрытно, тогда как у тех же OPPO пользователь сознательно включает аппарат в особый режим и его предупреждают о перегреве.

Компания MediaTek также ссылается на «требования рынка», которые заставляют ее действовать подобным образом и даже существуют в виде «отраслевых стандартов». К сожалению, это правда. И именно в этом суть проблемы.

Эти механизмы не создавались бы, если бы не было запроса со стороны производителей устройств. С точки зрения компании они просто пытаются удовлетворить запросы покупателей. И вот вопрос. Это MediaTek разработала систему детекции бенчмарков по собственной инициативе или же со стороны покупателей чипсетов когда-то в прошлом последовал подобный запрос? Если судить по тому, что нет сведений о том, что и другие производители чипсетов предоставляют производителям устройств аналогичные механизмы, то становится понятно, что MediaTek могла бы оставаться в стороне, поскольку от оглашения информации она теряет больше, чем выигрывает.

В результате создается впечатление, что чипсеты компании и их программное обеспечение не оптимизированы в достаточной мере для того, чтобы на настройках по умолчанию обеспечивать стабильную производительность и эффективность. Вместо этого требуется ручная перенастройка чипсетов, чтобы они выдавали в бенчмарках положенный результат. Результатом такого подхода для индустрии является подрыв доверия к тому, что показывают бенчмарки. По крайней мере, в случае с MediaTek их нужно теперь воспринимать с большим скепсисом. Насколько это явление было массовым и какую стратегию развития выберет компания, станет понятно в скором времени, когда появятся новые результаты тестов устройств с чипсетами данного разработчика.