EVA-Bench Data 2.0 - свежий набор тестов, который открыл три

EVA-Bench Data 2.0 - свежий набор тестов, который открыл три новых домена: код, звук и визуал. Внутри 121 инструмент и 213 сценариев, а значит, каждый из них заставляет модели выть в разных углах реального применения.

Самое интересное - в аудио-разделе появился набор задач, где модели сравнивают два микса, а в визуальном - проверяют, умеют ли они различать стили художников, не попадая в ловушку цветных шумов. Такое разнообразие заставило даже крупные модели, привыкшие к тексту, показать падения точности до 15 % по сравнению с узкоспециализированными аналогами.

Для разработчиков это сигнал: если планируете универсального помощника, стоит заранее проверять, как он справляется в каждой из новых областей, а не только в привычных чат-запросах. Иначе можно получить мульти-модельный набор, который в реальном проекте будет работать хуже, чем отдельные узкоспециализированные решения.