На поэтажном плане окно может выглядеть правильно, а на чертеже фасада оказаться другой ширины. В одном из примеров нового теста для ИИ агент должен сопоставить пять поэтажных планов с разрезами и фасадами, отметить расхождения и случаи, когда вывод сделать нельзя, и подкрепить замечания фрагментами чертежей. Итог работы — презентация, которую может проверить архитектор.
Google DeepMind и Artificial Analysis представили тест Multimodal Knowledge Agent 10 ноября. В закрытом наборе, по которому выставляют оценки, 200 заданий из 10 отраслей. Artificial Analysis запускает агентов в одной и той же программной среде и даёт им до 250 шагов на задание. Система на основе ИИ оценивает представленные материалы по критериям, составленным профильными специалистами. Проверка чертежей входит в отдельный набор открытых примеров, с которым могут ознакомиться рабочие команды.
Основной показатель — средняя по заданиям доля набранных баллов с учётом веса более сложных критериев. В техническом отчёте Google DeepMind у Claude Fable 5.2 по этому показателю 56,56%, у Gemini 4 Carbon — 54,34%. Разница в 2,22 процентного пункта укладывается в пределы статистической неопределённости исследования. Эти проценты показывают, сколько баллов модели набрали в тесте. По ним руководитель проекта не узнает, как часто агент пропускает ошибку в ширине окна.
Согласно отчёту, средняя стоимость вызовов API по прейскуранту составила 35,28 доллара США за задание для Fable и 5,63 доллара для Carbon. В этих запусках соотношение было примерно 6,3 к 1. В результатах, опубликованных Artificial Analysis при запуске, средние суммы другие: 31,97 и 6,29 доллара соответственно, то есть примерно 5,1 к 1. Команде, которая планирует бюджет пробного запуска, предстоит выяснить, сколько времени сотрудники потратят на проверку замечаний и поиск пропущенных ошибок.
Компания может испытать модели на комплекте чертежей, который её сотрудники уже проверили. Можно отдельно посчитать пропущенные расхождения и ложные замечания, замерить, сколько времени проверяющий тратит на поиск подтверждения каждого замечания на чертежах, и прибавить стоимость этого времени к расходам на запуск. Из открытого примера стоит взять один приём. Дайте агенту возможность указать, что по чертежам нельзя сделать вывод, а затем попросите показать материалы, по которым человек сможет принять решение.