Не выбирайте ИИ по общему счёту: соберите свой тест из 3 задач

Общий счёт 10:5 не говорит, какая модель нужна вам

В тесте модели решали 15 прикладных задач: готовили презентации и обучающие материалы, разбирали данные, монтировали видео, собирали интерфейсы и работали в браузере. GPT-6 Astra выиграла 10 задач, Fable 5.1 - 5.

Но выбирать по табло - плохая привычка. Внутри результатов есть разделение по типу работы.

Fable 5.1 чаще выглядела убедительнее там, где итог оценивают глазами. В презентации она дала меньше текста на слайдах, и материал оказался удобнее для живого выступления. В продающем тексте разобрала больше возражений. В обучающем документе добавила подписанные скриншоты и указатели. В карте личной базы знаний разделила заметки на кластеры и добавила поиск.

GPT-6 Astra чаще побеждала там, где ошибку найдут поздно и она будет стоить дорого. В анализе канала она дала графики и прикладной план. В налоговом аудите приложила детализированный реестр транзакций, по которому можно проверить итог. В аудите подписок нашла регулярные списания, подорожания тарифов и дубликаты. При разборе встреч обработала 79 записей против 58.

Для рабочей модели важнее не победа в обзоре, а предсказуемый результат в вашей рутине.

Визуальный результат и проверяемый результат требуют разных критериев

Полезно делить задачи не по отделам и не по модным названиям инструментов. Делите их по способу приёмки результата.

Эта рамка объясняет противоречивые результаты. GPT-6 Astra сделала строгую структуру из 35 слайдов, но перегрузила их текстом. Fable 5.1 уступила в глубине аналитики канала, хотя подготовила 25 страниц против 15: решений в более длинном документе оказалось меньше.

В видеомонтаже обе модели собрали минутный ролик из 150 ГБ съёмок. Fable 5.1 лучше оформила финал как анонс следующего события. GPT-6 Astra точнее выбрала выступления, реакции зала и точки склеек, но допустила ошибку в подписи спикера. Это хороший пример, почему даже сильный результат надо принимать по чек-листу, а не по первому впечатлению.

Данные нельзя принимать по красивой сводке

Самая опасная ошибка при внедрении ИИ - увидеть аккуратную таблицу и решить, что задача закрыта. В аудите подписок одна модель подготовила убедительную сводку по категориям, датам и приоритетам. Но главная вкладка со всеми списаниями оказалась пустой.

Для задач с деньгами, учётом и регулярными решениями нужна проверяемость. Модель должна оставлять след: исходные записи, логику расчёта, список исключений, места, где она не уверена. В налоговом аудите таким следом стал подробный реестр транзакций. Он позволяет сверить, откуда взялась финальная сумма.

Польза здесь прямая: команда тратит меньше времени на поиск расхождений и реже принимает красивый, но пустой ответ за готовую работу. Особенно это важно, если данные поступают из нескольких источников или задача повторяется каждую неделю.

Не работает подход «попросим модель сделать идеально». Даже GPT-6 Astra, которая выиграла все 3 задачи блока с деньгами и данными, сначала задавала около 7 уточняющих вопросов в налоговой задаче. Эти вопросы не тормозят работу. Они показывают, что исходных условий недостаточно.

Оболочка вокруг модели способна изменить результат сильнее настроек рассуждений

Нельзя списывать каждый провал на саму модель. В одном упомянутом тесте одинаковая модель получила 62,7 в общем стандарте и почти 100 в родной оболочке. С выключенным усиленным рассуждением в родной оболочке результат составил 96,7.

Причина в том, что оболочка управляет контекстом. Она решает, что сохранить из прошлых действий, что сжать, какие файлы передать дальше и в какой момент остановить задачу. Если в контексте мусор, противоречивые старые инструкции или пропущенные данные, сильная модель тоже даст слабый ответ.

Поэтому не делайте вывод о модели по одному сложному кейсу. Визуализатор базы знаний, например, может проиграть из-за качества модели, а может - из-за того, как ей передали заметки и ограничения интерфейса. Без повторного прогона с контролем входных данных этого не отделить.

Если команда собирает свои рабочие сценарии в ATLAS PANEL, фиксируйте там входные материалы, критерии приёмки и итог каждого прогона. Тогда сравнение моделей перестаёт быть спором о вкусах и становится историей наблюдений.

Лимиты и сбои релизной недели ломают планы без предупреждения

Модель нельзя выбирать по обещанию «безлимитности». Для GPT-6 Astra в базовом платном тарифе упоминались одновременно 2 окна: пятичасовое и недельное. Оценка для пятичасового окна - от 5 до 45 сообщений. Расход зависит от размера входа и ответа, уровня усилия и числа шагов в задаче.

У Fable 5.1 в базовом платном тарифе нужны отдельные кредиты. В старшем тарифе её лимит ограничен частью общего недельного бюджета. Значит, агентный сценарий надо оценивать не только по качеству первого результата, но и по тому, выдержит ли он нужный объём работы.

Релизная неделя добавляет отдельный риск. Во время теста у победившей модели подтверждались 3 проблемы: старые инструкции надстройки мешали самопроверке, экспериментальное управление контекстом могло преждевременно обрывать задачи и обращаться к устаревшим сообщениям, часть вычислительных мощностей была настроена неверно.

Свой набор из 3 задач полезнее чужого рейтинга

Выберите 3 повторяющиеся задачи, на которых команда реально теряет время или рискует ошибиться. Для каждой подготовьте эталон: хороший ответ, исходные данные и короткий список проверки. Затем прогоняйте этот набор после крупных обновлений и при смене модели.

Не нужно устраивать большой бенчмарк. Достаточно 20 минут раз в пару недель. Вы быстро увидите, какая модель лучше пишет объяснения для новичков, какая не теряет строки в таблицах, а какая стабильно проходит ваш браузерный сценарий.