Как задать один вопрос двум ответам и сравнить дыры, а не модели

Сравнивать ответы генеративных систем удобно, если сравнение начинается не с названий моделей, а с качества поставленного вопроса. Один и тот же короткий запрос можно открыть в двух окнах и получить два разных текста. Но различие между ними ещё ничего не говорит о том, какая система «лучше». Оно может показать другое: один ответ назвал недостающие условия, второй уверенно заполнил пробелы догадкой, а третий вариант мог бы напомнить, что исходных данных мало.

Для практического упражнения возьмём вопрос: каких данных не хватает, чтобы оценить срок задачи, если известны только название и исполнитель? В условии нет самого срока, масштаба работы, зависимостей и критерия готовности. Поэтому задача ответа — не назвать число дней, а составить аккуратный перечень неизвестных. Такой формат позволяет сравнить наблюдаемое содержание, не выдумывая лидерборд.

Вопрос, в котором мало данных

Название задачи и имя исполнителя задают лишь две координаты. По названию можно понять направление работы, но нельзя узнать объём результата. Имя исполнителя говорит, кто отвечает за задачу, но не показывает его загрузку, доступ к материалам и зависимость от других людей. Даже простой глагол в названии может скрывать разные действия: «подготовить отчёт» — это собрать данные, написать текст, согласовать его или всё перечисленное?

Не хватает описания результата. Нужно знать, какой артефакт должен появиться: письмо, файл, исправление в программе, макет или разговорное решение. Важно также понимать, по каким признакам работу принимают. Если критерий не определён, окончание процесса может переноситься сколько угодно раз: каждый новый читатель обнаружит ещё одну желательную правку.

Нужен размер работы. Количество исходных материалов, число разделов, языки, формат входных данных и требуемая глубина прямо влияют на объём действий. Вопрос «подготовить анализ» без указания предмета и границ не даёт возможности отличить маленькую проверку от отдельного исследования. Ответ, который сразу называет срок, замещает отсутствующие сведения своей догадкой.

Отдельно проверяют зависимости. Исполнитель может ждать доступа, решения заказчика, выгрузки, ответа коллеги или проверки результата. Такие условия не являются деталью календаря; они определяют, может ли работа идти непрерывно. Вопрос не содержит ни одной из этих связей, поэтому корректный ответ должен назвать их как неизвестные, а не притвориться, что задача изолирована.

Наконец, нужно различать желаемую дату и продолжительность самой работы. «К пятнице» может быть внешним ограничением, а может быть просто пожеланием. Если дата важна, её следует указать вместе с часовым поясом и ожидаемым результатом. Без этого ответ не должен превращать расплывчатое условие в точный план.

Что сравнивают у двух ответов

У двух ответов сравнивают не длину и не уверенный тон. Первый вопрос — назвал ли каждый текст пробелы в исходных данных. Хороший перечень может включать объём, критерий готовности, исходные материалы, зависимости, доступность исполнителя и внешнее ограничение. Не обязательно перечислять всё одинаковыми словами, но каждый пункт должен быть проверяемым. Для разговора о параметрах поиска на этом сайте есть материал о настройке гиперпараметров для RAG; он полезен как соседняя техническая тема, но не подменяет проверку двух ответов.

Второй вопрос — отличает ли ответ факт от предположения. Факт из задачи один: известны название и исполнитель. Предположение — что задача уже начата, что исполнитель свободен, что материалов мало или что заказчик быстро ответит. Если текст называет предположение условием, это заметная дыра в рассуждении.

Третий вопрос — помогает ли перечень получить следующий вход. Формулировка «нужно больше информации» слишком общая. Полезнее спросить: «Какой именно результат должен быть готов? Сколько документов нужно обработать? Кто принимает работу? От чего она зависит?» Такие вопросы превращают неопределённость в список для уточнения.

Не следует награждать ответ за красивую структуру, если в ней нет содержания. Заголовки и нумерация облегчают чтение, но не заменяют проверки. И наоборот, короткий ответ может быть сильным, если он точно назвал ключевые неизвестные и не добавил выдуманного срока. В упражнении оценивается покрытие дыр, а не литературность.

Полезно выделить в двух текстах совпадающие пункты и оставить различия в отдельном списке. Совпадение показывает, что оба ответа заметили очевидный пробел. Различие даёт повод вернуться к условию: действительно ли один текст увидел зависимость, которую второй пропустил, или он сам добавил несуществующее обстоятельство? Итогом должен быть объединённый список вопросов, а не медаль победителю.

Почему это не сравнение моделей

Один запрос не является бенчмарком. Он не фиксирует набор тестов, критерий оценки, порядок проверки, влияние формулировки и повторяемость результата. Ответ может зависеть от контекста диалога, выбранного режима, длины входа и случайных вариантов генерации. Поэтому два окна с одинаковой фразой дают полезное упражнение для критического чтения, но не исследование производительности моделей.

Даже если первый текст кажется яснее, причина может быть в форме ответа, а не в «уме» системы. Один вариант перечислил пункты, второй написал абзац; после разметки в пункты их содержание окажется близким. Сравнение нужно проводить после приведения к одной задаче: назвать неизвестные условия и не придумывать срок.

Нельзя по этому примеру заявлять, что одна открытая модель точнее другой. Нельзя переносить наблюдение на программирование, перевод, анализ документов или другие области. Смена темы меняет требуемые знания и критерии ошибки. Честный вывод ограничен этим вопросом и двумя полученными текстами. Для базового контекста можно сопоставить его с материалом о начале работы с Llama-2, а вопрос о внедрении — с текстом о Llama 2 для компаний. Эти страницы расширяют тему, но не превращают один пример в рейтинг.

Точно так же не стоит смешивать модель, интерфейс и процесс. Ошибка могла появиться из-за неполного запроса, а полезный пункт — из-за удачного контекста. Чтобы изучать системы шире, понадобился бы заранее составленный набор вопросов с понятной шкалой проверки. В рамках этой статьи достаточно разобрать один пример и явно назвать границы вывода.

Браузерный чат ChatGPT как второе окно для того же вопроса

Для второго независимого ответа можно открыть ChatGPT в браузере. Страница полезна здесь как отдельное окно, куда переносится ровно тот же вопрос без добавления скрытых пояснений. Первое окно может быть любым другим собеседником; его название и техническое устройство не оцениваются. Важна одинаковость входа и раздельная фиксация выходов.

Скопируйте исходную фразу без улучшений. Не добавляйте во второе окно слова вроде «ответь лучше» или «проверь предыдущую модель»: это уже другая задача. После получения текста уберите только служебные приветствия и лишнее оформление, если оно не относится к ответу. Смысловые предложения сохраняются, чтобы сравнение не стало редактированием в пользу одного участника.

В первом проходе прочитайте оба текста отдельно. Отметьте карандашом конкретные неизвестные условия, которые каждый назвал. Во втором проходе пометьте предложения, где система перешла от условия к догадке. В третьем составьте общий список вопросов, который можно задать человеку, ставящему задачу. Такой порядок не даёт первому впечатлению о тоне определить итог.

Браузерное окно не превращает полученный текст в исходный документ и не отвечает за постановку цели. Оно помогает получить второй материал для сопоставления. Если оба ответа ошиблись, ошибка остаётся ошибкой обоих текстов; если один пропустил зависимость, человек должен добавить её сам, а не считать автоматическую выборку достаточной.

Список дыр, который оставляет человек

После чтения двух ответов объедините их в рабочий список. В первой строке опишите ожидаемый результат: что именно должно быть сделано. Во второй уточните объём: сколько частей, файлов или операций входит в работу. В третьей зафиксируйте критерий приёмки: по чему станет понятно, что задача закончена.

Дальше перечислите входы и ограничения. Какие документы или данные уже есть? Нужно ли получить доступ? Есть ли формат, язык, размер или другая граница? Не подменяйте пропуск конкретным значением. Если число не дано, напишите вопрос о числе, а не вставляйте удобное число в план.

Затем проверьте людей и связи. Кто принимает результат? Кто должен ответить или предоставить материал? Может ли исполнитель делать задачу непрерывно? Есть ли другая работа, от которой зависит начало? Эти пункты помогают увидеть, почему простое название и имя ещё не дают календарной оценки.

Только после уточнений можно обсуждать срок. В нём должны быть отделены время работы и ожидание внешнего ответа. Если заказчик просит дату, запишите её как ограничение и проверьте, соответствует ли ей объём. Список дыр не обязан выдавать готовый прогноз; его задача — сделать прогноз возможным. Для другой технической задачи можно посмотреть материал об ускорении вывода в Llama 2, но скорость ответа не меняет правило проверки содержания.

Итог удобно сформулировать так: «По имеющимся данным срок оценить нельзя. Для оценки нужны результат, объём, критерий готовности, доступные материалы, зависимости и ограничение по дате». Это не уклонение от ответа. Это точное описание границы данных, после которой можно задавать дополнительные вопросы.

Запрет

Не публикуйте таблицу баллов Llama и не создавайте рейтинг на основании одного вопроса. Даже аккуратное сопоставление двух текстов не является числовым тестом. Цифры лидербордов в этой задаче не помогают понять, какие условия пропущены, а их появление создаёт видимость точности.

Запрещено писать, что Llama точнее или ChatGPT сильнее по результату этого упражнения. Можно сказать только, какой ответ назвал конкретную дыру, какой добавил предположение и какие пункты человек включил в общий список. Такой язык сохраняет наблюдаемое различие и не превращает частный пример в широкое обещание.

Не следует искажать исходный запрос ради эффектного вывода. Если в условии нет срока, его нельзя тихо добавить; если нет названия проекта, нельзя придумать его для полноты. Сравнение работает именно потому, что пропуски остаются видимыми. Ответ, который честно говорит «данных недостаточно», в этом упражнении полезнее уверенного числа без основания.