Фреймворки оценки
Измеряет важное поведение в приложениях с языковыми моделями.
Обзор
Спроектируйте небольшой повторяемый набор оценок вокруг реальных продуктовых сбоев. Определите ожидаемое поведение и рубрику до выбора model judge.
Указанный источник
OpenAI EvalsФреймворк оценкиnpx reporadars add evaluation-frameworksCLI появится позже — только предварительный просмотр.
Черновик. Независимая проверка во время выполнения ожидается.
Источник указан; черновые инструкции оригинальны.
0.1.0, зафиксирована в этом черновике.
Явные разрешения и ограничения ниже.
Claude Code, Codex, Cursor
Читайте анонимизированные примеры. Без внешних вызовов моделей, публикации датасетов и платных запусков без разрешения.
Возможности
- Превращать продуктовые сбои в тест-кейсы
- Определять ожидаемые результаты и рубрики
- Разделять примеры разработки и holdout
- Проверять конфиденциальность и происхождение данных
- Сообщать неопределённость и категории сбоев
Как это работает
- Подтвердите задачу, сбои и доступные примеры.
- Напишите рубрику с наблюдаемыми критериями успеха.
- Спроектируйте ограниченный запуск и проверьте неоднозначные случаи вручную.
- Сообщите результаты с ограничениями и деталями воспроизводимости.
Это оригинальный черновик Reporadars, подготовленный с учётом указанного источника. Совместимость не проверялась независимо во время выполнения; перед использованием изучите инструкции, разрешения и размещение для своего агента.