GuardRate: метрики, бенчмарки и инсайты из первого аудита (часть 2)
<img src="https://habrastorage.org/getpro/habr/upload_files/771/934/874/7719348742c09aed3436f5c08c5b45bf.png" /><p>В <a href="https://habr.com/ru/companies/raft/articles/1067854/" rel="noopener nofollow">первой части</a> мы верхнеуровнево рассмотрели результаты оценки 37 моделей, обсудили проблему оценки и сравнения guardrail моделей, рассказали, как лидерборд помогает с ней справиться, а также поделились инсайтами и руководством по использованию. </p><p>Теперь пришло время заглянуть во внутреннюю кухню: в этой статье мы подробно разберем устройство GuardRate Tool и GuardRate Leaderboard, ответим на вопрос, почему выбрали именно такие бенчмарки и метрики, опишем методологию и расскажем о том, как проводились эксперименты.</p> <a href="https://habr.com/ru/articles/1081286/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1081286#habracut">Читать далее</a>