Как мы измеряем точность детекции ПДн: pii-bench, golden-выборка и честные метрики
<img src="https://habrastorage.org/getpro/habr/upload_files/5b3/6bc/8d7/5b36bc8d74c8ce99f0068931faa1e255.png" /><p>Когда вендор защиты данных пишет на сайте «точность детекции 99%», возникает ровно один вопрос: <strong>как это измерено?</strong> Без методики цифра не значит ничего — «99%» может означать честный span-level F1 на внешнем бенчмарке, а может — «в 99 из 100 сообщений сканер что-то нашёл». Это разные вещи, и разница между ними — это пропущенные паспорта в проде.</p><p>Мы делаем Pigard — прокси, который маскирует персональные данные до отправки в LLM, — и в этой статье показываем методику измерения точности целиком: внешний бенчмарк, собственная golden-выборка, разбор ошибок и честные цифры, включая неудобные. Конкурентов не называем и их заявленные метрики не цитируем — только собственные результаты и способ их получения, чтобы вы могли повторить то же самое с любым вендором, включая нас.</p> <a href="https://habr.com/ru/articles/1080334/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1080334#habracut">Читать далее</a>