Галлюцинации VLM в zero-shot детекции: ложные тревоги о дыме и решение на уровне промпта
<img src="https://habrastorage.org/getpro/habr/upload_files/bd8/d99/084/bd8d99084d26323db7b44af8084cf61c.png" /><p>Как я попробовала решить задачу детекции огня и дыма без обучения, zero-shot детекцией на VLM. О том, как изначально всё работало на видео с настоящим дымом, а на заведомо чистых улицах модель нашла «дым» на 70 % моих данных: рисовала боксы на машинах, знаках и светофорах, иногда с confidence 0% и текстовым пояснением, что дыма нет. В статье описала, почему одношаговый bbox-формат провоцирует ложные детекции, какие стандартные приёмы промпт-инжиниринга не помогли и какое изменение промпта снизило долю ложных тревог с 70 % кадров до нуля при recall выше 80%.</p> <a href="https://habr.com/ru/articles/1081166/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1081166#habracut">Читать далее</a>