Как создавался агрегатор ИБ-новостей: склейка сюжетов, семь признаков важности и порог по данным
<img src="https://habrastorage.org/getpro/habr/upload_files/764/83e/b59/76483eb5918811e55aa39100646c32e9.png" /><p>Идея агрегатора новостей по кибербезопасности зародилась еще давно. Хотелось получать самое важное и без инфошума. LLM тогда ещё не были повседневным инструментом, и первую версию реализовал на модели суммаризации rut5_base_sum_gazeta, а важность считал textrank. Работало так себе. Потом появились сервисы, которые сами подбирают новости под настроенную ленту. Но оптимального решения так и не увидел – это либо про всё сразу, либо что-то про одну узкую тему.</p><p>Задача изначально выглядела простой. Моделей полно, готовых наработок должно было быть много. Но на практике уже первые недели ушли на тюнинг, и лучше при этом не становилось: поднял порог – канал молчит сутки, опустил – в ленту попали вебинары, квадранты и пресс-релизы продуктов. Из этого опыта родилось гибридное решение. Важность теперь считает формула из семи признаков, все логируется, а модель пишет тексты и отсекает нерелевантное.</p> <a href="https://habr.com/ru/articles/1076014/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1076014#habracut">Читать далее</a>