Диффузионная LLM технически умеет глушить свой контекст. Я попробовал этим воспользоваться
Диффузионная LLM может пересматривать свой контекст — в отличие от ARM. Я попробовал заставить её саму чистить RAG-контекст, положив ретрив графа знаний под маску. Результат спорный. Подробнее