Антон Белявский

В данном докладе рассматривается проблема фрагментарной когерентности (FCP) в больших языковых моделях (LLM), таких как DeepSeek, при работе с объемными документами. FCP проявляется в том, что модель генерирует несвязные фрагменты текста, вместо того чтобы целостно перерабатывать информацию, что вынуждает пользователя заниматься их интеграцией. В работе анализируются основные причины данной проблемы: архитектурные ограничения механизма внимания, акцент на локальном контексте и недостаточная адаптация обучения для сложного редактирования. Предлагается многоуровневое решение, которое включает архитектурные инновации (иерархическое внимание, динамическая память), методологии работы (стратегическое чанкирование, мастер-промпты) и новые подходы к обучению (RL для обеспечения глобальной когерентности). Доклад завершается протоколом для эмпирической проверки предложенных методов.