В данной работе предложена архитектура рекуррентной нейронной сети (RNN), предназначенная для непосредственного захвата глобального смысла, связывающего слова в документе через скрытые темы. Из-за их последовательного характера RNN хороши при захвате локальной структуры последовательности слов как семантической, так и синтаксической, однако, могут столкнуться с трудностями при запоминании долгосрочных зависимостей. Эти долгосрочные зависимости имеют семантический характер. Напротив, тематические модели способны захватывать глобальную семантическую структуру коллекции в целом, но не учитывают природу естественного языка, в частности игнорируют порядок слов. Предложенная модель объединяет достоинства RNN и тематических моделей.