HLLM: Enhancing Sequential Recommendations via Hierarchical Large Language Models for Item and User Modeling

introduction

LLM有着强大的语言能力，但是简单的将用户行为历史作为文本输入会产生很长的序列，但是LLM的复杂度与序列长度呈二次方关系。

Methond

本文提出层次化大语言模型，即使用两个LLM，第一个作为提取item表征的Item LLM，第二个作为提取用户兴趣的User LLM。

Item LLM

对于item $I$首先将其对应的文本描述展平成句子$T$，之后将其输入给tokenizer并在最后额外添加一个特殊的标记[ITEM]，因此输入给LLM的token序列可以被表示为：${t_1,t_2,…,t_m,[ITEM]}$，m代表文本token的长度。最后一层输出的与[ITEM]对应的hidden state被作为item的嵌入。

User LLM

原始的用户历史$U={I_1,…,I_n}$被Item LLM转换为特征序列${E_1,E_2,…,E_n}$之后