LIS WIKI / 概念术语
分词
Tokenization
分词是在确定文献单位后，把连续字符切分为可处理的词元的过程。词元随后可以经过规范化，形成检索系统使用的索引词项。[1]
01 认识这个词条
词元与词项
词元是文献中一次具体出现的字符片段；相同字符序列可多次出现。索引词项则是系统实际收入词典的单位，可能与原始词元不同。[1]
切分需要规则
按空格切分只是一个起点。姓名中的撇号、缩写和标点都可能影响词元边界，因此，切分规则需要结合文字与应用场景确定。[1]
02 参考出处
以下为本条目使用的机构资料，可点击核对原文。
- 01Manning、Raghavan、Schütze《信息检索导论》· Tokenization nlp.stanford.edu · 访问于 2026-09-22