在自然语言处理中，分词（tokenization）的目的是什么？

分词（tokenization）在自然语言处理中的核心目的是将原始文本分解成更小的、有意义的单元，这些单元通常是单词、子词或字符，以便后续的机器学习模型能够理解和处理。例如，句子“我爱学习”可以被分词为“我”、“爱”、“学习”这三个词。 其他选项不正确的原因： 加密文本数据：加密是保护数据安全的技术，与分词无关。 压缩文本文件：压缩旨在减小文件大小，与分词的文本结构分析目的不同。 在不同语言之间翻译文本：翻译是机器翻译的任务，虽然分词是翻译过程中的一个预处理步骤，但分词本身的目的不是翻译。