자연어 처리에서 토큰화(tokenization)의 목적은 무엇입니까?

토큰화(tokenization)는 자연어 처리(NLP)의 필수 단계로, 텍스트를 단어, 구두점, 또는 하위 단어와 같은 더 작은 단위인 '토큰'으로 분할합니다. 이는 컴퓨터가 텍스트를 이해하고 분석하기 쉽도록 만듭니다. 텍스트 데이터를 암호화하거나 압축하는 것은 토큰화의 목적이 아니며, 언어 간 번역은 토큰화 이후의 더 복잡한 NLP 작업입니다. 따라서 텍스트를 처리 가능한 작은 단위로 나누는 것이 토큰화의 주된 목적입니다.