‘23.3.6(월) 딥러닝을 이용한
1. 토큰화(토큰화) – 코퍼스를 토큰이라는 단위로 나누는 작업을 토큰화라고 합니다. – 의미 있는 단위로 토큰 정의(예: 단어. 문장) 2. 단어 토큰화 – 문장 부호 < . , ? ; ! > ※ 단순히 말뭉치에서 구두점이나 특수문자를 제외하는 것은 옳지 않습니다. 예를 들어 45.55 또는 01.02.06은 문장 부호와 다른 의미를 갖습니다. ※ 띄어쓰기 주의 예를 들어 … Read more
1. 토큰화(토큰화) – 코퍼스를 토큰이라는 단위로 나누는 작업을 토큰화라고 합니다. – 의미 있는 단위로 토큰 정의(예: 단어. 문장) 2. 단어 토큰화 – 문장 부호 < . , ? ; ! > ※ 단순히 말뭉치에서 구두점이나 특수문자를 제외하는 것은 옳지 않습니다. 예를 들어 45.55 또는 01.02.06은 문장 부호와 다른 의미를 갖습니다. ※ 띄어쓰기 주의 예를 들어 … Read more