multilingual

CJK 이중그램 토크나이저가 9개 언어의 검색 기능을 강화하는 방법

공백 기반 토크나이저는 한국어, 중국어, 일본어 텍스트에서 제대로 작동하지 않습니다. 다음은 하나의 인덱스로 9개 언어를 검색하는 바이그램(bigram) 방식입니다.