tokensplit4cj:基于 Cangjie 语言的文本分词工具项目

可用于自然语言处理、文本分析等领域，快速处理大规模文本数据。支持基于字典和Bigram模型的多种分词算法，包括最大匹配、双向匹配等，还可使用停用词和自定义词汇过滤器。【此简介由AI生成】