Chonky:一个完全基于神经网络的文本分块工具。它能将文本智能分割成有意义的语义块,帮助你更高效地处理和理解长文本。亮点:
-
使用Transformer模型,精准分块; -
支持RAG系统,拓展应用范围; -
一行代码即可完成安装,简单易用。


参考文献:
[1] https://github.com/mirth/chonky
[2] https://huggingface.co/mirth/chonky_distilbert_base_uncased_1
(文:NLP工程化)
Chonky:一个完全基于神经网络的文本分块工具。它能将文本智能分割成有意义的语义块,帮助你更高效地处理和理解长文本。亮点:
参考文献:
[1] https://github.com/mirth/chonky
[2] https://huggingface.co/mirth/chonky_distilbert_base_uncased_1
(文:NLP工程化)