python之jieba库|分词

作者：YXN-python 阅读量：45 发布日期：2023-04-18

1、安装

pip install jieba

2、模式

import jieba

# 全模式
seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
print ("全模式:","/ ".join(seg_list))

# 精确模式 默认是精确模式
seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
print ("默认模式:", "/ ".join(seg_list))  

# 搜索引擎模式
seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造")  
print (", ".join(seg_list))

3、排除及添加词组

import jieba
import re


text = '小明硕士毕业于中国科学院计算所'

text1 = jieba.cut(text, cut_all=False)
print(list(text1))  # ['小明', '硕士', '毕业', '于', '中国科学院', '计算所']


# 排除
# 排除 使用正则
a = "硕士 日本".replace(" ","|")
text1 = re.sub("["+a+"]","",text)
print(list(jieba.cut(text1, cut_all=False)))  # ['小明', '毕业', '于', '中国科学院', '计算所']

# 排除 使用 del_word()
jieba.del_word('硕士')

print(list(jieba.cut(text, cut_all=False)))  # ['小明', '硕', '士', '毕业', '于', '中国科学院', '计算所']


# 自定义字典
# 添加单个词语到词典中
jieba.add_word("中国科学院计算所")

# 载入自定义词典文件
# jieba.load_userdict("custom_dict.txt")

text2 = jieba.cut(text, cut_all=False)
print(list(text2))  # ['小明', '硕', '士', '毕业', '于', '中国科学院计算所']

YXN-python

2023-04-18