导语:
本文主要介绍了关于Python如何使用Spacy进行分词的相关知识,包括python中文分词的第三方库,以及python 分词这些编程知识,希望对大家有参考作用。
说明
1. Spacy 语言模型包括一些强大的文本分析能力,例如词性标注和命名实体识别。
2、导入spacy相关模块后,需要加载中文处理包。然后读取小说数据,NLP对八部小说进行处理,包括分词、量化、词性标注、语法分析、命名实体识别、符号/分离小说。最后通过is_stop函数判断单词中的单词是否为无效词,删除无效词后,将结果写入txt文件。
实例
import spacy
import pandas as pd
import time
from spacy.lang.zh.stop_words import STOP_WORDS
nlp = spacy.load('zh_core_web_sm')
def fenci_stopwords(data,newdata1):
fenci = []
qc_stopwords =[]
article = pd.read_table(data,encoding="utf-8")
start1 = time.time()
with open(newdata1,'w',encoding='utf-8') as f1:
for i in article["天龙八部"]:#分词
doc = nlp(i)
result1 = '/'.join([t.text for t in doc])
fenci.append(result1)
for j in fenci:#去除停用词
words = nlp.vocab[j]
if words.is_stop == False:
qc_stopwords.append(j)
result2 = '/'.join(qc_stopwords)
f1.write(result2)
end1 = time.time()
return end1-start1
本文教程操作环境:windows7系统、Python 3.9.1,DELL G3电脑。
本文为原创文章,版权归知行编程网所有,欢迎分享本文,转载请保留出处!
你可能也喜欢
- ♥ 如何在python中使用reverse函数?08/12
- ♥ python标识符使用注意事项10/31
- ♥ python如何将列表变成数组09/30
- ♥ python脚本为什么不能在cmd中执行10/05
- ♥ 如何在 python 中进行乘法运算12/12
- ♥ 为什么 Python 使用缩进来对语句进行分组?12/30
内容反馈