互联网:中文文本分类,中文分词与停用词的作

2019-06-23 20:04栏目:互联网

因为排名靠前的正常网站有很多的中文以及其他国家的网站,而对于不可描述网站来说,英文占多数。

2.2.3 Scikit-Learn库简介

2)逆向最大匹配法(由右到左的方向);

红色部分便是匹配上搜索关键词的部分,一个页面能够展示 10 个条目,每个条目的标题就是相应网站网站的的 title,对应网页的 <title></title> 中间的内容,每个条目所对应的剩下文字部分便是网站的 deion,是网页中诸如 <meta name="deion" content= 的部分。

1,模块分类:

1)分类和回归算法:广义线性模型,支持向量机,kNN,朴素贝叶斯,决策树,特征选择
2)聚类算法:K-means
3)维度约简:PCA
4)模型选择:交叉验证
5)数据预处理:标准化,去除均值率和方差缩放,正规化,二值化,编码分类特征,缺失值的插补

有了成熟的分词算法,是否就能容易的解决中文分词的问题呢?事实远非如此。中文是一种十分复杂的语言,让计算机理解中文语言更是困难。在中文分词过程中,有两大难题一直没有完全突破。

如果直接使用 train_test_split 对所有语料进行切分,则有可能会使得正常语料和色情语料在训练和策测试数据中的比例不一致,为了保证结果的可靠性,使用 train_test_split 分别对于正常语料和色情语料按照 7:3 的比例进行切分。然后将每一分切分后的训练和测试数据进行合并,使用朴素贝叶斯模型对于数据进行预测,采用多项式模型,代码如下:

2.2.6 使用朴素贝叶斯分类模块

常用的文本分类方法:kNN最近邻算法,朴素贝叶斯算法,支持向量机算法

本节选择朴素贝叶斯算法进行文本分类,测试集随机选取自训练集的文档集合,每个分类取10个文档

训练步骤和训练集相同:分词 (文件test_corpus) 》生成文件词向量文件 》 生成词向量模型。

(不同点:在训练词向量模型时,需加载训练集词袋,将测试集生成的词向量映射到训练集词袋的词典中,生成向量空间模型。)代码见文件。

#1,导入分词后的词向量Bunch对象
path = "test_word_bag/test_set.dat"   # 词向量空间保存路径
bunch = readbunchobj(path)  # 调用函数读取bunch对象,赋值给bunch

#2,构建测试集TF-IDF向量空间testspace
testspace = Bunch(target_name=bunch.target_name,label bunch.label,filenames=bunch.filenames.tdm=[],vocabulary=[])   

#3, 导入训练集的词袋(多这一步,与训练集不同)
trainbunch = readbunchobj("train_word_bag/tfidfspace.dat")  # tfidfspace.dat文件是训练集使用TF-IDF策略并持久化生成的

#4, 使用TfidfVectorizer初始化向量空间模型
vectorizer=TfidfVectorizer(stop_words=stpwrdlst,sublinear_tf=True,max_df=0.5,vocabulary=trainbunch.vocabulary)
transformer=TfidfTransformer()    # 创建一个该类的实例,该类会统计每个词语的TF-IDF权值
testspace.tdm=vectorizer.fit_transform(bunch.contents)   
testspace.vocabulary=trainbunch.vocabulary

#5, 创建词袋并持久化
space_path = "test_word_bag/testspace.dat"  #词向量空间保存路径
writebunchobj(space_path,testspace)  # 调用写入函数,持久化对象

执行多项式贝叶斯算法进行测试文本分类,并返回分类精度,代码见文件

# 执行多项式贝叶斯算法并进行测试文本分类,并返回分类精度

#1,导入多项式贝叶斯算法包
from sklearn.naive_bayes import MultinomialNB #导入多项式贝叶斯算法包

#2,执行预测

trainpath = "train_word_bag/tfidfspace.dat"
train_set = readbunchobj(trainpath)     #导入训练集向量空间

testpath = "test_word_bag/testspace.dat"
test_set = readbunchobj(testpath)        # 导入测试集向量空间

#应用朴素贝叶斯算法
# alpha:0.001   alpha越小,迭代次数越多,精度越高
clf = MultinomialNB(alpha = 0.001).fit(train_set.tdm,train_set.label)

# 预测分类结果
predicted = clf.predict(test_set.tdm)
total = len(predicted);rate = 0
for flabel,file_name,expct_cate in zip(test_set.label,test_set.filenames,predicted):
    if flabel !=expct_cate:
        rate =1
        print file_name,":实际类别:",flabel,"-->预测类别:",expct-cate

print "error rate:",float(rate)*100/float(total),"%"

这种分词方法是通过让计算机模拟人对句子的理解,达到识别词的效果。其基本思想就是在分词的同时进行句法、语义分析,利用句法信息和语义信息来处理歧义现象。它通常包括三个部分:分词子系统、句法语义子系统、总控部分。在总控部分的协调下,分词子系统可以获得有关词、句子等的句法和语义信息来对分词歧义进行判断,即它模拟了人对句子的理解过程。这种分词方法需要使用大量的语言知识和信息。由于汉语语言知识的笼统、复杂性,难以将各种语言信息组织成机器可直接读取的形式,因此目前基于理解的分词系统还处在试验阶段。

当然在分析最终识别结果的过程中,还发现起始很多的色情语料被标记成了正常语料。原因在于,正常语料的来源是 alex 排名靠前的网站。在这其中是有部分的不可描述网站的。

本章知识点:中文分词,向量空间模型,TF-IDF方法,文本分类算法和评价指标
使用的算法:朴素的贝叶斯算法,KNN最近邻算法
python库:jieba分词,Scikit-Learning
本章目标:实现小型的文本分类系统
本章主要讲解文本分类的整体流程和相关算法

到底哪种分词算法的准确度更高,目前并无定论。对于任何一个成熟的分词系统来说,不可能单独依靠某一种算法来实现,都需要综合不同的算法。笔者了解,海量科技的分词算法就采用“复方分词法”,所谓复方,相当于用中药中的复方概念,即用不同的药才综合起来去医治疾病,同样,对于中文词的识别,需要多种算法来处理不同的问题。

四,模型的训练识别以及比较;

2.4 分类算法:KNN

KNN算法:计算向量间的距离衡量相似度来进行文本分类

小谈:中文分词技术

当然虽然正常和不可描述网站都是 4500 ,但是我只提取了英文网站的信息,对于像日文等网站都进行了排除,实际上有效的英文不可描述网站语料为 3500 ,有效的英文正常网站为 2300 。

2.1 文本挖掘和文本分类的概念

1,文本挖掘:指从大量的文本数据中抽取事先未知的,可理解的,最终可使用的知识的过程,同时运用这些知识更好的组织信息以便将来参考。
简言之,就是从非结构化的文本中寻找知识的过程
2,文本挖掘的细分领域:搜索和信息检索(IR),文本聚类,文本分类,Web挖掘,信息抽取(IE),自然语言处理(NLP),概念提取。
3,文本分类:为用户给出的每个文档找到所属的正确类别
4,文本分类的应用:文本检索,垃圾邮件过滤,网页分层目录自动生成元数据,题材检测
5,文本分类的方法:一是基于模式系统,二是分类模型


中文分词技术属于 自然语言处理技术范畴,对于一句话,人可以通过自己的知识来明白哪些是词,哪些不是词,但如何让计算机也能理解?其处理过程就是分词算法。

互联网 1

2.3.1 贝叶斯公式推导

朴素贝叶斯文本分类的思想:它认为词袋中的两两词之间是相互独立的,即一个对象的特征向量中的每个维度都是相互独立的。
朴素贝叶斯分类的定义:
(1),设x={a1,a2,^am}为一个待分类项,而每个a为x的一个特征属性
(2),有类别集合C={y1,y2,……yn}.
(3),计算P(y1|x),P(y2|x),……,P(yn|x)
(4),如果P(yk|x)=max{P1,P2,……,Pn},则x属于yk

-- 计算第(3)步的各个条件概率:
(1)找到一个已知分类的待分类集合,即训练集
(2)统计得到在各个类别下的各个特征属性的条件概率估计,即:
P(a1|y1),P(a2|y2),……,P(am|y1)
P(a1|y2),P(a2|y2),……,P(am|y2)
……
(3),如果各个特征属性是条件独立的,根据贝叶斯定理有:
P(yi|x) = P(x|yi)*P(yi)/P(x)
分母对于所有类别为常数,故只需将分子最大化即可

故,贝叶斯分类的流程为:
第一阶段 : 训练数据生成训练样本集:TF-IDF
第二阶段: 对每个类别计算P(yi)
第三阶段:对每个特征属性计算所有划分的条件概率
第四阶段:对每个类别计算P(x|yi)P(yi)
第五阶段:以P(x|yi)P(yi)的最大项作为x的所属类别

还可以将上述各种方法相互组合,例如,可以将正向最大匹配方法和逆向最大匹配方法结合起来构成双向匹配法。由于汉语单字成词的特点,正向最小匹配和逆向最小匹配一般很少使用。一般说来,逆向匹配的切分精度略高于正向匹配,遇到的歧义现象也较少。统计结果表明,单纯使用正向最大匹配的错误率为1/169,单纯使用逆向最大匹配的错误率为1/245。但这种精度还远远不能满足实际的需要。实际使用的分词系统,都是把机械分词作为一种初分手段,还需通过利用各种其它的语言信息来进一步提高切分的准确率。

互联网 2


如果交叉歧义和组合歧义计算机都能解决的话,在歧义中还有一个难题,是真歧义。真歧义意思是给出一句话,由人去判断也不知道哪个应该是词,哪个应该不是词。例如:“乒乓球拍卖完了”,可以切分成“乒乓 球拍 卖 完 了”、也可切分成“乒乓球 拍卖 完 了”,如果没有上下文其他的句子,恐怕谁也不知道“拍卖”在这里算不算一个词。

搜索引擎的工作原理就是首先将互联网上大部分的网页抓取下来,并按照一定的索引进行存储形成快照,每个条目的标题就是原网站 title(通常是 60 个字节左右,也就是 30 个汉字或者 60 各英文字母,当然搜索引擎也会对于 title 做一定的处理,例如去除一些无用的词),条目的描述部分通常对应原网站 deion。

2.2.4 向量空间模型:文本分类的结构化方法

1,向量空间模型:将文本表示为一个向量,该向量的每个特征表示为文本中出现的词
2,停用词:文本分类前,自动过滤掉某些字或词,以节省储存空间。根据停用词表去除,表可下载。代码见文件

 转自:

前两天教师节,人工智能头条的某个精神股东粉群里,大家纷纷向当年为我们启蒙、给我们带来快乐的老师们表达感激之情。

2.2.1 文本预处理:

文本处理的核心任务:将非结构化的文本转换为结构化的形式,即向量空间模型

文本处理之前需要对不同类型的文本进行预处理

歧义是指同样的一句话,可能有两种或者更多的切分方法。例如:表面的,因为“表面”和“面的”都是词,那么这个短语就可以分成“表面 的”和“表 面的”。这种称为交叉歧义。像这种交叉歧义十分常见,前面举的“和服”的例子,其实就是因为交叉歧义引起的错误。“化妆和服装”可以分成“化妆 和 服装”或者“化妆 和服 装”。由于没有人的知识去理解,计算机很难知道到底哪个方案正确。

P(A|B) = P(B|A) P(A) / P(B)

TF-IDF权重策略:计算文本的权重向量

1,TF-IDF的含义:词频逆文档频率。如果某个词在一篇文章中出现的频率高(词频高),并且在其他文章中很少出现(文档频率低),则认为该词具有很好的类别区分能力,适合用来分类。IDF其实是对TF起抵消作用。
2,词频TF的定义:某一个给定的词语在该文件中出现的频率(对词数的归一化)
3,逆文件频率IDF:某一特定词语的IDF,由总文件数除以包含该词语的文件的数目,再将商取对数
4,TF-IDF的计算:TF与IDF的乘积
5,将分词后的持久化语料库文件dat利用TF-IDF策略转化,并持久化的代码见文件

#coding=utf-8

import sys
import os 
from sklearn.datasets.base import Bunch  # 导入Bunch类
import cPickle as pickle  #导入持久化类

from sklearn import feature_extraction
from sklearn.feature_extraction.text import TfidfTransformer   # TF-IDF向量转换类
from sklearn.feature_extraction.text import TfidfVectorizer   # TF-IDF向量生成类


reload(sys)
sys.setdefaultencoding('utf-8')  #UTF-8输出环境

# 读取和写入Bunch对象的函数

def readbunchobj(path):   # 读取bunch对象函数
    file_obj = open(path,"rb")
    bunch = pickle.load(file_obj)  # 使用pickle.load反序列化对象
    file_obj.cloase()
    return bunch

def writebunchobj(path,bunchobj):   # 写入bunch对象函数
    file_obj = open(path,"wb")
    pickle.dump(bunchobj,file_obj)   # 持久化对象
    file_obj.close()

###################################从训练集生成TF-IDF向量词袋

# 1,导入分词后的词向量Bunch对象
path = "train_word_bag/train_set.dat"  # 词向量空间保存路径(就是分词后持久化的文件路径)
bunch = readbunchobj(path)   # 调用函数读取bunch对象,赋值给bunch

# 2,构想TF-IDF词向量空间对象,也是一个Bunch对象
tfidfspace = Bunch(target_name=bunch.target_name,label=bunch.label,filenames=bunch.filenames,tdm=[],vocabulary=[])     # 构建Bunch对象,将bunch的部分值赋给他

# 3,使用TfidfVectorizer初始化向量空间模型
vectorizer = TfidfVectorizer(stop_words=stpwrdlist,sublinear_tf=True,max_df=0.5)
transformer=TfidfTransformer()   # 创建一个该类的实例,该类会统计每个词语的TF-IDF权值
# 文本转化为词频矩阵,单独保存字典文件
tfidfspace.tdm = vectorilzer.fit_transform(bunch.contents)  # 将bunch.content的内容……赋给模型的tdm值
tfidfspace.vocabulary = vectorizer.vocabulary   # ????????????????

# 4,持久化TF-IDF向量词袋
space_path = "train_word_bag/tfidfspace.dat"   # 词向量词袋保存路径
writebunchobj(space_path,tfidfspace)  # 调用写入函数,持久化对象

新词,专业术语称为未登录词。也就是那些在字典中都没有收录过,但又确实能称为词的那些词。最典型的是人名,人可以很容易理解句子“王军虎去广州了”中,“王军虎”是个词,因为是一个人的名字,但要是让计算机去识别就困难了。如果把“王军虎”做为一个词收录到字典中去,全世界有那么多名字,而且每时每刻都有新增的人名,收录这些人名本身就是一项巨大的工程。即使这项工作可以完成,还是会存在问题,例如:在句子“王军虎头虎脑的”中,“王军虎”还能不能算词?

有了一个个单词之后,需要将这些单词转化为一些模型能够接受的输入形式,也就是词向量。一种常见的方法就是构建一个 N * M 的矩阵,M 大小是所有文本中词的个数;N 的大小是所有文本个数,在本文的环境中就是 title,deion 或者 keywords 的(即网站的)个数。

2.2.7 分类结果评估

机器学习领域的算法评估的指标:
(1)召回率(查全率):检索出的相关文档数和文档库中所有的相关文档数的比率,是衡量检索系统的查全率
召回率=系统检索到的相关文件/系统所有相关的文档总数
(2)准确率(精度):检索出的相关文档数与检索出的文档总数的比率
准确率=系统检索到的相关文件/系统所有检索到的文件总数
(3)Fp-Measure
Fp=(p2 1)PR/(p2P R),P是准确率,R是召回率
p=1时,就是F1-Measure
文本分类项目的分类评估结果评估:代码见文件

import numpy as np
from sklearn import metrics

def metrics_result(actual,predict):
    print '精度:{0:3f}'.format(metrics.precision_score(actual,predict))
    print '召回:{0:0.3f}'.format(metrics.recall_score(actual,predict))
    print 'f1-score:{0:3f}'.format(metrics.f1_score(actual,predict))

metrics_result(test_set.label,predicted)

#输出形式如
#精度:0.991
#召回:0.990
#f1-score:0.990

对于机械分词方法,可以建立一个一般的模型,在这方面有专业的学术论文,这里不做详细论述。

当在搜索框中输入关键词时候,会去和其存储网页进行匹配,将符合匹配的网页按照个网页的权重分页进行显示。当然网页的权重包含很多方面,例如广告付费类权重就非常的高,一般会在靠前的位置显示。对于一般的网站,其权重包括网页的点击次数,以及和关键词匹配的程度等来决定显示的前后顺序。

2.2.2 中文分词介绍

1,中文分词:将一个汉字序列(句子)切分成一个单独的词(中文自然语言处理的核心问题)
2,中文分词的算法:基于概率图模型的条件随机场(CRF)
3,分词后文本的结构化表示:词向量空间模型,主题模型,依存句法的树表示,RDF的图表示
4,本项目的分词系统:采用jieba分词
5, jieba分词支持的分词模式:默认切分,全切分,搜索引擎切分
6,jieba分词的代码见文件:对未分词语料库进行分词并持久化对象到一个dat文件(创建分词后的语料文件:train_corpus_seg)

#coding=utf-8

import sys
import os
import jieba

reload(sys)
sys.setdefaultencoding('utf-8')    # 配置UTF-8输出环境

#定义两个函数,用于读取和保存文件

def savefile(savpath,content):   # 定义一个用于保存文件的函数
    fp = open(savepath,"wb")
    fp.write(content)
    fp.close()

def readfile(path):    # 定义一个用于读取文件的函数
    fp = open(path,"rb")
    content = fp.read()
    fp.close()
    return content    #函数返回读取的内容


# 以下是整个语料库的分词主程序

corpus_path = "train_corpus_small/"   # 未分词分类语料库路径
seg_path = "train_corpus_seg/"  # 分词后分类语料库路径

catelist = os.listdir(corpus_path) #os.listdir获取cor_path下的所有子目录

for mydir in catelist:       # 遍历所有子目录
    class_path = corpus_path mydir "/"  #构造分类子目录的路径
    seg_dir = seg_path mydir "/"  #构造分词后的语料分类目录

    if not os.path.exists(seg_dir):  # 是否存在目录,如果没有则创建
        os.makedirs(seg_dir)

    file_list = os.listdir(class_path)  # 获取目录下的所有文件

    for file_path in file_list:      # 遍历目录下的所有文件
        fullname = class_path file_path    #文件路径
        content = readfile(full.name).strip()   # 读取文件,strip()用于移除字符串头尾指定的字符,即移除头尾的空格
        content = content.replace("rn","").strip()  # 将空格和换行替代为无
        content_seg = jieba.cut(content)    # 利用jieba分词

        savefile(seg_dir file_path," ".join(content_seg))   # 调用函数保存文件,保存路径为:seg_dir file_path,用空格将分词后的词连接起来

print "中文语料分词结束"


#############################################################################

# 为了便于后续的向量空间模型的生成,分词后的文本还要转换为文本向量信息并对象化
# 引入Scikit-Learn的Bunch类

from sklearn.datasets.base import Bunch
bunch = Bunch{target_name=[],label=[],filename=[],contents=[]}

# Bunch类提供键值对的对象形式
#target_name:所有分类集名称列表
#label:每个文件的分类标签列表
#filename:文件路径
#contents:分词后的文件词向量形式

wordbag_path = "train_word_bad/train_set.dat"  #分词语料Bunch对象持久化文件路径
seg_path = "train_corpus_seg/"   #分词后分类语料库路径(同上)

catelist = os.listdir(seg_path)  # 获取分词后语料库的所有子目录(子目录名是类别名)
bunch.target_name.extend(catelist)   # 将所有类别信息保存到Bunch对象

for mydir in catelist:     # 遍历所有子目录
    class_path = seg_path mydir "/" # 构造子目录路径
    file_list = os.listdir(class_path)    # 获取子目录内的所有文件
    for file_path in file_list:     # 遍历目录内所有文件
        fullname = class_path file_path    # 构造文件路径
        bunch.label.append(mydir)      # 保存当前文件的分类标签(mydir为子目录即类别名)
        bunch.filenames.append(fullname)  # 保存当前文件的文件路径(full_name为文件路径)
        bunch.contents.append(readfile(fullname).strip())  # 保存文件词向量(调用readfile函数读取文件内容)

file_obj = open(wordbad_path,"wb")  # 打开前面构造的持久化文件的路径,准备写入
pickle.dump(bunch,file_obj)   # pickle模块持久化信息,bunch是要持久化的文件,已添加了信息。file_obj是路径
file_obj.close()
# 之所以要持久化,类似游戏中途存档,分词后,划分一个阶段,将分词好的文件存档,后面再运行就不用重复分词了

print "构建文本对象结束!!"      

# 持久化后生成一个train_set.dat文件,保存着所有训练集文件的所有分类信息
# 保存着每个文件的文件名,文件所属分类和词向量

分词中的难题

三,分词,去停用词形成词向量特征

2.2.5 权重策略:TF-IDF方法

1,词向量空间模型:将文本中的词转换为数字,整个文本集转换为维度相等的词向量矩阵(简单理解,抽取出不重复的每个词,以词出现的次数表示文本)
2,归一化:指以概率的形式表示,例如:0,1/5,0,0,1/5,2/5,0,0,也称为:词频TF(仅针对该文档自身)
3,词条的文档频率IDF: 针对所有文档的词频

交叉歧义相对组合歧义来说是还算比较容易处理,组合歧义就必需根据整个句子来判断了。例如,在句子“这个门把手坏了”中,“把手”是个词,但在句子“请把手拿开”中,“把手”就不是一个词;在句子“将军任命了一名中将”中,“中将”是个词,但在句子“产量三年中将增长两倍”中,“中将”就不再是词。这些词计算机又如何去识别?

deion(0.8921404682274248,0.9054515050167224,0.8979933110367893,0.9037792642140468,0.8904682274247492)

2.3 分类算法:朴素贝叶斯

本节主要讨论朴素贝叶斯算法的基本原理和python实现

一、什么是停用词? 
停用词(Stop Words) ,词典译为“电脑检索中的虚字、非检索用字”。在SEO中,为节省存储空间和提高搜索效率,搜索引擎在索引页面或处理搜索请求时会自动忽略某些字或词,这些字或词即被称为Stop Words(停用词)。 
停用词一定程度上相当于过滤词(Filter Words),不过过滤词的范围更大一些,包含黄色、政治等敏感信息的关键词都会被视做过滤词加以处理,停用词本身则没有这个限制。通常意义上,停用词(Stop Words)大致可分为如下两类: 
1、使用十分广泛,甚至是过于频繁的一些单词。比如英文的“i”、“is”、“what”,中文的“我”、“就”之类词几乎在每个文档上均会出现,查询这样的词搜索引擎就无法保证能够给出真正相关的搜索结果,难于缩小搜索范围提高搜索结果的准确性,同时还会降低搜索的效率。因此,在真正的工作中,Google和百度等搜索引擎会忽略掉特定的常用词,在搜索的时候,如果我们使用了太多的停用词,也同样有可能无法得到非常精确的结果,甚至是可能大量毫不相关的搜索结果。 
2、文本中出现频率很高,但实际意义又不大的词。这一类主要包括了语气助词、副词、介词、连词等,通常自身并无明确意义,只有将其放入一个完整的句子中才有一定作用的词语。如常见的“的”、“在”、“和”、“接着”之类,比如“SEO研究院是原创的SEO博客”这句话中的“是”、“的”就是两个停用词。 
二、Stop Words对SEO的影响 
文档中如果大量使用Stop words容易对页面中的有效信息造成噪音干扰,所以搜索引擎在运算之前都要对所索引的信息进行消除噪音的处理。了解了Stop Words,在网页内容中适当地减少停用词出现的频率,可以有效地帮助我们提高关键词密度,在网页标题标签中避免出现停用词能够让所优化的关键词更集中、更突出。

A={0,1},表示具体的类别,即是不可描述网站还是普通网站。因此上述公式可以表示为:

2.4.1 KNN算法的原理

1,算法思想:如果一个样本在特征空间的k个最近邻(最近似)的样本中的大多数都属于某一类别,则该样本也属于这个类别,k是由自己定义的外部变量。

2,KNN算法的步骤:

第一阶段:确定k值(就是最近邻的个数),一般是奇数
第二阶段:确定距离度量公式,文本分类一般使用夹角余弦,得出待分类数据点与所有已知类别的样本点,从中选择距离最近的k个样本
夹角余弦公式:cos =AB/|A|*|B|
第三阶段:统计k个样本点中各个类别的数量,哪个类别的数量最多,就把数据点分为什么类别

3)最少切分(使每一句中切出的词数最小)。

矩阵每一行的值,就是经过上述方法切词之后,词库中每一个词在该 title 上出现的频率,当然对于没有在该 title 出现的词(存在于其他 title 中)计为 0 即可。

2.5 结语

本章讲解了机器学习的两个算法:朴素贝叶斯算法和K最近邻算法

介绍了文本分类的6个主要步骤:
1)文本预处理
2)中文分词
3)构建词向量空间
4)权重策略----TF-IDF方法
5)朴素贝叶斯算法器
6)评价分类结果

英文是以词为单位的,词和词之间是靠空格隔开,而中文是以字为单位,句子中所有的字连起来才能描述一个意思。例如,英文句子I am a student,用中文则为:“我是一个学生”。计算机可以很简单通过空格知道student是一个单词,但是不能很容易明白“学”、“生”两个字合起来才表示一个词。把中文的汉字序列切分成有意义的词,就是中文分词,有些人也称为切词。我是一个学生,分词的结果是:我 是 一个 学生。

版权声明:本文由新浦京娱乐手机平台发布于互联网,转载请注明出处:互联网:中文文本分类,中文分词与停用词的作