使用朴素贝叶斯解决一些现实生活中的问题时,需要先从文本内容中得到字符串列表,然后生成词向量。
使用朴素贝叶斯对电子邮件进行分类的过程:
1、收集数据:提供文本文件
2、准备数据:将文本文件解析成词条向量
3、分析数据:检查词条确保解析的正确性
4、训练算法
5、测试算法:构建一个新的测试函数来计算文档集的错误率
6、使用算法:构建一个完整的程序对一组文档进行分类,输出错分的文档。
准备数据:切分文本
对于一个文本字符串,可以使用Python的string.split()方法将其切分。但是这种方法下,标点符号也会被当成词的一部分。可以使用正则表达式来切分句子,其中分隔符是除单词、数字外的任意字符串。比如:
import re
mySent='This book is the best book on Python on M.L. I have ever laid eyes upon.'
regEx=re.compile('\\W')
listOfTokens=regEx.split(mySent)
print(listOfTokens)
现在得到了一系列词组成的词表,但是里面的空字符串需要去掉。可以计算每个字符串的长度,只返回长度大于0的字符串,并且,句子的第一个单词是大写的,如果目的是句子查找,那么这个特点会很有用,但是这里的文本只看出词袋,所以我们希望所有词的形式都是统一的:
print([tok.lower() for tok in listOfTokens if len(tok)>0])
现在拿一封完整的电子邮件观察实际处理结果:
需要注意的是,由于‘URL:answer.py?hl=en&answer=174623’的一部分,因而会出现en和py这样的单词,当对URL进行切分时,会得到很多词。我们是想去掉这些单词,因此在实现时会过滤掉长度小于3的字符串。在实际的解析程序中,要用更高级的过滤器来对诸如HTML和URL的对象进行处理。
测试算法:使用朴素贝叶斯进行交叉验证
下面将文本解析器集成到一个完整分类器中:
def textParse(bigString):
import re
listOfTokens=re.split(r'\W',bigString)
#小写、切分、长度大于等于3
return [tok.lower() for tok in listOfTokens if len(tok)>2]
def spamTest():
docList=[]
classList=[]
fullText=[]
for i in range(1,126):
#打开文件
wordList=textParse(open('email/spam/%d.txt' % i).read())
#文档列表添加文本
docList.append(wordList)
#全文本列表增加文档列表
fullText.extend(wordList)
#列表增加1
classList.append(1)
wordList=textParse(open('email/ham/%d.txt' % i).read())
docList.append(wordList)
fullText.extend(wordList)
classList.append(0)
vocabList=createVocabList(docList)
trainingSet=range(50)
testSet=[]
for i in range(10):
#随机构建训练集
#random.uniform:范围内随机生成实数
randIndex=int(random.uniform(0,len(trainingSet)))
#测试集中增加,并在训练集中删除
testSet.append(trainingSet[randIndex])
del(trainingSet[randIndex])
trainMat=[]
trainClasses=[]
for docIndex in trainingSet:
trainMat.append(setOfWords2Vec(vocabList,docList[docIndex]))
trainClasses.append(classList[docIndex])
p0V,p1V,pSpam=trainNBO(array(trainMat),array(trainClasses))
errorCount=0
for docIndex in testSet:
wordVector=setOfWords2Vec(vocabList,docList[docIndex])
#对测试集分类
if classifyNB(array(wordVector),p0V,p1V,pSpam) != classList[docIndex]:
errorCount=errorCount+1
print('错误率:',float(errorCount)/len(testSet))
第一个函数textParse()接受一个大字符串并将其解析为字符串列表。该函数去掉少于两个字符的字符串,并将所有字符串转为小写。
第二个函数spamTest()对贝叶斯垃圾邮件分类器进行自动化处理。导入文件夹spam与ham文件夹下的文本文件,并将它们解析成词列表。之后构建一个测试集与训练集,两个集合中的邮件都是随机选出的。50封电子邮件中,随机选择10封为测试集。分类器所需要的概率计算只利用训练集中的文档来完成。Python变量trainingSet是一个整数列表,其中的值从0到49。测试集外的剩余部分作为测试集的过程称为留存交叉验证。假定现在只完成了一次迭代,那么为了更精确地估计分类器的错误率,就应该进行多次迭代后求出平均错误率。
接下来的for循环遍历训练集的所有文档,对每封邮件基于词汇表并构建词向量。这些词用于计算分类所需的概率。然后遍历测试集,对其中每封邮件进行分类。如果邮件分类错误,则错误数加一,最后给出总的错误百分比。
运行结果:
函数spamTest()会输出在10封随机选择的邮件上的分类错误率。