现在，构建一个推荐引擎，该推荐引擎关注的是餐馆食物的推荐。假设一个人决定外出吃饭，但并不知道去哪吃什么，我们这个推荐系统就可以帮他做到这两点。
首先我们构建一个基本的推荐引擎，它能够寻找用户没有尝过的菜肴，然后，通过SVD来减少特征空间并提高推荐的效果。这之后，将程序打包并通过用户可读的人机界面提供给人们使用。最后，我们可以看构建推荐系统时会面临的一些问题。
推荐未尝过的菜肴
推荐系统的工作过程一般是：给定一个用户，系统会为此用户返回N个最好的推荐菜。为了实现这一点，则需要我们做到：
1、寻找用户没有评级的菜肴，即在用户-物品矩阵中的0值；
2、在用户没有评级的所有物品中，对每个物品预计一个可能的评级分数。这就是说，我们认为用户可能会对物品的打分（这就是相似度计算的初衷）；
3、对这些物品的评分从高到低进行排序，返回前N个物品。
接下来，是具体的代码实现：
from numpy import *
from numpy import linalg as la
def cosSim(inA,inB):
num=float(inA.T*inB)
denom=la.norm(inA)*la.norm(inB)
return 0.5+0.5*(num/denom)
#用来计算在给定相似度计算方法的条件下，用户对物品的估计评分值
def standEst(dataMat,user,simMeas,item):
n=shape(dataMat)[1]
simTotal=0.0
ratSimTotal=0.0
for j in range(n):
userRating=dataMat[user,j]
if userRating == 0 :
continue
overLap=nonzero(logical_and(dataMat[:,item].A>0,dataMat[:,j].A>0))[0]
if len(overLap)==0:
similarity=0
else:
similarity=simMeas(dataMat[overLap,item],dataMat[overLap,j])
print('the %d and %d similarity is : %f' % (item,j,similarity))
simTotal=simTotal+similarity
ratSimTotal=ratSimTotal+similarity*userRating
if simTotal==0:
return 0
else:
return ratSimTotal/simTotal
#推荐引擎，它会调用standEst()函数
def recommend(dataMat,user,N=3,simMeas=cosSim,estMethod=standEst):
unratedItems=nonzero(dataMat[user,:].A==0)[1]
if len(unratedItems)==0:
return 'you rated everything'
itemScores=[]
for item in unratedItems:
estimatedScore=estMethod(dataMat,user,simMeas,item)
itemScores.append((item,estimatedScore))
return sorted(itemScores,key=lambda jj:jj[1],reverse=True)[:N]
上述代码包含了两个函数：第一个是standEst()，用来计算在给定相似度计算方法的条件下，用户对物品的估计评分值。第二个函数是recommend()，也就是推荐引擎，它会调用standEst()函数。
standEst()函数的输入参数包括数据矩阵、用户编号、物品编号、相似度计算方法。假设这里的数据矩阵的形式为行对应用户、列对应物品。那么，我们首先会得到数据集中的物品数目，然后对两个后面用于计算估计评分值的变量进行初始化。接着，我们遍历行中的每个物品。如果某个物品评分值为0，就意味着用户没有对该物品评分，跳过了这个物品。该循环大体上是对用户评过分的每个物品进行遍历，并将它和其他物品进行比较。变量overLap给出的是两个物品当中已经被评分的那个元素。如果两个没有任何重合元素，则相似度为0且中止本次循环。但是如果存在重合的物品，则基于这些重合物品计算相似度。随后，相似度会不断累加，每次计算时还考虑相似度和当前用户评分的乘积。最后，通过除以所有的评分总和，对上述相似度评分的乘积进行归一化。这就可以使得最后的评分值在0到5之间，而这些评分值则用于对预测值进行排序。
函数recommend()产生了最高的N个推荐结果。如果不指定N的大小，则默认值为3。该函数另外的参数还包括相似度计算方法和估计方法。我们可以使用任一种相似度计算方法。函数第一件事就是对给定用户建立一个未评分的物品列表。如果不存在未评分物品，那么就退出函数；否则，在所有的未评分物品上进行循环。对每个未评分物品，则通过调用standEst()来产生该物品的预测得分。该物品的编号和估计得分值会放在一个元素列表itemScores中。最后按照估计得分，对该列表进行排序并返回。该列表是从小到大逆序排列的。因此其第一个值就是最大值。
观察实际运行效果：
首先，原始数据：
def loadExData():
return [[4,4,0,2,2],
[4,0,0,3,3],
[4,0,0,1,1],
[1,1,1,2,0],
[2,2,2,0,0],
[1,1,1,0,0],
[5,5,5,0,0]]现在尝试默认的推荐：
mymat=mat(loadExData())
print(recommend(mymat,2))
这代表用户2对物品2的预测评分值为2.5，对物品1的预测评分值为2.05。下面我们就利用其他的相似度计算方法来进行推荐：
print(recommend(mymat,2,simMeas=euclidSim))
print(recommend(mymat,2,simMeas=pearsSim))
我们可以对多个用户进行尝试，或者对数据集做些修改来了解其给预测结果带来的变化。
利用SVD提高推荐的效果
实际的数据集会比我们用于展示recommend()函数功能的mymat矩阵稀疏的多。比如下图的数据集：
我们可以将该矩阵输入到程序中，下面来计算该矩阵的SVD来了解其到底需要多少维特征：
def loadExData2():
return[[0, 0, 0, 0, 0, 4, 0, 0, 0, 0, 5],
[0, 0, 0, 3, 0, 4, 0, 0, 0, 0, 3],
[0, 0, 0, 0, 4, 0, 0, 1, 0, 4, 0],
[3, 3, 4, 0, 0, 0, 0, 2, 2, 0, 0],
[5, 4, 5, 0, 0, 0, 0, 5, 5, 0, 0],
[0, 0, 0, 0, 5, 0, 1, 0, 0, 5, 0],
[4, 3, 4, 0, 0, 0, 0, 5, 5, 0, 1],
[0, 0, 0, 4, 0, 4, 0, 0, 0, 0, 4],
[0, 0, 0, 2, 0, 2, 5, 0, 0, 1, 2],
[0, 0, 0, 0, 5, 0, 0, 0, 0, 4, 0],
[1, 0, 0, 0, 0, 0, 0, 1, 2, 0, 0]]
U,Sigma,VT=la.svd(loadExData2())
print('Sigma：',Sigma)
接下来看到底有多少个奇异值能达到总能量的90%，首先对Sigma的值求平方，然后计算总能量计总能量的90%：
Sig2=Sigma**2
print(sum(Sig2)*0.9)
计算前两个元素所包含的能量：
print(sum(Sig2[:2]))
该值低于总能量的90%，所以改为计算前三个元素所包含的能量：
print(sum(Sig2[:3]))
这次高于总能量的90%，然后，我们可以将一个11维的矩阵转换成一个3维的矩阵。下面对转换后的三维空间构造出一个相似度计算函数。我们利用SVD将所有的菜肴映射到一个低维空间中区。在低维空间下，可以利用之前相同的相似度计算方法来进行推荐：
def svdEst(dataMat,user,simMeas,item):
n=shape(dataMat)[1]
simTotal=0.0
ratSimTotsl=0.0
U, Sigma, VT = la.svd(loadExData2())
Sig4=mat(eye(4)*Sigma[:4])
xformdItems=dataMat.T*U[:,:4]*Sig4.I
for j in range(n):
userRating=dataMat[user,j]
if userRating==0 or j==item:
continue
similarity=simMeas(xformdItems[item,:].T,xformdItems[j,:].T)
print('the %d and %d similarity is : %f' % (item, j, similarity))
simTotal=simTotal+similarity
ratSimTotsl=ratSimTotsl+similarity*userRating
if simTotal==0:
return 0
else:
return ratSimTotsl/simTotal上述代码中只有一个函数svdEst()。在recommend()中，这个函数用于替换对standEst()的调用，该函数对给定用户给定物品构建了一个评分估计值。这个函数的第三行对数据集进行了SVD分解。在SVD分解之后，我们只利用包含了90%能量值的奇异值，这些奇异值会以NumPy数组的形式得以保存。因此如果要进行矩阵运算，那么就必须要用这些奇异值构建出一个对角矩阵，然后，利用U矩阵将物品转换到低维空间中。
对于给定的用户，for循环在用户对应行的所有元素上进行遍历。这和standEst()函数中的for循环的目的一样，只不过这里的相似度计算是在低维空间下进行的。相似度的计算方法也会作为一个参数传递给该函数。然后，我们对相似度求和，同时对相似度及对应评分值的乘积求和。这些值返回之后则用于估计评分的计算。
下面是程序的执行效果：
myMat=mat(loadExData2())
print(recommend(myMat,1,estMethod=svdEst))
以另一种相似度计算方法测试：
myMat=mat(loadExData2())
print(recommend(myMat,1,estMethod=svdEst,simMeas=pearsSim))
构建推荐引擎面临的调整
上面的代码很好的展示出了推荐引擎的工作流程以及SVD将数据映射为重要特征的过程。
但推荐引擎还存在其他很多规模扩展的调整性问题，比如矩阵的表示方法：实际系统中的0非常多，也许我们可以通过只存储非零元素来节省内存和计算开销。另一个潜在的计算资源莱菲则来自于相似度得分，普遍的做法是离线计算并保存相似度得分。
推荐引擎面临的另一个问题是如何在缺乏数据时给出好的推荐，这称为冷启动问题，处理起来十分困难。这个问题的另一个说法是，用户不会喜欢一个无效的物品，而用户不喜欢的物品又无效。
冷启动问题的解决方案，就是将推荐看成是搜索问题，在内部表现上，不同的解决办法虽然有所不同，但是对用户而言都是透明的。为了将推荐看成是搜索问题，我们可能要使用所需要推荐物品的属性。同时，我们也可以将这些属性作为相似度计算所需要的数据，这被称为基于内容的推荐。可能，基于内容的推荐并不如基于协同过滤的推荐效果好，但它是一个良好的开始。
