1、基于内容的推荐：
这种方法根据项的相关信息（如描述信息、标签等）和用户对项的操作行为（如评论、收藏、点赞等）来构建推荐算法模型。它可以直接利用物品的内容特征进行推荐，适用于内容较为丰富的场景。
#1. 基于内容的推荐算法
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import linear_kernel
import pandas as pd
anime = pd.read_csv('./data/archive_2/anime.csv')
# 使用TF-IDF向量化
tfidf = TfidfVectorizer(stop_words='english')
tfidf_matrix = tfidf.fit_transform(anime['Genres'].fillna(''))
# 计算每个动漫之间的余弦相似度
cosine_sim = linear_kernel(tfidf_matrix, tfidf_matrix)
# 创建一个动漫名字到索引的映射
indices = pd.Series(anime.index, index=anime['Name']).drop_duplicates()
# 推荐函数
def content_based_recommendations(title, cosine_sim=cosine_sim):
idx = indices[title]
sim_scores = list(enumerate(cosine_sim[idx]))
sim_scores = sorted(sim_scores, key=lambda x: x[1], reverse=True)
sim_scores = sim_scores[1:11]
anime_indices = [i[0] for i in sim_scores]
return anime['Name'].iloc[anime_indices]
# 示例：推荐与"Cowboy Bebop"相似的动漫
print(content_based_recommendations('Cowboy Bebop'))
结果如下：
2、协同过滤推荐：
这种方法通过分析用户的历史行为和偏好，找出具有相似兴趣的用户群体，然后推荐他们喜欢的物品或内容。协同过滤是一种常见的推荐系统技术，它基于用户的历史行为（例如评分、点击、购买等）来预测用户可能感兴趣的物品。协同过滤主要有两种类型：基于用户的协同过滤和基于物品的协同过滤。
基于用户的协同过滤推荐通过寻找具有相似兴趣的用户来推荐，
基于物品的协同过滤推荐通过寻找具有相似特征的物品来推荐。
基于用户的协同过滤
-
计算用户相似度：
- 找出与目标用户相似的用户。
- 常用的相似度度量方法包括余弦相似度、皮尔逊相关系数等。
- 余弦相似度公式：
- 其中 u 和 v 是两个用户的评分向量。
- 推荐物品：
- 找出相似用户喜欢但目标用户未评分的物品。
- 根据相似用户的评分来预测目标用户对这些物品的评分。
- 推荐评分最高的物品给目标用户.
import pandas as pd
from sklearn.metrics.pairwise import cosine_similarity
from scipy.sparse import csr_matrix
import numpy as np
batch_size = 10000 # 由于内存不够，一次处理10000条信息
num_recommendations = 10 # 推荐10个电影
def process_batch(batch_df, user_item_matrix):
# 将当前批的数据合并到全局用户-项目矩阵
batch_pivot = batch_df.pivot(index='user_id', columns='anime_id', values='rating').fillna(0)
# 合并到全局矩阵
user_item_matrix = user_item_matrix.add(batch_pivot, fill_value=0)
return user_item_matrix
# 计算用户之间的相似度
def calculate_similarity(user_item_matrix):
# 转换为稀疏矩阵
sparse_user_item_matrix = csr_matrix(user_item_matrix)
# 计算相似度
user_similarity = cosine_similarity(sparse_user_item_matrix)
user_similarity_df = pd.DataFrame(user_similarity, index=user_item_matrix.index, columns=user_item_matrix.index)
return user_similarity_df
# 生成推荐
def user_based_recommendations(user_id, user_item_matrix, user_similarity_df, anime_df, num_recommendations=10):
if user_id not in user_item_matrix.index:
raise ValueError(f"用户ID {user_id} 不在数据中")
# 获取相似用户
similar_users = user_similarity_df[user_id].sort_values(ascending=False).index[1:]
if len(similar_users) == 0:
return []
# 获取相似用户的评分数据
similar_users_ratings = user_item_matrix.loc[similar_users]
# 计算推荐得分
scores = similar_users_ratings.mean(axis=0).sort_values(ascending=False)
# 获取当前用户已经评分的动漫
user_watched_animes = user_item_matrix.loc[user_id]
user_watched_animes = user_watched_animes[user_watched_animes > 0].index
# 排除当前用户已经看过的动漫
recommendations = scores.drop(user_watched_animes, errors='ignore')
# 获取前num_recommendations个推荐
top_recommendations = recommendations.head(num_recommendations).index
# 确保推荐的动漫在anime数据集中
top_recommendations = top_recommendations[top_recommendations.isin(anime_df['MAL_ID'])]
# 获取推荐的动漫名称
recommended_animes = anime_df[anime_df['MAL_ID'].isin(top_recommendations)]['Name'].values
return recommended_animes
def main():
anime_df = pd.read_csv('./data/archive_2/anime.csv')
user_item_matrix = pd.DataFrame()
for chunk in pd.read_csv('./data/archive_2/rating_complete.csv', chunksize=batch_size):
user_item_matrix = process_batch(chunk, user_item_matrix)
# 计算用户之间的相似度
user_similarity_df = calculate_similarity(user_item_matrix)
# 为用户0推荐动漫
recommended_animes = user_based_recommendations(0, user_item_matrix, user_similarity_df, anime_df, num_recommendations)
print("推荐动漫：", recommended_animes)
if __name__ == "__main__":
main()
基于物品的协同过滤
-
计算物品相似度：
- 找出与目标物品相似的物品。
- 常用的相似度度量方法同样包括余弦相似度、皮尔逊相关系数等。
- 余弦相似度公式：
- 其中 i 和 j 是两个物品的评分向量。
- 推荐物品：
- 根据用户对相似物品的评分来预测用户对目标物品的评分。
- 推荐评分最高的物品给用户。
协同过滤算法的优缺点
优点
- 无需领域知识：协同过滤仅依赖于用户的历史行为数据，不需要对物品本身有深入的了解。
- 个性化推荐：能够根据用户的兴趣和行为进行个性化推荐，效果较好。
- 简单直观：算法相对简单，易于实现和解释。
缺点
- 数据稀疏性：在实际应用中，用户对大多数物品没有评分，这会导致评分矩阵非常稀疏，影响推荐效果。
- 冷启动问题：对于新用户或新物品，由于缺乏历史数据，协同过滤很难做出准确的推荐。
- 扩展性差：当用户和物品数量增加时，计算相似度的开销会显著增加，影响系统性能。
冷启动问题
冷启动问题是指在推荐系统中，无法为新用户或新物品提供高质量的推荐。这是协同过滤算法面临的主要挑战之一。解决冷启动问题的方法包括：
-
新用户冷启动：
- 问卷调查：在用户注册时，通过问卷调查获取用户的兴趣偏好。
- 使用社交网络数据：利用用户的社交网络数据，推测用户的兴趣。
- 混合推荐：结合内容过滤或基于知识的推荐方法，使用用户的属性和特征进行推荐。
-
新物品冷启动：
- 内容过滤：利用物品的内容信息（如标签、描述等）进行推荐。
- 使用上下文数据：利用物品的上下文数据，如发布日期、类型等，进行推荐。
- 混合推荐：结合协同过滤与内容过滤，通过物品的内容特征和已有的少量用户反馈进行推荐。
