Yelper 之基于社交关系推荐

在之前的准备工作中，我们知道用户之间存在朋友（friend）关系，而且还通过用户互相评论过的商店计算过他们之间的相似度。那我们可不可以基于它们两者给用户推荐商店呢？

很显然是可以的。通过朋友给用户推荐商店在生活中是一种很常见的需求（如哪一家美食店朋友去过），因为朋友之间多多少少有一些共同兴趣之处，朋友去过的的商店该用户可能也会喜欢。一个用户可能有很多朋友，而朋友也可能去过很多家商店，他们对商店有评价高的，也有评价低的，简单将朋友去过的商店推荐给用户显然是不行的，因为这有可能给用户推荐了一个大家评价都比较差的商店，导致不好的用户体验。而且给用户推荐的商店数量应该是有限的，推荐全部商店存在上一句说到的问题；另外用户的精力是有限的，他/她只会关注最好的几个，这跟生活中的“人们只会记住第一名”有意思相似之处；最后，用户不喜欢做选择题，想一想我们平常为了找一家好的美食店翻尽美食 APP 商店的情形就清楚了。综合来讲，我们应该按朋友对商店的平均评价进行排序（Ranking），然后只给用户推荐平均评价最高的的几家商店（Top N）。

除了基于朋友关系进行推荐，还可以基于用户相似度进行推荐。两个用户相似度高说明他们兴趣相似的可能性大，给一个用户推荐另一个用户去过的商店也是很合理的。

基于朋友关系和用户相似度推荐都涉及到对社交关系进行建模。而对于此种关系建模，图形数据库有着天然的优势，因为图形数据库本身就是建立节点（Node）、关系（Relationship）及属性（Property）这 3 个概念之上，非常擅长处理关系数据；我们最终选择的 Neo4J 这款比较闻名稳定的图形数据库更是把关系当做第一等公民（first class citizen）。例如，我们建立在 Neo4J 上的关系模型如下：

用户之间存在好友关系（FRIEND）、相似度关系（SIMILARITY），以及用户对商店存在评价关系（REVIEW）。当要查询某个用户的好友、相似的用户或评价过的商店时都是比较方便的，而且在这查询过程中还可以做一些聚合的操作（如求和）。

Neo4J 相关概念

• Node：节点
• Relationship：关系，用于连接节点
• Property：属性，节点和关系都可以有属性
• Label：标签，用于标识节点或关系
• Cypher：Neo4J 提供的一个类似于 SQL 的查询工具，详细可参考其官方文档

导入数据

关于导入 CSV 文件，可以参考 Neo4J 官方详细的说明和示例。

唯一性约束

用户和商店的 db_id （从 MySQL 导出）都是唯一的，为了防止在数据导入过程中存在数据重复隐患，我们为这两者的 db_id 加上唯一性约束。除了这个好处，Neo4J 在为某一个字段添加唯一性约束时会为该字段自动添加索引，这能够提高查询效率，还能够加快朋友、相似度、评论数据集的导入（因为涉及到对用户和商店 db_id 的查询）。

添加唯一性约束的命令如下：

-- 下边的 USER/BUSINESS 是标签（Label）；user/business 是节点。表示"分别"具有 USER/BUSINESS 标签的 user/business 节点的 db_id 都是唯一的
CREATE CONSTRAINT ON (user:USER) ASSERT user.db_id IS UNIQUE
CREATE CONSTRAINT ON (business:BUSINESS) ASSERT business.db_id IS UNIQUE

执行完成后，我们可以在 Neo4J 提供的 Web 界面中查询操作是否成功：

• 查询已添加的约束
  

• 查询已添加的索引
  

Neo4J 导入数据

Neo4J 导入数据之前需要先设置一下导入目录，具体可参考官方说明。

导入的数据文件是在之前的准备工作中处理后保存下来的。下边是导入数据的 Cypher 语句：

-- 用户
USING PERIODIC COMMIT 500	-- 导入大数据文件，为了减少出错概率，每 500 行数据提交一次，官方参考链接：https://neo4j.com/docs/developer-manual/current/cypher/clauses/load-csv/#load-csv-importing-large-amounts-of-data
LOAD CSV WITH HEADERS FROM "file:///las_vegas_user_with_db_id.csv" AS csvLine	-- 导入 CSV 文件
MERGE (user:USER { db_id: toInteger(csvLine.db_id) })	-- MERGE 表示不重复创建 db_id 一样的用户节点

-- 朋友关系（用户 <-> 用户）
USING PERIODIC COMMIT 500
LOAD CSV WITH HEADERS FROM "file:///las_vegas_friend_with_db_id.csv" AS csvLine
MATCH (user:USER { db_id: toInteger(csvLine.user_db_id)}),
      (friend:USER { db_id: toInteger(csvLine.friend_db_id)})
MERGE (user)-[r:FRIEND]-(friend)	-- 由于 Neo4J 只能保存有向关系，但用户好友关系是双向的，为了节省存储，对于用户A和B，他们之间的朋友关系只要保存一个“用户A->用户B”关系就足够了，再保存一个“用户B->用户A”关系是没有必要的

-- 相似度关系（用户 <-> 用户）
USING PERIODIC COMMIT 500
LOAD CSV WITH HEADERS FROM "file:///las_vegas_user2user_similarities.csv" AS csvLine
MATCH (user_a:USER { db_id: toInteger(csvLine.user_a_db_id)}),
      (user_b:USER { db_id: toInteger(csvLine.user_b_db_id)})
MERGE (user_a)-[s:SIMILARITY]-(user_b)
SET s.similarity = csvLine.similarity

-- 商店
USING PERIODIC COMMIT 500
LOAD CSV WITH HEADERS FROM "file:///las_vegas_business_preprocessed_with_db_id.csv" AS csvLine
MERGE (biz:BUSINESS { db_id: toInteger(csvLine.db_id), popularity: csvLine.popularity })

-- 评论（用户 -> 商店）
USING PERIODIC COMMIT 500
LOAD CSV WITH HEADERS FROM "file:///las_vegas_review_with_stars_time_scaled_with_db_id.csv" AS csvLine
MATCH (user:USER { db_id: toInteger(csvLine.user_db_id)}),
      (biz:BUSINESS { db_id: toInteger(csvLine.business_db_id)})
MERGE (user)-[r:REVIEW { db_id: csvLine.db_id, stars_time_scaled: csvLine.stars_time_scaled }]->(biz)	-- 不同于用户之间关系，用户对商店的关系只能是单向的

-- 转换部分字段数据类型为浮点类型（因为一些数据导入之后变成字符串）
MATCH ()-[r:SIMILARITY]->() SET r.similarity = toFloat(r.similarity)
MATCH (b:BUSINESS) SET b.popularity = toFloat(b.popularity)
MATCH ()-[r:REVIEW]->() SET r.stars_time_scaled = toFloat(r.stars_time_scaled)

可视化

我们可以在 Web 界面查询得到上边导入的三种关系（以 db_id 为 1 的用户为例）：

• 朋友关系：双向（Neo4J 只能表示单向关系，这里的单向在实际意义上是双向的）

  MATCH (u1:USER {db_id: 1})-[f:FRIEND]-(u2:USER) RETURN u1, f, u2 limit 10;

  

• 相似度关系：双向

  MATCH (u1:USER {db_id: 1})-[s:SIMILARITY]-(u2:USER) RETURN u1, s, u2 limit 4;

  

• 评论关系：单向

  MATCH (u1:USER {db_id: 1})-[r:REVIEW]-(b:BUSINESS) RETURN u1, r, b limit 8;

  

推荐

基于朋友关系推荐

基于朋友关系的 Cypher 语句如下（以 db_id 为 65 的用户为例）：

MATCH (u1:USER)-[r:REVIEW]->(biz:BUSINESS), (u1)-[f:FRIEND]-(u2:USER {db_id: 65}) WHERE NOT ((u2)-[:REVIEW]->(biz)) -- 过滤出用户 u2（如 db_id 为 1 的用户）没评论过但朋友评论过的商店
WITH biz, r.stars_time_scaled AS stars	-- 将商店、stars 数据向下传递
ORDER BY biz.db_id, stars DESC	-- 按商店 db_id 分组，并按 stars 大小从高到低排序
WITH biz.db_id AS business, COLLECT(stars)[0..3] AS starses	-- 只取每个商店评论中的 stars 值最大的 3 个
WITH business, REDUCE(s = 0, i IN starses | s + i)*1.0 / LENGTH(starses) AS recommendation	-- 计算每个商店 stars 平均值（推荐值）
ORDER BY recommendation DESC	-- 按推荐值从高到低排序
RETURN business , recommendation LIMIT 10;	-- 返回推荐值 TOP 10 的商店

得到的结果如下：

从以上结果，按推荐值从大到小，就可以给用户推荐商店了。

基于相似度关系推荐

基于相似度关系的 Cypher 语句如下（以 db_id 为 6 的用户为例）：

MATCH (u1:USER)-[r:REVIEW]->(biz:BUSINESS), (u1)-[s:SIMILARITY]-(u2:USER {db_id: 6})
WHERE NOT((u2)-[:REVIEW]->(biz))
WITH biz, s.similarity AS similarity, r.stars_time_scaled AS stars
ORDER BY biz.db_id, similarity DESC
WITH biz.db_id AS business, COLLECT(stars)[0..3] AS starses
WITH business, REDUCE(s = 0, i IN starses | s + i)*1.0 / LENGTH(starses) AS recommendation
ORDER BY recommendation DESC
RETURN business, recommendation LIMIT 10;

得到的结果如下：

从以上结果，按推荐值从大到小，就可以给用户推荐商店了。