断断续续，终于把 Yelper 推荐系统的 7 篇博客写完了。同时，两个相关的 Git 项目 Yelper DPPS and EDA 及 Yelper Web Console 也算暂告一段落。
虽然这个项目不大，但覆盖了数据预处理、模型训练、前端后端开发，算是整个开发流程比较完整的项目。另外，所用到的机器学习算法涉及了 KD-Tree、CNN、Word2Vec；数据库 MySQL、Neo4J（图数据库）；搜索引擎 Elasticsearch。
想起之前之所以想做这样一个个人项目，是因为自己机器学习方面的经验不足，也想通过这个项目来加深自己对机器学习的理解。而选择 Yelp 数据集 作为数据来源在于其数据类型比较全面，如对商店的评价星数（stars）、评论文本、社交关系，这样方便我们进行多维度分析。
下边的思维导图是该项目博客以及 Git 项目的链接：
Git 项目链接:
Yelper Web Console
我们之前已经完成了基本的准备工作，接下来就是展示 Yelper 这个推荐系统。
Yelper 展示系统基于 Django 和 Vue 搭建，实现了前后端分离。Django 负责后端，对接各服务模块，处理业务逻辑，为 Vue 提供 API；而 Vue 负责前端展示和交互。这样子选择的主要原因如下：
该展示系统涉及的技术栈主要如下：
下文将对该展示系统两个功能进行描述。
more >>Notebook:
Review_Text_Word_Similarity_Analysis
用户在查找商店的时候一般会输入关键词进行搜索，从而找到跟该关键词相似度较高的商店。具体地，基于评论文本，我们可以建立一个词汇之间的相似度模型，让用户输入关键词即可找到相似的词汇，并因此找到相对应的商店。
在实现上，本文使用了 Word2Vec 工具来构建评论文本词汇之间的相似度模型，并利用 Elasticsearch 搜索引擎来查找与关键词相似的词汇。
在自然语言处理领域，一般需要把词转换为计算机可以理解的词向量形式。
一种比较简单的构造词向量的方法是 One-hot 表示法。但这种方法构造出来的词向量长度随着词汇表的增大而增大，存在维度过大的隐患；数据很稀疏（词向量只有一个位置为 1，其余都为 0）；而且每个词向量都是独立的，无法体现词与词之间的关系。
另外一种构造词向量的方法是分布式表示法（Dristributed representation）。它通过某种训练将词用一个简短的词向量来表示，且词向量的长度由我们指定，不存在维度过大问题；训练出来的词向量是稠密的，不存在数据稀疏问题；另外重要的是每个词向量包含语义信息，可以通过计算词向量之间的余弦来表示词之间的相似度。谷歌推出的 Word2Vec 工具就是训练此种词向量的一种方法。
当我们得到词向量（记得有方向）之后，我们就可以计算两个词之间的余弦距离，从而得到它们的相似程度。如对词 A、B，它们之间的相似度公式如下：
$$
similarity(A,B)=\frac{A\cdot B}{\left || A \right ||\left || B \right ||} =\frac{\sum_{n}^{i}A_{i}\times B_{i}}{\sqrt{\sum_{n}^{i}A_{i}^{2}}\times \sqrt{\sum_{n}^{i}B_{i}^{2}}}
$$
它的意义在于，如果两个词很相似，那它们词向量之间的夹角应该很小（甚至为 0），方向很一致。
我们可以来看一个很有名的例子 King-Man+Woman=Queen：
more >>Notebooks：
如果说评论中的 stars 值代表了用户对某一个商店粗粒度的评价，那他或她写下的具体评论文本就代表了其对商店细粒度的评价。对评论文本的情感分析能够给我们增加一个细粒度衡量商店好坏的角度。
在进行实际情感分析前，我们对 Las Vegas 一家名为 Mon Ami Gabi 的商店进行了探索性数据分析（Exploratory Data Analysis, EDA），发现用户所用的词很明显就能够体现出其对商店的评价，如用户使用最正面和最负面的 10 个词分别为（值越大，越正面；反之越负面）：
横坐标为情感度（Sentiment），纵坐标为单词（Word）
在之前的准备工作中，我们知道用户之间存在朋友（friend）关系，而且还通过用户互相评论过的商店计算过他们之间的相似度。那我们可不可以基于它们两者给用户推荐商店呢？
很显然是可以的。通过朋友给用户推荐商店在生活中是一种很常见的需求（如哪一家美食店朋友去过），因为朋友之间多多少少有一些共同兴趣之处，朋友去过的的商店该用户可能也会喜欢。一个用户可能有很多朋友，而朋友也可能去过很多家商店，他们对商店有评价高的，也有评价低的，简单将朋友去过的商店推荐给用户显然是不行的，因为这有可能给用户推荐了一个大家评价都比较差的商店，导致不好的用户体验。而且给用户推荐的商店数量应该是有限的，推荐全部商店存在上一句说到的问题；另外用户的精力是有限的，他/她只会关注最好的几个，这跟生活中的“人们只会记住第一名”有意思相似之处；最后，用户不喜欢做选择题，想一想我们平常为了找一家好的美食店翻尽美食 APP 商店的情形就清楚了。综合来讲，我们应该按朋友对商店的平均评价进行排序（Ranking），然后只给用户推荐平均评价最高的的几家商店（Top N）。
除了基于朋友关系进行推荐，还可以基于用户相似度进行推荐。两个用户相似度高说明他们兴趣相似的可能性大，给一个用户推荐另一个用户去过的商店也是很合理的。
基于朋友关系和用户相似度推荐都涉及到对社交关系进行建模。而对于此种关系建模，图形数据库有着天然的优势，因为图形数据库本身就是建立节点（Node）、关系（Relationship）及属性（Property）这 3 个概念之上，非常擅长处理关系数据；我们最终选择的 Neo4J 这款比较闻名稳定的图形数据库更是把关系当做第一等公民（first class citizen）。例如，我们建立在 Neo4J 上的关系模型如下：
用户之间存在好友关系（FRIEND）、相似度关系（SIMILARITY），以及用户对商店存在评价关系（REVIEW）。当要查询某个用户的好友、相似的用户或评价过的商店时都是比较方便的，而且在这查询过程中还可以做一些聚合的操作（如求和）。
more >>
缺失模块。
1、请确保node版本大于6.2
2、在博客根目录（注意不是yilia根目录）执行以下命令：
npm i hexo-generator-json-content --save
3、在根目录_config.yml里添加配置：
jsonContent:
meta: false
pages: false
posts:
title: true
date: true
path: true
text: false
raw: false
content: false
slug: false
updated: false
comments: false
link: false
permalink: false
excerpt: false
categories: false
tags: true