基于聚类的协同过滤算法研究 ——以网飞推荐系统为例外文翻译资料

基于聚类的协同过滤算法研究

——以网飞推荐系统为例

摘要：网飞作为世界著名的互联网公司，拥有大量的用户和视频信息，这些视频如何向不同的用户进行个性化的推荐，影响着网飞公司的未来发展。而网飞公司的个性化推荐系统在学术界乃至工业界都有很深的意义。通过对网飞推荐系统的了解，有助于我们了解推荐系统、推荐算法，进而基于现阶段的推荐算法做出优化。

关键词：推荐算法； A/B测试； 产品创新；

引用文献一：

Netflix推荐系统：算法，商业价值和创新

作者：CARLOS A. GOMEZ-URIBE and NEIL HUNT

本文讨论组成Netflix推荐系统的各种算法，并描述其业务目的。我们还描述了搜索引擎和相关算法的作用，这对我们来说也是推荐问题。我们解释了背后的动机并回顾了用于改进推荐算法的方法，结合了专注于提高成员保留率和中期参与度的A / B测试以及使用历史成员参与度数据的离线实验。我们讨论了设计中的一些问题并解释A / B测试。最后，我们描述了一些重点创新的最新领域，包括使我们的推荐系统具有全球性和语言意识。

一、介绍

讲故事一直是人性的核心。重大的技术突破从根本上改变了社会，也使人们可以讲述更加丰富、更加引人入胜的故事。不难想象，我们的祖先在山洞里围着火堆，享受着因支持山洞壁画而变得更加丰富的故事。写作，再后来是印刷机，导致了比以前更广泛，更丰富的存储。最近，电视导致讲故事的视频的使用激增。今天，我们所有人都幸运地见证了互联网带来的变化。像以前的重大技术突破一样，互联网也对讲故事产生了深远的影响。

Netflix位于互联网和故事讲述的交汇处。我们正在发明互联网电视。我们的主要产品和收入来源是订阅服务，该服务使会员可以随时在各种与Internet连接的设备上流式传输电影和电视节目集中的任何视频。截至撰写本文时，我们有超过6500万会员，每天流媒体电影和电视节目的播放时间超过1亿小时。

互联网电视空间年轻但竞争成熟，因此创新至关重要。我们产品的主要支柱是推荐系统，该系统可帮助我们的成员在每次搜索中查找视频。我们的推荐系统不是一种算法，而是一组服务于不同用例的不同算法，共同构成了完整的Netflix体验。我们在第2节中概述了推荐器系统中的各种算法，并在第3节中讨论了它们的商业价值。在第4节中，我们描述了用于改进算法的过程，在第5节中，我们回顾了一些关键的开放性问题，以及在第6节中介绍我们的结论。

二、网飞推荐系统

互联网电视的选择是：观看什么节目，何时观看以及在哪里观看；与线性广播和有线系统相比，提供了可能在10至20个喜欢的频道上播放的内容。但是，人类在选择众多选项之间，迅速变得不知所措，选择“以上都不是”或做出错误的选择也不足为奇（例如，参见Schwartz [2015]）。同时，互联网电视的一个好处是它可以从更广泛的播放目录中吸引广泛的人口和品味，并且包括相对少数群体的用户感兴趣的小众标题。

消费者研究表明，一名典型的Netflix会员可能在选择了60到90秒后或在一两个屏幕上查看了10到20个标题（可能是3个详情）就失去了兴趣。这样导致用户发现感兴趣的东西，或者用户放弃我们的服务的风险大大增加。推荐者的问题是要确保在这两个屏幕上，我们不同信息库中的每个成员都可以找到引人注目的内容，并且可以理解为什么会对此感兴趣。

从历史上看，Netflix的推荐问题被认为与预测一个人观看视频后对它进行评分的星数问题（评分从1到5）。当我们的主要业务是通过邮寄dvd时，我们确实非常依赖这种算法，部分原因是在这种情况下，星级是我们收到的主要反馈，即有成员确实看过视频。我们甚至组织了一场比赛，旨在提高预测结果的准确性，由此产生了我们至今在制作中用来预测收视率的算法[Netflix 2009奖]。

但是，在Netflix上推荐明星和DVD成为焦点的时代已经过去了。现在，我们流传输内容，并拥有大量数据，这些数据描述了每个Netflix成员观看的内容，每个成员观看的方式（例如设备，一天中的时间，一周中的某天，观看强度），每个产品在我们产品中的位置视频被发现，甚至在每个会话中都显示但未播放的推荐。这些数据以及由此改进Netflix产品的经验告诉我们，有很多更好的方法可以帮助人们找到要观看的视频，而不是只关注那些具有较高预测星级的视频。

现在，我们的推荐系统由各种各样的算法组成，这些算法共同定义了Netflix的体验，其中大多数都集中在Netflix的主页上。这是Netflix用户在任何设备(电视、平板电脑、手机或浏览器)上登录Netflix简介时看到的第一页——这是推荐的主要表现形式，在Netflix上每3小时就有2个流媒体被发现。

• 1. 个性化视频排名：PVR

每个首页上通常大约有40行（取决于设备的功能），每行最多75个视频；由于硬件和用户体验的考虑，这些数字在不同的设备上有所不同。给定行中的视频通常来自单一算法。诸如Suspenseful Movies之类的流派行由我们的个性化视频排名（PVR）算法驱动。顾名思义，该算法为每个成员资料对整个视频目录（或通过流派或其他过滤选择的子集）进行排序结果排序用于选择视频流派和其他流派的顺序，这就是为什么向不同成员显示同一流派行的视频通常完全不同的原因。由于我们广泛使用PVR，因此必须在整个目录中具有通用的相对排名。这限制了个性化的实际效果。等效地，当我们将个性化信号与相当健康的（非个性化）流行度混合在一起时，PVR会更好地工作。

• 1. Top-N 排名

我们还有一个Top Nvideo的排名器。此算法的目标是在整个目录中为每个成员找到最少的个性化推荐，即，仅关注头部在排名中，PVR没有这种自由，因为它被用来对目录的任意子集进行排名。因此，我们的前N名排名使用指标和算法进行优化和评估，这些指标和算法仅查看算法生成的目录排名的开头，而不关注整个目录的排名（如PVR的情况）。否则，前N名排名和PVR共享相似属性，例如，将个性化与受欢迎程度相结合，并识别和合并一天到一年的不同时间范围内的观看趋势。

• 1. 目前趋势

我们还发现，从几分钟到几天不等的短期时间趋势是我们成员观看视频的有力预测指标，尤其是与适当剂量的个性化指标结合使用时，我们会获得提升的排名。此排名可以很好地识别出两种类型的趋势：（1）每隔几个月（例如，每年）重复一次但在短期内具有影响的趋势（2）一次性的短期活动，例如一场飓风即将到达人口稠密的某个地区，许多媒体都报道了此类事件，例如北美情人节期间浪漫的视频观看活动，促使人们对有关飓风和其他自然灾害的纪录片和电影的短期兴趣增加。

• 1. 继续观看

基于在几个会话中观看到的情节内容的重要性，以及可以随意查看小片段内容的自由，另一个重要的视频分级算法是连续观看分级器，用于在继续观看中对视频进行排序。我们的大多数排名对未查看的标题进行排序，而这些标题仅是我们推断出的信息。相比之下，持续观看排名根据我们对成员是否打算继续观看或重新观看，或者成员是否放弃了不如预期的有趣事物的最佳估计来对最近查看的标题的子集进行排序。我们使用的信号包括自观看以来经过的时间，放弃的时间点（中间节目与开始或结束），此后是否曾观看过不同的标题以及所使用的设备。通常，我们的不同视频排名算法使用不同的数学和统计模型，不同的信号和数据作为输入，并且需要针对每个排名服务的特定目的而设计的不同模型训练。

• 1. 相似度

因为您观看了（BYW）行是另一种分类。 BYW将推荐内容推荐给成员观看的单个视频。视频-视频相似性算法（我们简称为“sims”）驱动了这些行中的推荐。sims算法是一种非个性化算法，可计算目录中每个视频的排名视频列表（类似视频）。即使sims排名不是个性化的，也可以个性化选择哪些BYW行进入首页，并且在给定BYW行中推荐的BYW视频子集也可以从个性化中受益，这取决于我们估计该成员会喜欢的相似视频的哪些子集（或已经观看过）。

• 1. 页面生成：行选择和排名

为每一行选择的视频代表了我们对特定用户面前的最佳视频选择的估计。但是大多数成员在每次选择期间都有不同的心情，许多帐户由一个以上家庭成员共享。通过提供多样化的行选择，我们希望使成员能够轻松跳过在不同时间、场合或家庭成员中都是不错的选择的视频，并迅速找出与之相关的内容。

页面生成算法使用已经描述的所有算法的输出来构建建议的每一页，考虑到成员的每一行以及页面的多样性。典型的成员有成千上万的行，这些行可能会出现在一个主页上，这使得管理评估它们所需的计算变得困难。因此，在2015年之前，我们使用了基于Arule的方法，该方法将定义在页面的每个垂直位置使用哪种类型的行（例如，流派行，BYW行，Popular行）。该页面布局用于构造所有成员的所有主页。如今，我们拥有完全个性化的数学算法，可以从大量候选对象中选择行并对其进行排序，以针对相关性和多样性创建优化的排序。我们当前的算法不使用模板，因此可以更自由地优化体验，例如，选择对于给定的主页不选择任何BYW行，而将页面的一半分配给另一个主页的BYW行。最近关于此算法的博客文章[Alvino and Basilico 2015]对其进行了更详细的讨论。

• 1. 证据

这些算法共同构成了完整的Netflix推荐系统。但是还有其他算法，例如证据选择算法，可以与我们的推荐算法一起使用，以定义Netflix体验并帮助我们的成员确定视频是否适合他们。我们认为证据是我们在页面左上方显示的所有信息，包括作为Netflix奖金重点的预测星级。剧情简介显示的有关视频的其他事实，例如奖项，演员表或其他元数据；以及用户界面中行和其他位置用于支持建议的图像。证据选择算法会评估我们可以为每个推荐显示的所有可能的证据项目，以选择我们认为对会员推荐最有帮助的少数证据。例如，证据算法决定是否显示某部电影获得了奥斯卡奖或取而代之向成员显示该电影与该成员最近观看的另一个视频类似；他们还决定从几个版本中选择哪个图像来最好地支持给定的建议。

2.8 搜寻

我们的推荐系统已在首页以外的Netflix产品的大多数屏幕上使用，并且在Netflix播放的总时长中，有80％左右会影响选择。剩下的20％来自搜索，这需要一套自己的算法。成员经常在我们的目录中搜索视频，演员或类型；我们利用信息检索和相关技术来找到相关视频并将其显示给我们的会员。但是，由于成员还经常搜索不在我们目录中的视频，演员或流派，因此搜索甚至变成了推荐问题。在这种情况下，搜索会推荐给定查询的视频，作为搜索失败的替代结果。电视屏幕上文本输入的极端原始性意味着，在我们对搜索成员的品味了解的背景下，解释两个或三个字母的部分查询对我们也特别重要。

搜索体验围绕几种算法构建。一种算法尝试查找与给定查询匹配的视频，例如，为部分查询“ fren”检索Frenemies。给定部分查询后，另一种算法可以预测对该概念的兴趣，例如，为查询“ fren”标识“法国电影”概念。第三算法找到给定概念的视频推荐，例如，填充在法国电影概念下推荐的视频。我们的搜索算法将播放数据，搜索数据和元数据结合在一起，以得出我们提供的结果和建议。

1. 商业价值

我们寻求大规模发展我们的业务，即成为具有全球影响力的节目和电影的制作人和发行人。出于多种原因，我们认为我们开发和使用的推荐系统是我们业务的核心。我们的推荐系统可帮助我们赢得真理：当成员开始一个会话时，我们会帮助该成员在几秒钟内找到一些吸引人的东西，从而避免放弃我们的服务以换取其他娱乐选择。

个性化使我们即使对于相对利基的视频也能找到受众，这些视频对于广播电视模型来说是没有意义的，因为它们的受众太小而无法支持可观的广告收入，或者占用广播或有线频道的时间段。这在我们的数据中非常明显，这表明与非个性化系统相比，我们的推荐系统在更多视频上的观看分布更为均匀。为了更加精确，我们接下来介绍一个特定的指标。

有效目录大小（ECS）是一种度量标准，用于描述如何在我们目录中的各个项目之间进行跨页查看。如果大多数观看来自单个视频，则接近1。如果所有视频产生相同的观看量，则接近目录中的视频数量。否则它介于两者之间。

如果不进行个性化设置，我们所有成员都将获得推荐给他们的相同视频。此外，个性化允许我们在提供建议时显着增加成功的机会。达到率的一个指标是获得率，即提供建议的比例。我们从建议中获得的使用率提升幅度很大。但是，最重要的是，建议在正确制作和使用后，会导致与产品的整体互动度（例如流媒体播放时间）显着增加，并降低订阅取消率。

我们的订户每月客户流失率处于较低的个位数，这很大程度上是由于付款失败，而不是明确的订户选择取消服务。经过多年的个性化和建议开发，我们将客户流失率降低了几个百分点。减少每月客户流失不仅增加了现有订户的生命周期价值，而且减少了我们需要获得的新订户数量以替换已取消的会员。我们认为个性化和推荐的综合效果每年可为我们节省超过$ 1B。

四、改善我们的算法

好的企业会注意他们的客户所说的话。但是，客户要求的（尽可能多的选择，全面的搜索和导航工具等等）和实际可行的（简单地提出一些令人信服的选择）是非常不同的。

使用我们自己的直觉甚至集体直觉来选择推荐

剩余内容已隐藏，支付完成后下载完整资料

英语原文共 19 页，剩余内容已隐藏，支付完成后下载完整资料

资料编号：[268704]，资料为PDF文档或Word文档，PDF文档可免费转换为Word