万方数据
万方数据
万方数据
万方数据
基于矩阵分解的协同过滤算法 作者：李改， 李磊， LI Gai， LI Lei 作者单位：李改,LI Gai(顺德职业技术学院,广东顺德528333;中山大学信息科学与技术学院,广州510006;中山大学软件研究所,广州510275)， 李磊,LI Lei(中山大学信息科学与技术学院,广州510006;中山大学软件研究 所,广州510275) 刊名： 计算机工程与应用 英文刊名：Computer Engineering and Applications 年，卷(期)：2011,47(30) 被引用次数：1次 参考文献(18条) 1.Wu J L Collaborative filtering on the Nefifix prize dataset 2.Ricci F.Rokach L.Shapira B Recommender system handbook 2011 3.Adomavicius G.Tuzhilin A Toward the next generation of recommender systems:a survey of the state-of-the-art and possible extenstions 2005(06) 4.Bell R.Koren Y.Volinsky C The bellkor 2008 solution to the Netflix prize 2007 5.Paterek A Improving regularized singular value decomposition for collaborative filtering 2007 6.Lee D D.Seung H S Leaming the parts of objects by non-negative matrix factorization[外文期刊] 7.徐翔.王煦法基于SVD的协同过滤算法的欺诈攻击行为分析[期刊论文]-计算机工程与应用 2009(20) 8.Pan R.Zhou Y.Cao B One-class collaborative filtering 2008 9.Pan R.Martin S Mind the Gaps:weighting the unknown in largescale one-class collaborative filtering 2009 10.Netflix Netflix prize 11.罗辛.欧阳元新.熊璋通过相似度支持度优化基于K近邻的协同过滤算法[期刊论文]-计算机学报 2010(08) 12.汪静.印鉴.郑利荣基于共同评分和相似性权重的协同过滤推荐算法[期刊论文]-计算机科学 2010(02) 13.Hadoop[E B/OL] 14.Apache MapReduce Architecture 15.Wbite T.周敏.曾大聃.周傲英Hadoop权威指南 2010 16.Herlocker J.Konstan J.Borchers A An algorithmic framework for performing collaborative filtering 1999 17.Linden G.Smith B.York J Amazon.com recommendations:Itemto-item collaborative filtering[外文期刊] 2003 18.Sarwar B.Karypis G.Konstan J ltem-based collaborative filtering recommendation algorithms 2001 引证文献(1条) 1.沈韦华.陈洪涛.沈锦丰基于最佳匹配算法的精密零件检测研究[期刊论文]-科技通报 2013(5) 本文链接：http://d.wanfangdata.com.cn/Periodical_jsjgcyyy201130002.aspx
对矩阵分解及其应用 矩阵分解是指将一个矩阵表示为结构简单或具有特殊性质若干矩阵之积或之和，大体分为三角分解、QR 分解、满秩分解和奇异值分解。矩阵的分解是很重要的一部分内容，在线性代数中时常用来解决各种复杂的问题，在各个不同的专业领域也有重要的作用。秩亏网平差是测量数据处理中的一个难点，不仅表现在原理方面，更表现在计算方面，而应用矩阵分解来得到未知数的估计数大大简化了求解过程和难度。 1. 矩阵的三角分解 如果方阵A可表示为一个下三角矩阵L和一个上三角矩阵U之积，即A=LU 则称A可作三角分解。矩阵三角分解是以Gauss消去法为根据导出的，因此矩阵可以进行三角分解的条件也与之相同，即矩阵A的前n-1个顺序主子式都不为0, 即?k工0.所以在对矩阵A进行三角分解的着手的第一步应该是判断是否满足这个前提条件，否则怎么分解都没有意义。矩阵的三角分解不是唯一的，但是在一定的前提下， A=LDU勺分解可以是唯一的，其中D是对角矩阵。矩阵还有其他不同的三角分解，比如Doolittle 分解和Crout 分解，它们用待定系数法来解求 A 的三角分解，当矩阵阶数较大的时候有其各自的优点，使算法更加简单方便。 矩阵的三角分解可以用来解线性方程组Ax=b。由于A=LU，所以Ax=b可以变换成LU x=b，即有如下方程组： Ly = b { {Ux = y 先由Ly = b依次递推求得y i, y2, ........ ，y n，再由方程Ux = y依次递推求得X n， x n-1 ， ... ，X1 . 必须指出的是，当可逆矩阵A不满足?k工0时，应该用置换矩阵P左乘A以便使PA 的n个顺序主子式全不为零，此时有： Ly = pb { { Ux = y 这样，应用矩阵的三角分解，线性方程组的解求就可以简单很多了。 2. 矩阵的QF分解 矩阵的QR分解是指，如果实非奇异矩阵A可以表示为A=QR其中Q为正交矩阵，R为实非奇异上三角矩阵。QR分解的实际算法各种各样，有Schmidt正交方
咨询QQ：3025393450 有问题百度搜索“”就可以了 欢迎登陆官网：http://y0.cn/datablog python机器学习：推荐系统实现（以矩阵分解来协同过滤）数据分析报告 用户和产品的潜在特征编写推荐系统矩阵分解工作原理使用潜在表征来找到类似的产品 1. 用户和产品的潜在特征 我们可以通过为每个用户和每部电影分配属性，然后将它们相乘并合并结果来估计用户喜欢电影的程度。
咨询QQ：3025393450 有问题百度搜索“”就可以了 欢迎登陆官网：http://y0.cn/datablog 相同的计算可以表示为矩阵乘法问题。首先，我们把用户属性放在一个名为U 的矩阵中，在这个例子中是5，-2，1，-5和5。然后，我们把电影属性放在一个名为M的矩阵中，我们使用矩阵乘法来找出用户的评分。 但要做到这一点，我们必须已经知道用户属性和电影属性。为每个用户和每部电影提供属性评级并不容易。我们需要找到一种自动的方法。我们来看看电影评分矩阵，
咨询QQ：3025393450 有问题百度搜索“”就可以了 欢迎登陆官网：http://y0.cn/datablog 它显示了我们数据集中的所有用户如何评价电影。这个矩阵非常稀疏，但它给了我们很多信息。例如，我们知道用户ID2给电影1号五颗星。所以，基于此，我们可以猜测，这个用户的属性可能类似于电影的属性，因为它们匹配的很好。换句话说，我们有一些线索可以使用。 让我们看看我们如何利用这些线索来了解每部电影和每个用户。在我们刚刚看到的等式中，U乘M等于电影等级，我们已经知道一些用户的实际电影等级。我们已经拥有的电影评分矩阵是我们方程式的解决方案。虽然它是解决方案的一部分，但是这个阵列仍然有很多漏洞，但对于我们来说，这已经足够了。
§9. 矩阵的分解 矩阵分解是将一个矩阵分解为比较简单的或具有某种特性的若干矩阵的和或乘积，这是矩阵理论及其应用中常见的方法。由于矩阵的这些特殊的分解形式，一方面反映了原矩阵的某些数值特性，如矩阵的秩、特征值、奇异值等；另一方面矩阵分解方法与过程往往为某些有效的数值计算方法和理论分析提供了重要的依据，因而使其对分解矩阵的讨论和计算带来极大的方便，这在矩阵理论研究及其应用中都有非常重要的理论意义和应用价值。 这里我们主要研究矩阵的三角分解、谱分解、奇异值分解、满秩分解及特殊矩阵的分解等。 一、矩阵的三角分解——是矩阵的一种有效而应用广泛的分解法。 将一个矩阵分解为酉矩阵（或正交矩阵）与一个三角矩阵的乘积或者三角矩阵与三角矩阵的乘积，这对讨论矩阵的特征、性质与应用必将带来极大的方便。首先我们从满秩方阵的三角分解入手，进而讨论任意矩阵的三角分解。 定义1 如果(1,2,,)ii a i n = 均为正实数，()(,1,2,1;∈<=- ij a C R i j i n 1,2,),=++ j i i n 则上三角矩阵 1112122200 ?? ? ?= ? ??? n n nn a a a a a R a 称为正线上三角复（实）矩阵，特别当1(1,2,,)ii a i n == 时，R 称为单位上三角复（实）矩阵。 定义2如果(1,2,,)ii a i n = 均为正实数，()(,1,2,1;∈>=- ij a C R i j i n 1,2,),=++ j i i n 则下三角矩阵 1121 221 2 000?? ? ?= ? ??? n n nn a a a L a a a
随着互联网的普及和电子商务的发展，推荐系统逐渐成为电子商务IT 技术的一个重要研究内容，得到越来越多研究者的关注[1] 。例如，Amazon 、CDNOW 、e － Bay 、京东等电子商务网站，都开始逐渐引入了各种形式的推荐系统。 协同过滤推荐是当今被广泛使用的推荐技术[4]，其中，潜在因素模型（latent factor models ）是协同过滤推 荐使用的技术之一。潜在因素模型是通过分析消费历史记录来推测潜在的发展趋势。矩阵分解算法（matrix factorization ）[2] 是潜在因素模型中被广泛使用的技术之 一。但是，随着网站消费记录的增多，传统的矩阵分解算法不能高效地为大规模消费记录构建潜在因素模型，无法实现推荐系统的实时性。本文针对大规模历史消费记录，提出了高效地特征矩阵分解算法，该算法是 收稿日期：2012-12-21 作者简介：张海建（1978-），男，北京人，硕士，讲师，主要研究方向：计算机软件，数据库系统。 分布式矩阵分解算法在推荐系统中的研究与应用 张海建 （北京信息职业技术学院，北京100018） 摘要：随着互联网信息技术的高速发展，越来越多的人开始接触网络。网上购物成为当今社会的购物的主要方式之一，各大电子商务网站每天都有大量的消费者购买及浏览记录。电子商业往往希望通过分析大量的网站购买记录以及消费者浏览记录，对消费者提供有价值地商品推荐，以便于提高销售量。矩阵分解广泛地应用在推荐系统中的协同过滤算法中，但是，随着网站数据量的增大，传统的矩阵分解算法不能有效地处理这些大规模海量数据。本文针对推荐系统中大规模的网站数据，提出了基于云平台的分布式矩阵分解算法，该算法能够分布式完成推荐系统中的协同过滤过程。实验结果表明，本文提出的算法能够高效地完成推荐系统中的协同过滤，并且，该算法具有很好的可扩展性。关键词：推荐系统；分布式；云平台；mapReduce ；矩阵分解；协同过滤中文分类号：ＴＰ３ 文献标识码：Ａ 文章编号：1001-7119（2013）12-0151-03 The Research and Application of Distributed Matrix Factorization Algorithm in Recommend System Zhang Haijian (Beijing Information Technology College,Beijing 100018,China) Abstract:With the high-speed development of internet information technology,more and more people begin to get in touch with internet.On-line shopping is becoming one of the main shopping methods,several big e-commerce sites pro －duce big amount of consumer purchasing and browsing records.E-commerce sites usually hope to analyze these records and provide to the consumers with valuable commodity recommendation,in order to promote sales.Matrix factorization is popularly used in collaborative filtering algorithm in recommendation system.However,with the incensement of web data,traditional matrix factorization could not deal with this huge amount of data.In this paper,focusing on big scale website data,we propose distributed matrix factorization based on Cloud computing platform.Through the experimental results,the algorithm in this paper could complete collaborative filtering in recommendation system effectively,and it has good scalability. Key words ：recommender systems;distributed;cloud platforms;mapReduce;matrix decomposition,and collaborative filtering 第29卷第12期 2013年12月 科技通报 BULLETIN OF SCIENCE AND TECHNOLOGY Vol.29No.12Dec.2013
