基于协同过滤的银行产品推荐系统建模1
李欣璐，刘鲁
北京航空航天大学经济管理学院(100083)，北京
email:lxlu1982@https://www.doczj.com/doc/902333936.html,
摘要：本文根据银行产品和银行业的自身特点，采用协同过滤算法，设计了银行产品推荐系统模型。该模型从客户和产品两个方面对交易明细进行数据分析，避免了协同过滤算法中早期数据冷起动问题，该系统模型最终生成的客户/产品/时间匹配矩阵，一方面可以帮助银行及时发现潜在客户，有效进行客户关系管理，另一方面也可以为银行产品迅速定位目标市场，有效支持银行市场营销活动。
关键词：协同过滤，推荐系统，银行产品，客户关系管理
1．引言
随着中国加入WTO，银行业的大门逐渐向世界敞开，中国的商业银行失去了政府保护，将面临前所未有的严峻考验。面对实力雄厚的外资银行，中国银行业最大的优势莫过于多年积累起来的客户资源，如何更好的保持并发扬这一优势，是国内银行的当务之急。
在当前以客户为导向的金融市场环境中，谁能为客户提供更好的服务谁将能获得竞争的胜利。目前，各大银行都在不断推出各种产品，以满足不同客户的需求。然而，面对如此庞大而又需求迥异的银行客户群，如何定位新产品的目标市场并据此进行更有效的市场营销活动，同时提高服务效率和客户满意度，是银行管理层着重关注的问题。推荐系统作为能够较好实现个性化服务的工具，不仅在电子商务、科技文献检索等领域应用甚广，也同样可以引入银行系统，根据银行产品的特点，实现银行产品推荐，既可有效降低产品推广成本，增大产品推荐成功率，同时还可以实现个性化服务，提高客户满意度。
2．推荐系统与推荐算法简介
2.1推荐系统的发展
推荐系统泛指任何将个性化推荐作为输出的系统或在大规模可选对象中依据个人喜好引导用户做出选择的系统。目前，推荐系统较多的应用于电子商务领域，根据顾客已有的购买情况预测将要进行的消费行为，并向用户提供商品信息和建议，模拟销售人员帮助用户完成购买过程[1，2]。
最初的推荐系统源于Internet信息爆炸所造成的人们在海量信息面前的无所适从，于是设想让一个程序来揣摩用户的心理，观察什么是用户喜欢的，什么是用户不喜欢的，然后自动为用户筛选出与喜欢的模式匹配的内容，过滤掉那些与不喜欢的模式匹配的内容。Amazon 的推荐系统功能十分强大，可以算是推荐系统的优秀范例。
1本文的工作得到教育部博士点基金的资助（项目编号：20040006023）
- 1 -
推荐系统可以用来分析客户的消费偏好，向每个客户有针对性地推荐产品，帮助用户从庞大的商品目录中挑选真正适合自己需要的商品。推荐系统在帮助了客户的同时也提高了顾客对商务活动的满意度，从而促进了用户对网站的进一步支持。
一般来说，推荐系统在电子商务活动中的作用可以归纳为以下几点[3]：
（1）帮助用户检索有用信息
已有明确购物目标的客户也许可以借助检索系统找到自己需要的东西，但对于大多数只是四处逛逛看一看的冲浪者，或是对自己的需要比较模糊的购买者，很难有耐心在几十页长的商品目录中逐项查找是否有自己感兴趣的东西，而推荐系统通过合适的推荐，可以将一个浏览者变成购买者。
（2）促进销售
当用户结帐时，根据购物车中已有的东西进行推荐，如同一类型的打折CD，可以有效的促进交叉销售（加强以右的产品或服务）和向上销售（提供客户正追求的更好的商品或服务）
（3）个性化服务
一个成功的推荐系统实际为每个顾客建立了一个自己的商店，网站的内容根据每个客户的特点进行调整。
（4）提高客户忠诚度
个性化的服务在商家与顾客之间建立起了一条牢固的纽带，顾客越多地使用推荐系统，推荐系统可以更适合顾客的需要，将顾客更多地吸引到自己的网站。
推荐系统在电子商务中起着越来越重要的作用，对在其它领域的应用和实现有着十分重要的借鉴意义，本文论述的即是关于银行产品的推荐系统建模，旨在参照电子商务中的推荐技术，结合银行产品和客户的特点，进行相应推荐系统建模，为银行业务发展和客户服务起到更好的辅助作用。
2.2 推荐技术的分类与比较
为产生精确而有效的推荐，保证推荐系统的实时性要求，研究者提出了各种不同的推荐算法，几种常用的推荐算法包括：协同过滤推荐，关联规则推荐，贝叶斯网络技术推荐等。
基于数据挖掘技术的推荐算法通过数据挖掘技术对各种用户数据进行深入分析，得到每个用户的兴趣爱好特征和特定的购买模式。主要可以分为基于内容的推荐算法和基于模型的推荐算法
（1）基于内容的推荐算法（Content-based Recommendation）：推荐算法运行期间需要将整个用户数据库调入内存，因此可以利用最新的用户数据产生推荐。
（2）基于模型的推荐算法（Model-based Recommendation）：首先根据用户数据建立模型，推荐算法运行期间将建立的模型调入内存。基于模型的推荐算法可以通过各种机器学习算法建立模型。上述的几种推荐算法都属于基于模型的推荐算法。下面对使用较多的关联规则算法以及本文模型中将采用的协同过滤算法进行简单的介绍。
2.2.1 关联规则推荐算法
关联规则挖掘最早起源于购物篮分析，通过研究顾客放入其购物篮中的不同商品分析顾
- 2 -
客的购买习惯，了解哪些商品经常被顾客同时购买，发现的这种关系可以帮助零售商制定营销策略，如货架摆设等。
基于关联规则的推荐算法根据生成的关联规则推荐模型和用户的购买行为向用户产生推荐。关联规则推荐模型的建立离线进行，因此可以保证有效推荐算法的实时性要求。基于关联规则的推荐算法可以分为离线的关联规则推荐模型建立阶段和在线的关联规则推荐模型应用阶段。离线阶段使用各种关联规则挖掘算法建立关联规则推荐模型，这一步比较费时，但可以离线周期进行；在线阶段根据建立的关联规则推荐模型和用户的购买行为向用户提供实时的推荐服务。
反映商品同时购买的模式采用关联规则的形式表示。假设P={P1，P2，…，Pm}是m 个
商品的集合，每个事务T 是一起购买的商品的集合。
关联规则是形如的蕴涵式，其中P ?X Y ?,X Y P ?且X Y φ=I ，含义为：如果事务T 中包含集合X 中的商品，则很可能集合Y 中的商品也会被一同购买。
通过关联规则为某个用户推荐top-N 种商品的具体步骤如下：首先为每个用户产生一条记录，包括该用户所有曾经购买过的商品，运用关联规则的挖掘算法从这个数据库中找出所有满足最小支持度阈值和最小置信度阈值的关联规则；然后从这些规则中找出被目标用户支持的那些（即用户购买了所有出现在规则左边的商品），设P0是出现在这些规则右边但目标用户尚未购买的产品集合，根据规则的置信度对产品排序，向用户推荐前N 种。如果某个商品同时被多条规则推荐，则取具有最高置信度的规则。较著名的关联规则挖掘算法有Apriori, DHP(基于散列)和FP-树（频繁模式树）等。
2.2.2 协同过滤推荐算法
协同过滤推荐算法根据用户的行为，如用户注册信息、用户评分数据、用户购买行为等，建立用户的行为模型，然后利用建立的行为模型向用户推荐有价值的商品。
协同过滤推荐主要分为两类：一是基于用户的协同过滤（User-based Collaborative Filtering ），先用相似统计的方法得到具有相似兴趣爱好的邻居用户，然后根据邻居用户的行为选择向目标用户进行推荐；二是基于项目的协同过滤推荐算法（Item-based Collaborative Filtering Algorithms ），通过先计算已评价项目和待预测项目的相似度，以相似度作为权重，加权各已评价项目的评价分，得到预测项目的预测值。
2.2.2.1. User-based 协同过滤推荐算法
User-based 协同过滤推荐根据其他用户的观点产生对目标用户的推荐列表。它基于这样一个假设：如果用户对一些项的评分比较相似，则他们对其它项的评分也比较相似。协同过滤推荐系统使用统计技术搜索目标用户的若干最近邻居，然后根据最近邻居对项的评分预测目标用户对未评分项的评分，选择预测评分最高的前若干项作为推荐结果反馈给用户。其算法的核心在于通过最近邻居的评分产生最后的推荐结果，当前用户对未评分项的评分通过最近邻居对该项评分的加权平均值逼近。
用户相似性度量、最近邻居查询和预测评分是整个User-based 协同过滤推荐算法的主要工作，相应的，User-based 协同过滤推荐算法可以划分为如下三个阶段[6]：
（1）数据表示：对用户已经购买过的商品进行建模，从而可以有效度量用户之间的相 - 3 -
似性。
（2）最近邻查询：搜索当前用户的最近邻居。
（3）推荐产生：根据当前用户最近邻居对商品的评分信息预测当前用户对未评分商品的评分，产生top-N商品推荐。
2.2.2.2.Item-based协同过滤推荐算法
Item-based协同过滤推荐根据用户对相似项的评分预测该用户对目标项的评分，它基于这样一个假设：如果大部分用户对一些项的评分比较相似，则当前用户对这些项的评分也比较相似。基于项的协同过滤推荐系统使用统计技术找到目标项的若干最近邻居，由于当前用户对最近邻居的评分与对目标项的评分比较类似，所以可以根据当前用户对最近邻居的评分预测当前用户对目标项的评分，然后选择评分最高的前若干项作为推荐结果反馈给用户[7]。其算法核心是通过用户对目标项最近邻居的评分产生最后的推荐结果，用户对目标项的评分通过用户对目标项最近邻居评分的加权平均值逼近。在实际的预测过程中，只搜索目标项相似性最高的前若干个邻居，然后根据相似性大小预测用户对目标项的评分。
与User-based协同过滤推荐算法不同，Item-based协同过滤推荐算法通过计算项之间的相似性，选择目标项的最近邻居集合，根据当前用户对最近邻居的评分预测用户目标项的评分，然后选择预测评分最高的前若干件商品作为推荐结果反馈给用户。Item-based协同过滤推荐算法可以分为如下两个阶段[8]：
（1）最近邻查询：搜索目标项的最近邻居。
（2）推荐产生：根据用户对目标项最近邻居的评分信息预测用户对目标项的评分，产生top-N商品推荐。
2.2.3推荐算法面临的主要问题
随着系统中用户数目和商品数目的日益增加，系统结构、内容的复杂度日渐增强，推荐算法也面临一系列挑战，主要包括：
（1）冷起动问题：在协同过滤早期，系统中几乎没有任何用户相关的评价信息，或是用户的评价信息很少，那么在这个时候，由于系统没有包含足够的用户偏好信息，无法形成邻居群，因此就无法进行推荐；
（2）用户评分数据的极端稀疏性：随着系统规模的扩大，用户数目和项数目指数级增长，导致用户评分数据极端稀疏。在用户评分数据极端稀疏的情况下，协同过滤推荐算法无法对某些用户产生任何推荐。同时，推荐算法的推荐精度的显著下降。
（3）推荐算法的伸缩能力和实时性要求:最近邻搜索的时间代价随着用户数量和项数量的增加而急剧增加。当用户数量和项数量都数以万计时，协同过滤推荐算法需要同时为数以万计的用户同时提供实时的推荐服务，协同过滤推荐算法的伸缩能力和实时性要求难以保证。
（4）自动化推荐：目前大部分的协同过滤推荐系统采用显式评分输入的方式提供推荐服务，用户必须显式输入对商品的数值评分。这种方式一方面使得评分数据的获取比较准确可信，但同时也使得用户在使用上不是很方便。如何根据用户的行为向用户提供完全自动化的推荐需要作进一步深入的研究。
- 4 -
（5）多种数据和多种推荐技术的有效集成：目前大部分的推荐算法都只利用了一部分可用信息来产生推荐。随着研究的深入，推荐算法应该利用尽可能多的信息，收集多种类型的数据并有效集成，从而提供更加精确有效的推荐。
推荐算法的推荐精度和伸缩能力是一对矛盾，一般而言，推荐算法产生推荐的时间越少，算法的伸缩能力越强，但其推荐精度越低。设计推荐算法需要同时考虑上述两个因素，为用户提供实时且精确的推荐。
推荐算法是推荐系统的核心，要解决上述问题可以采用多种推荐算法结合的方式，或根据推荐系统应用领域的不同，从系统结构设计的角度对推荐算法的缺陷进行弥补。本文正是从系统结构设计角度对协同过滤算法的数据冷起动问题进行解决，同时从算法角度，先对客户进行聚类，然后在类别内部采用协同过滤算法进行产品推荐，在最小损失推荐精度的前提下大大提高了系统伸缩能力。
3．银行产品推荐系统建模
通常的推荐系统都是建立在B/S模式下基于用户行为产生的具有针对性的信息推送系统，如各大电子商务网站中根据用户点击行为推测用户偏好，从而进行产品推荐服务。但是对于银行业，尽管随着web服务的发展，电子银行逐渐兴起，但其点击率和使用率远远不及一般的电子商务网站，若同样将推荐系统集成到电子银行系统中，则势必遗漏大部分更习惯于使用传统柜台服务的客户，因而很难达到令人满意的效率和效果。同时，由于推荐系统是建立在大量的用户数据和交易数据基础上的，必须依赖于银行核心系统的数据支持。此外，银行产品推荐系统一方面用于协助客户挖掘满足其需求的产品，更好的为客户服务，另一方面也可用于为银行产品有效定位目标客户市场，因此，可以将该系统定位于客户关系管理系统（CRM）的辅助系统，同时为产品营销提供支持。
目前，各银行除了记录日常交易数据的核心系统外，内部一般都存在着实现不同功能的小型系统，这是由于随着银行信息建设的推动，各个业务部门都有信息管理的需求，而在最初并没有统一的规划和设计，导致这些小型系统零散的分布在各个业务部门，对于各部门而言，这些系统在一定程度上简化了工作，但是从高层管理的角度，这些小系统的孤立运行，必定造成数据严重不一致，系统间几乎无法协作，因此，随着业务的发展，信息整合的需求使银行信息管理人员的大量精力浪费在系统间数据接口的设计上，严重影响了企业效率。
因此，整合银行现有系统势在必行，数据仓库是目前最好的选择，统一管理数据，提高信息集成度，同时也为银行产品推荐服务奠定了基础。
- 5 -
基于上述分析，本文对银行产品推荐系统进行了框架模型的设计，在整个银行系统中的定位如下图所示：
图 1银行产品推荐系统模型
银行核心业务系统及各部门系统的数据经处理统一存储在数据仓库中，推荐系统主要使用其中的客户基本信息数据，产品基本信息数据，以及客户历史交易数据。推荐系统工作流程如下：
1、首先，将所需数据取到推荐系统内部的金融数据池中，以避免数据使用中不断访问核心
数据仓库，并进行数据预处理，使其满足推荐系统使用要求；
2、进行客户数据分析：一方面根据客户年龄、收入、交易频度和额度进行客户生命周期分
析，将客户分类；同时根据基于项的协同过滤算法，在客户类内部进行客户/产品匹配；
3、进行产品数据分析：根据产品属性进行产品分类，一方面可以根据业务类型对其分类，
如贷款可分为住房抵押贷款、汽车消费贷款、助学贷款、助业贷款、商业贷款等等，当新产品推出时，根据产品属性先将其进行类别匹配，然后根据同类产品的目标客户，确定该新产品的目标客户，从而解决了协同过滤算法中的数据冷起动问题；另一方面可以根据不同产品交易历史进行产品组合，实现特定客户群的交叉销售（与2并行）；
根据2、3分析的结果，生成客户/产品/时间匹配矩阵，此处的时间指客户生命周期时间，
- 6 -
根据这一矩阵，可以较为清楚的看到不同类型的客户、在不同的生命周期阶段将与产品有着不同的匹配关系。当然，随着客户属性的变化，个体客户可能从一个类别转变为另一个类别，但并不影响各类别的匹配情况。
根据这一客户/产品/时间匹配矩阵，银行一方面可以在现有客户中及时发现其它产品的潜在客户、有效进行一对一营销，当客户属性发生变化时，也可以及时发现其新的需求，主动服务，提高客户满意度，同时可以根据现有客户属性，寻找市场上具有相似需求的客户，积极开拓新市场；另一方面，当银行推出新产品时，可以迅速根据产品属性将其归类，从而找到目标市场，进行推荐，同时根据客户需求进行市场进一步细分，有针对性的推出更能满足客户需求的新产品以及产品组合，实现客户与银行双赢。
4．结论
本文根据银行产品和银行业本身的特点，针对协同过滤算法在推荐系统中应用时存在的问题，进行了银行产品推荐系统建模，同时给出了推荐系统与原银行系统整合的方案。
依据本文设计的银行产品推荐系统，从客户和产品两个方面对基础数据进行分类，在类的内部采用协同过滤算法进行规则提取，在客户、产品数量成级数增加时大大提高了系统效率。
此外，本系统产生的客户/产品/时间匹配矩阵一方面可以帮助银行及时发现潜在客户，有效进行客户关系管理，另一方面也可以为银行产品迅速定位目标市场，有效支持银行市场营销活动。
银行产品推荐有别于一般电子商务网站所销售产品的推荐过程，它是建立于银行内部的系统，并不直接与客户对话，而是通过CRM部门或市场营销部门间接体现其推荐的结果和效用。随着呼叫中心的不断成熟，网上银行的更高点击以及无线网络服务的更多需求，银行产品推荐也将越来越多的直接与客户面对面，其实现模式和系统效率要求将对推荐系统提出更高的要求。
参考文献
[1]Schafer J B, Kosntan J A, Riedl J. Recommender systems in e-commerce[A]. In ACM Conference on
Electronic Commerce (EC-99)[C]. New York: ACM Press, 1999. 158-166.
[2]Konavir, Provost F. Applications of data mining to electronic commerce[J]. Data Mining and Knowledge
Discovery, 2001, 5(1-2): 5-10.
[3]Schafer J B, Kosntan J A, Riedl J. E-commence Recommendation Application [Z]. Data Mining and
Knowledge Discovery, 2001.
[4]Sarwar Badrul, George Karypis, Joseph Konstan, et al. Riedl. Analysis of Recommendation Algorithms for
E-commerce[C]. Proceedings of EC’00,2000.
[5]韩加炜，坎伯. 数据挖掘——概念与技术[M]. 北京：机械工业出版社，2001.
Han Jiawei, Kan Bo. Data Mining—Concept and Technology [M]. Beijing: Machine Industry Press, 2001. [6]Sarwar, B. M., Karypis, G., Konstan, J. A., and Riedl, J. Application of Dimensionality Reduction in
Recommender System-A Case Study. In ACM Web KDD 2000 Workshop, 2000.
[7]Karypis, G. Evaluation of Item-based top-n Recommendation Algorithms. In Proceedings of the Tenth
International Conference on Information and Knowledge Management(CIKM), 2001.
[8]Sarwar, B. M., Karypis, G., Konstan, J. A., and Riedl, J. Item-based Collaborative Filtering Recommendation
Algorithms. In Proceedings of the Tenth International World Wide Web Conference on World Wide Web, 2001.
[9]Duen-Ren Liu, Ya-Yueh Shih. Hybrid Approaches to Product Recommendation Based on Customer Lifetime
Value and Purchase Preferences. The Journal of System and Software 77(2005) : 181-191.
- 7 -
Modeling of Recommendation System for Financial Products
Based on Collaborative Filtering
XinLu LI Lu LIU
School of Economy and Management, Beihang University of China，
Beijing, PRC, 100083
1.Abstract
Based on the characteristic of financial products and banking, the paper gives a model of recommendation system for financial products, using collaborative filtering algorithm. The model includes the analysis both of customers and products, avoiding the problem of None-match data for new product in the algorithm of collaborative filtering. The model will create a matching matrix of customer, financial product and time, which can explore potential customers for existing products and specific market for new products, and will strengthen the effectiveness of customer relationship management and marketing & sales strategy of banks.
Keywords:Collaborative Filtering, Recommendation System, Financial Products, Customer Relationship Management
- 8 -