随着近两年物联网、共享经济等新商业模式的涌现,在数字化的大潮中,越来越多的数据被收集起来,包括网络数据、用户信息、设备数据、信息、用途模式、点击流数据、应用程序数据等。虽然很多人还没真正了解机器学习是什么,但是机器学习已经悄悄的进入人们的生活,比如音乐App可以根据您的历史记录推荐喜爱的歌单。当前在电商、医疗、能源、交通等行业都有大量的资金涌入,希望通过机器学习从数据中获得更多有价值的洞察。
但是机器学习的进入门槛比较高,它涉及多领域学科,包括概率论、统计学、逼近论、凸分析、算法复杂度理论等。当前开源的算法包虽多,但是对于不懂编程的领域业务专家,依然很难下手。另外,搭建一套高效稳定的数据分析平台,对于企业来说成本较高。
2017年9月,华为全联接大会上,华为Cloud BU总裁、兼IT产品线总裁郑叶来先生面向企业市场,首次发布创新的企业智能(Enterprise Intelligence, 简称EI)。华为EI分为三类:基础平台服务、通用AI服务和场景解决方案。其中,华为云机器学习平台(MLS)是EI的一项基础服务,帮助用户通过机器学习技术迅速发现数据规律,构建预测模型,并将其部署为预测分析解决方案。
对于一家企业的CEO,最不愿意看到的就是竞争对手已经开始借助机器学习优化提升产品竞争力,而自家的IT部门主管还停留在用PPT给你汇报智能系统的愿景。华为云MLS可以让企业快速低成本搭建预测分析平台,让企业聚焦到发掘自身业务数据价值上。
丰富的机器学习算法库:从数据导入、预处理,到模型的训练、评估、管理,覆盖数据挖掘端到端业务。拥有10大类、50多个基础机器学习算法,拥有300多个其他常用算法。覆盖多数场景下特征工程、数据处理需要。更方便的是,它把各个算法逻辑化,统一封装成图形化的节点(Node)提供给用户。同时,华为算法工程师已经对各种算法进行调优,提供了一套默认工作良好的参数组合,你根本不用担心参数如何调整。
直观易用的机器学习方案:面向熟悉业务,但不熟悉相关建模语言的数据分析师通过可视化界面的,拖拽式的数据建模方式Workflow,提供所见即所得的建模开发界面。
交互式建模分析:面向数据科学家提供基于交互编程方式的数据建模能力Notebook,支持多种建模语言(Python/R等)。涵盖数据探索、特征工程、数据建模等数据分析过程。
模型生命周期管理能力:支持模型的生成、预测、部署、调度等完备的模型生命周期管理能力。支持业界标准的模型PMML的导入导出,与其他机器学习软件进行无缝集成。同时,企业用户可以一键式发布创建好的模型到生产系统中,并通过调度完成业务的自动预测功能。
可视化:支持数据可视化和模型可视化功能。内置丰富的图表类型,数据处理过程中可根据需要选择不同的图表进行展示,所见即所得,提升数据探索效率。训练的模型、评估结果可视化,提升模型的可解释性。
分布式可扩展的大数据计算引擎:底层使用华为分布式大数据分析MRS服务,使用增强开发的HDFS、Spark、Hive等组件,支持大数据分析。内置算法在分布式处能上进行了专项优化,相比开源实现有更好的性能和线性加速表现,支持处理更大规模的数据。
日前,中国电影产业发展迅猛,规模几乎达到世界第一,线下票房位居全球第二,观影人次居全球首位。每天上线着各式各样的电影,面对庞大又不断增长的电影,人们如何在海量剧库中快速找到自己喜爱的电影变得十分困难,此时,如何更懂用户,快速推荐出用户喜爱的电影,提高电影网站的用户体验,变得越来越重要。
华为云MLS平台,是构建在华为云上的一项数据挖掘分析平台服务。只需购买服务,即可通过丰富的算法库、高易用的建模界面、高性能的计算引擎,发现数据中的规律。再通过MLS具备的端到端机器学习模型的全生命周期管理,为业务数据和应用生成预测结果。
电影的历史评分数据通常是这样描述的:用户A对电影B的打分为C,那么用户A会对电影X感兴趣么,感兴趣的程度如何?针对这种场景,可以使用MLS里面的推荐类算法进行预测。
电影数据保存在文本文件中或数据库中供后续使用。数据主要用三张表保存,分别是用户表、电影表、用户电影评分表,数据格式和内容类似如下。从表的内容上我们可以看出,用户电影评分表是这次分析的关键。
对比传统的数据分析工具,MLS服务提供的可视化功能更加易用,让数据分析师的工作更加快捷高效。
下图为使用MLS预览的电影数据,图中最小的点表示观众,较大的点表示电影,点越大表明此电影被关注的程度越多。用户就是茫茫小点中的一个,用户也许已经看过某些电影了,但还有很多电影和她之间没有建立联系。
单击某一具体用户,如图中的user500节点,用户节点以及她看过的电影节点被高亮了出来。可以看出来还有很多电影是用户没看过,但是movie953、movie954、movie971是被她关注、评论过的,那么同时关注这些电影的人的观影品味很可能和这一用户很相似,可以利用这群人的观影列表来给我们做推荐。
针对建模预测过程,MLS具备如下特点,让熟悉业务,但不熟悉相关建模语言的数据分析师,可以快速创建所见即所得的建模开发方案。根据协同过滤方法的分析,将用户、电影数据上传到华为云的对象存储服务OBS上。机器学习服务借助MapReduce服务来提供可按需扩展的高速并行计算能力。数据可以被轻松的加载到HDFS文件系统进行高效建模。
运行工作流并查看输出数据,prediction表示预测的评分值,我们对它进行降序排列,可以看到用户对ID是919的电影最感兴趣。在电影数据表中,可以简单的查到ID是919的电影名称等信息。
MLS提供了模型的全生命周期管理能力,支持模型的生成、预测、部署、调度等完备的管理能力。将模型应用到生产中,到此,一个完整的电影推荐的机器学习分析方案就完成了。
产品推荐:根据客户本身属性和行为特征等(年龄、工作类型、婚姻状况、文化程度、是否有房贷和是否有个人贷款),预测客户是否愿意办理相关业务,为客户提供个性化的业务推荐。例如金融行业的理财推荐、终端业务的应用推荐等。
预测性:为设备创建预测模型并提供预见性和计划,减少故障时间和发生几率,从而提高效率和降低成本。例如汽车行业的车辆零部件、半导体行业中流水线制造过程的失效预测等。
客户挽留:客户流失具有多种形式,如切换到竞争对手的服务,减少服务使用量或切换到较低成本的服务。通过分析客户属性和行为建立客户流失模型,预测可能流失的客户,指导企业给出挽留方案。例如电信行业、电子商务行业的客户挽留模型等。
客户分群:通过数据挖掘来给客户做科学的分群,依据不同分群的特点制定相应的策略,从而为客户提供适配的产品、制定针对性的营销活动和管理用户,最终提升产品的客户满意度,实现商业价值。例如销售行业中根据零售商进货的种类和数量进行的零售商分群识别、电商行业中根据客户购买行为进行的客户聚类分析等。
异常检测:在网络设备运行中,用自动化的网络检测系统,根据流量情况实时分析,预测可疑流量或可能发生故障的设备。例如物联网应用中根据网络流量情况识别网络、识别设备是否正常工作等。
每日头条、业界资讯、热点资讯、爆料,全天微博播报。各种爆料、内幕、花边、资讯一网打尽。百万互联网粉丝互动参与,TechWeb微博期待您的关注。
昨天,一加正式宣布,全面屏新旗舰一加5T定于本月16日在纽约发布,国行则定档11月28日...
时间10月30日早间消息,Uber上周五宣布任命一名新的首席法务官,帮助该公司应对诸...
一名美国已责令进行一项新的审判,目的是判定三星应因其抄袭苹果公司iPhone外观设...
微软自己的硬件,自己的系统,但是问题却层出不穷。据Computerworld报道,不少Suc...
最近苹果iOS 11.2版本的消息不断传来,这个版本作为iOS 11更新之后的第一次大变动,最...
小米枪战作为一款大逃杀类吃鸡手游,一开始跳伞的地点要好好进行选择,主要要考虑到前......
腾讯昨天悄悄上线了一个网页,网页中还有倒计时,表示会在11月8号公布吃鸡手游具体消......
师荒骷髅11月8日来袭,作为一个全新的逢魔之时精英BOSS,我的战场就是你的坟场。......
《绝地大逃杀》中的四排是需要有一些战术策略的,这样团队合作才能发挥出较好的效......
推荐: