登陆注册
8929800000013

第13章 数据存储与数据挖掘(5)

6.统计分析方法

在数据库字段项之间存在两种关系:函数关系(能用函数公式表示的确定性关系)和相关关系(不能用函数公式表示,但仍是相关确定性关系),对它们的分析可采用统计学方法,即利用统计学原理对数据库中的信息进行分析。可进行常用统计(求大量数据中的最大值、最小值、总和、平均值等)、回归分析(用回归方程来表示变量间的数量关系)、相关分析(用相关系数来度量变量间的相关程度)、差异分析(从样本统计量的值得出差异来确定总体参数之间是否存在差异)等。

7.模糊集方法

即利用模糊集合理论对实际问题进行模糊评判、模糊决策、模糊模式识别和模糊聚类分析。系统的复杂性越高,模糊性越强,一般模糊集合理论是用隶属度来刻画模糊事物的亦此亦彼性的。李德毅等人在传统模糊理论和概率统计的基础上,提出了定性定量不确定性转换模型———云模型,并形成了云理论。

3.4.5数据挖掘中的关键技术

数据挖掘在技术上可以根据它的工作过程分为:数据的抽取、数据的存储和管理、数据的展现等关键技术。

1.数据的抽取

数据的抽取是数据进入仓库的入口。由于数据仓库是一个独立的数据环境,它需要通过抽取过程将数据从联机事务处理系统、外部数据源、脱机的数据存储介质中导入数据仓库。数据抽取在技术上主要涉及互连、复制、增量、转换、调度和监控等几个方面的处理。在数据抽取方面,未来的技术发展将集中在系统功能集成化方面,以适应数据仓库本身或数据源的变化,使系统更便于管理和维护。

2.数据的存储和管理

数据仓库的组织管理方式决定了它有别于传统数据库的特性,也决定了其对外部数据的表现形式。数据仓库管理所涉及的数据量比传统事务处理大得多,且随时间的推移而快速累积。在数据仓库的数据存储和管理中需要解决的是如何管理大量的数据、如何并行处理大量的数据、如何优化查询等。目前,许多数据库厂家提供的技术解决方案是扩展关系型数据库的功能,将普通关系数据库改造成适合担当数据仓库的服务器。

3.数据的展现

在数据展现方面主要的方式有查询、报表、可视化、统计输出、挖掘结果等。查询:实现预定义查询、动态查询、OLAP查询与决策支持智能查询;报表:产生关系数据表格、复杂表格、OLAP表格、报告以及各种综合报表;可视化:用易于理解的点线图、直方图、饼图、网状图、交互式可视化、动态模拟、计算机动画技术表现复杂数据及其相互关系;统计输出:进行平均值、最大值、最小值、期望、方差、汇总、排序等各种统计分析;挖掘结果:利用数据挖掘等方法,从数据中得到关于数据关系和模式的知识。

3.5数据挖掘与智慧城市

3.5.1智慧城市建设中数据挖掘的任务

数据挖掘技术的应用将会渗透到智慧城市的建设的多个方面和领域,为智慧政府、智慧交通、智慧教育、智慧社区等的发展提供重要的技术支持。在智慧城市的建设中,数据挖掘的任务主要是关联分析、聚类分析、分类、预测、时序模式和偏差分析等。

1.关联分析(Association Analysis)

关联规则挖掘是由Rakesh Apwal等人首先提出的。两个或两个以上变量的取值之间存在某种规律性,就称为关联。数据关联是数据库中存在的一类重要的、可被发现的知识。关联分为简单关联、时序关联和因果关联。关联分析的目的是找出数据库中隐藏的关联网。一般用支持度和可信度两个阀值来度量关联规则的相关性,还不断引入兴趣度、相关性等参数,使得所挖掘的规则更符合需求。

2.聚类分析(Clustering)

聚类是把数据按照相似性归纳成若干类别,同一类中的数据彼此相似,不同类中的数据相异。聚类分析可以建立宏观的概念,发现数据的分布模式,以及可能的数据属性之间的相互关系。

3.分类(Classification)

分类就是找出一个类别的概念描述,它代表了这类数据的整体信息,即该类的内涵描述,并用这种描述来构造模型,一般用规则或决策树模式表示。分类是利用训练数据集通过一定的算法而求得分类规则。分类可被用于规则描述和预测。

4.预测(Predication)

预测是利用历史数据找出变化规律,建立模型,并由此模型对未来数据的种类及特征进行预测。预测关心的是精度和不确定性,通常用预测方差来度量。

5.时序模式(Time‐series Pattern)

时序模式是指通过时间序列搜索出的重复发生概率较高的模式。与回归一样,它也是用已知的数据预测未来的值,但这些数据的区别是变量所处时间的不同。

6.偏差分析(Deviation)

在偏差中包括很多有用的知识,数据库中的数据存在很多异常情况,发现数据库中数据存在的异常情况是非常重要的。偏差检验的基本方法就是寻找观察结果与参照之间的差别。

3.5.2数据挖掘在智慧城市的应用

数据挖掘应用范围比较广泛,在智慧城市建设中,将主要应用于金融、电信、证券、商业、市场营销、政府等部门。目前,CRM(客户关系管理)利用了可视化数据挖掘技术,已有许多很成功范例。数据挖掘成功的两个关键因素是:一个大且完整的数据仓库和一个可挖掘的定义、理解都明确的商务流程,如客户展望、保持,商业活动管理,等等。一些成功的应用案例包括:

1.制药公司

一家制药公司可以分析他最近的销售行动及其结果以改进高位值医师的目标市场,并决定哪些市场活动将在后续的几个月有最大的效果;数据需要包括竞争对手的市场活动,信息和当地医疗系统的信息一样;结果可以通过广域网分发到各销售队伍,它可以使地区代表从决策过程中关键属性的视点来检视这些建议;随着这一过程的进行,数据仓库的动态分析允许来自整个组织的最好的实践应用于特定的销售环境。

2.信用卡公司

一个信用卡公司可利用他的巨大的客户交易数据仓库来确定客户对新的信用卡中最感兴趣的产品;使用一个小型的测试邮件,就可以确定一个客户对新产品的亲和力属性。最近的研究已经表明,采用超常规的方法对指定目标的邮寄活动,可以节省20倍的费用。

3.运输公司

一家拥有很大的直销队伍的多样化的运输公司,可使用数据挖掘以确定其服务的最好模式,用数据挖掘来分析他自己的客户体验,还可以建立唯一的分段以确定高位值的预期。对诸如由Dun&;Bradstreet提供的那些一般商务数据使用这些分段可以产生一张按地区排列的优先列表。

4.货物包裹公司

一个大的消费者货物包裹公司可以利用数据挖掘来改进对零售商的销售流程。来自消费者组织、运输商以及竞争对手活动的数据,可以用于理解打上印记和仓储转移的原因。通过这些分析,制造商可选择能最好地运抵目标客户地区的运输商推荐策略。每一个这样的例子有一个共同的清晰的基础,他们利用在数据仓库里隐藏的关于客户笃信的知识,来减少费用并改善客户关系的价值。这些组织现在可以集中精力于最重要的客户和有前景的商务,并设计可以最好实现这些目标的市场策略。

同类推荐
  • 破局:资本和创意的厮杀

    破局:资本和创意的厮杀

    潮流商业模式看点:共享、合围、并购、速度战、技术壁垒……打破和重建,互联移动时代下商战厮杀。这些改变将如何影响我们?我们也可成为改变者!
  • 东方商人地图

    东方商人地图

    本书勾画了东方商人的财富地图,分析了中国商人、犹太商人、阿拉伯商人、印度商人、韩国商人和日本商人6大东方商人的财富基因。全书行文流畅,亦庄亦谐,寓经商哲理于轻松阅读中,可谓开卷有益。适合广大读者阅读。
  • 低碳经济时代的四川产业发展战略

    低碳经济时代的四川产业发展战略

    本书借助低碳转型的强大压力和动力,探讨了新形势下四川的产业发展战略。本书共分8章,其中第一章低碳经济的时代背景,第二章四川产业实现低碳发展的战略思考,第三章四川能源的低碳发展战略,第四章四川农业的低碳发展战略,第五章四川制造业的低碳发展战略,第六章四川建筑业的低碳发展战略,第七章四川服务业的低碳发展战略,第八章四川交通的低碳发展战略。
  • 中国保单持有人利益保护制度研究

    中国保单持有人利益保护制度研究

    商业保险经营的负债性、长期性以及社会影响的广泛性, 决定了作为债权主体以及保险产品需求者的保单持有人与保险公司经营具有内在的利益关系。保护保单持有人利益既是国际 保险业发展的主要趋势,也是保险监管的根本目的,是各国政府普遍关注的重要课题。在任何一个国家保险业的发展历程中,保单持有人都发挥着不可或缺的推动作用。然而从我国保险市场的现实情况来看,侵害保单持有人利益的现象却时有发生。
  • 商务策划书写作范本

    商务策划书写作范本

    全书共分九章,分别讲述了创业与经营策划书、市场调查和预测报告、生产经营与后勤管理策划书、企业招聘与员工管理培训策划书、商务营销常用策划书、公关策划书、商务运作五大媒体广告策划书、财务与融资策划书、财务计划与管理策划书。策划书写作的依据和前提是调查报告和分析报告,所以本书包括一些重要的商务报告;计划书和制度是策划书的具体化,因此,我们也安排了这方面的内容。
热门推荐
  • 绝世王女:腹黑神女戏天下

    绝世王女:腹黑神女戏天下

    本想认认真真的当个杀手,顺便再当个’普通‘的高中生,可是那片空白的记忆却渐渐回归,她再次被卷入纷争之中。抱着必死的心态自爆,只为不再背负那血海深仇。只是再次睁眼,灵魂虚弱,她寄居在他人体内。在所谓的血海深仇之下,真相渐渐浮起。前世今生,恩怨纠葛,他们是否,能跨过一切,再次相拥……
  • 万世千生

    万世千生

    一往情深,却不知情深何处。她拾起的枫叶,被他留下,他只想留住最后对她的一点思念,尽管她的心已死,尽管他的最爱不是她。
  • 快穿之男神不好当

    快穿之男神不好当

    欧阳诺从来不知道世界上还有这样的一款游戏,强大的能带你闯进任何的世界。他不过就是玩了一下妹妹的游戏,然后就莫名其妙的被一个系统给坑了。系统君:欢迎来到宅腐集中营,我是一一零号系统。欧阳诺:什么鬼?(作者:快上车,老司机要开车了,简介无能,喜欢腐的可以一看。)
  • 肥妃霸道,美病王溺爱情深

    肥妃霸道,美病王溺爱情深

    【本文架空历史,医毒知识皆为文之所需,切匆较真!】穿越成一百六十斤重的花痴肥妃怎么办?且看她如何瘦身成天下第一美人。新婚之夜,病王退无可退,缩在床角指着她道:“你想干什么?”肥妃嘟起红唇道:“你说呢?春宵一刻值千金啊!美……美王爷,我们洞洞……洞房吧?”南宫玉忍无可忍,冷冷地说了一个字:“滚!”新婚之夜,肥妃被一脚踹下了床,头撞在一物上,醒来后,眼神冷冽一变,华光流转,对俯身检查她是不是死了的病王,忽地喝斥道:“不管你是谁,离我远点!不然,你怎么死的都不知道!”笑话!不就是肥胖吗?这能难倒她这个十八般武艺般般优秀的天才特工吗?穿越古代,她的人生一样要活得精彩!南宫玉,美誉第一美病王,人人以为他是软脚虾,却谁知,他还是江湖上人人闻之色变,可以号令整个江湖,呼风唤雨的“玉公子”?六岁那年,母妃被皇后害死,他开始韬光养晦,苦心经营……
  • 零源纪

    零源纪

    自知者不怨人,知命者不怨天。与己斗,与人斗,与天斗,与命斗?一个相貌普通,资质普通,背景一般的他,在信念与选择下掌控了自己的命运,而真正的命运之战才刚刚开始……
  • 星兽神纪

    星兽神纪

    只有兽类残识附体人类才能生存,千年之间,亦真亦幻,万载英雄路,千数红颜劫;面对实力和挚爱,他和千年之后的他如何抉择。世人皆舍小爱而成全大爱,而我愿舍众生而独守你一生,胜亦是败,碎亦是全。不破不立则为至尊!!
  • 生命中不能承受之重
  • 时之修真

    时之修真

    历经古时未来,最终发现,所谓修真,不过骗局
  • 福妻驾到

    福妻驾到

    现代饭店彪悍老板娘魂穿古代。不分是非的极品婆婆?三年未归生死不明的丈夫?心狠手辣的阴毒亲戚?贪婪而好色的地主老财?吃上顿没下顿的贫困宭境?不怕不怕,神仙相助,一技在手,天下我有!且看现代张悦娘,如何身带福气玩转古代,开面馆、收小弟、左纳财富,右傍美男,共绘幸福生活大好蓝图!!!!快本新书《天媒地聘》已经上架开始销售,只要3.99元即可将整本书抱回家,你还等什么哪,赶紧点击下面的直通车,享受乐乐精心为您准备的美食盛宴吧!)
  • 冥日幽风梦

    冥日幽风梦

    襁褓中的婴孩,师尊所救,一生修道道心不移,冥日之体,幽风之名,只为有梦,问鼎九天