3.4.1 数据管理的基本概念
1.数据(Data)
数据是数据库中存储的基本对象。数据在大多数人头脑中的第一个反应就是数字。其实数字只是最简单的一种数据,是数据的一种传统和狭义的理解。广义的理解,数据就是描述事物的符号记录。描述事物的符号可以是数字,也可以是文字、图形、图像、声音、语言等,数据有多种表现形式,都可以经过数字化后存入计算机。
信息是经过处理、加工提炼而用于决策制定或其他应用活动的数据。数据是信息的载体,信息是数据处理过程的结果。
2.数据管理(Data Management)
数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程。其目的在于充分有效地发挥数据的作用。实现数据有效管理的关键是数据组织,而数据组织是通过数据库来实现的。随着计算机技术的发展,数据管理经历了人工管理、文件系统、数据库系统三个发展阶段。在数据库系统中所建立的数据结构,更充分地描述了数据间的内在联系,便于数据修改、更新与扩充,同时保证了数据的独立性、可靠性、安全性与完整性,减少了数据冗余,故提高了数据共享程度及数据管理效率。
3.数据库(Data Base,简称DB)
数据库,顾名思义,是存放数据的仓库。只不过这个仓库是在计算机存储设备上,而且数据是按一定的格式存放的。人们收集并抽取出一个应用所需要的大量数据之后,应将其保存起来以供进一步加工处理,进一步抽取有用信息。在科学技术飞速发展的今天,人们的视野越来越广,数据量急剧增加。过去人们把数据存放在文件柜里,现在人们借助计算机和数据库技术科学地保存和管理大量的、复杂的数据,以便能方便而充分地利用这些宝贵的信息资源。
4.数据库管理系统(Data Base Management System,简称DBMS)
数据库管理系统是数据库系统的一个重要组成部分。它是位于用户与操作系统之间的一层数据管理软件。主要包括以下几方面的功能:
(1)数据定义功能。DBMS提供数据定义语言(Data Definition Language,简称DDL),通过它可以方便地对数据库中的数据对象进行定义。
(2)数据操纵功能。DBMS还提供数据操纵语言(Data Manipulation Language,简称DML),可以使用DML实现对数据库的基本操作,如查询、插入、删除和修改等。
(3)数据库的运行管理功能。数据库在建立、运用和维护时,由数据库管理系统统一管理、统一控制,以保证数据的安全性、完整性、多用户对数据的并发使用及发生故障后的系统恢复。
(4)数据组织、存储和管理功能。DBMS要分类组织、存储和管理各种数据,包括数据字典、用户数据、存取路径等。要确定以何种文件结构和存取方式在存储机上组织这些数据以及如何实现数据之间的联系。数据组织和存储的基本目标是提高存储空间利用率和方便存取,提供多种存取方法(如索引查找、Hash查找、顺序查找等),提高存取效率。
(5)数据库的建立和维护功能。它包括数据库初始数据的输入、转换功能,数据库的转储、恢复功能,数据库的管理、重组织功能和性能监视、分析功能等。这些功能通常是由一些实用程序完成的。
(6)其他功能。包括DBMS与网络中其他软件系统的通信功能,一个DBMS与另一个DBMS或文件系统的数据转换功能,异构数据库之间的互访和互操作功能等。
3.4.2 电子商务数据库系统的特性
数据库系统(DBS)是一个实际可运行的存储、维护和应用系统提供数据的软件系统,是存储介质、处理对象和管理系统的集合体。它通常由软件、数据库和数据管理员组成。狭义而言,数据库系统是由数据库、数据库管理系统和用户构成。广义而言,数据库系统是由计算机硬件、操作系统、数据库管理系统以及在它支持下建立起来的数据库、应用程序、用户和维护人员组成的一个整体。
电子商务系统的有效运行关键在于后台有数据库系统的支持,对于一个较为成功的电子商务数据库系统需要具有如下的基本属性:
(1)能够保证数据的独立性。数据和程序相互独立有利于加快软件开发速度,节省开发费用。
(2)冗余数据少,数据共享程度高。
(3)系统的用户接口简单,用户容易掌握,使用方便。
(4)能够确保系统运行可靠,出现故障时能迅速排除;能够保护数据不受非受权者访问或破坏;能够防止错误数据的产生,一旦产生也能及时发现。
(5)有重新组织数据的能力,能改变数据的存储结构或数据存储位置,以适应用户操作特性的变化,改善由于频繁插入、删除操作造成的数据组织零乱和时空性能变坏的状况。
(6)具有可修改性和可扩充性。随着业务的扩展,系统能进行扩充和修改,具有良好的适应性。
(7)能够充分描述数据间的内在联系。
3.4.3 Web数据库技术
1.Web概述
(1)Web及其工作模式
Web即万维网,就是通过使用通讯设备和线路,将处在不同地理位置、操作上相对独立的多个计算机连接起来,再配置一定的系统软件和应用软件,在这些计算机上实现软硬件的资源共享和信息传递,由此而构成的计算机网络。
(2)Web存储信息的方式
传统网站存储信息的方式是基于文件的,即每个Web文档存储在一个单独的文件中。目前流行的Web存储信息的方式则是基于数据库的,即允许Web直接访问数据库,从而动态管理Web内容,这就是基于Web的数据库系统。
2.Web数据库管理系统的概念
所谓Web数据库管理系统是指基于Web模式的DBMS的信息服务,充分发挥DBMS高效的数据存储和管理能力,以Web这种浏览器/服务器(B/S)模式为平台,将客户端融入统一的Web浏览器,为Internet用户提供使用简便的、内容丰富的服务。Web数据库管理系统必将成为Internet和Intranet提供的核心服务,为Internet上的电子商务提供技术支持。
3.Web数据库技术的优势
WEB与数据库技术的融合,极大地提高了互联网信息管理工作的效率,方便了对信息的浏览、查询、传递、存储等数据处理。
数据库应用的一个重要方面就是对数据的访问,但是许多数据库系统目前提供的访问方式,或是一个字符方式的查询界面,或是通过编程方式实现,无论哪种方式都较难使用,随用户需求的改变,可能需要增添新的功能或在界面上做一些改动。与传统方式相比,Web数据库的优点在于:
(1)借用现成的浏览器软件,无需开发数据库前端。如果能够通过WWW来访问数据库,就不需要开发客户端的程序,使用的数据库应用都可以通过浏览器来实现,界面统一,也减少了培训费用,能使广大用户很方便地访问数据库信息。
(2)标准统一,开发过程简单。HTML是WWW信息的组织方式,是一种国际标准,使用WWW服务器与HTML标准,开发者甚至只需学习HTML一种语言,使用者只需学习使用一种界面——浏览器界面。
(3)平台无关性。几乎在各种操作系统上都有现成的浏览器可供使用,为一个WWW服务器书写的HTML文档,可以被所有平台的浏览器所浏览,实现了跨平台操作。
3.4.4 现代信息分析技术在电子商务中的应用
在电子商务环境下,海量的信息分布在后台各种服务器的数据库中,如何从中分析出对商家有用的信息,从而主动把握市场机会,提高企业的竞争力显得尤为重要。虽然电子商务网站的后台数据库能够记录下来丰富的交易信息和顾客相关的数据,但是这些数据资源中所蕴涵的大量有益信息至今却未能得到充分的挖掘和利用。而通过Web数据挖掘技术(即Web Data Mining技术)却能对数据库上的信息加以分析,提炼出对企业有价值的客户信息,公司还可以分析和预测顾客将来的行为,同时,利用有效的顾客信息,可以减少公司生产经营的盲目性,大大降低公司的运营成本。
1.Web数据挖掘的概念
Web数据挖掘(Web Data Mining),是利用数据挖掘技术从Web文档及Web服务中自动发现并提取人们感兴趣的信息。Web数据挖掘已是一项综合技术,涉及Internet技术、人工智能、计算机语言学、信息学、统计学等多个领域。通常Web挖掘过程可以分以下几个处理阶段:资源发现、数据抽取及数据预处理阶段、数据汇总及模式识别阶段、分析验证阶段。数据挖掘使数据库技术进入了一个更高的阶段,它不仅能对过去的数据进行查询和遍历,并且能够找出过去数据间的潜在联系,从而促进信息的传递。Web数据挖掘的最终目标是决策者根据数据挖掘得到的分析结果,优化商业决策行为,从而增加企业效益。
2.电子商务中的Web数据挖掘
在Internet电子商务中,客户浏览信息被Web服务器自动收集并保存在访问日志、引用日志和代理日志中。这些日志数据信息被组合应用到计算机并行处理、神经元网络、模型化算法和其他信息处理技术手段,进行分析加工,从中可得到商家用于向特定消费群体或个体进行定向营销的决策信息。同时有效地对这些Web日志进行定量分析,揭示其中的关联关系、时序关系、页面类属关系、客户类属关系和频繁访问路径、频繁访问页面等,不但可为优化Web站点拓扑结构提供参考,而且还可为企业更有效地确认目标市场、改进决策获得更大的竞争优势提供帮助。
3.Web数据挖掘技术在电子商务中的应用
(1)发现潜在客户。在对Web的客户访问信息的挖掘中,利用分类技术可以在Internet上找到未来的潜在客户。通常的策略是先对已经存在的访问者进行分类,对于一个新的访问者,通过在Web上的分类发现,识别出这个客户与已经分类的老客户的一些公共的描述,从而对这个新客户进行正确的分类,然后从它的分类判断这个新客户是属于有利可图的客户群,还是属于无利可图的客户群,决定是否要把这个新客户作为潜在的客户来对待。客户的类型确定后,就可以向客户动态地展示Web页面,页面的内容取决于客户与销售商提供的产品和服务之间的关联。
(2)提供优质个性化服务。对客户来说,传统客户与销售商之间的空间距离在电子商务中已经不存在了。在网上,每一个销售商对于客户来说都是一样的,那么如何使客户在自己的销售站点上驻留更长的时间,对销售商来说将是一个挑战。为了达到这一目的,就应该了解客户的浏览行为,知道客户的兴趣及需求所在,动态地调整Web页面,以满足客户的需要。通过对客户访问信息的挖掘,就能知道客户的浏览行为,从而了解客户的兴趣及需求。
(3)改进站点设计。对Web站点的链接结构的优化可从以下三方面来考虑:
[1]通过对Web Log的挖掘,发现用户访问页面的相关性,从而在密切联系的网页之间增加链接,方便用户使用。
[2]利用路径分析技术判定在一个Web站点中最频繁的访问路径,可以考虑把重要的商品信息放在这些页面中,改进页面和网站结构的设计,增强对客户的吸引力,提高销售量。
[3]通过对Web Log的挖掘,发现用户的期望位置。如果在期望位置的访问频率高于对实际位置的访问频率,可考虑在期望位置和实际位置之间建立导航链接,从而实现对Web站点结构的优化。
(4)聚类客户。通过把具有相似浏览行为的客户分为一组,并分析组中客户的共同特征,可以帮助电子商务的组织者更好地了解自己的客户,向客户提供更适合、更面向客户的服务。如有一些客户都花了一段时间浏览“房屋装修”、“家具”页面,经过分析这些客户被聚类成为一组。销售商根据分析出来的聚类信息,就可以知道这是一组“新购房族”客户,对他们所进行的业务活动当然也就不可能等同于其他被聚类了的客户如“大学生”,“购车族”,应及时调整页面及页面内容,使商务活动能够在一定程度上满足客户的要求,使商务活动对客户和销售商来说更具有意义。
(5)搜索引擎的应用。通过对网页内容的挖掘,可以实现对网页的聚类和分类,实现网络信息的分类浏览与检索;通过用户使用的提问式历史记录分析,可以有效地进行提问扩展,提高用户的检索效果(查全率、查准率);通过运用Web 挖掘技术改进关键词加权算法,可以提高网络信息的标引准确度,改善检索效果。
(6)网络安全。通过分析在服务器上留下网上银行、网上商店交易用户日志,可以防范黑客攻击、恶意诈骗。
3.4.5 商务智能
1.商务智能的概念
商务智能是指将企业的各种数据及时地转换为管理者感兴趣的信息(或知识),并以各种方式展开,帮助企业管理者进行科学决策,加强企业的竞争优势。这里的数据不仅仅指企业内部的各种数据,包括企业外部的数据,例如,行业状况、市场状况和资源的数据等。商务智能的过程是企业的决策人员以企业中的仓库为基础,经由联机分析处理工具、数据挖掘工具加上决策规划人员的专业知识,从数据中挖掘有用的信息和知识,帮助企业获取利润。商务智能帮助用户对商业数据进行联机分析和数据挖掘,例如,预测发展趋势、辅助决策、对客户分类、挖掘潜在客户等。商务智能使得很多事务性的数据经过抽取、转换后存入数据仓库。经过聚集、切片或者分类等操作后形成有用的信息、规则,来帮助企业的决策者进行正确的决策。
2.商务智能的技术基础
数据仓库是商务智能的基础。数据仓库是一个用于更好地支持企业或组织的决策分析处理的数据集合。它有面向主题、集成、相对稳定、随时间不断变化的四个特性,将数据仓库与传统的面向事务处理的数据库区分开来。数据仓库的关键技术包括数据的抽取、清洗、转换、加载和维护技术。
联机分析处理是以海量数据为基础的复杂分析技术。它支持各级管理决策人员从不同的角度、快速灵活地对数据仓库中数据进行复杂查询和多维分析处理,并且能以直观易懂的形式将查询和分析的结果展现给决策人员。
数据挖掘是从海量数据中,提取隐含在其中的、人们事先不知道的、但又可能有用的信息和知识的过程。数据挖掘的数据有多种来源,包括数据仓库、数据库或其他数据源。所有的数据都需要再次进行选择,具体的选择方式与任务相关。挖掘的结果需要进行评价才能最终成为有用的信息。按照评价结果的不同,数据可能需要反馈到不同的阶段,重新进行分析计算。数据挖掘的常用方法包括关联分析、分类和预测、聚类、检测离群点、趋势和演变分析等。可以说,联机分析处理和数据挖掘是数据仓库之上的增值技术。
3.商务智能在电子商务中的应用
商务智能技术在企业电子商务中有着重要的应用,电子商务的基础是建立各类主题数据库,这些数据库里面保存着大量的信息,但是这些信息还不能直接支持管理决策,商务智能系统的最大好处是可以从这些数据库中得到准确、及时的信息,帮助作出正确的决策,为企业赢得竞争优势。借助商务智能的核心技术,利用企业中长期积累的海量数据,可以实现以下三方面的应用。
(1)客户分类和特点分析。根据客户大量的历史消费记录以及客户的档案资料,对客户进行分类。并分析每类客户的消费能力、消费习惯、消费周期、需求倾向、信誉度,确定哪类顾客给企业带来最大的利润,哪类顾客仅给企业带来最少的利润同时又要求最多的回报。然后针对不同类型的客户给予不同的服务及优惠。
(2)市场营销策略分析。利用数据仓库技术实现市场营销策略在模型上的仿真。其仿真结果将提示所制定的市场营销策略是否合适。企业可以据此优化其市场营销策略,使其获得最大的成功。
(3)经营成本与收入分析。对各种类型的经济活动进行成本核算,比较可能的业务收入与各种费用之间的收支差额,分析经济活动的曲线,得到相应的改进措施和办法,从而可降低成本、减少开支、提高收入。
4.商务智能给电子商务带来的优势
电子商务站点的日常管理中应用商务智能后,能为电子商务站点业务发展所带来的竞争优势有以下五个方面:
(1)提高个性化服务水平。通过电子商务站点收集的各种客户数据,商务智能系统可以分析出关于特定客户的信息,利用这些信息,电子商务站点可以更好地提供符合客户需求的个性化服务。
(2)提高企业决策水平。通过商务智能的数据分析,电子商务站点可以根据市场变化、用户特点和对手行为更快地做出相应的反应。将单击流数据和交易记录结合起来进行分析,不仅可以得到关于市场和客户行为特点的商务智能,还能够根据这些商务智能,通过建模来预测市场和客户的未来发展趋势,从而制定正确的发展战略。
(3)提升客户价值。通过对相关的客户数据分析,电子商务站点可以得到客户群体的消费偏好、消费水平等数据。使用这些以事实为基础并经过正确分析得出的有价值的信息,电子商务站点可以更好地了解客户,利用更有针对性的市场营销和智能广告来更多地提供那些最能盈利的产品和服务。
(4)提高客户服务水平。掌握了大量的商务智能,电子商务站点的销售人员、技术支持人员以及客户服务中心工作人员能够更有策略和效率地为客户服务,增加客户对站点的好感,促使他们一次又一次地前来消费。
(5)优化和完善网站。通过对浏览者和购买者的浏览、交易数据分析,网站更好地布置网页和链接以便能够在增进流量,而客户或广告商也会对这些网页有更好的评价。
归根结底,应用商务智能,电子商务站点可以更好地了解客户,建立与客户的良好关系,提升站点对客户的亲和度。