随着现代物流的快速发展,各流通行业在经营过程中产生了海量的数据,引发了“数据监狱”现象,这些数据蕴藏着丰富的经营视点和市场规律。这些企业虽然拥有相当丰富的数据,但是需要时却搞不清哪些是有用的信息。再加上物流信息本身的特征(见第二章),在使用物流信息之前必须做深入的分析挖掘工作。本章简要讨论如何进行物流信息的分析挖掘,通过物流信息管理引入物流商务智能。
第一节 物流信息分析的意义与内容
在第四章中,已经系统地讨论了物流信息加工与处理,那么现在所要说的物流信息分析与其他信息加工有什么异同呢?
物流信息分析和信息加工有着许多的相同之处。
物流信息分析作为物流信息的深度加工,与普通的物流信息加工及相关信息的组织处理,在目标上都是一致的,都是将各种物流信息加工成更适合用户使用的信息产品。在动作上也是一致的,都是提高物流信息的有序化程度。物流信息分析与其他信息加工一样,都要历经信息整理、消化、鉴别、筛选、整序、浓缩和提炼等基本过程,使物流信息由紊乱走向条理、由冗余走向精干、由混杂走向纯净,给信息重新定位。在创造新的物流信息集合的过程中赋予信息以新的价值,成为真正能去伪存真、净化信息环境的负熵流。
在物流信息加工的实质上,物流信息分析与其他信息加工也大同小异,都是对搜集到的各种信息加以加工,不同环节体现出信息加工的深度,只不过,信息分析更侧重于“由此及彼、由表及里”两个加工环节。因此可以认为,物流信息分析是对物流信息的深度加工。
当然物流信息分析作为一种深度加工,与一般的物流信息加工存在着一些不同之处。
首先,物流信息分析是研究性加工,需要信息加工者具有较高的学术水平和分析综合能力,投入更多智力劳动。在研究方法、手段和质量上已与其他软科学研究毫无二致。
其次,物流信息分析与其他信息加工在整序方面存在着歧路。信息分析像其他软科学一样,它的整序思路是完全依照信息产品的“订购者”的要求而有目的地设计的,像私人裁缝上门量身订做,以用户满意度为第一位;而其他信息加工都有相对固定的程式,像服装厂按统一版型、批号制作,其各种型号产品通过摆到货架上让顾客挑选。
最后,物流信息分析与其他几种信息加工在加工程度上有较大不同。这里所指的“加工程度”不是指加工粗细而言,传统的几种信息加工可以达到相当精细的水平。这里所说的加工程度主要指由原始信息多次加工产品增值程度。因此可以说,物流信息分析是对信息深度加工。
一、物流信息分析的意义
从上述分析知道,所谓物流信息分析,就是根据特定问题的需要,对大量相关物流信息进行深层次的思维加工和分析研究,形成有助于问题解决的新信息的信息劳动过程。物流信息分析是对信息产品内涵的开发,它使原有信息在更深入、更全面、更综合、更适用的层次上凝结为全新的信息劳动,强调对信息内容的深度分析加工并形成一种综合信息,即针对性和功能性更强的再生信息。
(一)物流信息分析的主要功能
物流信息分析是以物流信息用户的需求为出发点对物流信息进行深度加工,归根结底,是通过加工把静态的信息激活,使其成为用户需要的活化了的知识,赋予它们更多价值和更高能量级。由此看来,激活应是物流信息分析的基础性功能。
从这一基础性功能出发,物流信息分析可具体细分为六种社会功能:整序、鉴别、抽提、升华、预测和反馈。
1.整序功能
物流信息分析发挥了对信息汇总、排队、归纳和分类的作用,将分散、凌乱的物流信息有序化。其他类物流信息加工也具有整序功能,不同的是物流信息分析不是按门类、属性来排序,而是按照用户的要求,横向地定向整序。
2. 鉴别功能
物流信息分析发挥了对物流信息去伪、辨真、权重和荐优的作用。单从物流信息自身来鉴别真伪良莠,是比较困难的。有比较才有鉴别,这就要求物流信息分析工作者具备丰富的知识和较强的甄别能力。由于物流信息分析人员的知识结构较好,完全可以胜任此项工作。
3. 抽提功能
物流信息分析发挥了对物流信息浓缩、提炼、解析和分离的作用。物流信息分析加工的压缩比比二级文献对单篇文献的压缩比大得多,是对物流信息群体的提炼,故它的抽提功能更强。
4. 升华功能
物流信息分析发挥了对物流信息的重组、选优、综合和创新的作用。这项社会功能是其他信息加工形式所没有的,它要求物流信息分析工作者具有强烈的创新意识,将原始的物流信息充分消化吸收,再反哺出来,完成再创造的全过程。这应该是物流信息分析的核心功能。
5. 预测功能
物流信息分析发挥了对信息的推理、演绎、模拟和猜想的作用。凡事预则立,有了事先的预测,就可以防患于未然。物流信息分析工作者一方面占有大量信息,通过对过去和现在发生的事物所形成的发展规律,进行趋势外推;另一方面,凭借自己的知识和经验判断,再配合各种预测方法,就可以比较准确地预测未来。
6.反馈功能
物流信息分析发挥了对信息的跟踪、追索、评估和修正的作用。事先的预测是必要的,事后的评价可以将实践的结果与预测结论对比,不断地调整,这样才能保证物流活动的顺利实施和物流事业的发展。
(二)物流信息分析的意义
随着现代物流朝着信息化方向的快速发展,物流信息的地位日渐重要。要有效地使用物流信息就必须对信息进行深层次的加工、处理,即必须先做好信息分析工作。物流信息分析正是通过预测与反馈功能直接为科学决策服务。物流信息分析工作已直接服务于经济的生产发展,成为企业决策管理的有力支撑。
物流信息分析的意义表现在多方面,下面做一下扼要介绍。
1.物流信息分析有利于物流信息标准化的进行,便于物流信息的编码
在进行物流信息标准化和编码时,首先要做的工作是分门别类,知道什么样的信息怎样来编码。只有这样,信息的标准化工作才能得以继续。
2. 物流信息分析让企业更加了解物流信息的本质特点及其所能起的作用
对仓储功能单元中的种种信息,要从出仓、入仓、货位等业务信息和相关仓储设备等信息两方面来分析挖掘,理清它们的来源、特点及能所起的作用,做到深刻透彻的了解。
3. 物流信息分析让企业更充分地利用物流信息,让其物尽其用
有了深刻透彻的了解,就可以充分挖掘利用物流信息的价值,如在仓储单元中,就能够以货位及仓储设备等相关信息来确定黄金货位,优化仓储过程。
4. 为制定企业特别是物流企业经济长期发展计划和科技发展规划服务
物流信息分析工作人员可以协助发展规划专业人员找出影响企业全局发展的关键问题和薄弱环节,捋清企业发展的基本思路,找准适宜的发展路线与方案,为制定企业长远规划提供科学依据。
5. 为物流行业布局和企业发展出谋献策
物流信息分析工作可以跟踪、分析、预测物流市场需求变化,诊断物流企业经营状况,通过对竞争对手的分析,可以为物流企业制定竞争策略。
6.在物流企业科学化管理上发挥参谋和助手的作用
随着社会大生产的高度发展,管理问题日益突出,科学化管理是确保企业高效运转的关键,物流信息分析在科学管理上是可以有所作为的,可以起到参谋和助手的作用。
7. 在物流企业运作中提供全程信息服务
物流信息分析可以在物流企业运作中提供全程信息服务,这样,企业管理人员便可以随时透彻地了解企业的运作状况。
8. 为重大建设项目的论证评估服务
当物流企业想上一些重大项目,在立项之前,肯定需要做大量的信息分析的工作,当然主要做物流信息分析工作。
9. 在企业可持续发展方面物流信息分析起到监视和预警作用
物流信息分析可以对企业及外界的各类资源进行全方位的跟踪与监控,对将来发展态势进行预测,当某一措施实施过程中出现问题时可以及时地反馈给企业的决策者。
二、物流信息分析的特征与内容
物流信息的有序无序是一个相对的概念。浩如烟海的信息资料即使经过初步整序成为相对有序的信息流,对于每个面临特定问题的信息用户来说仍然是离散状态的无序信息。所谓物流信息分析,就是根据特定问题的需要,对大量相关信息进行深层次的思维加工和分析研究,形成有助于问题解决的新信息的信息劳动过程。物流信息分析是对信息产品内涵的开发,它使原有信息在更深入、更全面、更综合、更适用的层次上凝结为全新的信息内涵,是建立在科学的分析研究方法基础上,并融入信息分析人员大量智慧的高级信息劳动。物流信息分析更强调对信息内容的深度分析加工并形成一种综合信息,即针对性和功能性更强的再生信息。
(一)物流信息分析的特征
1.系统性
物流信息分析就是要使大量分散无序的信息密集化、有序化,使分布在不同层面的零散信息串联、定向排序,使分散在不同空间的信息整体化、结构化,从而构成有序的信息系统。
2. 针对性
物流信息分析为物流企业提供针对性极强的信息加工品,能为企业科学决策发挥很好的参谋作用。
3. 科学性
物流信息分析是建立在科学的认识论基础上,以历史的和现状的信息为根据,分析研究对象及其有关因素的相互联系,进而揭示出研究对象的特征和变化规律。物流信息分析具有科学的工作流程,因而能生产出高质量、科学的信息产品。
4. 综合性
物流信息分析的目的是为企业的各部门各层次决策服务,也为科学决策提供依据,综合性较强。
5. 政策性
政策和策略是信息分析工作的生命线。信息分析是一项政策性极强的工作。
6.时效性
在“时间就是金钱”的现代社会,物流信息分析尽量缩短信息加工的工期,减少时间差,及时有效地提供优质信息产品以满足用户的需要。
7. 客观性
物流信息分析是相对独立完成的,保持其独立、客观是十分重要的。物流信息分析工作是以反映客观世界运动变化规律的信息为基础,经过分析、推理、判断去认识客观事物的本质,掌握其内在规律,并在此基础上为决策提供依据。
8. 局限性
由于受到物流信息原料的数量与质量,以及信息人员水平双重的限制,物流信息分析具有一定的局限性。
(二)信息分析的工作程序
物流信息分析是针对某一特定问题的需要对有关信息进行定向选择和科学抽象的一种研究活动,它通常由选题、设计研究框架、信息搜集与整序、信息分析与综合、编写分析报告等几个阶段组成。
具体可以从物流信息分析自选题到完全完成信息分析全过程的“六部曲”来看:
①注意积累、发现问题;
②开题论证、选准课题;
③实地调查、资料搜集;
④素材甄别、数据处理;
⑤加工提炼、研究分析;
⑥撰写报告、验收结题。
(三)物流信息分析方法
物流信息分析的方法多种多样,除了下两节要具体介绍的广泛使用的数据挖掘和商务智能外,主要有信息联想法、信息综合法、信息预测法、信息评估法等。它们也穿插于数据挖掘和商务智能中,这里就不再赘述。
第二节 物流信息数据挖掘
随着物流信息化的迅速发展,物流企业积累了大量的历史数据,如委托单记录、出入库记录、运单记录、盘点记录等。但所有企业面临的一个共同问题是:企业历史数据量非常大,而其中可利用的信息却很少,一般历史数据在数据库中存放三个月后,就会备份到光盘、硬盘、磁带机等存储介质上,并从在线系统中删除。然而历史数据中蕴涵了大量的规律和知识,经过深层次分析,从大量的数据中可以获得有利于企业运作、提高竞争力的信息,就像从矿石中淘金一样,这就是物流数据挖掘。
一、数据挖掘技术
(一)数据挖掘的定义
数据挖掘(Data Mining,DM)到目前还没有统一的定义,常用的定义有两种。
一种表述为“数据挖掘是从大量数据中识别出有效的、新颖的、潜在的、有用的,并最终可理解的模式的非平凡的过程。”另一种表述为“数据挖掘是从大量数据中挖出隐含的、先前未知的、对决策有潜在价值的知识和规则。”
前面一种着重说明数据挖掘是一个非平凡的识别模式的复杂过程,这个过程要具有一定的自动性和智能性。后一种强调了前面定义中的“识别模式”是用知识、规则、规律、概念等表达的,强调数据挖掘的任务就是从大量数据中寻找出对决策有所帮助的信息,更倾向于数据挖掘的作用。
总之,数据挖掘就是要从大量的数据中,采用不同于简单的查询、统计等方法而获得的人们先前未知的有用信息(或知识)的过程。
(二)数据挖掘技术的含义
数据挖掘技术就是以不同领域积累的大量数据为研究对象,利用人工智能、机器学习等方法,发现、识别出数据中所隐含的有用信息,并利用这些信息为使用者提供决策服务,为用户产生效益的一项技术。
随着数据库管理系统在许多领域的广泛应用,采用传统方法只能从数据库中获得小部分信息,这就造成了资源(信息)的浪费。正是在这样的背景下,数据挖掘技术应运而生,并受到了广泛的关注。
(三)数据挖掘技术
数据挖掘的研究融合了多个不同学科领域的技术与成果,使得目前的数据挖掘技术表现出多种多样的形式。从统计分析类的角度来说,统计分析技术中使用的数据挖掘模型有线性分析、非线性分析、回归分析、逻辑回归分析、单变量分析、多变量分析、时间序列分析、最近序列分析、最近邻算法和聚类分析等技术。利用这些技术可以检查那些异常形式的数据,然后利用各种统计模型和数学模型解释这些数据,找出隐藏在这些数据背后的市场规律和商业机会。
知识发现类数据挖掘技术是一种与统计分析类数据挖掘技术完全不同的挖掘技术,包括人工神经元网络、支持向量机、决策树、遗传算法、粗糙集、规则发现和关联顺序等。
除此之外,还要把数据与结果用可视化技术表示成云模型方法和归纳逻辑。
(四)数据挖掘技术的应用
数据挖掘技术作为数据库技术的最新应用,它是数据库技术、人工智能、统计分析、模糊逻辑、人工神经网络等学科相结合的产物,集成了当今一些最前沿的科技理论和方法,在应用中不免给人一种神秘、难用的感觉。
但实际情况并非如此,在具体问题中,它已经有成形的软件,帮助用户进行数据挖掘。另外,用户理解数据挖掘原理、思想,可能比掌握数据挖掘的具体方法更重要,对于不断产生的大量数据,用户需要经常思考是否有隐含的信息。
数据挖掘技术首先应用于经营中,国外很多公司利用数据挖掘已经取得巨大的经济效益,它们把数据挖掘方法视为商业机密,这方面的主要应用在销售领域,比如客户概况、目标市场和购买方式分析。通过客户概况分析,根据挖掘预测,可以帮助企业发现新的消费群体,确定未来的顾客具有的特点,并进行定向营销。与传统的不分消费对象特征的大规模的营销手段相比,可以节省大量的营销费用,提高营销效果。
当然,数据挖掘技术也广泛应用于天文学、电力系统、生物学等科技领域中。
二、物流数据挖掘
(一)物流数据的特点
1.数据量大
物流数据因物流活动及商品交易活动的开展而大量产生,随着企业间合作倾向的增强和信息技术的发展,物流数据的容量将越来越大。
2. 更新快
多品种少量生产、多频度小数量配送与利用POS系统的即时销售使得各种物流作业活动频繁发生,从而使物流数据不断更新,而且更新的速度越来越快。
3. 来源多样化
物流数据不仅包括企业内部的物流数据,而且包括企业间的物流数据和物流活动相关的设施的数据。为了获得企业竞争优势就需要供应链上各参与者间的相互协调合作,就得实现信息即时交换和共享,故需要方方面面的数据,来源必然多样化。
当然,针对不同类别的物流数据,数据挖掘还有一些不同的特点,如对整个物流管理信息系统自身而言,就要求全面、完整地收集。而对其他数据的挖掘,则要根据物流要求来选择。
(二)物流数据挖掘主要方法
数据挖掘方法很多,不同的分析方法和挖掘工具有其特点和使用范围。
1.基本统计方法
在物流管理领域,基本统计方法起着信息咨询、监督、辅助决策的作用。目前企业内部的相关海量数据或分散存储,或是异构数据,无法利用基本的统计方法进行归纳推理。
2. 相关分析法
物流管理中的各个要素间存在着大量的相互联系、相互依赖、相互制约的关系:一类是函数关系,它反映着要素之间严格的依存关系;另一类为相关关系,就是说变量之间存在着不确定、不严格的依存关系。可使用相关分析解决要素间的关系情况,如有无相关关系、什么相关关系类型、关系密切程度、拟回归方程及其可靠性等。
3. 回归分析法
在物流管理中可运用回归分析来:
①确定某些变量之间的定量关系式,并估计其中的未知参数(常用最小二乘法);
②对这些关系式的可信度进行检验;
③在多自变量共同影响一个因变量的关系中,判断并将影响显著的自变量选入模型中,而剔除影响不显著的变量,通常用逐步回归、向前回归和向后回归等方法;
④利用所求的关系式对物流需求或是其他物流管理相关内容进行预测或控制。
回归分析仅考虑到变量之间的数量变化规律,没有考虑到变量之间由于时间等因素产生的不确定关系,这使得回归分析,特别是线性分析,对于时间不敏感变量的检验结果是可信的,对于时间敏感的变量的变化规律不能很好地表示。
4. 时间序列分析
时间序列分析是对按时间排序的一组数字序列应用数理统计方法加以处理,以预测未来事物的发展。时间序列分析是定量预测方法之一。当外界发生较大变化时,预测往往会有较大偏差,为此要利用加权平均法对历史数据进行处理。时间序列预测法简单易行,便于掌握,能弥补回归分析的不足,而且其中短期预测比长期预测的效果好。
5. 人工神经网络
人工神经网络(Artificial Neural Network,ANN)是一个由很多节点通过方向性连接组成的一个网络结构,是基于模仿人的大脑的神经网络的结构和功能而建立的一种具有学习能力的信息处理系统。ANN从过去的知识中学习、概括和抽取解决问题的经验知识,并对这些知识进行运用。
ANN的优点是:并行处理,非线性映射,具有自学习功能和高速寻找优化解的能力。由于具有这些优点,ANN具有高度的非线性和极强的模糊推理能力,这是传统数学分析方法无法比拟的。
物流过程涉及的因素比较多,仅用推理和建立数学模型的方法来解决物流管理中出现的问题是不够的,还需依靠经验和某些难以用公式表达的知识。因此,ANN比较适合于解决复杂的物流管理问题。
(三)物流数据挖掘的内容
一般来说,数据挖掘技术在物流业领域中的典型应用主要包括以下六个方面。
1.了解运输全局
通过分类信息即按货物种类、数量、地点、日期等了解每天的运营和财政情况,对每一货物的运输成本、库存变化都能了如指掌。物流商在运输货物时,随时检查货物运输结构是否合理,这十分重要,如每类货物的配送比例是否大体相当。调整货物运输结构时一定要考虑季节变化导致的需求变化、同行竞争对手的竞争策略等因素。
2. 降低库存成本
通过数据挖掘系统,将运输数据和库存数据集中起来,通过数据分析,以决定对哪些货物进行先行发货,以确保合理的库存。数据挖掘系统还可以将库存信息和货物预测信息,通过电子数据交换直接送到客户那里,这样可以定期增加或者减少库存,物流商也可以减少自身负担。
3. 货物分组布局运输推荐参照分析
通过从统计记录中挖掘有关信息,可以发现运输某一种货物的顾客可能运输的其他货物。这类信息,可以形成固定的运输推荐,或者保持一定的组合——货物分组布局,以帮助客户方便发送货物,打动顾客的心,从而达到增加营业额的目的。
4. 市场分析和趋势分析
利用数据挖掘工具和统计模型对数据库的数据仔细研究,以分析客户的运输习惯和其他战略性信息。利用数据库中近年来的物流数据,通过数据挖掘,可以对货物品种和库存的趋势进行数据挖掘分析,还可以确定风险货物,并对数量和运作做出决策。
5. 客户细分
客户细分是将人的消费群体划分为若干小细分群体,同属一个细分群的消费者彼此相似。客户细分可以使商家以不同的方法区别对待处于不同细分群中的客户。但这并不意味着服务与质量上的差别,毕竟“顾客就是上帝”是业界恪守的职业道德。举例来说,经济学中有这样一条“20/80”法则,即在企业的营运中,20%的客户往往能创造80%的营业额或是80%的利润。这就是经济学中著名的佩尔图定律。如何区分开“20”与“80”客户?想想看,如果你知道就是这些“20%”的客户给你带来了60%的物流业务和80%的利润,那么这些信息对你意味着什么呢?目前比较流行的CRM(客户关系管理)就是在这一理论基础上建立起来的。
6.交叉盈利
物流企业和客户之间的关系是一种持续不断的发展关系,交叉盈利是指向老客户推销新服务的过程。交叉盈利是建立在业务双方互利原则的基础之上的,客户因得到更好、更多符合他们需求的服务而获益,企业也因业务增长而获益。在很多情况下对老客户状况的数据挖掘与对新客户的数据挖掘是一致的。交叉盈利的优势在于,企业可以较容易地得到关于老客户较丰富的信息,对于数据挖掘的准确性来说,大量的数据是有很大帮助的。企业所掌握的客户信息特别是以前业务行为的信息中,可能正包含着决定这个客户下一个业务行为的关键信息,甚至是决定性因素。这个时候数据的作用就体现为它可以帮助企业寻找到那些影响顾客选择不同物流商行为的信息和因素。
(四)物流数据挖掘的步骤
在实施数据挖掘之前,需要制定实施步骤,有了好的计划才能保证数据挖掘顺利实施并取得成功。数据挖掘软件供应商提供了一些数据挖掘的过程模型,用来指导用户实施数据挖掘。
实际应用中不同项目的实施步骤可能不同,这完全取决于数据挖掘的目标、数据的有效性和数据结构。具体到物流业,数据挖掘可以细分为8个步骤:物流目标确定、确认数据源、数据收集、数据筛选、数据质量检测、数据转换、挖掘分析和结果解释。初始和结束的两步是任何数据挖掘项目中必需的。
1.物流目标确定
明确数据挖掘的目的或目标是成功完成任何数据挖掘项目的关键。对于分析者和决策制定者来说,能在项目开始时对业务、物流目的和数据挖掘目标等方面给出一个清晰的描述是至关重要的。例如,物流业的数据挖掘目标就是建立基于数据挖掘基础上的决策支持系统,提高企业运营效率与竞争能力,更深入地了解客户需求,寻求最大利润。
2. 确认数据源
在给定物流目标情况下,如一个物流企业可以将什么样的新服务推销给客户,下一个步骤是寻找可以解决和回答物流问题的数据。所需要的数据可以是企业的物流业务数据,也可以加入其他如财务系统、OA系统的数据。
3. 数据收集
有些情况下,从上述数据源获取的数据并不能完全满足物流企业数据挖掘的需求,这就需要物流企业从外部获取数据,某些数据可以从专门收集入口统计数据、地理变量和人口普查数据的企业收购得来。
4. 数据筛选
数据筛选的主要目的是为挖掘准备数据。多少数据和什么样的数据会被筛选是数据挖掘项目中的重要问题。如果现有数据量非常大而数据存储空间和处理时间有所限制,应选取适当的数据取样技术。最好、最全面的解决方案是提取数据挖掘项目需要的所有数据,但是,使用所有数据却不一定在时间和物流目标上是最有效率的。在实际项目中,因为计算机处理能力有限和项目期限,利用所有数据是不可能实现的。使用部分数据或数据采样可能是唯一能在给定时间内完成项目的有效方法。在数据采样中最重要的是选择可代表数据整体的数据。一方面,需要使用尽可能小的数据样品来减少计算处理时间和存储空间;另一方面,使用尽可能大的数据样品以代表整体数据又是完成项目的条件。由此可见,数据采样大小的合理性是非常重要的。对于不同项目中数据采样可允许的最小值可以通过一些适当的统计方法获得,关于这类方法的细节可在参考书找到。另一类应被收集的数据是元数据。了解每一个选择的变量和数据源都非常有必要。
5. 数据质量检测
一旦数据被筛选出来,成功的数据挖掘的下一步是数据质量检测。数据处理的目的就是提高筛选出来的数据的质量。被筛选出来的数据可能来自多个不同的、不一致的和拙劣记录的数据源。劣质的数据和数据不完整性是导致众多数据挖掘项目失败的两个主要原因。经常用到的数据检测方法包括对离散数据的频率分析、对定量分位数及均值分析(如分位数、最小值、最大值、平均值、中间值、标准偏差、观测数字和正态测试)及图形分析(如柱状图)。检测数据质量同样也是数据筛选中的一个重要准则。
6.数据转换
在选择并检测了需要的数据、格式或变量后,在许多情况下,数据转换非常必要。具体运用什么样的特殊转换方法是根据数据挖掘类型、数据挖掘工具、所用的计算机软件和技术等决定的。
7. 挖掘分析
这是所有数据挖掘项目中核心的部分。如果时间或其他相关条件诸如软件允许,最好能够尝试多种不同的挖掘技巧。一般来说,使用越多的数据挖掘技巧,就能解决越多的物流问题。而且,使用多种不同的挖掘技巧也可以对挖掘结果的质量进行检测。
8. 结果解释
数据挖掘的最后一个步骤是根据业务问题、数据挖掘目标和物流目的来评估和解释数据挖掘的结果。在这个过程中,可视技术是非常有用的,但是,解释不等于可视化。
第三节 物流商务智能
一、商务智能的概念
商务智能(Business Intelligence,BI),是目前在国外企业界和软件开发界受到广泛关注的一个研究方向。商务智能这一术语,是1989年由加特纳集团(Gartner Group)的Howard Dresner首次提出的。随着商务智能的应用与发展,对于商务智能的定义给予了更多的诠释和拓展。一般来讲,商务智能是指将储存于各种商业信息系统中的数据转换成有用信息的技术。通常,将商务智能理解为把企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策的工具。具体来说,商务智能是企业利用现代信息技术收集、管理和分析结构化和非结构化的商务数据和信息,创造和积累商务知识和见解,改善商务决策水平,采取有效的商务行动,完善各种商务流程,提升各方面绩效,增强综合竞争力的智慧和能力。
商业智能能够辅助的业务经营决策,既可以是操作层的,也可以是战术层和战略层的决策。企业利用商务智能加上决策规划人员的专业知识,将企业内部的大量数据转换成对企业有用的信息,辅助决策者做出正确的决策。其核心技术包括数据仓库、数据挖掘和在线联机分析处理(OLAP)技术。商务智能不是什么新技术,它只是数据仓库、OLAP和数据挖掘等技术的综合运用。
总之,商务智能能够为企业特别是现代物流企业提供三个基本的效益:
①能集成来自不同数据资源的多种数据类型;
②提供从数据中发现新关系的能力;
③极大地加强战术和战略决策及决策过程的精确性。
目前商务智能的主流软件主要有Business Objects XI、SAS9.0、MicroStategy8.0、Oracle的商务智能、IBM的商务智能。
二、商务智能在物流中的应用
商务智能通过对数据的采集、整理、挖掘和分析,为现代物流企业组织内的各层次人员提供信息,提高企业的决策能力,加快决策速度,确保决策准确性,实现企业内部的远程管理;同时也为企业外部用户提供有效信息,共同分享销售、库存等商业数据,共同进行品类分析和管理,提升企业对外服务水平。
(一)物流企业对商务智能的需求
在当今瞬息万变的社会中,只有智能驱动型的企业才能在激烈的竞争中取胜。物流企业也是如此,它对商务智能的需求主要表现在以下六个方面。
1.基于信息化商务平台的共同要求
现代物流的运作是以信息为中心的,信息不仅决定了现代物流的运作方向,而且也决定着现代物流的运作方式。在实际运作过程中,通过商务智能解决方案,可以有效地实现对现代物流的实施控制。
2. 商务智能为现代物流功能集成化、服务系列化提供了运作空间
现代物流企业可充分利用商务智能解决方案的巨大优势建立信息系统和网络平台,开展商品物流跟踪,建立客户响应模式及信息处理和传递系统,提供更加完善的配送和售后服务、更多的增值服务内容;商务智能分析运输绩效,利用高效的运输服务来减少运输成本,提高运行效率。
3. 商务智能能够改善数据的可见度,提高现代物流管理的库存水平
物流企业运作效率低、成本高、决策缓慢是目前物流企业普遍存在的问题,由于缺乏科学的物流管理方法和技术,也会导致库存过高、运输成本高、资金周转率缓慢等问题。
4. 商务智能能够分析客户服务水平,提高预测的准确性
商务智能能够分析客户服务水平,更好地理解客户需求,识别现代物流管理中的关键问题,提高预测的准确性。
随着国民收入水平的提高,人们对物质产品的需求表现出多样化和个性化的特点,对商品品种、质量及售后服务的要求越来越高。这对进货方式、配送产生了深刻影响,订货周期越来越短,频率越来越高,配送要求也不断提高,客户服务需求不断升级。与电子商务和全球化竞争相伴生的是客户对物流服务的要求变得越来越高,客户不但要求物流服务提供商要按照他们需要的时间、地点和可以接受的价格提供物流服务,而且还需要能够更多地了解物流运营的各种状态。利用互联网对物流进行跟踪控制已成为越来越多的客户的共同需求,他们希望通过网络随时掌握商品处于物流过程各个阶段的相关信息,以便及时调整和优化物流决策。
5. 商务智能改善供应链关系,提高供应链的竞争力
商务智能可以改善供应链关系,增强供应链可见性,加强与供应链伙伴的合作,提高供应链的竞争力。现代物流联系着生产和销售环节,现代物流企业服务的延伸对物流信息的集成功能提出了更高的要求。物流企业不仅要做好内部管理工作,为企业内部从管理层到一般员工提供适时准确的信息,促进企业内部效率提高,同时还肩负为企业外部用户如合作伙伴、供应商和客户提供及时、有效的信息资源,通过信息共享提升它们的价值。
6.商务智能为现代物流企业人力资源管理提供有效的需求
人力资源管理意味着将员工方面的工作、信息与业务流程、策略集成起来;快速有效地把合格的人员配置在企业的战略举措上;支持进行全方位的“员工职业生命周期”管理;加强建立员工之间的关系,加强管理员工间的协同流程;确保人力管理工作“流程化”和“透明化”;能基于“实时”的信息快速做出关于员工方面的决策;把团队和个人的工作目标与企业战略统一起来。
(二)商务智能在物流企业中的决策支持作用
对物流的将来,信息技术和计算机系统将会成为最重要、最有影响的因素。企业决策者如何在第一时间里就能获取所需要的信息,并及时作出决策,是企业制胜的关键。企业拥有的信息越多,分析能力越强,速度越快,则投资回报将会更高。商务智能在物流企业管理和决策支持中的作用体现在以下四个方面。
1.快速查询信息
物流企业的各种数据分散于不同部门的各个数据管理子系统中,甚至用户界面、支持系统也不一样,而且很多原始数据是未经加工和整理的,这给企业充分利用数据资源带来一定困难。只有经过提炼和挖掘,分析和处理的数据才能形成智能。通过商务智能,用户可以接入联网的关系型数据,也能接入其他数据库,并对数据进行整合、分析、挖掘,这样各层次用户才能快速查询利用各种信息,而且操作简单、方便。尤其是管理决策层可以摆脱计算机技术的束缚,经过简单操作,自动生成所需的报表、报告等。
2. 突破认知极限
个人的能力是有限度的,对问题的看法及洞察也有片面性,同时个人所拥有的信息也不全面。有一半以上的管理人员承认,为弥补信息不足,会用个人直觉代替事实作出决策。商务智能通过整合、挖掘、分析存储在不同部门、不同应用系统中的数据,为决策者提供了更多的事实和信息。
3. 多角度全面分析
随着企业信息化的不断深化,企业日常业务生成了大量的数据,如订单数据、进出库数量、作业准确率、仓库面积利用率、运输配送数据等。但是,大部分用户对现有数据除了做一些简单的、局部的和浅层次的查询外,还缺少对企业财务、业务进行全面、历史和多角度的分析,数据被有效利用的还不足7%。商务智能通过对数据淬取、加工、挖掘、切片分析,从多维度对问题进行全面分析,找出关键因素,为决策者提供更准确、信度更高的信息。
4. 信息增值
信息价值如知识一样随着使用频率的上升而上升,有的学者甚至认为信息价值计算方法类似于迈凯特定律中的计算机网络价值的计算方法,价值呈几何级增长。商务智能提倡信息民主化,倡导组织内外成员共享信息。著名管理学家德鲁克认为“决策应该在组织的最下层做出,并尽可能接近决策的执行人”,物流企业的运作需要从上到下的协调一致,既要搬运、装卸、保管等基层人员作业,也需要中高层管理人员的计划、管理、协调工作。商务智能最大限度地扩大了信息受众对象,使得信息不断增值,为决策制定和执行提供了更为坚实的基础。
(三)商务智能在现代物流信息管理中的具体应用
1.智能仓储管理系统
智能仓储管理系统集成了入库、出库、货位和保管的实时和历史数据,构成数据仓库,为在线分析处理和数据挖掘创造环境,从而有助于从业务数据中发现深层次的信息和知识,将非直观的、隐含的信息和知识以直观的形式描述,辅助领导层决策,使得物流企业对客户需求的反应更快速,实现对商品进库量和出库量的动态管理,加快存货周转,提高库存水平,提高效益。
2. 智能运输系统(ITS)
智能运输系统应用电子识别和电子跟踪技术,依靠地理信息系统和无线射频技术,对整个运输过程跟踪管理,为管理中心采集车辆、货物在途基础数据,提供沿途交通、道路状况信息,提供最佳路线和实时导航信息;为供应商和收货方提供有关货物预计到达信息、货物状态信息,从而保证了货物全面、准确、及时地运送到客户手中。
3. 个性化分析,识别具体的问题领域,从而采取措施提高顾客的满意度
商务智能系统根据企业需要解决的问题,帮助企业建立相应的分析主题和分析指标,从业务系统的基础数据库中抽取需要的数据,按预先建立的业务模型进行分析决策,分析结果显示直观、形象。决策者只需简单的点取操作,便可以从商业智能强大的分析工具中获得所需的决策信息。物流企业中,可以通过商务智能对库存、采购、供应链绩效、配送最优路线、客户关系、财务等各方面进行个性化分析。
三、商务智能在现代物流信息管理中应用的现状分析及对策
虽然,商务智能在现代物流企业中有着广泛的应用前景,但是还是存在很多问题。
(一)商务智能应用于现代物流管理现状分析
1.现代物流企业信息化程度不高
目前大多数物流企业对于电子化的信息处理和应用能力非常有限,在供应链伙伴协调运作,有效降低物流成本的过程中,全球定位系统(GPS)、地理信息系统(GIS)、物资采购管理(MRP)、企业资源规划(ERP)在现代物流业中的应用较少,供应链管理(SCM)等管理软件在现代物流业中的应用更是甚少。由于现代物流企业信息化程度不高,缺乏对历史数据、海量信息进行分析的平台,无法形成科学的分析结果和决策依据。
2. 商务智能产品的实施与服务出现问题
商务智能由于在国内起步较晚,国际主流的商务智能厂商大都采用代理的方式进驻中国,代理商们恶性竞争,导致市场价格混乱,同一套系统实施下来,价格可能相差很大,甚至在市场上泛滥着盗版,产生了很多产品实施和服务方面的问题。国外商务智能软件往往由于其昂贵的价格令客户望而却步,同时国外商务智能产品不太熟悉国内物流企业的运作和发展状况,因此在国内水土不服而导致出现各种实施和服务问题,甚至产生客户抱怨。而国内商务智能厂商虽然有熟悉中国国情的优势,但由于起步晚,技术、服务各方面比较薄弱,物流管理信息系统本身在绩效考核、决策支持、人工智能及专家系统等应用方面处于初始阶段,构架于网络上的基于Internet/Intranet开放系统的物流管理信息系统在物流企业中的应用很少,因此产品难以让物流企业信服。
3. 商务智能应用于现代物流管理缺乏统一的规范
商务智能实施的特点是数据一旦抽取整合到数据仓库中,商务智能的系统结构就相对稳定。数据仓库部分的理论研究与模型建立相对比较成熟,而数据的源头部分,由于其第一手数据是从MIS、MRP、SCM、CRM、ERP等基于业务处理的信息系统中抽取整合到数据仓库中的,而目前的这些基于业务处理的物流管理信息系统,本身就缺乏标准,各种原始数据的结构百花齐放、千差万别,同一个产品之间的不同模块,同一个模块的不同版本的数据都是不统一的。所以,对于商务智能系统在现代物流企业的实施,数据抽取整合的工作量非常大。
4. 现代物流企业对企业的业务规则(Business Rules)没有清晰的定义
业务规则决定了数据如何做关联及通过商业智能系统来驱动什么样的分析。如果不理解企业的数据,对企业数据模型没有任何概念,就不能投入资金去做任何数据挖掘、数据分析和商业智能的工作。
5. 缺乏一套灵活的运输配送调度系统
物流运作的基础是交通运输,但纯粹的交通运输不是物流,它只是物流的平台和基础。物流实际上是依托于运输业基础上的商品流动、信息流动和资源流动。虽然目前交通基础设施网络已基本形成,但相对全球经济发展需要还比较滞后,货物运输渠道不畅,导致货物流动的规模总量较小,物流供给与需求都相当有限。
6.商务智能人才的缺乏
商务智能市场的发展潜力巨大,目前国内从事商务智能的企业非常少,再加上起步较晚,相应的专业培训机构还没有形成,导致国内缺乏足够的专业人力资源。而且,在为数不多的国内商务智能企业中,绝大多数还只是在客户需要时,以商务智能系统集成商的身份兼顾一下。数据仓库、数据挖掘、商业建模等领域的人才相对缺乏,复合型的商务智能人才更是难觅,难以满足商务智能市场的快速发展而带来的商务智能研发、咨询、实施、维护等人力需求。
(二)商务智能应用于现代物流信息管理的对策
1.理解业务,进行需求分析
商务智能可以用来帮助物流企业理解业务,认识是哪些趋势、哪些非正常情况和哪些行为正在对物流企业业务产生影响。现代物流企业商业智能系统模型设计必须考虑企业高层管理者、各部门主管、信息管理人员及信息分析等各方的需求。针对现代物流企业存在的问题,采集物流企业的各种信息,对客户信息管理数据、仓储库存管理数据、运输配送管理数据、财务管理数据等海量信息进行有效分析,为企业决策支持系统的建立提供必要的数据,为顾客价值分析、库存优化决策、库位安排、智能配送等提供基础数据。
2. 实现具有速度和可靠性的物流一体化管理
企业将精力集中在核心技能上,根据性能价格比最优化原则,在全球范围内外购产品和运输服务,以最大限度地减少库存(或达到零库存),同时减少销售渠道的非增值环节。现行物流业务是从单一的处理转向拥有分析和管理的综合系统。
3. 建立交互式物流管理信息系统
运输职能部门和客户(或供应商、专业运输服务公司、客户)之间建立交互式物流管理信息系统,系统主要包括:订单处理、运输货物的信息(货物内容、特殊处理要求、起点和终点)、运输系统的信息(运输工具、运输路线、时间表、中转地点、存储中心、报关手续)等。
4. 物流管理信息系统和物理分销网络的结合(或直达最终用户)
通过实施物流一体化战略,不仅可以大大缩短顾客获得产品的时间,零库存的目标也可能实现。基本的做法是,用交互式的物流管理信息系统和物理分销网络相连接,代理商可以根据性能价格比最优的原则,直接向供应商下单,通过最近的分销网络获得产品,或者采购零部件在分销点进行装配。
5. 从信息流的上游到下游进行规范化整合
由于商务智能信息流的上游是异构的,而且数据往往分布在企业或机构的不同部门、不同分公司或营业部,甚至不同的国家地区;更难但又普遍存在的问题是,即便是同一个公司的不同部门、不同分公司子公司之间,采用了不同厂家的信息系统,各产品的搭配和组合还不一样,在这种现状的基础上,要实施商务智能,要让系统能够满足这些错综复杂的异构系统,必须从“保证抽取整合之后的数据格式是统一的”这个目标着手建立系统架构,并且要做到点对点的分布式的异构到同构处理。因此需要对数据仓库的元数据制定一些规范的行业标准或国家标准进行深入研究。
6.加强对商务智能人才的培养
商务智能应用于现代物流管理所需的人才是一种复合型高级人才,这种人才既要懂商务智能,又要懂现代物流;既要懂技术,又要懂管理。对于目前商务智能人才匮乏的现象,一方面可以引进人才,通过外来的高级人才满足我国现代物流发展的需要,同时带动物流人才水平的逐渐提高;另一方面,可以派人出国学习国外先进的商务智能技术和经验,同时加强国内现代物流教育的投资和建设,为现代物流的发展提供并储备高级人才。
(三)商务智能应用于现代物流管理设计方案
一般来说,面向现代物流企业的商务智能系统。
现代物流企业的商务智能系统主要层次有如下几层。
1.源数据层
源数据层作为系统的数据来源,包含了企业已有的ERP、CRM、SCM、EC等系统中的数据,以及分析过程中需要的第三方数据,这些数据源本身可能是异构的和分布的。
2. 数据存储层
数据存储层存储了分析所需的数据信息,可以从源数据层获取数据,建立面向主题的数据仓库(DW)和数据集市(DM),数据仓库管理器可以方便地使数据库管理员访问多个数据源、创建数据仓库的提取和转换过程、对过程进行检验、对提取和查询进行分析和调整,以及过程的自动化和监控等。
3. 分析技术层(ETL)
分析技术层(ETL)通过智能分析系统、数据挖掘工具和JAVA开发工具,提供了现代物流管理过程中所需的各种业务。
4. 应用层
应用层以图形用户接口(GUI)提供用户与系统交互,用户在这部分提出具体的分析需求,系统根据用户的需求选择算法模型和数据,并将分析的结果以丰富直观的图形、图表和报表等形式展示给用户。
第四节 物流信息数据挖掘案例分析——沃尔玛信息高效利用【1】
物流信息是物流企业最重要的有效资源,最大限度地提高物流信息的利用率是企业经营成败的关键。
由本章第二节知,物流信息数据挖掘可以让我们了解运输全局,降低库存成本,货物分组布局、运输推荐参照分析,进行市场分析和趋势分析,使得客户细分,获得交叉性盈利。
下面通过沃尔玛的这个案例来详细介绍物流信息数据挖掘(内容、作用、重要性等)。
沃尔玛是现代物流管理在商业上运用最好的例证。沃尔玛拥有由信息系统、供应商伙伴关系、可靠的运输及先进的全自动配送中心组成的完整物流配送系统,可以及时保证货品从仓库运送到任何一家商店的时间不超过48小时,相对于其他同业商店平均两周补货一次来说,沃尔玛可保证分店货架平均一周补两次。通过迅速的信息传递与先进的计算机跟踪系统,沃尔玛可以在全美国范围内快速地输送货物,使各分店即使只维持极少存货也能保持正常销售,从而大大节省了存储空间和存货成本。
一、案例背景介绍
(一)沃尔玛简介
1.总部与配送中心
沃尔玛的配送中心在美国阿肯色州的一个小城市本顿维尔,沃尔玛的总部就设在这个配送中心之中,沃尔玛公司的总部也就是沃尔玛的第一个配送中心,在不断增长扩大的过程当中,沃尔玛虽然也建立了一些新的配送中心,但是沃尔玛的总部仍然是在阿肯色州本顿维尔市的配送中心附近。
2. 沃尔玛门店的类型及其各自特点
①沃尔玛商场是一个比较常规的以比较低廉的价格提供人们的日常用品。
②除了商场之外,沃尔玛还有一类沃尔玛超级中心,这是在过去8年中才开发出来的。沃尔玛公司有721个超级中心,这些超级中心是由规模较大的商场及附近一些小的副食店加在一起而形成的。沃尔玛认为美国未来的商店也应当是这样的,沃尔玛在美国新开的商店都是这种超级购物中心。
③在美国沃尔玛还有40个山姆会员店。这种会员店中货物量更大一些,每一个包装都比较大。
3. 沃尔玛在物流方面的投入
沃尔玛1999年在物流方面的投资是1600亿美元,因为现在的业务还要继续增长,要增长到1900亿美元,所以在物流方面的投资也要同时增长。只要对过去几年中沃尔玛的发展情况进行了解,就会明白进行物流配送对沃尔玛的重要性,就会明白为什么沃尔玛要花费很大的精力在物流方面进行投资。
(二)配送中心
1.配送中心的结构系统及运作
沃尔玛的集中配送中心是相当大的,而且都位于一楼。配送中心之所以都在一楼,是因为沃尔玛希望产品能够滚动,希望产品能够从一个门进、另一个门出。
沃尔玛使用传送带,让这些产品能够非常有效地进行流动,对它进行处理不需要重复进行,都是一次性的。运用无缝连接形式,就可以尽可能降低成本。
沃尔玛所有的配送系统都是基于UNIX系统的,并采用传送带,采用非常大的开放式的平台,还采用产品代码,以及自动补发系统和激光识别系统,所有这些为沃尔玛节省了相当多的成本。
沃尔玛每个星期可以处理的产品是120万箱。由于沃尔玛的商店众多,每个商店的需求各不相同,沃尔玛的配送中心能够根据商店的需要,自动将产品分类放入不同的箱子当中。
2. 沃尔玛配送体系的特色
沃尔玛现代化的物流配送体系的特色表现在以下四个方面:
①设立了运作高效的配送中心;
②采用先进的配送作业方式;
③实现配送中心自动化的运行及管理;
④具有完善的配送组织结构。
(三)沃尔玛的管理信息系统
1.沃尔玛的物流管理信息系统
(1)沃尔玛的计算机网络化
1977年,沃尔玛完成了计算机网络化配置,实现了客户信息—订货—发货—送货的整体化流程,也实现了公司总部与各分店及配送中心之间的快速直接通信。
(2)沃尔玛的商品条码技术运用
沃尔玛还配合计算机网络系统充分地利用商品条码技术。利用这套系统,总计节约了60%左右的人工。商品条码加上便携式扫描仪还可用于控制店内存货水平,使沃尔玛能更快地规划存货需求,节约再订货过程所需的时间。
(3)沃尔玛的EDI技术运用
20世纪80年代,沃尔玛开始利用电子数据交换系统(EDI)与供应商建立自动订货系统。该系统又称无纸贸易系统。
沃尔玛还利用更先进的快速反应和联机系统代替采购指令,真正实现了自动订货。这些系统利用条码扫描和卫星通信与供应商每日交换商品销售、运输和订货信息。
2. 快速(Quickly Response,QR)物流管理系统
沃尔玛1986年开始在物流管理中建立QR系统,主要功能是进行订货业务和付款通知业务。它的具体运作是:
①由沃尔玛设计出POS数据的输送格式,通过EDI系统向供应方传送POS数据;
②供应方根据沃尔玛传送来的POS信息,可及时了解沃尔玛的商品销售状况、把握商品的需求动向,并及时调整生产计划和材料采购计划。
二、解决方案
沃尔玛运用数据仓库和数据挖掘技术,引入商务智能,进行数据分析和管理决策。
①对商品进行市场分组分析,即分析哪些商品顾客最有希望一起购买。
②沃尔玛数据仓库里集中了各个商店一年多的详细原始交易数据。在这些原始交易数据的基础上,沃尔玛利用自动数据挖掘工具对这些数据进行分析和挖掘。
③沃尔玛近年来用大容量的数据仓库来进行数据挖掘和客户关系管理,时刻把握住其3000多家零售店的8万种产品中利润最高的商品品种和数量。
④沃尔玛在从事由数据变信息,由信息变知识的知识挖掘工作,通过全球全集团、全方位、全过程、全天候的自动数据采集技术,改变传统的依靠假设和推断来确定订货的方式,从数据的不断积累过程中以小时为单位动态地运行决策模型,导出数亿个品种的最佳订货量与最佳的商品组合分配、降价及商品陈列等。
数据挖掘将是未来对企业产生深远影响的关键技术,并且还将成为未来投资的焦点。随着集成化物流管理信息系统的建立,以及网络技术、EDI、人工智能、条形码与POS等各种先进技术的应用,物流信息的商品化、物流信息收集的数据库化和代码化、物流信息处理的电子化和计算机化,把挖掘到的规则与物流管理各方面有机地结合,就能极大地提高企业的竞争力。
三、应用效果分析
(一)沃尔玛取得的成绩
沃尔玛取得的成绩主要表现在以下两方面:
①供应链管理长盛不衰;
②网络零售锦上添花。
(二)特点及启示
沃尔玛的物流高效率是因为它运用了最先进的数据挖掘技术,据统计,沃尔玛专门从事物流管理信息系统工作的科技人员有1200多人,每年投入的资金约6亿美元。
沃尔玛之所以能取得如此好的成绩,与它的先进的物流管理信息系统是分不开的。随着信息时代数据量的剧增,深化物流信息管理最有效的方法是在其中引进数据挖掘技术,数据挖掘可以从数据中发现趋势和模式,人们通过数据挖掘得到的回报就是将这些新发现的知识转变为经营上的成果,如增加顾客购买欲望,减少信用卡欺诈的数量等。充分合理地利用数据挖掘技术,可以进行市场预测和分析,这必将为正确的决策奠定坚实的基础。迈向21世纪的物流管理技术,不仅是企业战略的“商务物流”,而且是面向整个社会实现物资供给的“社会物流”,进而在全球化市场的激烈竞争中形成多元化网络所必需的“全球物流”。
注释:
【1】料来源:网站上沃尔玛相关资料的整理