基于数据挖掘的决策支持系统论文.docx
《基于数据挖掘的决策支持系统论文.docx》由会员分享,可在线阅读,更多相关《基于数据挖掘的决策支持系统论文.docx(33页珍藏版)》请在沃文网上搜索。
1、【摘 要】:本文在论述数据仓库、数据挖掘和决策支持系统的基本概念及其关键技术和系统设计方法的基础上,提出了基于数据仓库和数据挖掘技术的决策支持系统的体系架构。并根据这种体系架构,分别分析了该结构在电信业、服装业和竞争情报知识管理方面的一些应用。【关键词】:数据仓库、 数据挖掘、 决策支持系统系统Abstract: After the discussionof theData Warehouse (DW), Data Mining (DM)and Decision Support System (DSS), including the basicconceptsand keytechnologi
2、es andsystem design method, this article proposed a decision support system architecture which is based onData Warehouse and DataMining. According tothis architecture, the article respectively analyzed the structure of some applications of the telecommunications industry, the garment industry and co
3、mpetitive intelligence knowledge management.Key Words: Data Warehouse (DW), Data Mining (DM)and Decision Support System (DSS)目录一.决策支持系统及相关技术41.1决策支持系统41.1.1决策支持系统的产生及发展41.1.2DSS的分析方法51.2数据仓库技术61.3数据挖掘技术81.4联机分析处理(OLAP)101.4.1概念101.4.2联机分析处理的多维数据分析10二.电信业决策支持系统102.1课题背景及研究意义102.2电信决策支持系统的研究现状112.3系统关
4、键技术研究预测方法研究122.4决策支持系统中的模型部件研究142.4.1层次分析法(Analytic Hierarchy Process ,AHP)152.4.2投资预测模型与AHP152.4.3系统的实现及功能简介17三.基于数据挖掘的服装决策支持系统211.1.研究背景及现状211.2.数据挖掘分析方法在服装决策支持系统中的应用211.2.1.关联分析在服装决策支持系统中的应用211.2.2.序列模式分析在服装决策支持系统中的应用221.2.3.分类分析和聚类分析在服装决策支持系统中的应用231.3.一个与数据挖掘相结合的决策支持系统241.3.1.系统设计思想241.3.2.系统框架和
5、子功能模块241.3.3.系统的物理结构26四.竞争情报与知识管理融合模型271.1数据挖掘与竞争情报知识管理的关系281.1.1数据挖掘与竞争情报的关系281.1.2数据挖掘与知识管理的关系281.1.3数据挖掘竞争情报与知识管理的桥梁281.2基于数据挖掘的竞争情报与知识管理的融合模型281.2.1以竞争情报工作人员为中心的竞争情报工作循环291.2.2以数据挖掘为中心的DM循环301.2.3以企业内部员工为中心的人类知识开发循环30五.结束语31参考文献32图表目录图表 1决策支持系统的基本结构框架6图表 2ROMC方法步骤7图表 3数据仓库的结构9图表 4投资设备层次关系17图表 5图
6、层次结构模型17图表 6IPDSS系统结构图18图表 7IPDSS系统功能图20图表 8关联规则23图表 9服装产品的生命周期曲线24图表 10系统框架和子功能模块27图表 11系统体系结构28图表 12基于DM的竞争情报与知识管理融合模型30一. 决策支持系统及相关技术1.1 决策支持系统1.1.1 决策支持系统的产生及发展决策支持系统是在传统的管理信息系统 (Management information system,MIS)和管理科学/运筹学 (Management science,Ms/operation Research ,OR)理论基础上发展起来的一门适用于不同领域的全新的信息系统
7、发展分支。决策支持系统己经成为系统工程与计算机应用领域中的重要研究课题,各国学者在决策支持系统的理论与应用上进行了卓有成效的工作,并取得了很大的进展。决策支持系统是一门开放的学科,其发展历程是与其它学科不断相互融合的过程,也是不断拓展自身内涵的过程。简要说来,DSS大致经历了这样几个发展历程:20世纪70年代初,决策支持系统的概念由美国M.S.S.Ott.Morton教授首先提出。20世纪80年代,Sprague提出了决策支持系统三部件结构(对话部件、数据部件、模型部件),明确了决策支持系统的基本组成,极大地推动了决策支持系统的发展。当时的DSS是由模型库系统、数据库系统与人机交互系统组合而成
8、,通过模型的组合对大量数据进行处理得到辅助决策信息,达到支持决策的效果。1981年Bonczeklso等人提出了决策支持系统(DSS)的三系统结构形式,即它由语言系统(LS)、知识系统(KS)和问题处理系统 (PPS)三个部分组成。由于该系统中包含“知识系统”,从而使决策支持系统包含人工智能的成分。这使很多DSS学者采用了这种决策支持系统的结构形式。20世纪80年代末90年代初,决策支持系统开始与专家系统 (Expert System,ES)相结合,形成智能决策支持系统 (Intelligent decision support system,IDSS)。智能决策支持系统充分发挥了专家系统以知
9、识推理形式解决定性分析问题的特点,又发挥了决策支持系统以模型计算为核心的解决定量分析问题的特点,充分做到了定性分析和定量分析的有机结合,使得解决问题的能力和范围得到了一个大的发展。20世纪90年代出现了数据仓库(Data Warehouse,DW)、联机分析处理(On-Line Analysis processing,OLAP)和数据挖掘 (Data Mining,DM)新技术,DW+OLAP+DM逐渐形成新决策支持系统的概念。为此,将智能决策支持系统称为传统决策支持系统。新决策支持系统的特点是从数据中获取辅助决策信息和知识,不同于传统决策支持系统用模型和知识辅助决策。传统决策支持系统和新决策
10、支持系统是两种不同的辅助决策方式,两者不相互代替,更应该是互相结合。把数据仓库、联机分析处理、数据挖掘、模型库、数据库、知识库结合起来形成的决策支持系统,即将传统决策支持系统和新决策支持系统结合起来的决策支持系统是更高级形式的决策支持系统,成为综合决策支持系统(synthetic decision support system,SDSS)。近年来,随着网络技术的发展,DSS的结构也发生了很大的变化,总的看来,经历了从基于主机的DSS(Mainframe-based DSS)至基于客户机/服务器的DSS(Client/ Server-based DSS)再到目前基于Web的决策支持系统(Web
11、based DSS) 的变化过程。被称作“第三次互联网浪潮”的网格技术的出现,又为DSS带来了许多先进的思想理念和创新技术,必将给DSS的发展带来新的发展契机。图表 1决策支持系统的基本结构框架1.1.2 DSS的分析方法DSS应满足决策支持系统的要求和达到 DSS的性能指标 ,由于 DSS的特殊性 ,对 DSS的系统分析通常采用一种称之 ROMC的方法。ROMC是一种基于决策过程基本活动的方法 ,是决策者进行表达(R) 、 操作(O) 、 存储辅助(M)和控制(C)的方法 ,其基本思路是建立起 DSS的要求与性能之间的关系 ,并力求减少它们之间的差异。ROMC分析方法正是建立在用户目标的基础
12、之上的 ,它主要从以下几点进行分析:(1)表达(Representation) :提供表达式以帮助决策者将问题概念化 ,以便于处理和交流;(2)操作(Operation) :提供这些表达式进行分析和运算的某些操作方法;(3)存储辅助(Memory aid) :表达与加工的存储支持;(4)控制机制(Control mechanism) :提供处理和使用整个系统的控制机制。图表 2ROMC方法步骤首先识别决策支持过程的基本活动 ,其次分析每一基本活动的组成部分:R (操作) 、 O (操作) 、 M(存储)和C(控制) ,然后集成这些部分建立一个专用 DSS。在交付使用时 ,设计者将继续沿着这四个
13、方面的追踪系统和用户 ,不断地扩展和修改基本部件 ,直到用户最终满意为止。1.2 数据仓库技术数据仓库(Data Warehouse,DW)是20世纪90年代初提出的概念,到90年代中期形成潮流。数据仓库作为一种新的数据处理体系结构,它的提出是以关系数据库、并行处理和分布式等技术的飞速发展为基础,用于解决数据丰富但有用信息贫乏的一种综合解决方案。它在存放大量数据的同时又能像仓库一样将大量数据有效地管理起来,主要侧重于对海量数据的组织和管理,提供有效的数据访问手段。为企业决策支持系统和行政信息系统提供所需的信息。目前公认的数据仓库概念是其创始人 WH.Inmon1993年在 Building t
14、he Data warehouse 一书中对数据仓库的定义:数据仓库是一个面向主题的(subject oriented)、集成的(Integrate)、相对稳定的(Non- Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策。对于数据仓库的概念我们可以从两个层次予以理解,首先,数据仓库用于支持决策,面向分析型数据处理,它不同于企业现有的操作型数据库;其次,数据仓库是对多个异构的数据源有效集成,集成后按照主题进行了重组,并包含历史数据,而且存放在数据仓库中的数据一般不再修改。数据仓库是在原有关系型数据库基础上发展形成的,但不同于数据库系统的组织结构形式,它从
15、原有的业务数据库中获得的基本数据和综合数据被分成一些不同的层次(levels)。数据仓库的物理结构一般采用星型结构的关系数据库,而其逻辑结构分为近期基本数据层、历史数据层和综合数据层,可细分为五层,如图1.1所示,包括当前细节级数据 (current detail data)、早期细节级数据 (older detail data)、轻度综合级数据 (lightly summarized data)、高度综合级数据 (highly summarized data)和元数据 (metadata)。图表 3数据仓库的结构与传统数据库构建不同,数据仓库设计由数据驱动,要在现有数据库系统的基础上进行开发
16、,着眼于有效地抽取、综合、集成和挖掘己有数据库的数据资源。数据仓库系统的原始需求往往不明确,而且不断变化与增加。这就决定了数据仓库系统的开发是一个不断循环、反馈而使系统不断完善的动态过程,需要开发人员、分析人员和管理者的密切配合与不断交流。目前,构造企业级的数据仓库通常有两种不同的实现策略:自顶向下的实现方法和自底向上的实现方法。1.3 数据挖掘技术数据挖掘 (Data Mining,DM)是从大量的、不完全的、有噪声的、模糊的和随机的数据中提取隐含在其中的、人们事先不知道的,但又是潜在有用的信息和知识的过程了。数据挖掘是一门融合了人工智能、数据库技术、模式识别、机器学习、统计学和数据可视化等
17、多个领域的理论和技术的交叉性学科,它的出现引起了学术界和产业界的广泛关注,吸引了一大批研究者和开发者。数据挖掘技术最初就是面向应用的,尤其是在银行、电信、保险、交通、零售(如超级市场)等商业领域。另外它在生物学以及工业领域也有很广泛的应用。针对这些特定领域的应用,人们已经开发出许多专用的数据挖掘工具,提供满足特定任务的数据挖掘解决方案。数据挖掘的任务就是发现隐藏在数据中的模式。其可以发现的模式一般分为描述型(descriptive)模式和预测型(pr司predictive)模式两大类。描述型模式是对当前数据中存在的事实做规范描述,刻画当前数据的一般特性;预测型模式则是以时间为关键参数,对于时间
18、序列型数据,根据其历史和当前的值去预测其未来的值。根据模式特征,可将模式大致细分如下:分类模式(classification)、聚类模式(Clustering)、回归模式(Regression)、关联模式(Association)、序列模式(Sequential)和偏差模式(Deviation)。数据挖掘中使用的方法和技术是由人工智能、机器学习的方法发展而来,结合传统的统计分析方法、模糊数学方法以及科学计算可视化技术,并以数据库、数据仓库为研究对象。陈6将数据挖掘方法和技术分为六大类:归纳学习方法、仿生物技术、公式发现、统计分析方法、模糊数学方法和可视化技术。归纳学习方法是目前重点研究的方向,
19、分为信息论方法(决策树方法)和集合论方法两大类,每类方法又包含多个具体方法。信息论方法中比较有特色的方法是ID3等方法和IBLE方法。集合论方法是开展较早的方法,这类方法中包括粗糙集 (Rough sets)方法、关联规则挖掘、覆盖正例排斥反例的方法等。仿生物技术典型的方法是神经网络方法和遗传方法。这两类方法已经形成了独立的研究体系,它们在数据挖掘中也发挥了巨大的作用。公式发现是指在工程和科学数据库(由实验数据组成)中对若干数据项(变量)进行一定的数学运算,求得相应的数学公式。统计分析是通过对总体中的样本数据进行分析得出描述和推断该总体信息和知识的方法,它是一门独立学科,也作为数据挖掘的一大类
20、方法。模糊数学方法的数学基础是模糊集合和模糊推理,模糊集理论以不确定性的事物为研究对象,是经典集合理论的扩展。利用模糊集理论进行数据挖掘有如下方法:模糊模式识别、模糊聚类、模糊分类和模糊关联规则等。可视化技术是一种图形显示技术,对数据挖掘过程可视化,并进行人机交互可提高数据挖掘的效果。此外,云(Cloud)理论团、证据理论 (Evidence Theory)也是数据挖掘的常用方法。数据、数据挖掘任务和数据挖掘方法的多样性,给数据挖掘提出了许多挑战性的课题。数据挖掘语一言的设计,高效而有用的数据挖掘方法和系统的开发,交互和继承的数据挖掘环境的建立,以及应用数据挖掘技术解决大型应用问题,都是目前数
21、据挖掘研究人员、系统和应用开发人员面临的主要问题。为应对这些问题,研究和应用开发人员进行了多方面的尝试和研究。此外,数据挖掘的理论基础和挖掘算法还有很大的空间有待发展和完善,这也是目前的研究热点。1.4 联机分析处理(OLAP)1.4.1 概念 单纯的联机事物处理(OLTP)不能满足对信息的渴求 ,发展形成了联机分析处理。联机分析处理是共享多维信息的、 针对特定问题的联机数据访问和分析的快速软件技术。 “维” 是 OLAP 的核心概念 ,是主题的基础 ,是对主题的一种类型划分。OLAP采掘的与 “维” 有关的 “度量” 信息才是用户关心的焦点。例如 ,某部门财务经理关心的往往不会是 “花费了多
22、少” 这样一个笼统的问题 ,而可能是 “在某个特定部门 ,在该月中 ,路费等杂项 ,与上个月相比 ,开销情况”这样一个四维关于 “度量” 项线的问题。这种数据多维分析迎合了人的思维模式 ,使分析人员能够迅速、 一致、 交互地从多个角度、 多个侧面来剖析反映企业维特性的数据 ,使人们在观察数据时减少混淆与错误 ,发现数据后面隐藏的有价值并能被用户理解的信息、 内涵 ,能更深刻地反映企业的真实面目和企业所处的环境 ,可以辅助领导决策。1.4.2 联机分析处理的多维数据分析 对数据立方体和超立方体的多维数据分析主要有切块、 切片、 旋转、钻取等分析动作,目的是进行跨维、 跨层次的计算和建模。在多维数
23、据结构中 ,按二维进行切片 ,按某一维进行切块 ,对片或块或整个多维数据库在维数不变的前提下通过改变维的层次或位置 ,进行数据钻取和旋转。多维分析的一般过程是:先按某一维切块得到关注的内容 ,然后钻取数据到达适当的综合层次 ,再通过旋转动作更换数据观察角度 ,选取重要的数据进行切片分析。各个过程可能有一定的重复 ,如此经过切片、切块、 旋转、 钻取就可以形成数据新的观察角度和综合层次 ,就可能提取出有价值的信息 ,得到知识。二. 电信业决策支持系统2.1 课题背景及研究意义随着中国加入世界贸易组织的成功,政府对电信市场的管制逐渐放松,电信市场的竞争日渐激烈。国际化的市场环境要求国内的公众电信运
24、营企业在经营管理上向国外先进的电信运营企业看齐,以迎接电信运营业的国际化竞争。此外,各种民间资金介入电信运营领域以及电信企业的大规模重组所带来的问题也是一个很大的挑战。由于自身和外在环境都在发生着剧烈的变化,能否对问题做出快速科学的决策,对电信企业的成败有着重大的影响。目前,各电信运营商普遍采用旧的分析决策方式,即依靠手工报表分析数据。该方式缺点明显:一是工作量大,速度慢;二是容易遗失数据,得不到全面的信息,导致企业决策失误。另一方面,电信企业中并存着许多与信息相关的运营支撑系统,如电信计费系统、电信业务系统、网络资源管理系统等,各运营与支撑子系统都积累了海量历史数据,为了保证系统的稳定运行,
- 1.请仔细阅读文档,确保文档完整性,对于不预览、不比对内容而直接下载带来的问题本站不予受理。
- 2.下载的文档,不会出现我们的网址水印。
- 3、该文档所得收入(下载+内容+预览)归上传者、原创作者;如果您是本文档原作者,请点此认领!既往收益都归您。
下载文档到电脑,查找使用更方便
20 积分
下载 | 加入VIP,下载更划算! |
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 数据 挖掘 决策 支持系统 论文
