登陆注册
8929800000012

第12章 数据存储与数据挖掘(4)

1.多媒体数据库

音频、图像、视频等多媒体数据已逐渐成为信息领域的重要表现形式。音频、视频的数据量很大,要从多媒体数据中找出所需要的数据和信息有一定的困难。目前,对多媒体数据的处理往往局限于存取、编辑、集成、快进快退等基本操作上,对多媒体信息的检索一般依据文件标识、关键字等进行,局限性很大。基于内容的多媒体检索,通过实例的查询方式,检索相似图像、音频、视频信息,已成为研究的热点,基于内容的音频、视频信息的聚类、分类、相似性查询等数据挖掘技术正在兴起。

2.空间数据库

空间数据库存储了大量与空间有关的数据,例如地图,预处理后的遥感或医学图像数据,以及VLSI芯片设计数据等:空间数据库有许多与关系数据库不同的特征。空间数据库包含了拓扑或距离信息,通常按复杂的、多维的空间索引结构组织数据,其访问是通过空间数据的访问方法,常用空间推理、地理计算和空间知识表示技术。空间数据挖掘是指在空间数据库中非显式存在的知识、空间关系或其他意义的模式等的提取,它需要综合数据挖掘和空间数据库技术。目前在GIS中得到广泛的应用,空间数据挖掘的方法主要有归纳方法、聚集方法、统计信息网格算法(STING)以及空间聚集和特征邻近关系采掘等。

3.文本数据库

一般认为,数据挖掘的大部分研究主要针对结构化的数据,如关系的、事务的数据川。然而在现实世界中,可获取的大邻分信息存储在文本数据库中,由新闻、论文、书籍、数字图书馆、电子邮件消息等各种数据源的大量文档组成。文本数据库中存储的数据一般是半结构化的数据,也可能包含大量的非结构化的成分。传统的信息检索技术已不适应日益增加的大量文本数据处理的需要,而用户需要知道不同文档的比较,以及文档的重要性和相关性排列,或需要找出多文档的模式或趋势。文本挖掘不仅仅是把统计模型应用到数据文件上,而且是揭示文本集合之间的联系。特别地,联机文本挖掘指把网上的文本数据仔细搜寻一遍并从中获得一些信息,目前是通过互联网的搜索和文本分析方法实现。

4.Web数据库

Web数据库是Web和数据库技术的有机结合,是一个庞大而复杂的数据库,其存储数据的最大特点就是半结构化。Web上的每一个站点就是一个数据源,每一站点的信息和组织都不一样,形成了一个巨大的异构数据库环境。Web数据挖掘技术首要解决半结构化数据源模型和半结构化数据模型的查询与集成问题,这就必须要有一个模型来清晰地描述Web上的数据。针对Web上的数据半结构化的特点,寻找一个半结构化的数据模型是解决问题的关键所在,另外,还需要一种半结构化模型抽取技术,即自动地从现有数据中抽取半结构化模型的技术。XML可看作一种半结构化的数据模型描述语言,将XML的文档描述与关系数据库中的属性一一对应起来,实施精确地查询与模型抽取。显然,面向Web的数据挖掘比一般的数据挖掘要复杂得多。

3.4.4数据挖掘的方法

1.神经网络方法

神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理、分布存储和高度容错等特性非常适合解决数据挖掘的问题,因此近年来越来越受到人们的关注。典型的神经网络模型主要分3大类:以感知机、bp反向传播模型、函数型网络为代表的,用于分类、预测和模式识别的前馈式神经网络模型;以hopfield的离散模型和连续模型为代表的,分别用于联想记忆和优化计算的反馈式神经网络模型;以art模型、koholon模型为代表的,用于聚类的自组织映射方法。神经网络方法的缺点是“黑箱”性,人们难以理解网络的学习和决策过程。

2.遗传算法

遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法,是一种仿生全局优化方法。遗传算法具有的隐含并行性、易于和其他模型结合等性质使得它在数据挖掘中被加以应用。

sunil已成功地开发了一个基于遗传算法的数据挖掘工具,利用该工具对两个飞机失事的真实数据库进行了数据挖掘实验,结果表明遗传算法是进行数据挖掘的有效方法之一。遗传算法的应用还体现在与神经网络、粗集等技术的结合上。如利用遗传算法优化神经网络结构,在不增加错误率的前提下,删除多余的连接和隐层单元;用遗传算法和bp算法结合训练神经网络,然后从网络提取规则等。但遗传算法的算法较复杂,收敛于局部极小的较早收敛问题尚未解决。

3.决策树方法

决策树是一种常用于预测模型的算法,它通过将大量数据有目的分类,从中找到一些有价值的,潜在的信息。它的主要优点是描述简单,分类速度快,特别适合大规模的数据处理。最有影响和最早的决策树方法是由quinlan提出的著名的基于信息熵的id3算法。它的主要问题是:id3是非递增学习算法;id3决策树是单变量决策树,复杂概念的表达困难;同性间的相互关系强调不够;抗噪性差。针对上述问题,出现了许多较好的改进算法,如schlimmer和fisher设计了id4递增式学习算法;钟鸣,陈文伟等提出了ible算法等。

4.粗集方法

粗集理论是一种研究不精确、不确定知识的数学工具。粗集方法有几个优点:不需要给出额外信息;简化输入信息的表达空间;算法简单,易于操作。粗集处理的对象是类似二维关系表的信息表。目前成熟的关系数据库管理系统和新发展起来的数据仓库管理系统,为粗集的数据挖掘奠定了坚实的基础。但粗集的数学基础是集合论,难以直接处理连续的属性。而现实信息表中连续属性是普遍存在的。因此连续属性的离散化是制约粗集理论实用化的难点。现在国际上已经研制出来了一些基于粗集的工具应用软件,如加拿大regina大学开发的kddr;美国kansas大学开发的lers等。

5.覆盖正例排斥反例方法

它是利用覆盖所有正例、排斥所有反例的思想来寻找规则。首先在正例集合中任选一个种子,到反例集合中逐个比较。与字段取值构成的选择子相容则舍去,相反则保留。按此思想循环所有正例种子,将得到正例的规则(选择子的合取式)。比较典型的算法有michal-ski的aq11方法、洪家荣改进的aq15方法以及他的ae5方法。

同类推荐
  • 梁启超的经济面向

    梁启超的经济面向

    梁启超的著述非常多,所涵盖的题材相当宽广,但有一个面向是至今尚未被充分探索的,那就是他的经济论述。在梁启超的全集里,经济论述所占的比例不高,只是作为他议论众多时事的一环;但他对某些经济问题曾下功夫深入研究过,尤其关注币制改革和财政制度。梁启超的文笔犀利活泼,老少咸宜;他所论述的主题,大都具有时事性与政策建议的意涵,很能引起当时读者的关注。但从另一个角度来看,这项特性也是负面的:环境一变、时间一过,这些问题的意义就随风而逝(“能动人”但“不能留人”)。一个世纪之后,本书作者重读梁启超的经济论著,得到三个观感:文笔方面情绪高张,内容方面动人听闻,手法方面自我矛盾。
  • 中国利用FDI的经济效应及对经济安全影响的评价

    中国利用FDI的经济效应及对经济安全影响的评价

    本书内容包括:改革开放30年中国利用FDI的总体概述、FDI进入中国的影响因素分析、中国利用FDI引发的争议、FDI对中国经济增长影响的实证分析、FDI对中国对外贸易影响的实证分析、中国利用外资的对策与建议等。
  • 生意经:中国十大商帮的经商智慧

    生意经:中国十大商帮的经商智慧

    本书选举了以温商、晋商、徽商、京商、鲁商、沪商、川商、闽商,粤商、台商为代表的10人商帮,从不同的经商角度,阐述了这些传奇人物的经商之道。
  • 区域发展与公共治理:未完的读书笔记

    区域发展与公共治理:未完的读书笔记

    本书为学术性专著,共分三个部分,第一部分涉及一些基础理论问题;第二部分主要是对香港公共部门绩效、财政金融状况和高等教育发展等方面的初步观察与思考;第三部分则是公共经济、区域经济和公共管理等方面的专题研究。
  • 趣味经济学100问

    趣味经济学100问

    经济学并不意味着复杂的数学模型和演算公式,也并不仅仅充斥着晦涩的专业术语,本书帮你找到了通俗易懂、简便快捷、生动形象地学习经济学的好方法。全书用生动的故事和生活中的实际事例来解释深奥的经济学原理,突出趣味性,以简洁明了、幽默风趣的方式将那些高深的经济学道理用平白易懂的语言娓娓道出。本书将为那些希望轻松学习经济学的读者提供愉快、轻松的阅读体验,在享受阅读的乐趣中学会有用的经济学知识。
热门推荐
  • 农民戮天记

    农民戮天记

    一个洪荒大能因恐怖的天人九衰而穿越到了现代的一个农民工身上,是偶然还是必然,圣地地球为何被封印?灵气为何稀薄?神话亦真亦假?人族今时又面临如何局面?洪荒过后又发生过何事?伴随着他穿越后的诸多疑问!是否能够全部揭开谜底!!!
  • 仙灵奇异界

    仙灵奇异界

    我要讲的故事是在离地球极为遥远的仙灵星。那里每个人出生前母体便会孕育其先天灵气!势力有一宫二殿四方域,三门八派九大家!那里是一个充满灵气的时代!故事发生在仙灵大陆,因为一件秘事使得和平了千百万年的修士界轰然大乱,各个势力纷争并起,兵戈相向的时代!在如此战乱之下,不曾想,茫茫宇宙之中却万族来袭!龙辰,作为一个身负‘百灵命’的家族废柴子弟,是如何一步步在乱世中成长,最后率领万族征战寰宇的故事……“爷爷。你快看,天空上悬浮着一座庞大的城池呢?”“孩子,那是星辰大帝征战外域的行天宫啊……”
  • 游戏人生之王者回归

    游戏人生之王者回归

    一场出现失误的比赛,一段刻骨铭心的经历,游戏王者被驱逐后重新回归,从懵懂少年到成熟王者,从国内排名赛到国际邀请赛,从校园大赛到国际锦标赛,看我们欢声笑语中打出GG
  • 独闯华丽时空

    独闯华丽时空

    她是现代二十一世纪的boss,无意中穿越在一个架空时代好吧好吧,穿就穿了,居然穿在了一个架空时代,好吧好吧,架空时代就架空时代,你还给我在青楼?什么意思啊?就算自己长得漂亮也不能扔给我那么多个人吧?真是的,快跑啊!后面好多人追啊!
  • 总统溺爱的女王

    总统溺爱的女王

    “紫涵我们离婚吧,如果我们不离婚的话。我的母亲她会直接去自杀,而且在我娶你之前我已经有了未婚妻可是我们从来没见过面所以我不爱,她我爱的是你”江念雨面无表情说。“为什么,到底是为什么你当初结婚时不告诉我”紫涵哭着说。“把离婚协议书给签了吧”江念雨说。说完之后离开了。紫涵最终把离婚协议书签了。然后拿着行李离开了总统府。第二天相亲会上:“母亲不要做这些,可以吗?再说了”紫涵伤心地说。“好了,我的女儿”英国王后说。这个时候,门口走进一位穿着白色西装的男子与一位年迈的老婆婆走进来。两人的眼睛都瞪大了。他们还会怎么样?
  • 破晓邪神

    破晓邪神

    黑暗……无尽的黑暗……吾犹如一丝神光……在这黎明破晓之际……遨游九天……
  • 异缘求仙录

    异缘求仙录

    一簇神奇玄奥的火苗。一个简简单单的故事。
  • 超级博弈游戏

    超级博弈游戏

    欧牧州,一个活着的传奇凭借自创的“通灵王流派”他荣获2013年WCG神战项目的个人赛总冠军,团体赛决赛最佳选手年薪百万,被誉为“千目叶王”的最强玩家他的传奇,就从2012年12月21日开始……这一天,暴雪成功融合了WOW和DOTA推出了一款风靡全球,号称开启互联网新时代的网络游戏《封神战争》
  • 凡尘修仙:惊世天才

    凡尘修仙:惊世天才

    林雨欣的思绪——这里是哪里啊!等等,这种情况,我不会是穿越了吧!哇哦,那边那位帅哥是谁啊!……………………夜铭辰的思绪——喂,那个花痴女是谁啊!我知道我很帅,可她也不至于这样啊!总有股阴森森的感觉,我还是快走吧!……………………
  • 与鱼玄机一起谈感情

    与鱼玄机一起谈感情

    女作家鱼小鱼生活落魄,写作没多少收入,在单位被人挤兑,又逢上失恋失友,忍不住去心理医生处哭诉悲惨身世,被催眠的时候进入一个有点像唐朝的朝代,遇到一个叫鱼玄机的女道士,从而演绎出现代女文人与古代女文人之间的一段诡异故事。她们都有着惊世才华和绝美容颜,但总是遇人不淑,喜欢的恋不上,恋上的人很快就变了心,游戏人生也许是她们最好的选择。不同时代女性的爱情观、人生观在这里进行大碰撞,她们的人生会殊途同归吗?她们之间会超越时空发展纯洁的友谊吗?她们最终是否找到真爱?