如何驾驭和处理大数据成应用关键?

大数据(Big data)近年来快速成长,根据麦肯锡全球研究中心在2011年5月发表的全球大数据研究报告指出,全球资料量光是在2010年就增加了70亿GB,相当于4千座美国国会图书馆典藏数据的总和。

如何产生、消费和储存大数据,已经成为近年来企业IT应用的重要趋势。如在eBay上,平均每天有将近1亿名用户查询商品数百万次,更有上百万件商品在在线交易,导致eBay数据库每天新增的数据,超过1.5兆笔,每天增加的数据量超过50TB,这些大数据如果没有作进一步的分析应用,势必会影响eBay的企业营运。

大数据概念

应用大数据 提高企业竞争力

至于制造业,其实也会产生许多大数据,但宇清数字智能总经理郭仲仁指出,许多企业却不见得会重新检视这些信息,其实只要经过大数据技术分析,透过细微的观察分析及萃取,就可能从中找到提高生产力及缩短产品交期的信息。

如晶圆代工、面板等产业,都会碰到等待时间不能超过特定时间的压力,偏偏有30~40%的机器,会有这方面的问题。如果有任何一种等待因素需要有三个共同部门负责,结果其实就可能不会有人负责,唯有让每一种等待因素都能被该负责的部门看到,才会有人愿意进一步的去分析每一种因素的相关数据。

郭仲仁认为,如果能找到一种大数据的分析方法,能够混和资料采矿过程,搜集相关资料掌握下游如何影响上游,进行相关分析,让客户找到重点,并找到真正可以操作的KPI,才会有很大的机会,找到改善的重点及方法,而这也才是大数据分析应用的价值所在。

扩展企业IT架构 驾驭大数据

企业如果能够驾驭大数据,自然能够提升竞争力,但戴尔企业解决方案市场开发经理陈毅达指出,目前的资料,却已经超越传统数据库或现有数据管理工具能够处里的范围。因为在爆炸性的数据增长过程中,结构性数据的成长相当缓慢,反观非结构性的数据,包括视讯、网页、智能型手机、消费数据、位置数据、财务服务数据,以及社会媒体数据等,陈毅达指出,至少有80%的数据,属于非结构化数据,大约500万亿个文文件,而且数据量每两年增加一倍。

但目前的数据库解决方案,却主要是用来设计储存结构化数据,除了只能针对已知问题的回答速度进行优化外,架构本身往往就决定了内容形式,对于新数据型态与新问题,都有适应上的困难,加上扩展成本高昂,企业势必得寻求不同以往的数据处理解决方案,才能面对爆炸性的资料增长。

优化大数据 创造数据价值

事实上,数据成长的速度,确实相当惊人。根据IDC统计,数字世界的信息容量将会从2009年的0.8ZB,在2020年成长到35ZB,等于每15秒就成长1PB,年复合成长率高达40%,而且这些数据数据不仅巨大而且不同,如何优化数据,方便且容易的搜寻到所需要的信息,也变得更加困难。

丽台科技新事业处软件产品部业务副总经理万蕙如指出,前各产业平均数据储存量,以证券投资、银行居首,其次则是制造业、通讯媒体、国营事业、政府机构等,整个产业生态,需要更快速实时获取针对特定商业工作项目或流程的综合细部信息。

因为在信息暴增的时代,企业营运所面对的挑战,包括一直在更新的大量数据、更快速响应大量终端用户的需求,多数工作者都需要迅速且有效率地查询正确信息,如何能更实时正确地传递关键信息,以加强特定作业流程的产出与绩效,已是当前企业IT部门必须面对的问题。

万蕙如认为,企业想要优化大数据,应该要考虑信息搜寻技术的新世代应用。如Search-Based Applicatioin(SBA),是一种使用最新进的搜索暨索引(Search and Index)技术作为结构、半结构和非结构信息,汇整分析功能开发之基底平台的应用软件,这种信息分析的新方法,可同时提供支持特定工作或流程,而量身订做的定量和定性数据图表分析,可全面强化企业日常业务实时决策的准确性。

应用虚拟化技术 提升大数据处理效能

除了信息搜索技术外,虚拟化技术在大数据时代,也变得更加重要。事实上,虚拟化环境目前面对的最主要挑战之一,其实就是大数据时代的来临,让数据的储存及备份,变得更加困难。但群晖科技软件开发部经理张成钰指出,大数据对虚拟化储存,是挑战也是机会,只要能克服数据保护效率,做好多重复制的环境布署操作,仍能提供非常完整的数据保护虚拟环境。

张成钰表示,虚拟化的好处之一,就是IT资源的处理效能可以更好,因为再强的实体主机,运作效能还是有上限,其实储存设置也有强大的运算能力,可以分散运算工作,用来解决虚拟化环境的效能瓶颈。

要强化虚拟环境操作的效能,张成钰指出,除了产品应该专为虚拟环境量身打造,完整支持主流的虚拟化解决方案外,主要的虚拟储存进阶功能,也相当重要,如储存设备就需要面对传输效能的问题。张成钰指出,固态硬盘(SSD)可让虚拟化储存在面对大数据的挑战时,提供效能提升的重要帮助。如藉由安装SSD进行快取,可大幅提升读取效能,关键在于系统是否无须在成本与效能上妥协,使用少量的SSD,即可达到效能升级。

善用云端服务 处理大数据

事实上,在大数据时代,企业不仅要考虑数据的储存及应用,传输技术也非常重要,尤其在云端运算时代,许多企业会将数据存放在云端,如果云端端服务业者,无法提供高质量的数据传输服务,企业就很难实时存取资料,用来作进一步的规划。

恩悌悌业务部资深副理林志鸿指出,如果企业选择将数据储存在各地分公司或企业总部机房,势必会有人力、物力及金钱方面的投资成本,但如果将数据放在云端,在大数据时代,就需要大带宽,才能缩短传输时间,如NTT在2012年正式启用的ASE海缆,配合这几年在香港、东京、新加坡及马来西亚投资的机房建设,才能提供亚太地区所需要的高速数据传输服务。

此外,云端服务业者在数据派送服务的优化技术,也会影响大数据的应用。林志鸿表示,类似Youtube、PPS的串流技术,许多云端服务业者已经开始提供,可以提高传输效率,缩短数据传输的时间,可以减轻对带宽的压力。

驾驭大数据应用的关键技术

大数据不只是需要储存及传输,也需要做更深入的分析,才能让大数据更多的价值。淡江大学统计系副教授陈景祥指出,有没有必要使用全部资料,是许多企业可以思考的问题。思考的方向首先就是成本,而且除了有形的金钱成本外,时间及人力资源等无形成本,也都需要一并考虑;其次是精确度会受到多少影响,造成的决策风险会有多高,最后则是软硬件方面的限制,是否真的有足够的能力使用全部数据,进行统计分析。

陈景祥强调,企业若要进行数据探勘,一定要先有目标设定,光是只有数据,是无法透过数据探勘获得所需要的信息。其他还要考虑的重点,还包括目前的科技限制,软硬件及人力时间成本等。值得注意的是,企业得到资料探勘结果后,并不是到此为止。陈景祥强调,数据探勘只是辅助,并非全部自动化,后续还是需要人力来执行归纳分析,才能真正发挥大数据的价值。

 

移动信息化交流QQ群:一号群:211029692 二号群:344692795 CIO交流群:316076815(需认证)

移动化问答社区:wenda.yidonghua.com



1 星2 星3 星4 星5 星 (还没有打分,快来打分吧!)
Loading...
 
已有 1 条评论
  1. darkmoon

    现在的大数据基本都是非结构化数据,相对于硬盘来说,受限于单一硬盘的读写速率。迫切需要分布式共享存储和读取,而对于本地化概念和网格计算这些处理大数据的概念都只字不提。
    只知道说一些大道理,该文0分,鉴定完毕。

    2013年2月25日 16:37来自QQ 回复
返回顶部

无觅相关文章插件,快速提升流量