云计算模式及在地质资料集群化、产业化服务中的应用探讨

云计算模式及在地质资料集群化、产业化服务中的应用探讨

11-29 09:40:23 0

大家好,今天我来和大家聊一聊关于云计算模式及在地质资料集群化、产业化服务中的应用探讨的问题。在接下来的内容中,我会将我所了解的信息进行归纳整理,并与大家分享,让我们一起来看看吧。

文章目录列表:

云计算模式及在地质资料集群化、产业化服务中的应用探讨

2.美国 的的IT公司有哪些

张兆代 王圣洁 刘京鹏 宋宏伟

(青岛海洋地质研究所)

摘 要 云计算继承和整合了虚拟化技术、海量数据存储、分布式并行计算框架、智能化与自动管理等多项关键技术,形成了具有高性能、可伸缩、低成本及面向服务的新的计算模式。目前学术界及产业界对云计算的研究和探讨均呈快速增长趋势,大量论文发表在计算机类和图书情报类期刊,研究的重点集中在云计算的基础理论、云计算的关键技术、云服务的应用领域、云计算与信息资源管理等多个方面。本文以 2000 ~ 2012 年发表在国内核心期刊上关于云计算的研究文献为统计样本,分析了云计算的研究热点及其演化方向,结合我国地质资料集群化产业化服务的发展状况,探讨云计算应用策略。

关键词 云计算模式 地质资料 信息共享和服务

1 前言

“云计算(Cloud Computing)”一词出现于 2006 年,是谷歌总裁埃里克 施密特(Eric Schmidt)在搜索引擎大会(SES San Jose 2006) 正式提出的一个概念。它不仅揭开了谷歌搜索背后关键技术的神秘面纱,而且在短短的数年内就迅速超越“网格计算(Grid Computing)”并成为新的潮流(图 1)。

图 1 网格计算与云计算搜索量变化趋势图

2006 年后,在谷歌、亚马逊、IBM 等企业的推动下,“云计算”作为新兴的计算模式已经有了广泛应用。云计算作为一种基础设施与服务的交付和使用模式,正深刻地影响着互联网的发展。近年来,国内外掀起了关于云计算的研究热潮,涌现了大量的研究文献和应用案例,云计算已经成为学术界和产业界共同关注的热点。本文首先介绍了云计算的基本概念和关键技术,并通过对现有的云计算研究文献的综合分析,结合我国地质资料集群化产业化服务的发展状况,提出其在云计算应用中需要注意的问题。

2 云计算及其关键技术

2.1 云计算的基本概念

云计算的概念仍存在不同的定义。一般认为云计算是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需提供给计算机和其他设备[1]。美国 标准与技术研究院(National Institute of Standards and Technology,NIST)也给出了云计算的定义,认为云计算是一种能够通过网络以便利的、按需使用的方式获取计算资源并显著提高可用性的方式,这些计算资源来自一个共享的、可配置的资源池,并能够以自动的方式获取和释放[2]。

中国电子学会云计算 委员会认为:云计算是一种基于互联网的、大众参与的计算模式,其计算资源(计算能力、存储能力、交互能力)是动态、可伸缩、且被虚拟化的,并以服务的方式提供。这种新型的计算资源组织、分配和使用模式,有利于合理配置计算资源并提高其利用率,从而促进节能减排,实现绿色计算[3]。

尽管云计算有不同的定义,但对于云计算的特点已有很多深入的讨论。下面五个基本特征可以用来判断一个计算服务是否是云计算。

(1)服务按需即取。云计算是把信息技术作为服务提供的一种方式。由于这种服务是从用户角度出发,按需即取的自助服务是其最重要的特征之一。用户可以自行获得计算能力,包括服务器的使用和网络存储的使用,而整个过程通常是自动进行的。

(2)便捷网络访问。云计算支持广泛和便捷的网络访问能力,用户可以使用多种设备,如手机、移动计算机或工作站等获取云服务。

(3)资源共享池。云计算带来的一个好处是能够提高资源的利用率,通过把资源集中到一个公共的资源共享池中,可以为大规模的用户群提供共享服务。由于资源池可以动态分配所有物理和虚拟资源,达到了通过共享提高资源利用率的目的。

(4)高可扩展性及弹 。云计算具有快速及可伸缩地提供服务的能力。根据需求变化,云计算所提供的服务可以自动并快速地扩展或收缩。

(5)服务可度量。云系统通过自动监控资源的使用,可以提供定量的运行报告,从而保证云服务处于应有的水平。

2.2 云计算的体系架构

计算机技术的发展经历了传统主机计算模式到个人普及计算模式及分布式网络计算模式的转变[4]。云计算作为一种新的计算模式,既是分布式计算、并行计算和网格计算等技术快速演化的结果,也是信息社会中信息需求的必然选择。社会化、集约化与专业化的信息服务通过各种云计算得以体现,其中既包括了各种通过网络提供给用户的互联网应用、软件或计算资源服务,也包含了用来支撑这些服务可靠和 运行的软硬件 。

美国 标准与技术研究院的技术报告给出了关于云计算体系架构的完整模型(图 2),该顶层模型定义了云计算模式中的角色(Actors)、行为(Activities)和功能(Functi )[5]。云计算的核心角色有云用户(Cloud C umer)、云服务商(Cloud Provider)、云审计者(CloudAuditor)、云 商(CloudBroker)和云运营商(Cloud Carrier)共五类(表 1)。在该模型中,云用户可以获得包括 ERP、CRM、HR 等商业智能或信息、通讯、协作、存储、备份以及软件、硬件托管等多种服务,云服务商则通过云计算中心的建设、运行和管理提供 的软件服务(SaaS)、 服务(PaaS)和基础设施服务(IaaS),云运营商通过提供网络接入、通讯系统等保障云计算的提供和使用,云审计者和云 商的参与则保证了云计算和云服务的稳定性、持续性和透明度及服务水平。

图 2 云计算体系架构参考模型(引自 NIST)

表 1 云计算模式中的主要角色及定义

2.3 云计算的关键技术

云计算是计算机技术发展的产物,其中虚拟化技术、海量数据存储、分布式并行计算框架、智能化与自动管理被认为是实现云计算的关键技术[6]。

2.3.1 虚拟化技术

虚拟化(Virtualization)技术是将各种计算及存储资源充分整合和 利用的关键。虚拟化技术包括两个方面:物理资源池化和资源池管理。物理资源池化是把物理设备由大化小,将一个物理设备虚拟为多个性能可配置的最小资源单位;资源池管理是对集群中虚拟化后的最小资源单位进行管理,根据资源的使用情况对资源进行灵活分配和调度,实现按需分配资源。虚拟化技术主要应用在服务器虚拟化、存储虚拟化和网络虚拟化三个方面。

2.3.2 海量数据存储

海量数据存储是云计算的主要任务。为了保证可用性、可靠性和经济性,云计算采用分布式存储的方式来存储数据,由于采用了分布式冗余存储的方式,数据既有高可靠性,也能并行地为大规模用户提供服务。云计算的数据存储技术主要有谷歌的分布式文件系统(GFS,Google File System)和 Hadoop 的HDFS(Hadoop Distributed File System)。

2.3.3 分布式并行计算框架

并行计算是云计算的核心。云计算采用 Map-Reduce 的编程模式实现分布式并行计算。Map-Reduce通过“Map”和“Reduce”这样两个过程来简化并行计算,所有应用只需要提供 Map 函数以及 Reduce 函数就可以在集群上进行大规模的分布式数据处理。Map-Reduce 不仅仅是一种编程模型,同时也是一种 的任务调度模型,该模型的使用使计算任务高度并行及分布式实现成为现实。

2.3.4 智能化与自动管理技术

云计算具有高度自治的特点,智能化与自动管理是云计算模式的重要技术支撑。通过对集群系统各节点的全面监控、自动反馈、智能调配,实现了包括设备、虚拟资源、通讯与服务等的动态管理和自动迁移。以第四代大规模数据中心为基础的云计算,既能灵活扩展部署,也能满足服务计算和多粒度计算的要求。

3 我国云计算研究热点分析

3.1 国内外云计算搜索量变化趋势比较

搜索量的大小通常反映关注度的高低,使用 Google Trends 工具还可以分析一些长期的趋势和变化。这里选择“Cloud Computing”和“云计算”分别作为 和我国在云计算领域的指标性关键词,从分析结果可以看出以下几个特点(图3):① 上对于云计算的关注开始于 2007 年,我国则自 2008 年才开始关注该领域。因此,我国仍属于学习—跟随型研究模式。②自 2007 年后, 上关于“Cloud Computing”的搜索量出现迅速增长趋势,目前,已超过“Grid Computing”成为新的信息技术热点,我国对此的关注则较为平缓和滞后。③如果把搜索量代表的关注度看做是“海上的冰山”,那些“水下的部分”,包括基础理论、关键技术、应用实践等方面,国内外存在更大的差距。

图 3 国内外云计算搜索量变化趋势比较

3.2 国内云计算研究文献的计量分析

本文利用中国知网 CNKI 学术期刊数据库,检索 2000 年 1 月至 2012 年 3 月发表的有关云计算研究的核心期刊文献 852 篇(表 2)。我国对于云计算的研究始于 2007 年,之前罕见相关研究。2008 ~2011 年,云计算的研究开始引起广泛关注,论文数量开始急剧上升,同时发表云计算论文的期刊数量也同步快速增多,显示出云计算研究领域的广泛性。由于只统计到 2012 年 4 月的部分数据,从表面看检索到的 2012 年的成果不多,实际并未改变论文数量快速增加的趋势。

表 2 云计算论文发表时间分布表

对于检索到的 852 篇论文,对其关键词进行了计量分析,其中涉及关键词 1376 个,累计出现 次3020 次。按 次从大到小排列,排在前十位的关键词有:云计算(645)、虚拟化(115)、图书情报(115)、云服务(94)、安全(65)、存储(42)、物联网(33)、MapReduce(24)、档案(20)、数据中心(13)等。从关键词分析可以看出,云计算的研究涉及基础理论、关键技术、应用领域、信息资源管理等诸多方面,对于虚拟化、存储、MapReduce 等关键技术有较多论述;但整体来讲,多数仍为综述性、展望类的论文。就应用领域来讲,图书情报界对云计算进行研究和借鉴的趋势比较明显[7],而地质资料界对云计算的关注和应用研究仍较少。

4 云计算与地质资料服务

4.1 地质资料数据与服务现状

地质资料是 重要的基础资料。新中国成立以来,通过实行地质资料 汇交制度,积累了大量的地质资料。我国现有全国性基础地质与战略性矿产地质数据资源 12 大类 50 余种数据库,数据量达10TB 以上,涉及区域地质、矿产地质、水文—工程—环境地质、农业地质、海洋地质、基础地质、地球化学、地球物理、地学科研、地质资料、遥感等领域[8]。

我国目前实行的是二级监管、三级保存的地质资料管理框架。由于条块分割等原因,地质资料的共享与服务尚存在很大差距, 表现在数字化程度低,信息孤岛现象严重,地质资料不能及时、有效地满足 建设与社会需求。

2002 年,国务院颁布了《地质资料管理条例》,2003 年,国土资源部发布了《地质资料管理条例实施办法》,地质资料的管理与共享服务得到了前所未有的重视。国土资源部又相继推动地质资料汇交、地质资料委托保管、地质资料集群化、产业化服务等,地质资料的管理与服务开始出现一个新的局面。由于管理与服务模式的转变是一个较长期的过程,地质资料工作的重要性仍未完全显现,社会对地质、矿产等的关注度仍远落后于“土地”“海洋”“气象”,仅稍高于“测绘”(图 4)。

4.2 云计算是改变地质资料服务模式的契机

从云计算的产生和发展过程来看,云计算是在继承和整合了虚拟化技术、海量数据存储、分布式并行计算框架、智能化与自动管理等多项关键技术的基础上,形成的具有高性能、可伸缩、低成本及面向服务的新的计算模式。云计算正在推动着信息产业实现社会化、集约化、专业化的大转型。

社会化:互联网计算正成为社会基础设施,建立集中的、各种各样的云计算中心实现规模化的社会服务,是当前发展的趋势。

图 4 地质等搜索量变化趋势比较

集约化:归并分散、粗放的软件开发与应用,软件模块构件化,提高 利用率,使计算资源以虚拟化组织和配置、弹性伸缩,通过软件的重用和柔性重组,进行服务流程的优化与重构。

专业化:面向多租户使服务更为精细、规范,并对服务透明使用,按需租用[9]。

地质资料服务及信息共享是一种典型的数据密集型计算服务,这恰与云计算模式的基本特点相符合。因此,引入云计算是推进地质资料信息服务集群化产业化的天然契机。从技术层面上来讲, 地质资料数据中心建设十分重要,建议规划为提供完整 SPI(软件即服务 SaaS、 即服务 PaaS、基础设施即服务 IaaS)服务的地质资料专业云,全面涵盖二级监管、三级保存及社会化服务,这种集中式的部署方式既降低了技术难度,也有利于提高投入和使用效率。其次, 地质数据中心也可以规划为“逻辑 、物理分布”的三级数据中心体系,这种社区云的部署方式符合我国地质资料行业现状,组织实施均较为简单。需要注意的是,无论哪种方式, 的体系架构、成熟技术的采用、一致的标准和安全性都是需要重点考虑的问题。

5 结语

与网格计算相反,云计算更多地经历了从实践到理论的过程,从研究者关注云计算开始,其实已经大量出现云计算的实例。我国在云计算领域的基础研究仍然落后,但图书情报界对云计算的跟踪和应用却十分 ,一些基于知识的服务已经达到专业化和产业化服务水平。相信云计算模式的引入,将会极大地推动地质资料服务向集群化产业化方向转型,以更好地实现地质资料和成果的全社会共享。

参 考 文 献

[1] 维基百科.云计算.http://zh.wikipedia.org/wiki/ 云计算,2012.

[2]Peter Mell,Timothy Grance.The NIST Definition of Cloud Computing.NIST Special Publication 800 ~ 145,2011.

[3] 李德毅,林润华,郑纬民等.云计算技术发展报告 [M[.北京:科学出版社,2011.

[4] 杨春霞,王圣洁,王春民.谈计算模式的演变及其对海洋地质数据处理的影响 [J].海洋地质动态,2004,20(2):32 ~ 36.

[5]Fang Liu,Jin Tong,Jian Mao et al.NIST Cloud Computing Reference Architecture.NIST Special Publication 500 ~ 292,2011.

[6]Michael Armbrust,Armando Fox,Rean Griffith et al.Above the Clouds: A Berkeley iew of Cloud Computing.http://www.eecs.berkeley.edu/Pubs/TechRpts/2009/EECS-2009-28.pdf,2009.

[7] 张正禄.我国图书情报界云计算研究述评 [J]. 图书馆学刊,2010,(3):73 ~ 76.

[8] 国土资源部矿产资源储量司.推进地质资料信息服务集群化产业化 [M].北京:地质出版社,2011.

[9] 李德毅.云计算支撑信息服务社会化、集约化和专业化 [J].重庆邮电大学学报,2010,22(6):698 ~ 702.

美国 的的IT公司有哪些

我们正处在科技高速发展的时代,如今互联网已经与我们的生活息息相关,我们每天在互联网产生大量的数据,这些数据散落在网络中看似没有怎么作用,但是这些数据经过系统的处理整合起来确实非常有价值的。

一、?发展大数据技术可以提高生产力

大数据技术在企业已经成为投入使用很成功的案例,很多应用程序开发商和大型公司都运用大数据技术扩展大数据项目。大数据技术在运用时可以通过数据挖掘知道最需要的数据是哪些,通过这些数据获取更多的生产力,提高生产能力,为企业带来更多的商业价值。目前有很多企业通过数据挖掘分析解决问题,相对来说大数据分析比着传统的数据分析速度更快,更能获取可“回收利用”的信息流量,提高行业内的生产力。

二、?发展大数据技术可以改善营销决策

近几年的数据量暴增,数据盈利也很可能成为未来收入的主要来源,大数据技术在海量数据的分析中,寻求到最合适的企业营销策略,通过数据分析给企业带来更明智的策略。

大数据工程师通过对客户的数据 分析,分析行业内的流行趋势并且定制出更适合的产品或者服务,通过对定价的检测和分析对客户忠诚度有效评估,一系列的运用大数据及时改善营销决策,给企业带来有价值的数据决策。

三、?发展大数据技术的未来优势

大数据行业的兴起,许多开发企业都意识到,想要在行业内不断的发展就要运用大数据技术,提升自身企业的品牌价值,在行业比拼中寻求更多的竞争优势,微软亚马逊等大型跨国公司目前都在采用大数据解决问题,为消费者提供更好的服务。

目前有很多行业和企业都尝到大数据技术的甜头了,未来会有越来越多运用大数据技术的产业,以现在大数据发展的速度来看,2020年大数据的市场规模将达到2030亿美元,很多企业都在期盼大数据项目可以运用的范围更广阔,然后通过运用产生更大的利益空间。

大数据技术能为行业提高生产力、改善营销决策,给企业带来更好的发展前景,目前大数据技术发展虽然在初级阶段,但是发展势头很猛,未来也会有更多的行业领域涉足大数据技术运用,大数据技术未来发展形式一片大好!

当下,大数据方面的就业主要有三大方向:一是数据分析类大数据人才,二是系统研发类大数据人才,三是应用开发类大数据人才。他们的基础岗位分别是大数据系统研发工程师、大数据应用开发工程师、大数据分析师,如果想系统的学习编程的可以来我这看看。

对于求职者来说,大数据只是所从事事业的一个方向,而职业岗位则是决定做什么事?大数据从业者/求职者可以根据自身所学技术及兴趣特征,选择一个适合自己的大数据相关岗位。下面为大家介绍十种与大数据相关的热门岗位。

一、ETL研发

企业数据种类与来源的不断增加,对数据进行整合与处理变得越来越困难,企业迫切需要一种有数据整合能力的人才。ETL开发者这是在此需求基础下而诞生的一个职业岗位。ETL人才在大数据时代炙手可热的原因之一是:在企业大数据应用的早期阶段,Hadoop只是穷人的ETL。

二、Hadoop开发

随着数据规模不断增大,传统BI的数据处理成本过高企业负担加重。而Hadoop廉价的数据处理能力被重新挖掘,企业需求持续增长。并成为大数据人才必须掌握的一种技术。

三、可视化工具开发

可视化开发就是在可视化工具提供的图形用户界面上,通过操作界面元素,有可视化开发工具自动生成相关应用软件,轻松跨越多个资源和层次连接所有数据。过去,数据可视化属于商业智能开发者类别,但是随着Hadoop的崛起,数据可视化已经成了一项独立的专业技能和岗位。

四、信息架构开发

大数据重新激发了主数据管理的热潮。充分开发利用企业数据并支持决策需要非常专业的技能。信息架构师必须了解如何定义和存档关键元素,确保以最有效的方式进行数据管理和利用。信息架构师的关键技能包括主数据管理、业务知识和数据建模等。

五、数据仓库研究

为方便企业决策,出于分析性报告和决策支持的目的而创建的数据仓库研究岗位是一种所有类型数据的战略集合。为企业提供业务智能服务,指导业务流程改进和监视时间、成本、质量和控制。

六、OLAP开发

OLAP 联机分析开发者,负责将数据从关系型或非关系型数据源中抽取出来建立模型,然后创建数据访问的用户界面,提供高性能的预定义查询功能。

七、数据科学研究

数据科学家是一个全新的工种,能够将企业的数据和技术转化为企业的商业价值。随着数据学的进展,越来越多的实际工作将会直接针对数据进行,这将使人类认识数据,从而认识自然和行为。

八、数据预测分析

营销部门经常使用预测分析预测用户行为或锁定目标用户。预测分析开发者有些场景看上有有些类似数据科学家,即在企业历史数据的基础上通过假设来测试阈值并预测未来的表现。

九、企业数据管理

企业要提高数据质量必须考虑进行数据管理,并需要为此设立数据管家职位,这一职位的人员需要能够利用各种技术工具汇集企业周围的大量数据,并将数据清洗和规范化,将数据导入数据仓库中,成为一个可用的版本。

十、数据安全研究

数据安全这一职位,主要负责企业内部大型服务器、存储、数据安全管理工作,并对网络、信息安全项目进行规划、设计和实施。成都加米谷大数据培训机构,专注于大数据人才培养。

希望对您有所帮助!~

一、微软(英文名称:microsoft,中文简称:微软公司或美国微软公司)始建于1975年,是一家美国跨国科技公司,也是 PC(Personal?Computer,个人计算机)软件开发的先导,由比尔·盖茨与保罗·艾伦创办于1975年,公司总部设立在华盛顿州的雷德蒙德(Redmond,邻近西雅图)。以研发、制造、授权和提供广泛的电脑软件服务业务为主。

二、IBM(国际商业机器公司)或万国商业机器公司,简称IBM(International Business Machines Corporation)。总公司在纽约州阿蒙克市。1911年托马斯·沃森创立于美国,是全球最大的信息技术和业务解决方案公司,拥有全球雇员?30多万人,业务遍及160多个 和地区。

三、戴尔(Dell),是一家总部位于美国德克萨斯州朗德罗克的 五百强企业,由迈克尔·戴尔于1984年创立。戴尔以生产、设计、销售家用以及办公室电脑而闻名,不过它同时也涉足高端电脑市场,生产与销售服务器、数据储存设备、网络设备等。

四、英特尔是美国一家主要以研制CPU处理器的公司,是全球最大的个人计算机零件和CPU制造商,它成立于1968年,具有50年产品创新和市场领导的历史。

五、惠普(HP)是 最大的信息科技(IT)公司之一,成立于1939年,总部位于美国加利福尼亚州帕洛阿尔托市。惠普下设三大业务集团:信息产品集团、打印及成像系统集团和企业计算机专业服务集团。

百度百科-微软

百度百科-IBM

百度百科-戴尔

百度百科-英特尔

百度百科-惠普

好了,今天关于云计算模式及在地质资料集群化、产业化服务中的应用探讨就到这里了。希望大家对云计算模式及在地质资料集群化、产业化服务中的应用探讨有更深入的了解,同时也希望这个话题云计算模式及在地质资料集群化、产业化服务中的应用探讨的解答可以帮助到大家。

友情链接