本月累计签到次数:

今天获取 积分

云计算

云计算

740 浏览

云计算专题深度分析研究报告一

行业报告 其中之一 2017-07-19 15:38 发表了文章 来自相关话题

 
 
681 浏览

云计算竞争态势悄然转变:从跑马圈地到深耕细作!

IT软件类 天黑请闭眼 2017-02-21 15:54 发表了文章 来自相关话题

摘要:云计算市场的竞争态势已经在悄然转变:回顾2016年的云计算市场,我们不仅看到了云计算厂商在收割季的满满收获,同样也看到了不同的云计算厂商其实也在各自找寻属于自己的位置。
     


     从IaaS到PaaS再到SaaS,云计算的产业链足够长;从金融到电信再到传统制造,云计算所应用的行业日益广泛;从开源 查看全部
摘要:云计算市场的竞争态势已经在悄然转变:回顾2016年的云计算市场,我们不仅看到了云计算厂商在收割季的满满收获,同样也看到了不同的云计算厂商其实也在各自找寻属于自己的位置。
     


     从IaaS到PaaS再到SaaS,云计算的产业链足够长;从金融到电信再到传统制造,云计算所应用的行业日益广泛;从开源
761 浏览

云计算的下一个出处:雾计算

机械自动化类 嗡班匝萨埵吽 2016-08-25 09:34 发表了文章 来自相关话题

现在正在流行的“云计算”,是把大量数据放到“云”里去计算或存储。这样,就解决了目前电脑或手机存储量不够,或者是运算速度不够快的问题,当然也带来了其他很多好处。

这个所谓的“云”的核心,就是装了大量服务器和存储器的“数据中心”。由于目前的半导体芯片和其他配套硬件还很耗电,全球数据中心的用电功率,相当于30个核电站的供 查看全部
现在正在流行的“云计算”,是把大量数据放到“云”里去计算或存储。这样,就解决了目前电脑或手机存储量不够,或者是运算速度不够快的问题,当然也带来了其他很多好处。

这个所谓的“云”的核心,就是装了大量服务器和存储器的“数据中心”。由于目前的半导体芯片和其他配套硬件还很耗电,全球数据中心的用电功率,相当于30个核电站的供
846 浏览

云计算争夺战:微软谷歌要如何追赶亚马逊?

机械自动化类 fallen 2016-07-13 13:55 发表了文章 来自相关话题

未来云计算市场的规模有望达到1万亿美元,因而吸引了不少科技巨头的竞逐。目前该市场的领先者毫无疑问是亚马逊,位居第二的微软和谷歌未来能迎头赶上吗?《福布斯》近日撰文详解了三大巨头的发展策略和现状。

云计算争夺战:微软谷歌要如何追赶亚马逊?
 
以下是文章主要内容:

多月以来,谷歌的智囊团一直在寻找理想的人选来领导云 查看全部
未来云计算市场的规模有望达到1万亿美元,因而吸引了不少科技巨头的竞逐。目前该市场的领先者毫无疑问是亚马逊,位居第二的微软和谷歌未来能迎头赶上吗?《福布斯》近日撰文详解了三大巨头的发展策略和现状。

云计算争夺战:微软谷歌要如何追赶亚马逊?
 
以下是文章主要内容:

多月以来,谷歌的智囊团一直在寻找理想的人选来领导云
1141 浏览

CAD/CAE软件在云计算平台的研究与应用

设计类 嗡班匝萨埵吽 2016-06-22 10:58 发表了文章 来自相关话题

导读:传统的计算机辅助设计/分析(CAD/CAE)技术已经成为汽车企业研发和技术革新过程中不可或缺的力量,而随着企业内部大规模地使用CAD/CAE技术,如何高效地利用CAD/CAE设计分析过程中所涉及到的软硬件资源,已经变成了一个亟待解决的问题。
    传统的计算机辅助设计/分析(CAD/CAE)技术已经成为汽车企 查看全部
导读:传统的计算机辅助设计/分析(CAD/CAE)技术已经成为汽车企业研发和技术革新过程中不可或缺的力量,而随着企业内部大规模地使用CAD/CAE技术,如何高效地利用CAD/CAE设计分析过程中所涉及到的软硬件资源,已经变成了一个亟待解决的问题。
    传统的计算机辅助设计/分析(CAD/CAE)技术已经成为汽车企
1156 浏览

智能制造的十大核心技术

机械自动化类 乐淘淘 2016-06-17 15:45 发表了文章 来自相关话题

所谓智能制造(Intelligent Manufacturing,IM)是指由智能机器和人类专家共同组成的人机一体化智能系统,它在制造过程中能进行智能活动,诸如分析、推理、判断、构思和决策等,通过人与人、人与机器、机器与机器之间的协同,去扩大、延伸和部分地取代人类专家在制造过程中的脑力劳动。




智能制造是机械化 查看全部
所谓智能制造(Intelligent Manufacturing,IM)是指由智能机器和人类专家共同组成的人机一体化智能系统,它在制造过程中能进行智能活动,诸如分析、推理、判断、构思和决策等,通过人与人、人与机器、机器与机器之间的协同,去扩大、延伸和部分地取代人类专家在制造过程中的脑力劳动。




智能制造是机械化
840 浏览

工业云计算在中国的发展与趋势

机械自动化类 乌龟大师 2016-06-01 16:46 发表了文章 来自相关话题

   云计算、大数据将成为未来10年乃至更长时间新一代信息技术和产业的关键和核心,其和移动互联网、物联网等其他新一代信息技术一起正驱动互联网向传统工业制造业渗透,推动互联网企业和传统工业企业融合发展,并作为现代服务业的有机组成部分,不断与新业务形态、新商业模式互动融合,催生新产品、新技术、新模式。未来,产业中各行业边 查看全部
   云计算、大数据将成为未来10年乃至更长时间新一代信息技术和产业的关键和核心,其和移动互联网、物联网等其他新一代信息技术一起正驱动互联网向传统工业制造业渗透,推动互联网企业和传统工业企业融合发展,并作为现代服务业的有机组成部分,不断与新业务形态、新商业模式互动融合,催生新产品、新技术、新模式。未来,产业中各行业边
1 回答

我能用NLPIR做小规模数据处理工具吗?

机械自动化类 春暖花开 2016-05-31 11:36 回复了问题 • 2 人关注 来自相关话题

969 浏览

分享一篇对大数据深度思考的文章

智能科技类 莲心 2016-05-19 17:38 发表了文章 来自相关话题

在写这篇文章之前,我发现身边很多IT人对于这些热门的新技术、新趋势往往趋之若鹜却又很难说的透彻,如果你问他大数据和你有什么关系?估计很少能说出一二三来。究其原因,一是因为大家对新技术有着相同的原始渴求,至少知其然在聊天时不会显得很“土鳖”;二是在工作和生活环境中真正能参与实践大数据的案例实在太少了,所以大家没有必要花 查看全部
在写这篇文章之前,我发现身边很多IT人对于这些热门的新技术、新趋势往往趋之若鹜却又很难说的透彻,如果你问他大数据和你有什么关系?估计很少能说出一二三来。究其原因,一是因为大家对新技术有着相同的原始渴求,至少知其然在聊天时不会显得很“土鳖”;二是在工作和生活环境中真正能参与实践大数据的案例实在太少了,所以大家没有必要花
820 浏览

云计算术语大全

机械自动化类 晴空万里 2016-05-10 11:01 发表了文章 来自相关话题

本文档中通过对现有的云计算资料进行梳理,列出了60多条云计算相关的术语及其解释,以供参考。
本文档中通过对现有的云计算资料进行梳理,列出了60多条云计算相关的术语及其解释,以供参考。
1 回答

我能用NLPIR做小规模数据处理工具吗?

机械自动化类 春暖花开 2016-05-31 11:36 回复了问题 • 2 人关注 来自相关话题

1 回答

云计算领域都有哪些主要的核心技术?

机械自动化类 匿名用户 2016-04-22 22:41 回复了问题 • 2 人关注 来自相关话题

1 回答

云计算对于企业会带来什么价值?

机械自动化类 匿名用户 2016-04-22 22:22 回复了问题 • 2 人关注 来自相关话题

1 回答

云计算和网格技术有什么区别?

机械自动化类 David 2016-04-22 21:58 回复了问题 • 3 人关注 来自相关话题

1 回答

与 Hadoop 对比,如何看待 Spark 技术?

IT软件类 小晴天 2016-04-22 21:19 回复了问题 • 2 人关注 来自相关话题

1 回答

云计算如何助力于传统工业转型?

智能科技类 sunny哥 2016-04-16 10:39 回复了问题 • 2 人关注 来自相关话题

740 浏览

云计算专题深度分析研究报告一

行业报告 其中之一 2017-07-19 15:38 发表了文章 来自相关话题

 

微信截图_20170719153839.png

 
681 浏览

云计算竞争态势悄然转变:从跑马圈地到深耕细作!

IT软件类 天黑请闭眼 2017-02-21 15:54 发表了文章 来自相关话题

摘要:云计算市场的竞争态势已经在悄然转变:回顾2016年的云计算市场,我们不仅看到了云计算厂商在收割季的满满收获,同样也看到了不同的云计算厂商其实也在各自找寻属于自己的位置。
     





     从IaaS到PaaS再到SaaS,云计算的产业链足够长;从金融到电信再到传统制造,云计算所应用的行业日益广泛;从开源到超融合再到安全,云计算的技术更新也在逐步进行……一切的一切都在让这个庞大的市场变得更加细分。同时,云计算也提出了一个新的命题:不同的云计算厂商如何在找到自己位置的同时,更好地处理复杂的竞合关系。
      这很大程度上得益于云计算市场的全面爆发,各大云计算厂商在坐收行业发展红利的同时,也在积极挖掘自己所擅长领域的商机,这也将进一步推动云计算市场走向成熟。
     
     云计算阵营的划分可谓由来已久,过去的区分主要从传统IT巨头、互联网巨头、电信运营商等层面去分,或者从IaaS、PaaS和SaaS领域去分,如今,这一阵营正在变得更加细分。比如,华为、浪潮等更加专注于设备层和IaaS层,他们拥有庞大的服务器、存储等产品线,同时,他们又基于这一庞大的产品线构建起IaaS,为企业提供私有云服务。
     相比较华为、浪潮等IT巨头,阿里云、腾讯云等更加专注于IaaS层面的公有云服务,有趣的是,腾讯云从去年开始就与阿里云展开贴身肉搏,几乎是阿里云做什么,腾讯云马上跟上,两者在公有云领域的竞争很大程度上也使得这一市场硝烟四起。其他如小米、乐视、网易等云计算企业同样也在各自所擅长的领域不断深耕。
       总而言之,从2016年至今,各大云计算厂商不再像过去那样云里雾里,而是更加务实,尽可能发挥自己的优势,在庞大的云计算市场中分得属于自己的那一杯羹。首先,他们意识到云计算市场足够大,只要做好自己的那一块,不愁没有市场;其次,他们也看到云计算市场虽然很大,但不是哪一家企业能够一统天下的,与其贪大求全,不如踏踏实实从最擅长的入手。
      由于近两年来互联网+的持续推进,云计算作为互联网应用发展的基础设施,已经在众多行业得到广泛应用。除了传统的游戏、电商、移动、社交等在内的互联网行业外,云计算在制造、政府、金融、交通、医疗健康等传统行业的应用也日渐深入。
       以阿里云为例,包括中国联通、诸如中石油、中石化、海关总署、徐工集团、中国气象局、华大基因等在内的国家机关和相关企业单位,都已经成为其重要客户。这对于国内云服务市场的发展,无疑是重大利好;过去,公有云的应用主要在一些中小企业集中的行业,对于能源、金融等大行业的核心应用,云计算一直处在边缘状态。
       不仅如此,在不同行业,也产生了一批针对行业个性化需求的专业云计算企业,他们更多立足自身在行业经验上的积累,通过与云计算巨头的合作,推动云计算在各个细分行业的落地应用。
       过去,在技术流派眼中,云计算主要是IaaS、PaaS和SaaS,但从2016年开始,技术流们开始专注于更加细分的技术创新,以提升云计算技术发展的成熟度。全闪存、CDN、超融合、OpenStack、容器……一个又一个新兴技术领域不断崛起。
       应该说,这些技术都已经发展数年,但在云计算市场没有全面爆发之前,这些技术的威力并没有完全体现出来;技术的发展得益于市场应用的催化,同时技术又在一定程度上推动了市场应用的普及,云计算也不例外。
        云计算市场的分工正在变得越来越细,但几乎所有的云计算厂商又毫不例外地指向同一个目标:让计算资源像水、电一样可以随取随用。因此,云计算市场虽然更加细分,但各个厂商早已不再是单打独斗或者说特立独行,探寻各自的边界以及寻求彼此的竞争和合作正在成为行业的主旋律。
        在新兴的云计算生态中,不管是硬件产品服务商还是细分技术领域的大牛,抑或是拥有丰富行业应用经验的企业,他们都在努力营造一个共同的云计算生态,并在这样一个生态圈中各司其职,在彼此竞争的边界外寻求更为广泛的合作。
                                                           -----------------来源网络-------------------- 查看全部
摘要:云计算市场的竞争态势已经在悄然转变:回顾2016年的云计算市场,我们不仅看到了云计算厂商在收割季的满满收获,同样也看到了不同的云计算厂商其实也在各自找寻属于自己的位置。
     
云计算.jpg


     从IaaS到PaaS再到SaaS,云计算的产业链足够长;从金融到电信再到传统制造,云计算所应用的行业日益广泛;从开源到超融合再到安全,云计算的技术更新也在逐步进行……一切的一切都在让这个庞大的市场变得更加细分。同时,云计算也提出了一个新的命题:不同的云计算厂商如何在找到自己位置的同时,更好地处理复杂的竞合关系。
      这很大程度上得益于云计算市场的全面爆发,各大云计算厂商在坐收行业发展红利的同时,也在积极挖掘自己所擅长领域的商机,这也将进一步推动云计算市场走向成熟。
     
     云计算阵营的划分可谓由来已久,过去的区分主要从传统IT巨头、互联网巨头、电信运营商等层面去分,或者从IaaS、PaaS和SaaS领域去分,如今,这一阵营正在变得更加细分。比如,华为、浪潮等更加专注于设备层和IaaS层,他们拥有庞大的服务器、存储等产品线,同时,他们又基于这一庞大的产品线构建起IaaS,为企业提供私有云服务。
     相比较华为、浪潮等IT巨头,阿里云、腾讯云等更加专注于IaaS层面的公有云服务,有趣的是,腾讯云从去年开始就与阿里云展开贴身肉搏,几乎是阿里云做什么,腾讯云马上跟上,两者在公有云领域的竞争很大程度上也使得这一市场硝烟四起。其他如小米、乐视、网易等云计算企业同样也在各自所擅长的领域不断深耕。
       总而言之,从2016年至今,各大云计算厂商不再像过去那样云里雾里,而是更加务实,尽可能发挥自己的优势,在庞大的云计算市场中分得属于自己的那一杯羹。首先,他们意识到云计算市场足够大,只要做好自己的那一块,不愁没有市场;其次,他们也看到云计算市场虽然很大,但不是哪一家企业能够一统天下的,与其贪大求全,不如踏踏实实从最擅长的入手。
      由于近两年来互联网+的持续推进,云计算作为互联网应用发展的基础设施,已经在众多行业得到广泛应用。除了传统的游戏、电商、移动、社交等在内的互联网行业外,云计算在制造、政府、金融、交通、医疗健康等传统行业的应用也日渐深入。
       以阿里云为例,包括中国联通、诸如中石油、中石化、海关总署、徐工集团、中国气象局、华大基因等在内的国家机关和相关企业单位,都已经成为其重要客户。这对于国内云服务市场的发展,无疑是重大利好;过去,公有云的应用主要在一些中小企业集中的行业,对于能源、金融等大行业的核心应用,云计算一直处在边缘状态。
       不仅如此,在不同行业,也产生了一批针对行业个性化需求的专业云计算企业,他们更多立足自身在行业经验上的积累,通过与云计算巨头的合作,推动云计算在各个细分行业的落地应用。
       过去,在技术流派眼中,云计算主要是IaaS、PaaS和SaaS,但从2016年开始,技术流们开始专注于更加细分的技术创新,以提升云计算技术发展的成熟度。全闪存、CDN、超融合、OpenStack、容器……一个又一个新兴技术领域不断崛起。
       应该说,这些技术都已经发展数年,但在云计算市场没有全面爆发之前,这些技术的威力并没有完全体现出来;技术的发展得益于市场应用的催化,同时技术又在一定程度上推动了市场应用的普及,云计算也不例外。
        云计算市场的分工正在变得越来越细,但几乎所有的云计算厂商又毫不例外地指向同一个目标:让计算资源像水、电一样可以随取随用。因此,云计算市场虽然更加细分,但各个厂商早已不再是单打独斗或者说特立独行,探寻各自的边界以及寻求彼此的竞争和合作正在成为行业的主旋律。
        在新兴的云计算生态中,不管是硬件产品服务商还是细分技术领域的大牛,抑或是拥有丰富行业应用经验的企业,他们都在努力营造一个共同的云计算生态,并在这样一个生态圈中各司其职,在彼此竞争的边界外寻求更为广泛的合作。
                                                           -----------------来源网络--------------------
761 浏览

云计算的下一个出处:雾计算

机械自动化类 嗡班匝萨埵吽 2016-08-25 09:34 发表了文章 来自相关话题

现在正在流行的“云计算”,是把大量数据放到“云”里去计算或存储。这样,就解决了目前电脑或手机存储量不够,或者是运算速度不够快的问题,当然也带来了其他很多好处。

这个所谓的“云”的核心,就是装了大量服务器和存储器的“数据中心”。由于目前的半导体芯片和其他配套硬件还很耗电,全球数据中心的用电功率,相当于30个核电站的供电功率,而令人痛心的是其中90%的耗电量都被浪费,因为效率很低。谷歌位于全球数据中心的用电功率就达到3亿瓦特,这一数字超过了3万户美国家庭的用电量。

如果说现在用了大量电能来维持的云计算中心,还能给广大用户提供互联网云服务的话,当数据传输量进一步成指数式增长,可能这个云中心会无法再维持下去。这个数据传输,指的是大量无线终端和“云”之间的传输。随着物联网的到来,今后各种家庭电器以及大量传感器,包括嵌入在可穿戴设备里的传感器都会连网,从而产生极其大量的数据。而大量数据的发送和接收,可能造成数据中心和终端之间的I/O(输入输出)瓶颈,传输速率大大下降,甚至造成很大的时延。

于是有人想出一个方法,在终端和数据中心之间再加一层,叫网络边缘层,如再加一个带有存储器的小服务器或路由器,把一些并不需要放到“云”的数据在这一层直接处理和存储,可大大减少“云”的压力,提高了效率,也提升了传输速率,减低了时延。这个方法叫做“雾计算”。

这个名字还是很有想象力,“云”漂浮在天上,看得见却摸不着,而“雾”就在你眼前,接地气,是个现实的物体。“雾计算”所用的设备,就是小服务器或路由器,是处于大型数据中心与终端用户之间的设备,可以放到小区、工厂、企业、家庭等里面。

“雾计算”的效果与特点

最初“雾计算”这个名字还是由美国纽约哥伦比亚大学的斯特尔佛教授(Prof。Stolfo)起的,不过他当时的目的是利用“雾”来阻挡黑客入侵。后来美国思科公司把这个名词接了过去,用于推销产品和网络发展战略。而IBM一直在推动网络“边缘化”,准备把很多“云计算”的工作逐步移到“雾计算”。就是把处于网络中心的“数据中心”里的数据,移到网络的边缘处。

“雾计算”对于企业来说有着明显的积极效果:企业大量的内部数据不用传到“云”里再从“云”里传回来,而是直接通过“雾”来处理,能大大提高企业效率。对于个人来说,如果手机里的软件需要升级,也不必到“云”里去升级,只需在最近的地方(如小区内)通过“雾计算”的设备升级就可以了。

雾计算的主要特点:

★极低时延。这对于目前正在蓬勃发展中的物联网有着十分重要的意义,除此之外,网上游戏、视频传输、增强现实等也都需要极低的时延。

★辽阔的地理分布。这正好与集中在某个地点的云计算(数据中心)形成强烈的对比。例如,如果需把信息和视频发送到高速移动的汽车时,可以沿着高速公路一路上设置无线接入点。

★带有大量网络节点的大规模传感器网络,用来监控环境。智能电网本身就是一种带有计算和存储资源的大规模分布式网络,可以作为“雾计算”很好的应用例子。

★支持高移动性。对于雾计算来说,手机和其他移动设备可以互相之间直接通信,信号不必到云端甚至基站去绕一圈,因此可以支持很高的移动性。

★支持实时互动。

★支持多样化的软硬件设备。

★支持云端在线分析。

这里举一个应用“雾计算”的“智能交通系统”的例子。这个系统把交通灯作为网络节点,可以和传感器一起进行互动。传感器可以探测出行人或骑自行车人的出现,测量出正在接近的汽车的距离和车速。通过“雾计算”,这些智能交通灯可以与邻近的智能交通灯进行协调,可以对接近的汽车发出警告,甚至可以改变红绿灯亮的周期,以避免出现交通意外。在智能交通系统的雾计算服务器里的数据,将传到“云”里,再进行全局数据分析。

再比如说了很多年的无线传感网络,它的特点是极低的功耗,电池可以5、6年换一次,甚至可以不用电池而使用太阳能或其他能源来供电。这样的网络节点只有很低的带宽及低端处理器,以及小容量的存储器。传感器主要收集温度、湿度、雨量、光照量等环境数据,不需要把这些传到“云”里去,传到“雾”里就可以了。这将是“雾计算”的典型的应用。

“雾计算”与“云计算”

“雾计算”提供了当地节点分布的地理位置信息,信息传递的时延非常低,而“云计算”则提供了中心化的全局信息。许多应用既需要“雾”也需要“云”,例如大数据技术里的数据分析,首先通过M2M(机器与机器之间通信)把传感得到的数据进行处理和过滤,然后放到HMI(人机界面)这一层进行文本化及视觉化处理,可以让用户清晰地理解所有的分析过的数据资料。

这里“雾计算”起到了一个频繁使用的“数据库”的作用,而“云计算”中心就是一个把文件长期存储的地方了。由于“雾计算”的极低时延,这样的大数据分析可以用手机来完成,真正做到“移动数据分析”。

在物联网将成为下一代互联网的大趋势下,“云计算”本质上的一些缺点显得越来越明显,如不能支持高移动性、不支持地理位置信息及高时延等等,而“雾计算”正好能够解决这些问题,同时又可带来大量新的应用和新的服务。

这种“雾计算”的节点可以是今天人们正在用的无线路由器、机顶盒之类。在“雾计算”这个概念提出之前,2009年就有人提出过“云盒”(Cloudinabox)以及“小云”(Cloudlet)的想法和产品,用于周边的手机和各种移动设备,这与“雾计算”的想法是一致的。比如增强现实,是在实际看到的现实世界的影像上再叠加一层信息,需要进行实时复杂的视频运算,由于是实时要求,需要极低的时延。有人使用谷歌眼镜再配上“小云”设备,达到了很好的用户体验效果。

云计算需要大量带宽,而无线网络带宽有限。用了“雾计算”,可以使所需的带宽量大大降低,原则上可使传输的数据“旁路”,即从互联网边上绕过去,使这些数据尽可能本地化。最有价值的数据仍然可以通过“云”来传输,但是大部分的数据流量可以从这些网络中分流出去,从而大大减轻了云网络的流量负担。智能交通系统、智能电网、智能汽车甚至健康医疗系统等,如果都是本地处理数据,只把最重要的数据传到“云”的话,将变得非常高效,同时也可节省大量成本。

但“雾计算”并不与“云计算”形成竞争,而是可以看作后者的延伸。从这个意义上来说,一些公司利用装备了无线通信设备的无人机、热气球给偏远地区提供宽带网络服务,也可以算为一种“雾计算”,而这种“雾计算”还真的很形象:漂浮在用户和云彩之间,有点“雾”的味道。

“雾计算”有很多优点,但涉及到未来大规模部署“雾计算”设备,必然会遇到各种问题,比如网络堵塞、软件架构、安全、隐私以及采用什么商业模式等等,不过这些问题在不久的将来一定能得到解决。

“云计算”、“雾计算”相继出现在计算机技术的字典里。是不是我们接下来还可以期待“雪计算”、“彩虹计算”、“冰雹计算”,甚至“暴风计算”的出现呢?
 
 
来源:网络 查看全部
现在正在流行的“云计算”,是把大量数据放到“云”里去计算或存储。这样,就解决了目前电脑或手机存储量不够,或者是运算速度不够快的问题,当然也带来了其他很多好处。

这个所谓的“云”的核心,就是装了大量服务器和存储器的“数据中心”。由于目前的半导体芯片和其他配套硬件还很耗电,全球数据中心的用电功率,相当于30个核电站的供电功率,而令人痛心的是其中90%的耗电量都被浪费,因为效率很低。谷歌位于全球数据中心的用电功率就达到3亿瓦特,这一数字超过了3万户美国家庭的用电量。

如果说现在用了大量电能来维持的云计算中心,还能给广大用户提供互联网云服务的话,当数据传输量进一步成指数式增长,可能这个云中心会无法再维持下去。这个数据传输,指的是大量无线终端和“云”之间的传输。随着物联网的到来,今后各种家庭电器以及大量传感器,包括嵌入在可穿戴设备里的传感器都会连网,从而产生极其大量的数据。而大量数据的发送和接收,可能造成数据中心和终端之间的I/O(输入输出)瓶颈,传输速率大大下降,甚至造成很大的时延。

于是有人想出一个方法,在终端和数据中心之间再加一层,叫网络边缘层,如再加一个带有存储器的小服务器或路由器,把一些并不需要放到“云”的数据在这一层直接处理和存储,可大大减少“云”的压力,提高了效率,也提升了传输速率,减低了时延。这个方法叫做“雾计算”。

这个名字还是很有想象力,“云”漂浮在天上,看得见却摸不着,而“雾”就在你眼前,接地气,是个现实的物体。“雾计算”所用的设备,就是小服务器或路由器,是处于大型数据中心与终端用户之间的设备,可以放到小区、工厂、企业、家庭等里面。

“雾计算”的效果与特点

最初“雾计算”这个名字还是由美国纽约哥伦比亚大学的斯特尔佛教授(Prof。Stolfo)起的,不过他当时的目的是利用“雾”来阻挡黑客入侵。后来美国思科公司把这个名词接了过去,用于推销产品和网络发展战略。而IBM一直在推动网络“边缘化”,准备把很多“云计算”的工作逐步移到“雾计算”。就是把处于网络中心的“数据中心”里的数据,移到网络的边缘处。

“雾计算”对于企业来说有着明显的积极效果:企业大量的内部数据不用传到“云”里再从“云”里传回来,而是直接通过“雾”来处理,能大大提高企业效率。对于个人来说,如果手机里的软件需要升级,也不必到“云”里去升级,只需在最近的地方(如小区内)通过“雾计算”的设备升级就可以了。

雾计算的主要特点:

★极低时延。这对于目前正在蓬勃发展中的物联网有着十分重要的意义,除此之外,网上游戏、视频传输、增强现实等也都需要极低的时延。

★辽阔的地理分布。这正好与集中在某个地点的云计算(数据中心)形成强烈的对比。例如,如果需把信息和视频发送到高速移动的汽车时,可以沿着高速公路一路上设置无线接入点。

★带有大量网络节点的大规模传感器网络,用来监控环境。智能电网本身就是一种带有计算和存储资源的大规模分布式网络,可以作为“雾计算”很好的应用例子。

★支持高移动性。对于雾计算来说,手机和其他移动设备可以互相之间直接通信,信号不必到云端甚至基站去绕一圈,因此可以支持很高的移动性。

★支持实时互动。

★支持多样化的软硬件设备。

★支持云端在线分析。

这里举一个应用“雾计算”的“智能交通系统”的例子。这个系统把交通灯作为网络节点,可以和传感器一起进行互动。传感器可以探测出行人或骑自行车人的出现,测量出正在接近的汽车的距离和车速。通过“雾计算”,这些智能交通灯可以与邻近的智能交通灯进行协调,可以对接近的汽车发出警告,甚至可以改变红绿灯亮的周期,以避免出现交通意外。在智能交通系统的雾计算服务器里的数据,将传到“云”里,再进行全局数据分析。

再比如说了很多年的无线传感网络,它的特点是极低的功耗,电池可以5、6年换一次,甚至可以不用电池而使用太阳能或其他能源来供电。这样的网络节点只有很低的带宽及低端处理器,以及小容量的存储器。传感器主要收集温度、湿度、雨量、光照量等环境数据,不需要把这些传到“云”里去,传到“雾”里就可以了。这将是“雾计算”的典型的应用。

“雾计算”与“云计算”

“雾计算”提供了当地节点分布的地理位置信息,信息传递的时延非常低,而“云计算”则提供了中心化的全局信息。许多应用既需要“雾”也需要“云”,例如大数据技术里的数据分析,首先通过M2M(机器与机器之间通信)把传感得到的数据进行处理和过滤,然后放到HMI(人机界面)这一层进行文本化及视觉化处理,可以让用户清晰地理解所有的分析过的数据资料。

这里“雾计算”起到了一个频繁使用的“数据库”的作用,而“云计算”中心就是一个把文件长期存储的地方了。由于“雾计算”的极低时延,这样的大数据分析可以用手机来完成,真正做到“移动数据分析”。

在物联网将成为下一代互联网的大趋势下,“云计算”本质上的一些缺点显得越来越明显,如不能支持高移动性、不支持地理位置信息及高时延等等,而“雾计算”正好能够解决这些问题,同时又可带来大量新的应用和新的服务。

这种“雾计算”的节点可以是今天人们正在用的无线路由器、机顶盒之类。在“雾计算”这个概念提出之前,2009年就有人提出过“云盒”(Cloudinabox)以及“小云”(Cloudlet)的想法和产品,用于周边的手机和各种移动设备,这与“雾计算”的想法是一致的。比如增强现实,是在实际看到的现实世界的影像上再叠加一层信息,需要进行实时复杂的视频运算,由于是实时要求,需要极低的时延。有人使用谷歌眼镜再配上“小云”设备,达到了很好的用户体验效果。

云计算需要大量带宽,而无线网络带宽有限。用了“雾计算”,可以使所需的带宽量大大降低,原则上可使传输的数据“旁路”,即从互联网边上绕过去,使这些数据尽可能本地化。最有价值的数据仍然可以通过“云”来传输,但是大部分的数据流量可以从这些网络中分流出去,从而大大减轻了云网络的流量负担。智能交通系统、智能电网、智能汽车甚至健康医疗系统等,如果都是本地处理数据,只把最重要的数据传到“云”的话,将变得非常高效,同时也可节省大量成本。

但“雾计算”并不与“云计算”形成竞争,而是可以看作后者的延伸。从这个意义上来说,一些公司利用装备了无线通信设备的无人机、热气球给偏远地区提供宽带网络服务,也可以算为一种“雾计算”,而这种“雾计算”还真的很形象:漂浮在用户和云彩之间,有点“雾”的味道。

“雾计算”有很多优点,但涉及到未来大规模部署“雾计算”设备,必然会遇到各种问题,比如网络堵塞、软件架构、安全、隐私以及采用什么商业模式等等,不过这些问题在不久的将来一定能得到解决。

“云计算”、“雾计算”相继出现在计算机技术的字典里。是不是我们接下来还可以期待“雪计算”、“彩虹计算”、“冰雹计算”,甚至“暴风计算”的出现呢?
 
 
来源:网络
846 浏览

云计算争夺战:微软谷歌要如何追赶亚马逊?

机械自动化类 fallen 2016-07-13 13:55 发表了文章 来自相关话题

未来云计算市场的规模有望达到1万亿美元,因而吸引了不少科技巨头的竞逐。目前该市场的领先者毫无疑问是亚马逊,位居第二的微软和谷歌未来能迎头赶上吗?《福布斯》近日撰文详解了三大巨头的发展策略和现状。

云计算争夺战:微软谷歌要如何追赶亚马逊?
 
以下是文章主要内容:

多月以来,谷歌的智囊团一直在寻找理想的人选来领导云计算业务,赶上竞争对手,充分抓住拉里·佩奇(LarryPage)和谢尔盖·布林(SergeyBrin)在谷歌搜索引擎上投放广告以来最大的新机遇。期间,有一名字不断出现:戴安娜·格林(DianeGreene)。格林在硅谷以外并没什么名气,但在科技圈她堪称传奇,且在佩奇和布林在斯坦福大学就读时与他们建立了友谊。她的丈夫孟德尔·罗森布鲁姆(MendelRosenblum)是斯坦福知名的计算机科学教授,两人在校园已经居住了数十年时间。

谷歌云业务领导者

与谷歌的两位联合创始人一样,格林也有雄心壮志和工程师基因。佩奇和布林从斯坦福休学创办谷歌的同一年,格林、罗森布鲁姆和另外三个人联手创立了VMware。VMware利用虚拟化技术彻底改变了企业远程管理数据的方式。格林在VMware担任了十年的CEO,该公司的市值最高时达到490亿美元,她也赢得了非凡天才的美誉:一位拥有无可挑剔的管理才能,且深谙如何将技术卖给全球各地大企业之道的计算机科学奇才。2012年,佩奇将格林招入谷歌的董事会,后者的行业地位获得强有力的认可。

作为董事会成员,格林开始建议谷歌高层去抓住一个错过的机会:云计算。将计算能力租赁给企业的概念已经出现了一段时间,谷歌2008年以来开始涉足该领域,一开始它先让创业公司在其巨大的数据中心网络上开发应用。然而,由于精力分散于多个其它的项目(如搜索、地图、移动、无人驾驶汽车等等),谷歌从未认真对待云计算业务。

这并不妨碍云计算在近十年后发展成重塑企业思考和使用技术方式的“海啸”。最初,一大批新的初创公司--Airbnb、Instagram、Pinterest等等--在其它公司提供的云服务上展开大多数的业务运营。近年来,大企业们也开始将更多的应用程序转移到云端,如通用电气、NBC和壳牌公司。

几乎每一家公司都在追随这一潮流,尤其是瞄准物联网巨大机遇的工业巨头和物流巨头。通过部署联网传感器网络来提高业务运营效率,这些企业如今依靠物联网应用程序来管理全球各地的卡车,在农业经营中监控土壤状况和环境条件,又或者维护电梯。对于海量的数据,没什么途径比云端更便于管理了。总的来说,向云应用程序的转移,标志着企业计算的代际转变,其意义可能并不亚于PC联网时代的到来。

谷歌在20年里建立起了全球最大的计算机网络--巨型联网数据中心遍布全球各地,配备软件来驱动各式各样的应用程序。鉴于此,它在全新的云时代似乎处在非常有利的位置。的确,谷歌内外有不少人认为云计算是广告以外谷歌最大的赚钱机会。不过,作为一家通过向消费者提供免费网络服务和移动服务,建立起一项规模达750亿美元的业务的巨擘,谷歌却不具备打造一项专注于向其它企业出售技术服务的巨型新业务的DNA。

这解释了为什么格林的名字会不断出现。在谷歌最终决定追逐该机遇时,佩奇邀请格林接管公司的云计算业务。她并没有答应。不久之后,谷歌其他的高管和董事会成员也纷纷试图去说服她。最终,谷歌最早期的工程师之一、计算基础设施开发负责人乌尔斯·霍尔泽(UrsH?lzle)在与格林一起去斯坦福的小山遛狗时成功说服后者出任该项职位。

值得一提的是,格林当初在忙于运营神秘的新创业公司Bebop,该公司致力于开发技术提供简单易用的企业软件应用程序。于是,去年11月,谷歌斥资3.8亿美元将Bebop收归门下,并任命格林为谷歌云平台主管,让她领导建立销售队伍,改造一个2015年在增长上花掉100亿美元的部门。这一任命实际上让格林成为了一个不同寻常的角色:作为Alphabet的董事会成员,她某种程度上算是佩奇的上司;作为云计算的主管,她的上司是向佩奇汇报的谷歌CEO桑达尔·皮查伊(SundarPichai)。

格林面临着一项令人生畏的任务。正当谷歌犹豫不前之时,杰夫·贝索斯(JeffBezos)吞下了整个行业。他在2006年押注的亚马逊网络服务(以下简称“AWS”)--与该公司核心的零售业务没什么关联,因而当初亚马逊展开该项业务让很多人都看不懂--出乎意料地取得了巨大的成功,其增长甚至超过亚马逊的零售业务。AWS已经拥有100多万客户,今年其营收有望突破100亿美元,它的利润(第一季度达到6亿美元)甚至让亚马逊转亏为盈。

AWS最初只有三项服务,如今已经拥有超过70项不同的功能。AWS的运营由亚马逊的数据中心驱动,它在整个互联网上有着巨大的影响力。周日晚上,Netflix订户们观看他们喜欢的节目之时,美国约有30%的活跃带宽经由驱动Netflix视频播放的AWS。亚马逊常常说,得益于AWS,创建科技公司就像拼凑乐高积木那么简单。
 
战争刚刚打响

虽然亚马逊占据市场支配地位,但云计算的争夺战才刚刚打响。随着美国企业和全球各地的跨国企业日益接受用按需付费模式替代购置和维护成本高昂的计算硬件的概念,云计算市场预计将会膨胀到1万亿美元的规模。

云计算毫无疑问是巨大的市场,规模上可与全球智能手机市场相提并论。难怪科技巨头们纷纷涉足,大举竞逐客户和市场份额。在曾经领导云计算业务的CEO萨蒂亚·纳德拉(SatyaNadella)的驱动下,呈现复苏的微软大力投资云业务,凭借Azure云服务确立行业第二的地位,仅次于亚马逊。市场份额仍领先于谷歌的IBM以及其它公司也想要分得一杯羹,因此云计算的争夺战很有可能要持续多年,激烈程度将会不亚于近几十年来任何其它科技领域的争夺。格林明白她处于弱势,但她已经多次强调称,谷歌拥有成功所需的条件:决心、资金和强大的技术实力。“我一向都很喜欢挑战。”她说。

贝索斯如今对于AWS的雄心既简单,又令人惊愕:使其规模超过亚马逊的零售业务(最近一个季度的销售额接近270亿美元)。不过,10多年前贝索斯及其他亚马逊高管谋划发展AWS时,谁都没有想到,甚至连贝索斯自己也没有想到,那一目标会有可能达成。在很多方面,AWS是一个聪明的点子。毕竟,当初亚马逊已经建立起了灵活的计算机基础设施来存储数据,以及运行驱动其快速增长的零售业务的应用程序。所以,为什么不将那些技术打包起来提供给其它公司呢?

AWS推出的时机十分完美:适逢社交媒体和移动创业公司的兴起。节俭的应用开发创业者很喜欢将包括运行服务器和数据存储系统在内的诸多麻烦事交由其它公司处理的概念,AWS因而很快就成了他们的头号选择。时至今日,它仍是创业者们的首选。“AWS不是市面上的唯一选择,但我们很自然地就选择了它。”知名创业加速器Techstars合伙人杰森·斯兹(JasonSeats)指出。

贝索斯和公司的其他高管如今力求取得平衡:在吸引规模大得多的大企业市场的同时,维持自身在创业公司当中的公信力。这一战略变化在亚马逊在拉斯维加斯举行的re:Invent大会上可见一斑。去年10月的re:Invent大会吸引了大约1.9万名科技人士和开发者。很多人参加该大会是为了了解AWS的新工具,如按需式商业智能或者安全性。这些工具对于美国大企业的首席信息官和首席技术官而言非常重要。

亚马逊在该大会上发布的重磅产品包括一全新的物联网平台,该平台旨在追踪和存储各种联网设备所产生的海量数据,迎合这一牙刷、垃圾桶、城市大巴、石油钻头等变成传感器的时代。该公司的卖点在于:其云平台保留其系统中的设备的“影子”版本,让用户能够在设备离线时与之交互。当时,听亚马逊首席技术官维尔纳·沃格尔(WernerVogels)和AWSCEO安迪·雅西(AndyJassy)发表演讲的客户包括多家知名美国企业:埃森哲、CapitalOne、英特尔和通用电气。JohnDeere的首席技术官在台上演示了一款基于亚马逊新物联网平台打造的应用,该应用用于监控道路上的车辆。宝马则展示了一款联网汽车应用。

AWS的客户还包括华盛顿州以及美国中央情报局(CIA),后者就将部分运营转移到AWS云平台达成了价值6亿美元的多年期合约。

然而,正当亚马逊巩固其在快速增长的云计算行业的领先地位,它也开始面临巨大成功必会带来的挑战。由于担心最终可能会被死死锁在贝索斯的世界当中,部分企业不愿意使用太多的AWS产品。有人认为,如依靠亚马逊来提供太多的服务,最终你会变得难以离开它。

随着亚马逊开始减少降价(过去十年降价多达51次),客户们越发感到紧张不安。“当看到使用AWS的成本达到5000万美元的时候,企业的首席信息官会开始注意。”CloudFoundryFoundation的CEO萨姆·拉姆基(SamRamji)说道。雅西表示,他了解客户的担忧:“客户常常反馈被套牢的问题,这不难理解。我们感觉我们需要每时每刻都要从客户那里赚钱。”

行业第二

在re:Invent上登台数月后,宝马又出现在旧金山的另一个行业大会上,展示了一款新的云应用。该应用名为BMWConnected,能够告诉你汽车在去什么地方,还能够给司机的朋友发信息,甚至可以识别空置的停车位。该大会是微软一年一度的Build开发者大会。这一次,介绍宝马上台的不是沃格尔,而是微软二把手、云与企业业务主管斯科特·格思里(ScottGuthrie)。“我们有很多客户是从亚马逊那里转过来的。”格思里说,“在客户的输赢管理上,我们做得很不错。”

微软知道,它现在在云计算市场落后于亚马逊。不过,它是有着雄心壮志的行业第二。微软针对大企业的销售说辞简单明了:我们在处理大客户的需求上拥有更加丰富的经验。很多人都不会介意微软将其30年的企业销售经验和可与Azure打包出售的热门产品(如Office365)搬上台面。格思里说,“我们在应对企业需求上最具差异性。”他指出,微软拥有更多的全球数据区域(32个,明显高于亚马逊的13个,不过亚马逊称更应拿它的35个“可用区域”来进行比较),有更高的安全性,在选择在哪里存储数据来解决全球隐私担忧上也更具灵活性。

微软在一些物联网功能上也完胜亚马逊,格思里称这帮助公司赢得来自宝马的业务。经过多年的追赶,Azure希望凭借提供机器学习和人工智能技术的新产品超越竞争对手。

从各项主要数据来看,微软还有很长的路要走。虽然该公司并没有将云业务营收从“智能云”部门61亿美元的营收中单独列举出来,但据分析师们估计,微软的市场份额约为9%,只有亚马逊的三分之一。格思里透露,Azure在用户量和营收上的年增幅超过100%,每月新增12万订户。“我们处在蛋糕在快速增大的阶段,这并非零和游戏。”他说,“在我们大力投入的领域,我们取得了胜利。”部分调查似乎佐证了格思里的话。EnterpriseTechnologyResearch4月对300多家公司的首席信息官和首席技术官的调查显示,整体来看,他们采用微软的云服务的速度要超过亚马逊。

Azure近期赢得了一些重要的客户,如NBCSports。后者计划利用Azure来直播今年巴西奥运会的2000多项体育赛事。不过,要进一步逼近亚马逊,微软将需要现有客户(约占美国最大的企业的85%)加大其在Azure上的支出。

纳德拉吸引它们的部分策略需要微软文化发生大转变。相比过往,该公司已经变得更加愿意让自家软件与其它公司的软件共存了。如果客户想要试行混合云模式--将业务运营分散在他们自有的服务器、AWS和Azure上--那也没问题。

不过,不少人还很记得过去那个霸道的微软,就连如今的大企业也担心微软会重走旧路。最近,在选定AWS为首选云提供商,签订为期四年每年价值1亿美元的合约之前,Salesforce曾认真考虑过Azure。亚马逊和Salesforce均公开表示,AWS赢得该合约依靠的是产品的实力和成熟度。不过,在部分人看来,微软输掉该交易并非偶然,因为它才刚刚击败Salesforce,成功以262亿美元拿下职业社交网络LinkedIn。“我并不认为Salesforce的决定纯粹基于技术考量。”格思里说。
 
谷歌能迎头赶上吗?

要使得谷歌真正做到与亚马逊和微软三足鼎立,格林还有很多的工作要做。直到最近,除了托管热门社交平台Snapchat之外,谷歌在吸引大客户上并没什么建树。格林正加班加点去解决这一问题:通过重组使得她的部门在谷歌内部变得更加独立,以及首次整合技术、产品、销售和营销的团队。跟微软的格思里一样,她正通过提供强大的技术(涵盖分析、机器翻译、语音识别、地图等等)来吸引客户。“我们将会做更多的事情来让客户能够利用自己的数据,以及使用我们的软件来开发自有的模型。”格林说道。

这一策略帮助谷歌在有巨大数据需求的科技企业当中取得一些进展,比如Spotify。作为AWS的客户,Spotify几年还在谷歌的平台上部署部分功能。凭借数据处理技术优势,谷歌如今已经拿下了可口可乐、迪士尼等大企业客户。

那些客户很多都使用谷歌的云平台来处理数据,同时使用亚马逊和微软的云服务来运行部分重要的应用程序。“这么做的好处在于灵活。”可口可乐将公司1000多款云应用分散在三大云平台的首席技术官阿兰·伯梅(AlanBoehme)表示。所有的云公司都实施常见的销售刺激措施(如折扣、新产品的免费试用、工程帮助等等)来获得大客户,而谷歌则是以通过免费策略来获得市场份额而著称。据行业消息人士称,该公司正尝试通过免费提供一年的计算服务来吸引亚马逊的数位大企业客户。“谷歌正试图通过提供免费资源来填补与竞争对手的差距。”微软的格思里说道。格林指出,“忽然之间,我们跟几乎所有的1000强企业展开合作洽谈。”

在部分行业观察人士看来,不难想象,未来除了较为复杂的云工具以外,所有的云工具的价格都将趋零,大型云提供商们会希望通过这样来引诱客户。虽然这似乎与谷歌的强项很契合,也一定程度上指示了它未来几年的成功之路,但谷歌的可信度问题仍然是一大发展障碍。尽管谷歌显示出了全力支持格林的迹象--CEO皮查伊出现在她的大会上,且给予其预算和权力去大举招揽人才--但它要表现出不寻常的耐心来让她的团队与客户建立关系。格林坦言这可能要数年时间。

微软对亚马逊威胁更大

相比谷歌,微软更有可能对亚马逊在云市场的长期领先地位构成最大的威胁。业界对于Azure的兴趣处于历史高位水平,微软的领导团队也认同云业务在公司的战略地位。该公司正一步步解决Windows的垄断问题(其服务器的新虚拟机器有近三分之一基于Linux),且有销售团队和合作伙伴网络去跟亚马逊的分庭抗礼。

微软取胜的前提条件是,亚马逊的运营表现得没那么像是由贝索斯驱动的,没那么高效。亚马逊其实有出现裂缝:AWS的利润率一直保持在20%的水平,这给人一种它的服务有时候定价过高的印象。虽然各个行业的企业都畏惧谷歌和微软的权势,亚马逊也不例外。对于一些企业而言,它在零售领域的统治地位使得AWS没那么好接受。阿里巴巴集团现在也有云部门;沃尔玛今年早些时候也公布了名为OneOps的开源云项目。

如果亚马逊未来几个月感知到来自微软的威胁,那AWS的价格势必会急剧下降,与此同时其工具的质量则持续提升。“人们低估了亚马逊持续创新的速度。”投资云公司的风险投资家马克斯·加佐(MaxGazor)指出。去年,为了确保KylieJenner的网站做好网购星期一推出化妆品系列的准备,AWS的工程师们毫不犹豫地在感恩节加班加点。“我们是一家强硬的公司吗?”沃格尔问道,“是的。”任何在零售行业与贝索斯及其公司正面交锋过的人都不会怀疑这一点。

除非亚马逊自己犯错,否则很难看到其它公司会先于它实现1000亿美元的云收入。不过,如果谷歌能够取得真正的进展,微软能够缩小差距,日益精明的企业将会因它们追赶亚马逊的努力而获益。对于Azure是否认为自己会成为云市场领头羊的问题,微软的格思里表示,“这场竞争真正的赢家希望会是客户。”
 
来源:网络 查看全部
未来云计算市场的规模有望达到1万亿美元,因而吸引了不少科技巨头的竞逐。目前该市场的领先者毫无疑问是亚马逊,位居第二的微软和谷歌未来能迎头赶上吗?《福布斯》近日撰文详解了三大巨头的发展策略和现状。

云计算争夺战:微软谷歌要如何追赶亚马逊?
 
以下是文章主要内容:

多月以来,谷歌的智囊团一直在寻找理想的人选来领导云计算业务,赶上竞争对手,充分抓住拉里·佩奇(LarryPage)和谢尔盖·布林(SergeyBrin)在谷歌搜索引擎上投放广告以来最大的新机遇。期间,有一名字不断出现:戴安娜·格林(DianeGreene)。格林在硅谷以外并没什么名气,但在科技圈她堪称传奇,且在佩奇和布林在斯坦福大学就读时与他们建立了友谊。她的丈夫孟德尔·罗森布鲁姆(MendelRosenblum)是斯坦福知名的计算机科学教授,两人在校园已经居住了数十年时间。

谷歌云业务领导者

与谷歌的两位联合创始人一样,格林也有雄心壮志和工程师基因。佩奇和布林从斯坦福休学创办谷歌的同一年,格林、罗森布鲁姆和另外三个人联手创立了VMware。VMware利用虚拟化技术彻底改变了企业远程管理数据的方式。格林在VMware担任了十年的CEO,该公司的市值最高时达到490亿美元,她也赢得了非凡天才的美誉:一位拥有无可挑剔的管理才能,且深谙如何将技术卖给全球各地大企业之道的计算机科学奇才。2012年,佩奇将格林招入谷歌的董事会,后者的行业地位获得强有力的认可。

作为董事会成员,格林开始建议谷歌高层去抓住一个错过的机会:云计算。将计算能力租赁给企业的概念已经出现了一段时间,谷歌2008年以来开始涉足该领域,一开始它先让创业公司在其巨大的数据中心网络上开发应用。然而,由于精力分散于多个其它的项目(如搜索、地图、移动、无人驾驶汽车等等),谷歌从未认真对待云计算业务。

这并不妨碍云计算在近十年后发展成重塑企业思考和使用技术方式的“海啸”。最初,一大批新的初创公司--Airbnb、Instagram、Pinterest等等--在其它公司提供的云服务上展开大多数的业务运营。近年来,大企业们也开始将更多的应用程序转移到云端,如通用电气、NBC和壳牌公司。

几乎每一家公司都在追随这一潮流,尤其是瞄准物联网巨大机遇的工业巨头和物流巨头。通过部署联网传感器网络来提高业务运营效率,这些企业如今依靠物联网应用程序来管理全球各地的卡车,在农业经营中监控土壤状况和环境条件,又或者维护电梯。对于海量的数据,没什么途径比云端更便于管理了。总的来说,向云应用程序的转移,标志着企业计算的代际转变,其意义可能并不亚于PC联网时代的到来。

谷歌在20年里建立起了全球最大的计算机网络--巨型联网数据中心遍布全球各地,配备软件来驱动各式各样的应用程序。鉴于此,它在全新的云时代似乎处在非常有利的位置。的确,谷歌内外有不少人认为云计算是广告以外谷歌最大的赚钱机会。不过,作为一家通过向消费者提供免费网络服务和移动服务,建立起一项规模达750亿美元的业务的巨擘,谷歌却不具备打造一项专注于向其它企业出售技术服务的巨型新业务的DNA。

这解释了为什么格林的名字会不断出现。在谷歌最终决定追逐该机遇时,佩奇邀请格林接管公司的云计算业务。她并没有答应。不久之后,谷歌其他的高管和董事会成员也纷纷试图去说服她。最终,谷歌最早期的工程师之一、计算基础设施开发负责人乌尔斯·霍尔泽(UrsH?lzle)在与格林一起去斯坦福的小山遛狗时成功说服后者出任该项职位。

值得一提的是,格林当初在忙于运营神秘的新创业公司Bebop,该公司致力于开发技术提供简单易用的企业软件应用程序。于是,去年11月,谷歌斥资3.8亿美元将Bebop收归门下,并任命格林为谷歌云平台主管,让她领导建立销售队伍,改造一个2015年在增长上花掉100亿美元的部门。这一任命实际上让格林成为了一个不同寻常的角色:作为Alphabet的董事会成员,她某种程度上算是佩奇的上司;作为云计算的主管,她的上司是向佩奇汇报的谷歌CEO桑达尔·皮查伊(SundarPichai)。

格林面临着一项令人生畏的任务。正当谷歌犹豫不前之时,杰夫·贝索斯(JeffBezos)吞下了整个行业。他在2006年押注的亚马逊网络服务(以下简称“AWS”)--与该公司核心的零售业务没什么关联,因而当初亚马逊展开该项业务让很多人都看不懂--出乎意料地取得了巨大的成功,其增长甚至超过亚马逊的零售业务。AWS已经拥有100多万客户,今年其营收有望突破100亿美元,它的利润(第一季度达到6亿美元)甚至让亚马逊转亏为盈。

AWS最初只有三项服务,如今已经拥有超过70项不同的功能。AWS的运营由亚马逊的数据中心驱动,它在整个互联网上有着巨大的影响力。周日晚上,Netflix订户们观看他们喜欢的节目之时,美国约有30%的活跃带宽经由驱动Netflix视频播放的AWS。亚马逊常常说,得益于AWS,创建科技公司就像拼凑乐高积木那么简单。
 
战争刚刚打响

虽然亚马逊占据市场支配地位,但云计算的争夺战才刚刚打响。随着美国企业和全球各地的跨国企业日益接受用按需付费模式替代购置和维护成本高昂的计算硬件的概念,云计算市场预计将会膨胀到1万亿美元的规模。

云计算毫无疑问是巨大的市场,规模上可与全球智能手机市场相提并论。难怪科技巨头们纷纷涉足,大举竞逐客户和市场份额。在曾经领导云计算业务的CEO萨蒂亚·纳德拉(SatyaNadella)的驱动下,呈现复苏的微软大力投资云业务,凭借Azure云服务确立行业第二的地位,仅次于亚马逊。市场份额仍领先于谷歌的IBM以及其它公司也想要分得一杯羹,因此云计算的争夺战很有可能要持续多年,激烈程度将会不亚于近几十年来任何其它科技领域的争夺。格林明白她处于弱势,但她已经多次强调称,谷歌拥有成功所需的条件:决心、资金和强大的技术实力。“我一向都很喜欢挑战。”她说。

贝索斯如今对于AWS的雄心既简单,又令人惊愕:使其规模超过亚马逊的零售业务(最近一个季度的销售额接近270亿美元)。不过,10多年前贝索斯及其他亚马逊高管谋划发展AWS时,谁都没有想到,甚至连贝索斯自己也没有想到,那一目标会有可能达成。在很多方面,AWS是一个聪明的点子。毕竟,当初亚马逊已经建立起了灵活的计算机基础设施来存储数据,以及运行驱动其快速增长的零售业务的应用程序。所以,为什么不将那些技术打包起来提供给其它公司呢?

AWS推出的时机十分完美:适逢社交媒体和移动创业公司的兴起。节俭的应用开发创业者很喜欢将包括运行服务器和数据存储系统在内的诸多麻烦事交由其它公司处理的概念,AWS因而很快就成了他们的头号选择。时至今日,它仍是创业者们的首选。“AWS不是市面上的唯一选择,但我们很自然地就选择了它。”知名创业加速器Techstars合伙人杰森·斯兹(JasonSeats)指出。

贝索斯和公司的其他高管如今力求取得平衡:在吸引规模大得多的大企业市场的同时,维持自身在创业公司当中的公信力。这一战略变化在亚马逊在拉斯维加斯举行的re:Invent大会上可见一斑。去年10月的re:Invent大会吸引了大约1.9万名科技人士和开发者。很多人参加该大会是为了了解AWS的新工具,如按需式商业智能或者安全性。这些工具对于美国大企业的首席信息官和首席技术官而言非常重要。

亚马逊在该大会上发布的重磅产品包括一全新的物联网平台,该平台旨在追踪和存储各种联网设备所产生的海量数据,迎合这一牙刷、垃圾桶、城市大巴、石油钻头等变成传感器的时代。该公司的卖点在于:其云平台保留其系统中的设备的“影子”版本,让用户能够在设备离线时与之交互。当时,听亚马逊首席技术官维尔纳·沃格尔(WernerVogels)和AWSCEO安迪·雅西(AndyJassy)发表演讲的客户包括多家知名美国企业:埃森哲、CapitalOne、英特尔和通用电气。JohnDeere的首席技术官在台上演示了一款基于亚马逊新物联网平台打造的应用,该应用用于监控道路上的车辆。宝马则展示了一款联网汽车应用。

AWS的客户还包括华盛顿州以及美国中央情报局(CIA),后者就将部分运营转移到AWS云平台达成了价值6亿美元的多年期合约。

然而,正当亚马逊巩固其在快速增长的云计算行业的领先地位,它也开始面临巨大成功必会带来的挑战。由于担心最终可能会被死死锁在贝索斯的世界当中,部分企业不愿意使用太多的AWS产品。有人认为,如依靠亚马逊来提供太多的服务,最终你会变得难以离开它。

随着亚马逊开始减少降价(过去十年降价多达51次),客户们越发感到紧张不安。“当看到使用AWS的成本达到5000万美元的时候,企业的首席信息官会开始注意。”CloudFoundryFoundation的CEO萨姆·拉姆基(SamRamji)说道。雅西表示,他了解客户的担忧:“客户常常反馈被套牢的问题,这不难理解。我们感觉我们需要每时每刻都要从客户那里赚钱。”

行业第二

在re:Invent上登台数月后,宝马又出现在旧金山的另一个行业大会上,展示了一款新的云应用。该应用名为BMWConnected,能够告诉你汽车在去什么地方,还能够给司机的朋友发信息,甚至可以识别空置的停车位。该大会是微软一年一度的Build开发者大会。这一次,介绍宝马上台的不是沃格尔,而是微软二把手、云与企业业务主管斯科特·格思里(ScottGuthrie)。“我们有很多客户是从亚马逊那里转过来的。”格思里说,“在客户的输赢管理上,我们做得很不错。”

微软知道,它现在在云计算市场落后于亚马逊。不过,它是有着雄心壮志的行业第二。微软针对大企业的销售说辞简单明了:我们在处理大客户的需求上拥有更加丰富的经验。很多人都不会介意微软将其30年的企业销售经验和可与Azure打包出售的热门产品(如Office365)搬上台面。格思里说,“我们在应对企业需求上最具差异性。”他指出,微软拥有更多的全球数据区域(32个,明显高于亚马逊的13个,不过亚马逊称更应拿它的35个“可用区域”来进行比较),有更高的安全性,在选择在哪里存储数据来解决全球隐私担忧上也更具灵活性。

微软在一些物联网功能上也完胜亚马逊,格思里称这帮助公司赢得来自宝马的业务。经过多年的追赶,Azure希望凭借提供机器学习和人工智能技术的新产品超越竞争对手。

从各项主要数据来看,微软还有很长的路要走。虽然该公司并没有将云业务营收从“智能云”部门61亿美元的营收中单独列举出来,但据分析师们估计,微软的市场份额约为9%,只有亚马逊的三分之一。格思里透露,Azure在用户量和营收上的年增幅超过100%,每月新增12万订户。“我们处在蛋糕在快速增大的阶段,这并非零和游戏。”他说,“在我们大力投入的领域,我们取得了胜利。”部分调查似乎佐证了格思里的话。EnterpriseTechnologyResearch4月对300多家公司的首席信息官和首席技术官的调查显示,整体来看,他们采用微软的云服务的速度要超过亚马逊。

Azure近期赢得了一些重要的客户,如NBCSports。后者计划利用Azure来直播今年巴西奥运会的2000多项体育赛事。不过,要进一步逼近亚马逊,微软将需要现有客户(约占美国最大的企业的85%)加大其在Azure上的支出。

纳德拉吸引它们的部分策略需要微软文化发生大转变。相比过往,该公司已经变得更加愿意让自家软件与其它公司的软件共存了。如果客户想要试行混合云模式--将业务运营分散在他们自有的服务器、AWS和Azure上--那也没问题。

不过,不少人还很记得过去那个霸道的微软,就连如今的大企业也担心微软会重走旧路。最近,在选定AWS为首选云提供商,签订为期四年每年价值1亿美元的合约之前,Salesforce曾认真考虑过Azure。亚马逊和Salesforce均公开表示,AWS赢得该合约依靠的是产品的实力和成熟度。不过,在部分人看来,微软输掉该交易并非偶然,因为它才刚刚击败Salesforce,成功以262亿美元拿下职业社交网络LinkedIn。“我并不认为Salesforce的决定纯粹基于技术考量。”格思里说。
 
谷歌能迎头赶上吗?

要使得谷歌真正做到与亚马逊和微软三足鼎立,格林还有很多的工作要做。直到最近,除了托管热门社交平台Snapchat之外,谷歌在吸引大客户上并没什么建树。格林正加班加点去解决这一问题:通过重组使得她的部门在谷歌内部变得更加独立,以及首次整合技术、产品、销售和营销的团队。跟微软的格思里一样,她正通过提供强大的技术(涵盖分析、机器翻译、语音识别、地图等等)来吸引客户。“我们将会做更多的事情来让客户能够利用自己的数据,以及使用我们的软件来开发自有的模型。”格林说道。

这一策略帮助谷歌在有巨大数据需求的科技企业当中取得一些进展,比如Spotify。作为AWS的客户,Spotify几年还在谷歌的平台上部署部分功能。凭借数据处理技术优势,谷歌如今已经拿下了可口可乐、迪士尼等大企业客户。

那些客户很多都使用谷歌的云平台来处理数据,同时使用亚马逊和微软的云服务来运行部分重要的应用程序。“这么做的好处在于灵活。”可口可乐将公司1000多款云应用分散在三大云平台的首席技术官阿兰·伯梅(AlanBoehme)表示。所有的云公司都实施常见的销售刺激措施(如折扣、新产品的免费试用、工程帮助等等)来获得大客户,而谷歌则是以通过免费策略来获得市场份额而著称。据行业消息人士称,该公司正尝试通过免费提供一年的计算服务来吸引亚马逊的数位大企业客户。“谷歌正试图通过提供免费资源来填补与竞争对手的差距。”微软的格思里说道。格林指出,“忽然之间,我们跟几乎所有的1000强企业展开合作洽谈。”

在部分行业观察人士看来,不难想象,未来除了较为复杂的云工具以外,所有的云工具的价格都将趋零,大型云提供商们会希望通过这样来引诱客户。虽然这似乎与谷歌的强项很契合,也一定程度上指示了它未来几年的成功之路,但谷歌的可信度问题仍然是一大发展障碍。尽管谷歌显示出了全力支持格林的迹象--CEO皮查伊出现在她的大会上,且给予其预算和权力去大举招揽人才--但它要表现出不寻常的耐心来让她的团队与客户建立关系。格林坦言这可能要数年时间。

微软对亚马逊威胁更大

相比谷歌,微软更有可能对亚马逊在云市场的长期领先地位构成最大的威胁。业界对于Azure的兴趣处于历史高位水平,微软的领导团队也认同云业务在公司的战略地位。该公司正一步步解决Windows的垄断问题(其服务器的新虚拟机器有近三分之一基于Linux),且有销售团队和合作伙伴网络去跟亚马逊的分庭抗礼。

微软取胜的前提条件是,亚马逊的运营表现得没那么像是由贝索斯驱动的,没那么高效。亚马逊其实有出现裂缝:AWS的利润率一直保持在20%的水平,这给人一种它的服务有时候定价过高的印象。虽然各个行业的企业都畏惧谷歌和微软的权势,亚马逊也不例外。对于一些企业而言,它在零售领域的统治地位使得AWS没那么好接受。阿里巴巴集团现在也有云部门;沃尔玛今年早些时候也公布了名为OneOps的开源云项目。

如果亚马逊未来几个月感知到来自微软的威胁,那AWS的价格势必会急剧下降,与此同时其工具的质量则持续提升。“人们低估了亚马逊持续创新的速度。”投资云公司的风险投资家马克斯·加佐(MaxGazor)指出。去年,为了确保KylieJenner的网站做好网购星期一推出化妆品系列的准备,AWS的工程师们毫不犹豫地在感恩节加班加点。“我们是一家强硬的公司吗?”沃格尔问道,“是的。”任何在零售行业与贝索斯及其公司正面交锋过的人都不会怀疑这一点。

除非亚马逊自己犯错,否则很难看到其它公司会先于它实现1000亿美元的云收入。不过,如果谷歌能够取得真正的进展,微软能够缩小差距,日益精明的企业将会因它们追赶亚马逊的努力而获益。对于Azure是否认为自己会成为云市场领头羊的问题,微软的格思里表示,“这场竞争真正的赢家希望会是客户。”
 
来源:网络
1141 浏览

CAD/CAE软件在云计算平台的研究与应用

设计类 嗡班匝萨埵吽 2016-06-22 10:58 发表了文章 来自相关话题

导读:传统的计算机辅助设计/分析(CAD/CAE)技术已经成为汽车企业研发和技术革新过程中不可或缺的力量,而随着企业内部大规模地使用CAD/CAE技术,如何高效地利用CAD/CAE设计分析过程中所涉及到的软硬件资源,已经变成了一个亟待解决的问题。
    传统的计算机辅助设计/分析(CAD/CAE)技术已经成为汽车企业研发和技术革新过程中不可或缺的力量,而随着企业内部大规模地使用CAD/CAE技术,如何高效地利用CAD/CAE设计分析过程中所涉及到的软硬件资源,已经变成了一个亟待解决的问题。而云计算技术的飞速发展为CAD/CAE设计分析提供了一个很好的平台。本文介绍了在云计算平台实现CAD/CAE技术的基本思路及工作原理,对比分析了云计算平台上使用CAD/CAE技术与普通CAD/CAE模式的优缺点,最后,阐述了企业在云计算平台上推广CAD/CAE软件时需要注意的问题以及建议。
 
    一、引言
 
    在大力推广CAD/CAE技术的今天,从自行车到航天飞机,从房屋桥梁到隧道大坝,几乎所有的制造业都离不开计算机辅助分析技术,CAE的应用在提高产品质量、降低成本和缩短新品投放市场的周期这三个方面有着非常显著的应用。普通CAE的分析流程见图1所示。
 
[普通CAE分析流程]  
 




    图1 普通CAE分析流程
 
    普通的CAE分析流程主要包括5个步骤:前处理、数据上传、核心计算、数据下载、后处理。在普通的CAE分析流程中,由于数据需要来回地在本地PC服务器和计算中心存储阵列上传输移动,尤其是后处理数据结果文件巨大,而这种不间断地在网络上进行大范围远距离的大数据传输给传统CAE分析带来了以下问题:
 
    1)工作效率低、网络压力大
 
    随着模型的变大,数据不断地增加,在网络上传输的时间需要花费很多,从而也对整个企业局域网造成了很大的压力。
 
    2)难以管理、资源浪费、数据易泄露
 
    数据在不同存储媒介上的传输拷贝,难免会造成一个文件拷贝多次的现象,从而导致磁盘容量被重复占用,不利于管理的同时也造成了资源的浪费,而且因为数据可以被任意下载到本地机,从而导致数据容易泄露。
 
    3)投资成本高
 
    因为前后处理对于图形处理能力要求很高,尤其是后处理,通常数据文件非常大,每个分析人员都需要配置相当高端的图形卡才能满足要求,从而导致企业增加额外的投资成本。
 
    二、定义介绍
 
    2.1 云计算
 
    云计算主要是将信息永久地存储在云中的服务器上,在使用信息时只是在客户端进行缓存,而客户端可以是桌面机、笔记本、手持设备等。
 
    2.2 CAD
 
    计算机辅助设计(CAD-ComputerAidedDesign),利用计算机及其图形设备帮助设计人员进行设计工作。
 
    2.3 CAE
 
    计算机辅助工程CAE(ComputerAidedEngineering),指用计算机辅助求解分析复杂工程和产品的结构力学性能,以及优化结构性能等。
 
    三、CAD/CAE在云计算平台上的应用
 
    3.1 CAD/CAE在云计算平台上部署的基本思路
 
    通过将CAD设计/CAE分析所需要的图形工作站、高性能计算资源、高性能存储以及所需要的CAD/CAE软件都部署在云端,而地端用户只需要一台普通的终端电脑,无需安装专业的CAD设计软件和CAE分析软件,也无需强大的图形处理功能,仅通过网络,在网络浏览器上选择自己的应用即可进行相应的设计,或者提交计算到高性能计算服务器进行分析。具体部署方案见图2所示:
 
[CAD/CAE在云计算平台上的部署方案]  
 





图2 CAD/CAE在云计算平台上的部署方案
 
    3.2 CAD/CAE在云计算平台上工作的基本原理
 
    CAD/CAE云计算平台的基本原理是通过在云端的图形服务器上,图像被优化压缩后通过网络传输到一个或多个远程客户端,而地端用户只需要通过移动鼠标和敲击键盘把相应指令发送到云端的图形服务器上,云端的图形服务器接收相应指令后通过解析用户的这些行为,将合适的图像数据送给用户,具体流程见图3所示。图像数据优化处理后传输规模变小,就无需将整个模型送到地端客户机,从而降低了对地端客户机的可视化资源的要求,在地端客户在使用过程中,其速度等同或接近图形服务器端的速度,而且经过优化的图像传输占用的网络带宽远远小于模型数据传输的带宽。
 
[云端和地端数据交互流程]  
 




 图3 云端和地端数据交互流程
 
    3.3 CAD/CAE在云计算平台上的工作流程
 
    因为云计算平台的所有应用软件和管理软件都集中部署在该平台上,即专业的CAD设计软件和CAE前后处理软件都只安装在云端有限的几台图形工作站上,而地端客户机上没有任何软件,因此CAD/CAE设计分析人员可以通过任意一台普通的PC甚至笔记本电脑通过网络远程参与到CAD/CAE设计分析过程中,通过在web界面选择相应的CAD/CAE设计分析软件后,即可进行CAD设计和CAE分析,整个过程中的所有数据都产生在云端工作站上。
 
    这样CAE分析流程就可以简化为以下三个步骤:
 
    1、前处理:在本地普通的桌面环境下,远程利用云端机房内的图形服务节点,进行网格剖分、边界和初始条件的设置,产生的计算输入文件直接存放在集中的存储上;
 
    2、核心计算:在云端图形服务器上直接提交计算任务到高性能计算服务器或者集群,高性能计算服务器或者计算集群节点直接从集中的存储上读取数据,运算完毕后直接将结果数据保存在集中存储上;
 
    3、后处理:在本地普通的桌面环境下,远程利用云端机房内的图形服务节点,直接从集中存储上读取数据,进行后处理分析。
 
    3.4 云计算平台的优点
 
    CAD/CAE设计分析软件在云计算平台上的应用有以下优势:
 
    1)使用简单方便、性能提高
 
    CAD/CAE软硬件资源集中部署在云工作站服务器上,工程师不需要在本地安装任何CAD/CAE软件,只要网络是通的,仅仅通过Web浏览器,即可随时随地在云平台中使用CAD/CAE软件进行工作,而且因为模型数据和结果都在云工作站中,因此避免了数据的远程传输,从而大大节约了分析时间。
 
    2)集中管理、统一配置、使用安全
 
    因为所有数据和应用程序都集中在云工作站服务器上,管理员足不出户就可对所有客户端和应用进行统一管理和维护。另外,因为用户终端传递的只是最终运行的图像,因此,即使终端受损或是丢失,企业的应用数据也不会丢失从而增加了数据的安全性。
 
    3)节约成本、节能减排
 
    云工作平台的软硬件资源共享使用,减少了软硬件的投入,用户客户端为一般的瘦客户机就可以满足要求,大大延长了使用周期,间接降低了电子垃圾的产生数量。而且因为瘦终端功耗很低,同时,云工作站服务器的资源利用率又很高,因此也可以达到节省成本,节能减排的目的。
 
    4)多部门用户之间的软件安全隔离
 
    针对不同部门使用软件的不同,授予其不同的应用软件的访问权限,从而不会造成资源浪费。
 
    3.5 云计算平台的缺点
 
    目前,云计算还是一项发展中的技术,在很多行业中还没有得到大规模地应用,所以在推广云计算平台时还需要考虑以下一些问题:
 
    1)初期投入成本较高
 
    在使用云计算平台初期,涉及到高配置的云工作站服务器、共享集群存储系统、云端网络以及云平台软件等方面的购置,因此需要投入大量的资金。
 
    2)计算量过大服务器易发生崩溃、影响正常工作
 
    对于CAE软件来说,可以在虚拟化桌面上进行前后处理操作,但是如果要在进行计算操作,必须要连接专业的高性能计算服务器才行,否则当计算量很大时会使服务器发生崩溃,甚至瘫痪,从而导致所有账户均不可用,影响正常工作。
 
    3)云工作站服务器风险增大。
 
    应用云计算平台后,可以有效地解决客户端的安全问题,但是企业的核心数据资源存储转换到云工作站服务器上,云工作站服务器的安全风险必然增大。
 
    4)对网络带宽有一定要求
 
    在工作时间,由于用户同时使用云客户端办公,通过网络与服务器进行数据交换,所以应用云计算平台对网络有着较高的要求。
 
    5)使用习惯问题
 
    由于云计算平台界面与传统的PC界面存在较大差异,因此,用户在界面使用习惯上需要有一个熟悉的过程。
 
    四、CAD/CAE在云计算平台上推广应用的建议
 
    因为云计算平台存在利弊因素,所以企业在推广云计算平台之前,需要参考以下几点建议:
 
    1)先采用部门试点的方式,待试点使用云计算平台成熟后再推广到整个公司乃至整个企业;
 
    2)对于企业中一些资源比较有限的单机版软件可以安装在云计算平台上使其浮动起来,以便充分利用软件资源;
 
    3)动态调配云工作站服务器的内存资源,以提高资源利用率。
 
    五、总结
 
    云计算平台作为未来IT架构的发展趋势,将会在未来几年在各行各业得到广泛应用,瘦客户机将逐步取代传统PC成为新的终端形式,从而有效提高企业数据的安全性,降低运维成本。因此企业需基于自身的特点,充分认识云计算平台的优缺点,因地制宜地开展云计算平台部署及应用
 
来源:网络 查看全部
导读:传统的计算机辅助设计/分析(CAD/CAE)技术已经成为汽车企业研发和技术革新过程中不可或缺的力量,而随着企业内部大规模地使用CAD/CAE技术,如何高效地利用CAD/CAE设计分析过程中所涉及到的软硬件资源,已经变成了一个亟待解决的问题。
    传统的计算机辅助设计/分析(CAD/CAE)技术已经成为汽车企业研发和技术革新过程中不可或缺的力量,而随着企业内部大规模地使用CAD/CAE技术,如何高效地利用CAD/CAE设计分析过程中所涉及到的软硬件资源,已经变成了一个亟待解决的问题。而云计算技术的飞速发展为CAD/CAE设计分析提供了一个很好的平台。本文介绍了在云计算平台实现CAD/CAE技术的基本思路及工作原理,对比分析了云计算平台上使用CAD/CAE技术与普通CAD/CAE模式的优缺点,最后,阐述了企业在云计算平台上推广CAD/CAE软件时需要注意的问题以及建议。
 
    一、引言
 
    在大力推广CAD/CAE技术的今天,从自行车到航天飞机,从房屋桥梁到隧道大坝,几乎所有的制造业都离不开计算机辅助分析技术,CAE的应用在提高产品质量、降低成本和缩短新品投放市场的周期这三个方面有着非常显著的应用。普通CAE的分析流程见图1所示。
 
[普通CAE分析流程]  
 
1.jpg

    图1 普通CAE分析流程
 
    普通的CAE分析流程主要包括5个步骤:前处理、数据上传、核心计算、数据下载、后处理。在普通的CAE分析流程中,由于数据需要来回地在本地PC服务器和计算中心存储阵列上传输移动,尤其是后处理数据结果文件巨大,而这种不间断地在网络上进行大范围远距离的大数据传输给传统CAE分析带来了以下问题:
 
    1)工作效率低、网络压力大
 
    随着模型的变大,数据不断地增加,在网络上传输的时间需要花费很多,从而也对整个企业局域网造成了很大的压力。
 
    2)难以管理、资源浪费、数据易泄露
 
    数据在不同存储媒介上的传输拷贝,难免会造成一个文件拷贝多次的现象,从而导致磁盘容量被重复占用,不利于管理的同时也造成了资源的浪费,而且因为数据可以被任意下载到本地机,从而导致数据容易泄露。
 
    3)投资成本高
 
    因为前后处理对于图形处理能力要求很高,尤其是后处理,通常数据文件非常大,每个分析人员都需要配置相当高端的图形卡才能满足要求,从而导致企业增加额外的投资成本。
 
    二、定义介绍
 
    2.1 云计算
 
    云计算主要是将信息永久地存储在云中的服务器上,在使用信息时只是在客户端进行缓存,而客户端可以是桌面机、笔记本、手持设备等。
 
    2.2 CAD
 
    计算机辅助设计(CAD-ComputerAidedDesign),利用计算机及其图形设备帮助设计人员进行设计工作。
 
    2.3 CAE
 
    计算机辅助工程CAE(ComputerAidedEngineering),指用计算机辅助求解分析复杂工程和产品的结构力学性能,以及优化结构性能等。
 
    三、CAD/CAE在云计算平台上的应用
 
    3.1 CAD/CAE在云计算平台上部署的基本思路
 
    通过将CAD设计/CAE分析所需要的图形工作站、高性能计算资源、高性能存储以及所需要的CAD/CAE软件都部署在云端,而地端用户只需要一台普通的终端电脑,无需安装专业的CAD设计软件和CAE分析软件,也无需强大的图形处理功能,仅通过网络,在网络浏览器上选择自己的应用即可进行相应的设计,或者提交计算到高性能计算服务器进行分析。具体部署方案见图2所示:
 
[CAD/CAE在云计算平台上的部署方案]  
 
131108096881581372_new.jpg


图2 CAD/CAE在云计算平台上的部署方案
 
    3.2 CAD/CAE在云计算平台上工作的基本原理
 
    CAD/CAE云计算平台的基本原理是通过在云端的图形服务器上,图像被优化压缩后通过网络传输到一个或多个远程客户端,而地端用户只需要通过移动鼠标和敲击键盘把相应指令发送到云端的图形服务器上,云端的图形服务器接收相应指令后通过解析用户的这些行为,将合适的图像数据送给用户,具体流程见图3所示。图像数据优化处理后传输规模变小,就无需将整个模型送到地端客户机,从而降低了对地端客户机的可视化资源的要求,在地端客户在使用过程中,其速度等同或接近图形服务器端的速度,而且经过优化的图像传输占用的网络带宽远远小于模型数据传输的带宽。
 
[云端和地端数据交互流程]  
 
131108097251118988_new.jpg

 图3 云端和地端数据交互流程
 
    3.3 CAD/CAE在云计算平台上的工作流程
 
    因为云计算平台的所有应用软件和管理软件都集中部署在该平台上,即专业的CAD设计软件和CAE前后处理软件都只安装在云端有限的几台图形工作站上,而地端客户机上没有任何软件,因此CAD/CAE设计分析人员可以通过任意一台普通的PC甚至笔记本电脑通过网络远程参与到CAD/CAE设计分析过程中,通过在web界面选择相应的CAD/CAE设计分析软件后,即可进行CAD设计和CAE分析,整个过程中的所有数据都产生在云端工作站上。
 
    这样CAE分析流程就可以简化为以下三个步骤:
 
    1、前处理:在本地普通的桌面环境下,远程利用云端机房内的图形服务节点,进行网格剖分、边界和初始条件的设置,产生的计算输入文件直接存放在集中的存储上;
 
    2、核心计算:在云端图形服务器上直接提交计算任务到高性能计算服务器或者集群,高性能计算服务器或者计算集群节点直接从集中的存储上读取数据,运算完毕后直接将结果数据保存在集中存储上;
 
    3、后处理:在本地普通的桌面环境下,远程利用云端机房内的图形服务节点,直接从集中存储上读取数据,进行后处理分析。
 
    3.4 云计算平台的优点
 
    CAD/CAE设计分析软件在云计算平台上的应用有以下优势:
 
    1)使用简单方便、性能提高
 
    CAD/CAE软硬件资源集中部署在云工作站服务器上,工程师不需要在本地安装任何CAD/CAE软件,只要网络是通的,仅仅通过Web浏览器,即可随时随地在云平台中使用CAD/CAE软件进行工作,而且因为模型数据和结果都在云工作站中,因此避免了数据的远程传输,从而大大节约了分析时间。
 
    2)集中管理、统一配置、使用安全
 
    因为所有数据和应用程序都集中在云工作站服务器上,管理员足不出户就可对所有客户端和应用进行统一管理和维护。另外,因为用户终端传递的只是最终运行的图像,因此,即使终端受损或是丢失,企业的应用数据也不会丢失从而增加了数据的安全性。
 
    3)节约成本、节能减排
 
    云工作平台的软硬件资源共享使用,减少了软硬件的投入,用户客户端为一般的瘦客户机就可以满足要求,大大延长了使用周期,间接降低了电子垃圾的产生数量。而且因为瘦终端功耗很低,同时,云工作站服务器的资源利用率又很高,因此也可以达到节省成本,节能减排的目的。
 
    4)多部门用户之间的软件安全隔离
 
    针对不同部门使用软件的不同,授予其不同的应用软件的访问权限,从而不会造成资源浪费。
 
    3.5 云计算平台的缺点
 
    目前,云计算还是一项发展中的技术,在很多行业中还没有得到大规模地应用,所以在推广云计算平台时还需要考虑以下一些问题:
 
    1)初期投入成本较高
 
    在使用云计算平台初期,涉及到高配置的云工作站服务器、共享集群存储系统、云端网络以及云平台软件等方面的购置,因此需要投入大量的资金。
 
    2)计算量过大服务器易发生崩溃、影响正常工作
 
    对于CAE软件来说,可以在虚拟化桌面上进行前后处理操作,但是如果要在进行计算操作,必须要连接专业的高性能计算服务器才行,否则当计算量很大时会使服务器发生崩溃,甚至瘫痪,从而导致所有账户均不可用,影响正常工作。
 
    3)云工作站服务器风险增大。
 
    应用云计算平台后,可以有效地解决客户端的安全问题,但是企业的核心数据资源存储转换到云工作站服务器上,云工作站服务器的安全风险必然增大。
 
    4)对网络带宽有一定要求
 
    在工作时间,由于用户同时使用云客户端办公,通过网络与服务器进行数据交换,所以应用云计算平台对网络有着较高的要求。
 
    5)使用习惯问题
 
    由于云计算平台界面与传统的PC界面存在较大差异,因此,用户在界面使用习惯上需要有一个熟悉的过程。
 
    四、CAD/CAE在云计算平台上推广应用的建议
 
    因为云计算平台存在利弊因素,所以企业在推广云计算平台之前,需要参考以下几点建议:
 
    1)先采用部门试点的方式,待试点使用云计算平台成熟后再推广到整个公司乃至整个企业;
 
    2)对于企业中一些资源比较有限的单机版软件可以安装在云计算平台上使其浮动起来,以便充分利用软件资源;
 
    3)动态调配云工作站服务器的内存资源,以提高资源利用率。
 
    五、总结
 
    云计算平台作为未来IT架构的发展趋势,将会在未来几年在各行各业得到广泛应用,瘦客户机将逐步取代传统PC成为新的终端形式,从而有效提高企业数据的安全性,降低运维成本。因此企业需基于自身的特点,充分认识云计算平台的优缺点,因地制宜地开展云计算平台部署及应用
 
来源:网络
1156 浏览

智能制造的十大核心技术

机械自动化类 乐淘淘 2016-06-17 15:45 发表了文章 来自相关话题

所谓智能制造(Intelligent Manufacturing,IM)是指由智能机器和人类专家共同组成的人机一体化智能系统,它在制造过程中能进行智能活动,诸如分析、推理、判断、构思和决策等,通过人与人、人与机器、机器与机器之间的协同,去扩大、延伸和部分地取代人类专家在制造过程中的脑力劳动。







智能制造是机械化、自动化和信息化应用到成熟阶段的必然产物。智能制造使得企业的竞争要素发生根本性的变化,由之前的材料、能源两种资源为核心转变为材料、能源和信息三种资源为核心的竞争,从而产生了两种生产力,即以传统的材料和能源为代表的工业生产力和以信息为代表的信息生产力,这三种资源、两种生产力合在一起,形成未来企业竞争的核心。(引自:李翔等,《企业信息化评估与规划之路》








1、赛博物理系统

CPS:即赛博物理系统,Cyber-PhysicalSystems,是一个综合计算、网络和物理环境的多维复杂系统,通过3C(Computing、Communication、Control)技术的有机融合与深度协作,实现大型工程系统的实时感知、动态控制和信息服务,让物理设备具有计算、通信、精确控制、远程协调和自治等五大功能,从而实现虚拟网络世界与现实物理世界的融合。CPS可以将资源、信息、物体以及人紧密联系在一起,从而创造物联网及相关服务,并将生产工厂转变为一个智能环境。

2、人工智能

AI:即人工智能(Artificial Intelligence),它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统。它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。

3、增强现实技术

AR:即增强现实技术,Augmented Reality,它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术,是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉、声音、味道、触觉等信息)通过电脑等科学技术,模拟仿真后再叠加,将虚拟的信息应用到真实世界,被人类感官所感知,从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术,不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来,两种信息相互补充、叠加。增强现实技术包含了多媒体、三维建模、实时视频显示及控制、多传感器溶合、实时跟踪及注册、场景融合等新技术与新手段。

4、基于模型的企业

MBE:即基于模型的企业,Model-BasedEnterprise,是一种制造实体,它采用建模与仿真技术对其设计、制造、产品支持的全部技术的和业务的流程进行彻底的改进、无缝的集成以及战略的管理;利用产品和过程模型来定义、执行、控制和管理企业的全部过程;并采用科学的模拟与分析工具,在产品生命周期(PLM)的每一步做出最佳决策,从根本上减少产品创新、开发、制造和支持的时间和成本。

5、物联网

IoT:即物联网,InternetofThings,物联网就是物物相连的互联网,指通过各种信息传感设备,实时采集任何需要监控、连接、互动的物体或过程等各种需要的信息,与互联网结合形成的一个巨大网络。其目的是实现物与物、物与人,所有的物品与网络的连接,方便识别、管理和控制。






6、云计算

CC:即云计算,Cloud Computing,是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。

7、工业大数据

IBD,即工业大数据,IndustrialBig Data,是将大数据理念应用于工业领域,为使将设备数据、活动数据、环境数据、服务数据、经营数据、市场数据和上下游产业链数据等原本孤立、海量、多样性的数据相互连接,实现人与人、物与物、人与物之间的连接,尤其是实现终端用户与制造、服务过程的连接,通过新的处理模式,根据业务场景对时实性的要求,实现数据、信息与知识的相互转换,使其具有更强的决策力、洞察发现力和流程优化能力。

相比其他领域的大数据,工业大数据具有更强的专业性、关联性、流程性、时序性和解析性等特点。

(说明,因为对工业大数据尚未有成熟的定义,本定义是根据自己的理解,在综合Gartner、IBM等对大数据的定义及李杰教授《工业大数据》一书的理解,形成本定义,希望各位批评指正)

8、预测与健康管理

PHM,即预测与健康管理,Prognostics andHealth Management,是综合利用现代信息技术、人工智能技术的最新研究成果而提出的一种全新的管理健康状态的解决方案。一般而言,PHM系统主要有六个部分构成:数据采集、信息归纳处理、状态监测、健康评估、故障预测决策、保障决策。

9、混合制造

将3D打印(增材制造)技术与铣削加工(减材制造)技术有机的结合起来,形成一种新型的制造模式。通过混合制造可以有效借助增材制造的优势实现全新几何形状的加工,同时使增材制造技术不再只限于加工小型工件,加工效率也大幅得以提升。

10、工厂信息安全

工厂信息安全是将信息安全理念应用与工业领域,实现对工厂及产品使用维护环节所涵盖的系统及终端进行安全防护。所涉及的终端设备及系统包括工业以太网、数据采集与监控(SCADA)、分布式控制系统(DCS)、过程控制系统(PCS)、可编程逻辑控制器(PLC)、远程监控系统等网络设备及工业控制系统的运行安全,确保工业以太网及工业系统不被未经授权的访问、使用、泄露、中断、修改和破坏,为企业正常生产和产品正常使用提供信息服务。

(说明,随着智能制造不断深入,针对工业领域的信息安全将面临全新的挑战,对工厂信息安全尚未有成熟的定义,本定义是根据自己的理解结合信息安全的特点,而形成本定义,希望各位批评指正)

这些技术有些已经成熟,并进入实用阶段;有的理论已初步完善,处于攻关开发阶段;有的还处于理论探讨阶段。总之,伴随智能制造不断的深入,将会有更多的新技术不断涌现。
来源:网络。
想了解更多资讯,请点击:http://bbs.imefuture.com/article  
微信号:IMEfuture,二维码:





  查看全部
所谓智能制造(Intelligent Manufacturing,IM)是指由智能机器和人类专家共同组成的人机一体化智能系统,它在制造过程中能进行智能活动,诸如分析、推理、判断、构思和决策等,通过人与人、人与机器、机器与机器之间的协同,去扩大、延伸和部分地取代人类专家在制造过程中的脑力劳动。

Industry4.0_.jpg



智能制造是机械化、自动化和信息化应用到成熟阶段的必然产物。智能制造使得企业的竞争要素发生根本性的变化,由之前的材料、能源两种资源为核心转变为材料、能源和信息三种资源为核心的竞争,从而产生了两种生产力,即以传统的材料和能源为代表的工业生产力和以信息为代表的信息生产力,这三种资源、两种生产力合在一起,形成未来企业竞争的核心。(引自:李翔等,《企业信息化评估与规划之路》


智能工厂1.jpg



1、赛博物理系统

CPS:即赛博物理系统,Cyber-PhysicalSystems,是一个综合计算、网络和物理环境的多维复杂系统,通过3C(Computing、Communication、Control)技术的有机融合与深度协作,实现大型工程系统的实时感知、动态控制和信息服务,让物理设备具有计算、通信、精确控制、远程协调和自治等五大功能,从而实现虚拟网络世界与现实物理世界的融合。CPS可以将资源、信息、物体以及人紧密联系在一起,从而创造物联网及相关服务,并将生产工厂转变为一个智能环境。

2、人工智能

AI:即人工智能(Artificial Intelligence),它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统。它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。

3、增强现实技术

AR:即增强现实技术,Augmented Reality,它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术,是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉、声音、味道、触觉等信息)通过电脑等科学技术,模拟仿真后再叠加,将虚拟的信息应用到真实世界,被人类感官所感知,从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术,不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来,两种信息相互补充、叠加。增强现实技术包含了多媒体、三维建模、实时视频显示及控制、多传感器溶合、实时跟踪及注册、场景融合等新技术与新手段。

4、基于模型的企业

MBE:即基于模型的企业,Model-BasedEnterprise,是一种制造实体,它采用建模与仿真技术对其设计、制造、产品支持的全部技术的和业务的流程进行彻底的改进、无缝的集成以及战略的管理;利用产品和过程模型来定义、执行、控制和管理企业的全部过程;并采用科学的模拟与分析工具,在产品生命周期(PLM)的每一步做出最佳决策,从根本上减少产品创新、开发、制造和支持的时间和成本。

5、物联网

IoT:即物联网,InternetofThings,物联网就是物物相连的互联网,指通过各种信息传感设备,实时采集任何需要监控、连接、互动的物体或过程等各种需要的信息,与互联网结合形成的一个巨大网络。其目的是实现物与物、物与人,所有的物品与网络的连接,方便识别、管理和控制。

物联网.jpg


6、云计算

CC:即云计算,Cloud Computing,是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。

7、工业大数据

IBD,即工业大数据,IndustrialBig Data,是将大数据理念应用于工业领域,为使将设备数据、活动数据、环境数据、服务数据、经营数据、市场数据和上下游产业链数据等原本孤立、海量、多样性的数据相互连接,实现人与人、物与物、人与物之间的连接,尤其是实现终端用户与制造、服务过程的连接,通过新的处理模式,根据业务场景对时实性的要求,实现数据、信息与知识的相互转换,使其具有更强的决策力、洞察发现力和流程优化能力。

相比其他领域的大数据,工业大数据具有更强的专业性、关联性、流程性、时序性和解析性等特点。

(说明,因为对工业大数据尚未有成熟的定义,本定义是根据自己的理解,在综合Gartner、IBM等对大数据的定义及李杰教授《工业大数据》一书的理解,形成本定义,希望各位批评指正)

8、预测与健康管理

PHM,即预测与健康管理,Prognostics andHealth Management,是综合利用现代信息技术、人工智能技术的最新研究成果而提出的一种全新的管理健康状态的解决方案。一般而言,PHM系统主要有六个部分构成:数据采集、信息归纳处理、状态监测、健康评估、故障预测决策、保障决策。

9、混合制造

将3D打印(增材制造)技术与铣削加工(减材制造)技术有机的结合起来,形成一种新型的制造模式。通过混合制造可以有效借助增材制造的优势实现全新几何形状的加工,同时使增材制造技术不再只限于加工小型工件,加工效率也大幅得以提升。

10、工厂信息安全

工厂信息安全是将信息安全理念应用与工业领域,实现对工厂及产品使用维护环节所涵盖的系统及终端进行安全防护。所涉及的终端设备及系统包括工业以太网、数据采集与监控(SCADA)、分布式控制系统(DCS)、过程控制系统(PCS)、可编程逻辑控制器(PLC)、远程监控系统等网络设备及工业控制系统的运行安全,确保工业以太网及工业系统不被未经授权的访问、使用、泄露、中断、修改和破坏,为企业正常生产和产品正常使用提供信息服务。

(说明,随着智能制造不断深入,针对工业领域的信息安全将面临全新的挑战,对工厂信息安全尚未有成熟的定义,本定义是根据自己的理解结合信息安全的特点,而形成本定义,希望各位批评指正)

这些技术有些已经成熟,并进入实用阶段;有的理论已初步完善,处于攻关开发阶段;有的还处于理论探讨阶段。总之,伴随智能制造不断的深入,将会有更多的新技术不断涌现。
来源:网络。
想了解更多资讯,请点击:http://bbs.imefuture.com/article  
微信号:IMEfuture,二维码:

IME二维码.jpg

 
840 浏览

工业云计算在中国的发展与趋势

机械自动化类 乌龟大师 2016-06-01 16:46 发表了文章 来自相关话题

   云计算、大数据将成为未来10年乃至更长时间新一代信息技术和产业的关键和核心,其和移动互联网、物联网等其他新一代信息技术一起正驱动互联网向传统工业制造业渗透,推动互联网企业和传统工业企业融合发展,并作为现代服务业的有机组成部分,不断与新业务形态、新商业模式互动融合,催生新产品、新技术、新模式。未来,产业中各行业边界将逐渐模糊,全新的工业经济发展模式正在到来。
工业云催生工业经济新业态
云计算、大数据、物联网等技术的集成应用,推动了新型制造模式的产生与发展,也进一步加速了工业企业销售模式的变革,催生了社交营销、O2O(Online to Offline)、智能物流、互联网金融、移动电子商务等生产性互联网新兴服务业态,是推动区域产业结构优化调整的重要引擎。
工业云通常指基于云计算架构的工业云平台和基于工业云平台提供的工业云服务,涉及产品研发设计、实验和仿真、工程计算、工艺设计、加工制造及运营管理等诸多环节。工业云服务常见的方式有工业SaaS(Software as a Service)云服务、工业IaaS(Infrastructure as a Service)云服务、工业PaaS(Platform as a Service)云服务等方式。工业云基于云计算技术架构,使工业设计和制造、生产运营管理等工具大众化、简洁化、透明化,通过工业云计算服务,可大幅提升工业企业全要素劳动生产率。
基于工业云服务,用户一方面可以获得云化的工业设计、加工工艺分析、装配工艺分析、模具设计、机械零部件设计与性能分析、电磁场模拟等服务,从而大幅缩短产品升级换代周期、降低设计与制造成本、提高产品性能;另一方面,工业企业的订单管理、主生产计划、备料等诸多环节均可依托工业云平台的ERP(企业资源计划)、DMS(经销商管理系统)、PLM(产品生命周期管理)等企业管理工具来提升管理效能;同时,用户也可基于工业云服务平台对生产设计、企业经营管理及用户交互中各种数据进行充分挖掘,利用大数据为企业研发、生产、营销、交易、服务等活动提供服务。
工业与互联网融合旨在加速工业转型升级和提质增效,变革传统工业生产运营方式,创造出更大的价值,这就需要以云计算、大数据辅助工业企业创新其研发、生产、运营、营销、服务和管理方式。当前,基于云计算平台的工业设计、虚拟装配、精准营销配送、精准广告推送等模式已成为企业发展的新趋势,可以说,工业云计算服务、工业大数据服务已成为推动互联网与工业融合发展的主要支撑手段,并与企业技术研发、流程管理以及生产经营等方面紧密融合,塑造企业发展新模式、催生工业经济新业态。
全国各地积极建设工业云计算平台
2009年9月,北京市计算中心开始工业云实践,打造工业云计算服务平台(http://www.industrycloud.com.cn),基于其200万亿次高性能工业云计算服务平台,能够以SaaS云服务方式提供CAD(计算机辅助设计)、CAM(计算机辅助制造)、CAPP(计算机辅助工艺设计)、CAE(计算机辅助工程设计)、PLM(产品全生命周期管理)等所需要的工具和管理软件服务,还能够为中小企业提供丰富的设计制造资源和3D打印等工程服务,截止到2015年,该平台已经服务近十万户,广泛应用于工业设计、虚拟制造、动漫渲染等诸多领域。
2013年以来,国家出台了一系列政策鼓励工业云的发展,《国务院关于积极推进“互联网+”行动的指导意见》、《国务院关于大力推进大众创业万众创新若干政策措施的意见》、《中国制造2025》、《信息化和工业化深度融合专项行动计划(2013-2018年)》等文件均把推动工业云的发展作为推动两化深度融合和“互联网+”的重要抓手。2013年,工业和信息化部确定北京、天津、河北、内蒙、黑龙江、上海、江苏、浙江、山东、河南、湖北、广东、重庆、贵州、青海、宁夏等16个省市开展首批工业云创新服务试点,基于互联网、云计算、物联网、大数据等新一代信息技术,建设工业云服务平台,聚集和共享制造资源和创新资源,推进制造需求和社会化制造资源的高质高效对接,探索制造业领域的共享经济新模式。
在上述工业云创新服务试点中,天津市主要依托天津超算中心建立了天津滨海工业云平台(http://www.tjbh-icloud.cn);内蒙古采用“1+N+N”服务模式(即一个平台、多种应用服务、多种专业资源服务)打造包头两化融合暨工业云创新服务平台(http://www.btlhrhpt.com);黑龙江工业云平台(http://www.hljgyy.com)包括工业云设计、工业云存储等应用;河南工业云平台(http://www.gyyhn.com)主要由设计云、服务云、管理云组成;山东工业云创新服务平台(http://www.ind-cloud.com)依托山东超算中心,主要提供设计云、管理云、商务云、物联服务云、知识云及数据云等服务;江苏工业云平台(http://www.gyycloud.com)主要提供面向汽车行业的数字化设计仿真等云服务;上海工业云公共服务平台(http://www.shicloud.org)面向钢铁、汽车、民用航空、机电设备四大重点产业和研发、管理、设备、能源、物流、商务等六大重点领域,为企业提供SaaS云、IaaS云服务;广东工业云平台(http://www.gdcloud.org)主要提供政务云、云桌面、工业软件云、培训云、检测云、电商云等云计算服务;重庆工业云平台(http://cq.caxa.com)包括工业设计云、企业采购云和工业金融云等三大云服务平台。
据不完全统计,16个工业云平台注册用户数超过1500万,企业用户数超过20万,提供软件工具和软件服务超过3000个,模型、图纸、手册等技术资源超过4万个,培训视频超过7500部。上述工业云平台在驱动当地工业经济发展中均发挥了重要作用,以贵州工业云(http://gz-icloud.com.cn)为例,贵州工业云提供260个云应用,服务企业用户达15998家,基于工业云服务,2015年实现重点行业数字化研发设计工具普及率达到40.5%,比2014年提高4.8个百分点,传统企业电商覆盖率达到35.3%,比2014年提高5个百分点。预期2016年,在贵州工业云的推动下,重点行业数字化研发设计工具普及率将达到45%以上,传统工业企业电商化覆盖率将达到40%以上。
当前各地工业云计算平台的建设和发展,从总体来看,对推动区域经济体产业发展起到积极的效果,取得不错的成绩,但也存在若干问题,主要有以下几个方面:从平台建设来看,大部分工业云平台的建设没有和区域经济体资源禀赋以及主导产业优势相结合,部分区域在建设工业云服务平台中也没有结合当地已有的公共计算服务平台资源,造成重复投资、资源闲置等问题;从平台服务来看,大部分工业云平台以提供工业SaaS云服务为主,存在服务内容同质化、服务标准不统一、用户数据安全保障不到位等问题,同时工业云服务也没有和工业大数据服务融合起来;从商业模式来看,当前大部分工业云平台的运营主要以政府投资为主,面临盈利困难等运营压力,如何进一步加大工业云平台的推广和使用,创新商业模式,引入成熟的市场化发展机制,让更多的用户能透明化访问和使用工业云计算平台,值得深入探索。
推动工业云下一步发展
结合前期工业云计算服务创新试点的实践,需从如下几个方面进一步促进工业云计算平台的发展:
大力开发大规模工业应用软件,发展工业PaaS云应用
当前全国各地建设的工业云计算服务平台,大多数以提供SaaS工业云服务为主,但目前大部分大规模工业应用软件并不支持云计算架构。在科学与工程计算领域,软件市场长期完全由国外软件垄断,版权费用非常昂贵,且并行规模还受限制,这些工业应用软件大多发展于半个世纪前,软件框架未能考虑现在及未来的超大规模计算需求,特别是前处理部分,已被证明是阻碍大规模计算发展的严重瓶颈。构建工业云计算服务平台迫切需要高水平的自主开发的面向云计算体系架构的大规模并行应用软件。
当前大部分工业PaaS云服务和商业模式还处于摸索阶段,还存在很多缺陷和不足,而恰恰PaaS对提升传统产业的创新能力意义深远,因为当前制约传统产业创新能力的很大一方面就是缺少必要的创新工具、创新平台以及专业的创新团队,云计算中心以透明化方式提供行业应用PaaS服务将有效解决这一问题,尤其在传统制造业方面,但传统制造业的PaaS平台研制还面临诸多问题,如制造行业的细分问题,制造业非常庞大,如何选择细分的制造领域入手?如何提供透明化的PaaS API接口供制造业用户调用?这些都是问题,解决了这些问题,云计算对产业的拉动和潜力才能完全得到释放。工业云在未来的发展中,需更多地以建设工业PaaS云服务平台为主,包括建设面向工艺和面向行业的PaaS云,如磨削云、切削云、焊接云、精加工云、服装云等。
工业云和工业大数据需进一步融合发展
工业云旨在解决中小型工业企业在提升创新能力时往往要面临的工业计算软件及平台搭建、计算机建模和仿真、高端研发人员的培养等诸多问题,基于工业云服务,工业用户可进行快速有效的仿真模拟,降低设计与制造成本、提高原料的利用率、从而大幅缩短企业产品升级换代周期、提高产品性能、提升企业信息化能力、大幅提升工业企业的自主创新效率,并推动企业核心竞争优势的提升。
工业大数据基于云计算、物联网、移动互联网、海量数据挖掘等新一代信息技术推动大数据在工业研发设计、生产制造、经营管理、市场营销、售后服务等产品全生命周期、产业链全流程各环节的应用,并与智能机床、机器人、3D打印等技术结合,推动了柔性制造、智能制造和网络制造的发展;工业大数据与智能物流、电子商务的联动,也进一步加速了工业企业销售模式的变革,如精准营销配送、精准广告推送等。
工业云和工业大数据均以辅助工业企业创新其研发、生产、运营、服务和管理方式推动互联网与工业融合发展,成为当前经济新常态下,加速工业转型升级和提质增效的重要手段。工业云和工业大数据,二者你中有我,我中有你,均基于工业云计算服务平台进行海量数据的存储、数据挖掘和可视化呈现,工业云是工业大数据的平台和支撑手段,工业大数据则拓展了工业云的服务范畴,二者未来将进一步融合发展,推动互联网由以服务个人用户消费为主向服务生产性应用为主,由此导致产业模式、制造模式和商业模式的重塑。
工业云(大数据)建设需进一步结合区域资源禀赋和主导产业特征
当前,工业云(大数据)应用服务的供给和需求存在阶段性结构性矛盾。一方面工业云计算服务、工业大数据服务有着广泛的需求;另一方面,部分工业云(大数据)服务平台却存在用户不足、资源闲置等情况。以上问题产生的原因主要有两点,一是当前大部分工业云服务同质化严重,大部分工业云平台缺乏与当地主导产业紧密耦合的服务设计,接地气不足;二是工业云作为相关技术、平台和交易模式的集成创新,其发展受制于商业模式的简洁性、效益的可预期性。当前已建成的工业云平台其安全性、服务的易获得性都有很大的提升空间,大部分还是政府资助在运营,需尽快走出一条商业化运营的可行模式。
在未来的工业云建设运营中,需进一步紧密结合区域经济体的资源禀赋和主导产业特征,要结合区域产业的集群性、产业的比较优势和产业的关联优势,因地制宜地建设工业云平台、设计工业云服务,只有这样,才能让工业云成为推动当地工业经济发展的“润滑剂”和“催化剂”。
依托大规模超算中心,构建区域工业云(大数据)创新服务中心
工业云的发展最终将采取“垂直工业云服务”模式,采用“大规模计算平台+大规模工业设备+领域专家团队+主导产业创新服务”的垂直创新模式,基于区域经济体资源禀赋和产业优势建立区域级工业云服务平台(也即工业云创新服务中心)。从美国等发达国家来看,依托云计算等新一代信息技术,建设先进制造创新中心并形成国家制造业创新网络,也是美国先进制造战略的重大举措。区域级工业云创新服务中心将成为未来区域经济体新技术的主要供给者、产业发展的重要催化剂。通过工业云创新服务中心,可进一步提升区域经济体主导产业的核心竞争力,并通过其渗透和扩散性,培育新经济增长点。
在建设区域工业云创新服务中心时,要依托大规模超级计算中心打造工业云(大数据)平台。超算中心是为工业、商业、政府决策支持等领域的计算密集型应用和数据密集型应用提供快速、精确处理能力的数据平台,与云计算中心相比,其服务的本质都是提供计算服务能力和数据处理服务能力。千万亿次以下的超算中心在我国已建成很多,在2015年11月发布的中国最快性能超级计算机TOP100排行榜上,入榜的超级计算机每秒浮点运算性能全部超过300万亿次。2015年11月发布的全球最快性能超级计算机TOP500排行榜中,全球21.8%的最快性能超级计算机(共109台)安装在中国,居世界第二。当前我国拥有千万亿次以上计算能力的超算中心有10家以上,如:广州超算中心、天津超算中心、深圳超算中心、济南超算中心、长沙超算中心等等。预期到2017年我国将有15家以上千万亿次规模的超级计算中心。虽然广州超算中心的“天河2号”超级计算机在去年11月发布的全球最快性能超级计算机TOP500排行榜上以每秒33.86千万亿次的浮点运算速度第六次夺冠,但我国超级计算的发展依然面临缺乏统一的规划和功能定位、交叉领域的专业技术团队严重缺失、行业应用软件依赖国外严重、超级计算机应用效率低下等问题。如何规划和高效利用大规模超算中心,让其渗透和扩散到行业创新的方方面面,是当前需高度重视的问题。
随着虚拟化技术的发展、通信延迟的降低以及高性能计算应用类型和需求的多样性、广泛性,高性能计算云(High-performance Computing Cloud)以其较小的性能开销、灵活自主的管理服务模式逐渐成为超级计算的主流服务模式。以云计算的理念运营超级计算中心是一个重要的发展趋势。2015年10月,美国发布《美国创新战略》,该战略明确提出需保持美国在高性能计算领域的领先地位,政府机构将与计算机生产商和云供应商合作,令高性能计算资源更容易为人们所获得。在工业云未来的发展中,需进一步依托大规模超级计算中心建设区域工业云(大数据)创新服务中心,一方面,能基于云计算方式有效整合当前闲置的大规模超级计算中心资源;另一方面,也能够提供工业应用重大工程问题求解能力和大规模海量数据挖掘能力的支撑,并能承载培养和储备跨学科交叉领域高端专业人才的重任。
产业结构的调整优化和经济效率的提升是当下推动我国经济发展的本质。工业云和工业大数据,作为生产性服务业,其本质是基于技术创新,通过生产要素使用效率的提升来提高资源配置的效率,从而推动工业企业全要素生产率的提升,也即工业经济效率的提升。发展工业云(大数据)服务,是发展现代服务业,推动我国区域经济结构调整,提升我国产业结构高度的有效手段。
文章来源:网络
更多智道分享文章链接:http://bbs.imefuture.com/article/
  查看全部

   云计算、大数据将成为未来10年乃至更长时间新一代信息技术和产业的关键和核心,其和移动互联网、物联网等其他新一代信息技术一起正驱动互联网向传统工业制造业渗透,推动互联网企业和传统工业企业融合发展,并作为现代服务业的有机组成部分,不断与新业务形态、新商业模式互动融合,催生新产品、新技术、新模式。未来,产业中各行业边界将逐渐模糊,全新的工业经济发展模式正在到来。
工业云催生工业经济新业态
云计算、大数据、物联网等技术的集成应用,推动了新型制造模式的产生与发展,也进一步加速了工业企业销售模式的变革,催生了社交营销、O2O(Online to Offline)、智能物流、互联网金融、移动电子商务等生产性互联网新兴服务业态,是推动区域产业结构优化调整的重要引擎。
工业云通常指基于云计算架构的工业云平台和基于工业云平台提供的工业云服务,涉及产品研发设计、实验和仿真、工程计算、工艺设计、加工制造及运营管理等诸多环节。工业云服务常见的方式有工业SaaS(Software as a Service)云服务、工业IaaS(Infrastructure as a Service)云服务、工业PaaS(Platform as a Service)云服务等方式。工业云基于云计算技术架构,使工业设计和制造、生产运营管理等工具大众化、简洁化、透明化,通过工业云计算服务,可大幅提升工业企业全要素劳动生产率。
基于工业云服务,用户一方面可以获得云化的工业设计、加工工艺分析、装配工艺分析、模具设计、机械零部件设计与性能分析、电磁场模拟等服务,从而大幅缩短产品升级换代周期、降低设计与制造成本、提高产品性能;另一方面,工业企业的订单管理、主生产计划、备料等诸多环节均可依托工业云平台的ERP(企业资源计划)、DMS(经销商管理系统)、PLM(产品生命周期管理)等企业管理工具来提升管理效能;同时,用户也可基于工业云服务平台对生产设计、企业经营管理及用户交互中各种数据进行充分挖掘,利用大数据为企业研发、生产、营销、交易、服务等活动提供服务。
工业与互联网融合旨在加速工业转型升级和提质增效,变革传统工业生产运营方式,创造出更大的价值,这就需要以云计算、大数据辅助工业企业创新其研发、生产、运营、营销、服务和管理方式。当前,基于云计算平台的工业设计、虚拟装配、精准营销配送、精准广告推送等模式已成为企业发展的新趋势,可以说,工业云计算服务、工业大数据服务已成为推动互联网与工业融合发展的主要支撑手段,并与企业技术研发、流程管理以及生产经营等方面紧密融合,塑造企业发展新模式、催生工业经济新业态。
全国各地积极建设工业云计算平台
2009年9月,北京市计算中心开始工业云实践,打造工业云计算服务平台(http://www.industrycloud.com.cn),基于其200万亿次高性能工业云计算服务平台,能够以SaaS云服务方式提供CAD(计算机辅助设计)、CAM(计算机辅助制造)、CAPP(计算机辅助工艺设计)、CAE(计算机辅助工程设计)、PLM(产品全生命周期管理)等所需要的工具和管理软件服务,还能够为中小企业提供丰富的设计制造资源和3D打印等工程服务,截止到2015年,该平台已经服务近十万户,广泛应用于工业设计、虚拟制造、动漫渲染等诸多领域。
2013年以来,国家出台了一系列政策鼓励工业云的发展,《国务院关于积极推进“互联网+”行动的指导意见》、《国务院关于大力推进大众创业万众创新若干政策措施的意见》、《中国制造2025》、《信息化和工业化深度融合专项行动计划(2013-2018年)》等文件均把推动工业云的发展作为推动两化深度融合和“互联网+”的重要抓手。2013年,工业和信息化部确定北京、天津、河北、内蒙、黑龙江、上海、江苏、浙江、山东、河南、湖北、广东、重庆、贵州、青海、宁夏等16个省市开展首批工业云创新服务试点,基于互联网、云计算、物联网、大数据等新一代信息技术,建设工业云服务平台,聚集和共享制造资源和创新资源,推进制造需求和社会化制造资源的高质高效对接,探索制造业领域的共享经济新模式。
在上述工业云创新服务试点中,天津市主要依托天津超算中心建立了天津滨海工业云平台(http://www.tjbh-icloud.cn);内蒙古采用“1+N+N”服务模式(即一个平台、多种应用服务、多种专业资源服务)打造包头两化融合暨工业云创新服务平台(http://www.btlhrhpt.com);黑龙江工业云平台(http://www.hljgyy.com)包括工业云设计、工业云存储等应用;河南工业云平台(http://www.gyyhn.com)主要由设计云、服务云、管理云组成;山东工业云创新服务平台(http://www.ind-cloud.com)依托山东超算中心,主要提供设计云、管理云、商务云、物联服务云、知识云及数据云等服务;江苏工业云平台(http://www.gyycloud.com)主要提供面向汽车行业的数字化设计仿真等云服务;上海工业云公共服务平台(http://www.shicloud.org)面向钢铁、汽车、民用航空、机电设备四大重点产业和研发、管理、设备、能源、物流、商务等六大重点领域,为企业提供SaaS云、IaaS云服务;广东工业云平台(http://www.gdcloud.org)主要提供政务云、云桌面、工业软件云、培训云、检测云、电商云等云计算服务;重庆工业云平台(http://cq.caxa.com)包括工业设计云、企业采购云和工业金融云等三大云服务平台。
据不完全统计,16个工业云平台注册用户数超过1500万,企业用户数超过20万,提供软件工具和软件服务超过3000个,模型、图纸、手册等技术资源超过4万个,培训视频超过7500部。上述工业云平台在驱动当地工业经济发展中均发挥了重要作用,以贵州工业云(http://gz-icloud.com.cn)为例,贵州工业云提供260个云应用,服务企业用户达15998家,基于工业云服务,2015年实现重点行业数字化研发设计工具普及率达到40.5%,比2014年提高4.8个百分点,传统企业电商覆盖率达到35.3%,比2014年提高5个百分点。预期2016年,在贵州工业云的推动下,重点行业数字化研发设计工具普及率将达到45%以上,传统工业企业电商化覆盖率将达到40%以上。
当前各地工业云计算平台的建设和发展,从总体来看,对推动区域经济体产业发展起到积极的效果,取得不错的成绩,但也存在若干问题,主要有以下几个方面:从平台建设来看,大部分工业云平台的建设没有和区域经济体资源禀赋以及主导产业优势相结合,部分区域在建设工业云服务平台中也没有结合当地已有的公共计算服务平台资源,造成重复投资、资源闲置等问题;从平台服务来看,大部分工业云平台以提供工业SaaS云服务为主,存在服务内容同质化、服务标准不统一、用户数据安全保障不到位等问题,同时工业云服务也没有和工业大数据服务融合起来;从商业模式来看,当前大部分工业云平台的运营主要以政府投资为主,面临盈利困难等运营压力,如何进一步加大工业云平台的推广和使用,创新商业模式,引入成熟的市场化发展机制,让更多的用户能透明化访问和使用工业云计算平台,值得深入探索。
推动工业云下一步发展
结合前期工业云计算服务创新试点的实践,需从如下几个方面进一步促进工业云计算平台的发展:
大力开发大规模工业应用软件,发展工业PaaS云应用
当前全国各地建设的工业云计算服务平台,大多数以提供SaaS工业云服务为主,但目前大部分大规模工业应用软件并不支持云计算架构。在科学与工程计算领域,软件市场长期完全由国外软件垄断,版权费用非常昂贵,且并行规模还受限制,这些工业应用软件大多发展于半个世纪前,软件框架未能考虑现在及未来的超大规模计算需求,特别是前处理部分,已被证明是阻碍大规模计算发展的严重瓶颈。构建工业云计算服务平台迫切需要高水平的自主开发的面向云计算体系架构的大规模并行应用软件。
当前大部分工业PaaS云服务和商业模式还处于摸索阶段,还存在很多缺陷和不足,而恰恰PaaS对提升传统产业的创新能力意义深远,因为当前制约传统产业创新能力的很大一方面就是缺少必要的创新工具、创新平台以及专业的创新团队,云计算中心以透明化方式提供行业应用PaaS服务将有效解决这一问题,尤其在传统制造业方面,但传统制造业的PaaS平台研制还面临诸多问题,如制造行业的细分问题,制造业非常庞大,如何选择细分的制造领域入手?如何提供透明化的PaaS API接口供制造业用户调用?这些都是问题,解决了这些问题,云计算对产业的拉动和潜力才能完全得到释放。工业云在未来的发展中,需更多地以建设工业PaaS云服务平台为主,包括建设面向工艺和面向行业的PaaS云,如磨削云、切削云、焊接云、精加工云、服装云等。
工业云和工业大数据需进一步融合发展
工业云旨在解决中小型工业企业在提升创新能力时往往要面临的工业计算软件及平台搭建、计算机建模和仿真、高端研发人员的培养等诸多问题,基于工业云服务,工业用户可进行快速有效的仿真模拟,降低设计与制造成本、提高原料的利用率、从而大幅缩短企业产品升级换代周期、提高产品性能、提升企业信息化能力、大幅提升工业企业的自主创新效率,并推动企业核心竞争优势的提升。
工业大数据基于云计算、物联网、移动互联网、海量数据挖掘等新一代信息技术推动大数据在工业研发设计、生产制造、经营管理、市场营销、售后服务等产品全生命周期、产业链全流程各环节的应用,并与智能机床、机器人、3D打印等技术结合,推动了柔性制造、智能制造和网络制造的发展;工业大数据与智能物流、电子商务的联动,也进一步加速了工业企业销售模式的变革,如精准营销配送、精准广告推送等。
工业云和工业大数据均以辅助工业企业创新其研发、生产、运营、服务和管理方式推动互联网与工业融合发展,成为当前经济新常态下,加速工业转型升级和提质增效的重要手段。工业云和工业大数据,二者你中有我,我中有你,均基于工业云计算服务平台进行海量数据的存储、数据挖掘和可视化呈现,工业云是工业大数据的平台和支撑手段,工业大数据则拓展了工业云的服务范畴,二者未来将进一步融合发展,推动互联网由以服务个人用户消费为主向服务生产性应用为主,由此导致产业模式、制造模式和商业模式的重塑。
工业云(大数据)建设需进一步结合区域资源禀赋和主导产业特征
当前,工业云(大数据)应用服务的供给和需求存在阶段性结构性矛盾。一方面工业云计算服务、工业大数据服务有着广泛的需求;另一方面,部分工业云(大数据)服务平台却存在用户不足、资源闲置等情况。以上问题产生的原因主要有两点,一是当前大部分工业云服务同质化严重,大部分工业云平台缺乏与当地主导产业紧密耦合的服务设计,接地气不足;二是工业云作为相关技术、平台和交易模式的集成创新,其发展受制于商业模式的简洁性、效益的可预期性。当前已建成的工业云平台其安全性、服务的易获得性都有很大的提升空间,大部分还是政府资助在运营,需尽快走出一条商业化运营的可行模式。
在未来的工业云建设运营中,需进一步紧密结合区域经济体的资源禀赋和主导产业特征,要结合区域产业的集群性、产业的比较优势和产业的关联优势,因地制宜地建设工业云平台、设计工业云服务,只有这样,才能让工业云成为推动当地工业经济发展的“润滑剂”和“催化剂”。
依托大规模超算中心,构建区域工业云(大数据)创新服务中心
工业云的发展最终将采取“垂直工业云服务”模式,采用“大规模计算平台+大规模工业设备+领域专家团队+主导产业创新服务”的垂直创新模式,基于区域经济体资源禀赋和产业优势建立区域级工业云服务平台(也即工业云创新服务中心)。从美国等发达国家来看,依托云计算等新一代信息技术,建设先进制造创新中心并形成国家制造业创新网络,也是美国先进制造战略的重大举措。区域级工业云创新服务中心将成为未来区域经济体新技术的主要供给者、产业发展的重要催化剂。通过工业云创新服务中心,可进一步提升区域经济体主导产业的核心竞争力,并通过其渗透和扩散性,培育新经济增长点。
在建设区域工业云创新服务中心时,要依托大规模超级计算中心打造工业云(大数据)平台。超算中心是为工业、商业、政府决策支持等领域的计算密集型应用和数据密集型应用提供快速、精确处理能力的数据平台,与云计算中心相比,其服务的本质都是提供计算服务能力和数据处理服务能力。千万亿次以下的超算中心在我国已建成很多,在2015年11月发布的中国最快性能超级计算机TOP100排行榜上,入榜的超级计算机每秒浮点运算性能全部超过300万亿次。2015年11月发布的全球最快性能超级计算机TOP500排行榜中,全球21.8%的最快性能超级计算机(共109台)安装在中国,居世界第二。当前我国拥有千万亿次以上计算能力的超算中心有10家以上,如:广州超算中心、天津超算中心、深圳超算中心、济南超算中心、长沙超算中心等等。预期到2017年我国将有15家以上千万亿次规模的超级计算中心。虽然广州超算中心的“天河2号”超级计算机在去年11月发布的全球最快性能超级计算机TOP500排行榜上以每秒33.86千万亿次的浮点运算速度第六次夺冠,但我国超级计算的发展依然面临缺乏统一的规划和功能定位、交叉领域的专业技术团队严重缺失、行业应用软件依赖国外严重、超级计算机应用效率低下等问题。如何规划和高效利用大规模超算中心,让其渗透和扩散到行业创新的方方面面,是当前需高度重视的问题。
随着虚拟化技术的发展、通信延迟的降低以及高性能计算应用类型和需求的多样性、广泛性,高性能计算云(High-performance Computing Cloud)以其较小的性能开销、灵活自主的管理服务模式逐渐成为超级计算的主流服务模式。以云计算的理念运营超级计算中心是一个重要的发展趋势。2015年10月,美国发布《美国创新战略》,该战略明确提出需保持美国在高性能计算领域的领先地位,政府机构将与计算机生产商和云供应商合作,令高性能计算资源更容易为人们所获得。在工业云未来的发展中,需进一步依托大规模超级计算中心建设区域工业云(大数据)创新服务中心,一方面,能基于云计算方式有效整合当前闲置的大规模超级计算中心资源;另一方面,也能够提供工业应用重大工程问题求解能力和大规模海量数据挖掘能力的支撑,并能承载培养和储备跨学科交叉领域高端专业人才的重任。
产业结构的调整优化和经济效率的提升是当下推动我国经济发展的本质。工业云和工业大数据,作为生产性服务业,其本质是基于技术创新,通过生产要素使用效率的提升来提高资源配置的效率,从而推动工业企业全要素生产率的提升,也即工业经济效率的提升。发展工业云(大数据)服务,是发展现代服务业,推动我国区域经济结构调整,提升我国产业结构高度的有效手段。
文章来源:网络
更多智道分享文章链接:http://bbs.imefuture.com/article/
 
969 浏览

分享一篇对大数据深度思考的文章

智能科技类 莲心 2016-05-19 17:38 发表了文章 来自相关话题

在写这篇文章之前,我发现身边很多IT人对于这些热门的新技术、新趋势往往趋之若鹜却又很难说的透彻,如果你问他大数据和你有什么关系?估计很少能说出一二三来。究其原因,一是因为大家对新技术有着相同的原始渴求,至少知其然在聊天时不会显得很“土鳖”;二是在工作和生活环境中真正能参与实践大数据的案例实在太少了,所以大家没有必要花时间去知其所以然。我希望有些不一样,所以对该如何去认识大数据进行了一番思索,包括查阅了资料,翻阅了最新的专业书籍,但我并不想把那些零散的资料碎片或不同理解论述简单规整并堆积起来形成毫无价值的转述或评论,我很真诚的希望进入事物探寻本质。

如果你说大数据就是数据大,或者侃侃而谈4个V,也许很有深度的谈到BI或预测的价值,又或者拿Google和Amazon举例,技术流可能会聊起Hadoop和Cloud Computing,不管对错,只是无法勾勒对大数据的整体认识,不说是片面,但至少有些管窥蠡测、隔衣瘙痒了。……也许,“解构”是最好的方法。

怎样结构大数据?

首先,我认为大数据就是互联网发展到现今阶段的一种表象或特征而已,没有必要神话它或对它保持敬畏之心,在以云计算为代表的技术创新大幕的衬托下,这些原本很难收集和使用的数据开始容易被利用起来了,通过各行各业的不断创新,大数据会逐步为人类创造更多的价值。

其次,想要系统的认知大数据,必须要全面而细致的分解它,我着手从三个层面来展开:

第一层面是理论,理论是认知的必经途径,也是被广泛认同和传播的基线。我会从大数据的特征定义理解行业对大数据的整体描绘和定性;从对大数据价值的探讨来深入解析大数据的珍贵所在;从对大数据的现在和未来去洞悉大数据的发展趋势;从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。

第二层面是技术,技术是大数据价值体现的手段和前进的基石。我将分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。

第三层面是实践,实践是大数据的最终价值体现。我将分别从互联网的大数据,政府的大数据,企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。

和大数据相关的理论

1特征定义

最早提出大数据时代到来的是麦肯锡:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”

业界(IBM 最早定义)将大数据的特征归纳为4个“V”(量Volume,多样Variety,价值Value,速Velocity),或者说特点有四个层面:第一,数据体量巨大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T);第二,数据类型繁多。比如,网络日志、视频、图片、地理位置信息等等。第三,价值密度低,商业价值高。第四,处理速度快。最后这一点也是和传统的数据挖掘技术有着本质的不同。

其实这些V并不能真正说清楚大数据的所有特征,下面这张图对大数据的一些相关特性做出了有效的说明。

古语云:三分技术,七分数据,得数据者得天下。先不论谁说的,但是这句话的正确性已经不用去论证了。维克托·迈尔-舍恩伯格在《大数据时代》一书中举了百般例证,都是为了说明一个道理:在大数据时代已经到来的时候要用大数据思维去发掘大数据的潜在价值。书中,作者提及最多的是Google如何利用人们的搜索记录挖掘数据二次利用价值,比如预测某地流感爆发的趋势;Amazon如何利用用户的购买和浏览历史数据进行有针对性的书籍购买推荐,以此有效提升销售量;Farecast如何利用过去十年所有的航线机票价格打折数据,来预测用户购买机票的时机是否合适。

那么,什么是大数据思维?维克托·迈尔-舍恩伯格认为,1-需要全部数据样本而不是抽样;2-关注效率而不是精确度;3-关注相关性而不是因果关系。

阿里巴巴的王坚对于大数据也有一些独特的见解,比如,

“今天的数据不是大,真正有意思的是数据变得在线了,这个恰恰是互联网的特点。”

“非互联网时期的产品,功能一定是它的价值,今天互联网的产品,数据一定是它的价值。”

“你千万不要想着拿数据去改进一个业务,这不是大数据。你一定是去做了一件以前做不了的事情。”

特别是最后一点,我是非常认同的,大数据的真正价值在于创造,在于填补无数个还未实现过的空白。

有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类,而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似,大数据并不在“大”,而在于“有用”。价值含量、挖掘成本比数量更为重要。

2价值探讨

大数据是什么?投资者眼里是金光闪闪的两个字:资产。比如,Facebook上市时,评估机构评定的有效资产中大部分都是其社交网站上的数据。

如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。

Target 超市以20多种怀孕期间孕妇可能会购买的商品为基础,将所有用户的购买记录作为数据来源,通过构建模型分析购买者的行为相关性,能准确的推断出孕妇的具体临盆时间,这样Target的销售部门就可以有针对的在每个怀孕顾客的不同阶段寄送相应的产品优惠卷。

Target的例子是一个很典型的案例,这样印证了维克托·迈尔-舍恩伯格提过的一个很有指导意义的观点:通过找出一个关联物并监控它,就可以预测未来。Target通过监测购买者购买商品的时间和品种来准确预测顾客的孕期,这就是对数据的二次利用的典型案例。如果,我们通过采集驾驶员手机的GPS数据,就可以分析出当前哪些道路正在堵车,并可以及时发布道路交通提醒;通过采集汽车的GPS位置数据,就可以分析城市的哪些区域停车较多,这也代表该区域有着较为活跃的人群,这些分析数据适合卖给广告投放商。

不管大数据的核心价值是不是预测,但是基于大数据形成决策的模式已经为不少的企业带来了盈利和声誉。

从大数据的价值链条来分析,存在三种模式:

手握大数据,但是没有利用好;比较典型的是金融机构,电信行业,政府机构等。

没有数据,但是知道如何帮助有数据的人利用它;比较典型的是IT咨询和服务企业,比如,埃森哲,IBM,Oracle等。

既有数据,又有大数据思维;比较典型的是Google,Amazon,Mastercard等。

未来在大数据领域最具有价值的是两种事物:

拥有大数据思维的人,这种人可以将大数据的潜在价值转化为实际利益;

还未有被大数据触及过的业务领域。这些是还未被挖掘的油井,金矿,是所谓的蓝海。

Wal-Mart作为零售行业的巨头,他们的分析人员会对每个阶段的销售记录进行了全面的分析,有一次他们无意中发现虽不相关但很有价值的数据,在美国的飓风来临季节,超市的蛋挞和抵御飓风物品竟然销量都有大幅增加,于是他们做了一个明智决策,就是将蛋挞的销售位置移到了飓风物品销售区域旁边,看起来是为了方便用户挑选,但是没有想到蛋挞的销量因此又提高了很多。

还有一个有趣的例子,1948年辽沈战役期间,司令员林彪要求每天要进行例常的“每日军情汇报”,由值班参谋读出下属各个纵队、师、团用电台报告的当日战况和缴获情况。那几乎是重复着千篇一律枯燥无味的数据:每支部队歼敌多少、俘虏多少;缴获的火炮、车辆多少,枪支、物资多少……有一天,参谋照例汇报当日的战况,林彪突然打断他:“刚才念的在胡家窝棚那个战斗的缴获,你们听到了吗?”大家都很茫然,因为如此战斗每天都有几十起,不都是差不多一模一样的枯燥数字吗?林彪扫视一周,见无人回答,便接连问了三句:“为什么那里缴获的短枪与长枪的比例比其它战斗略高?”“为什么那里缴获和击毁的小车与大车的比例比其它战斗略高?”“为什么在那里俘虏和击毙的军官与士兵的比例比其它战斗略高?”林彪司令员大步走向挂满军用地图的墙壁,指着地图上的那个点说:“我猜想,不,我断定!敌人的指挥所就在这里!”果然,部队很快就抓住了敌方的指挥官廖耀湘,并取得这场重要战役的胜利。

这些例子真实的反映在各行各业,探求数据价值取决于把握数据的人,关键是人的数据思维;与其说是大数据创造了价值,不如说是大数据思维触发了新的价值增长。

现在和未来

我们先看看大数据在当下有怎样的杰出表现:

大数据帮助政府实现市场经济调控、公共卫生安全防范、灾难预警、社会舆论监督;

大数据帮助城市预防犯罪,实现智慧交通,提升紧急应急能力;

大数据帮助医疗机构建立患者的疾病风险跟踪机制,帮助医药企业提升药品的临床使用效果,帮助艾滋病研究机构为患者提供定制的药物;

大数据帮助航空公司节省运营成本,帮助电信企业实现售后服务质量提升,帮助保险企业识别欺诈骗保行为,帮助快递公司监测分析运输车辆的故障险情以提前预警维修,帮助电力公司有效识别预警即将发生故障的设备;

大数据帮助电商公司向用户推荐商品和服务,帮助旅游网站为旅游者提供心仪的旅游路线,帮助二手市场的买卖双方找到最合适的交易目标,帮助用户找到最合适的商品购买时期、商家和最优惠价格;

大数据帮助企业提升营销的针对性,降低物流和库存的成本,减少投资的风险,以及帮助企业提升广告投放精准度;

大数据帮助娱乐行业预测歌手,歌曲,电影,电视剧的受欢迎程度,并为投资者分析评估拍一部电影需要投入多少钱才最合适,否则就有可能收不回成本;

大数据帮助社交网站提供更准确的好友推荐,为用户提供更精准的企业招聘信息,向用户推荐可能喜欢的游戏以及适合购买的商品。

其实,这些还远远不够,未来大数据的身影应该无处不在,就算无法准确预测大数据终会将人类社会带往到哪种最终形态,但我相信只要发展脚步在继续,因大数据而产生的变革浪潮将很快淹没地球的每一个角落。

比如,Amazon的最终期望是:“最成功的书籍推荐应该只有一本书,就是用户要买的下一本书。”

Google也希望当用户在搜索时,最好的体验是搜索结果只包含用户所需要的内容,而这并不需要用户给予Google太多的提示。

而当物联网发展到达一定规模时,借助条形码、二维码、RFID等能够唯一标识产品,传感器、可穿戴设备、智能感知、视频采集、增强现实等技术可实现实时的信息采集和分析,这些数据能够支撑智慧城市,智慧交通,智慧能源,智慧医疗,智慧环保的理念需要,这些都所谓的智慧将是大数据的采集数据来源和服务范围。

未来的大数据除了将更好的解决社会问题,商业营销问题,科学技术问题,还有一个可预见的趋势是以人为本的大数据方针。人才是地球的主宰,大部分的数据都与人类有关,要通过大数据解决人的问题。

比如,建立个人的数据中心,将每个人的日常生活习惯,身体体征,社会网络,知识能力,爱好性情,疾病嗜好,情绪波动……换言之就是记录人从出生那一刻起的每一分每一秒,将除了思维外的一切都储存下来,这些数据可以被充分的利用:

医疗机构将实时的监测用户的身体健康状况;

教育机构更有针对的制定用户喜欢的教育培训计划;

服务行业为用户提供即时健康的符合用户生活习惯的食物和其它服务;

社交网络能为你提供合适的交友对象,并为志同道合的人群组织各种聚会活动;

政府能在用户的心理健康出现问题时有效的干预,防范自杀,刑事案件的发生;

金融机构能帮助用户进行有效的理财管理,为用户的资金提供更有效的使用建议和规划;

道路交通、汽车租赁及运输行业可以为用户提供更合适的出行线路和路途服务安排;

当然,上面的一切看起来都很美好,但是否是以牺牲了用户的自由为前提呢?只能说当新鲜事物带来了革新的同时也同样带来了“病菌”。比如,在手机未普及前,大家喜欢聚在一起聊天,自从手机普及后特别是有了互联网,大家不用聚在一起也可以随时随地的聊天,只是“病菌”滋生了另外一种情形,大家慢慢习惯了和手机共渡时光,人与人之间情感交流仿佛永远隔着一张“网”。

大数据隐私

你或许并不敏感,当你在不同的网站上注册了个人信息后,可能这些信息已经被扩散出去了,当你莫名其妙的接到各种邮件,电话,短信的滋扰时,你不会想到自己的电话号码,邮箱,生日,购买记录,收入水平,家庭住址,亲朋好友等私人信息早就被各种商业机构非法存储或贱卖给其它任何有需要的企业或个人了。

更可怕的是,这些信息你永远无法删除,它们永远存在于互联网的某些你不知道的角落。除非你更换掉自己的所有信息,但是这代价太大了。

用户隐私问题一直是大数据应用难以绕开的一个问题,如被央视曝光过的分众无线、罗维邓白氏以及网易邮箱都涉及侵犯用户隐私。目前,中国并没有专门的法律法规来界定用户隐私,处理相关问题时多采用其他相关法规条例来解释。但随着民众隐私意识的日益增强,合法合规地获取数据、分析数据和应用数据,是进行大数据分析时必须遵循的原则。

说到隐私被侵犯,爱德华?斯诺登应该占据一席之地,这位前美国中央情报局(CIA)雇员一手引爆了美国“棱镜计划”(PRISM)的内幕消息。“棱镜”项目是一项由美国国家安全局(NSA)自2007年起开始实施的绝密电子监听计划,年耗资近2000亿美元,用于监听全美电话通话记录,据称还可以使情报人员通过“后门”进入9家主要科技公司的服务器,包括微软、雅虎、谷歌、Facebook、PalTalk、美国在线、Skype、YouTube、苹果。这个事件引发了人们对政府使用大数据时对公民隐私侵犯的担心。

再看看我们身边,当微博,微信,QQ空间这些社交平台肆意的吞噬着数亿用户的各种信息时,你就不要指望你还有隐私权了,就算你在某个地方删除了,但也许这些信息已经被其他人转载或保存了,更有可能已经被百度或Google存为快照,早就提供给任意用户搜索了。

因此在大数据的背景下,很多人都在积极的抵制无底线的数字化,这种大数据和个体之间的博弈还会一直继续下去……

专家给予了我们一些如何有效保护大数据背景下隐私权的建议:

减少信息的数字化;

隐私权立法;

数字隐私权基础设施(类似DRM数字版权管理);

人类改变认知(接受忽略过去);

创造良性的信息生态;

语境化。

但是这些都很难立即见效或者有实质性的改善。

比如,现在有一种职业叫删帖人,专门负责帮人到各大网站删帖,删除评论。其实这些人就是通过黑客技术侵入各大网站,破获管理员的密码然后进行手工定向删除。只不过他们保护的不是客户的隐私,而大多是丑闻。还有一种职业叫人肉专家,他们负责从互联网上找到一个与他们根本就无关系用户的任意信息。这是很可怕的事情,也就是说,如果有人想找到你,只需要两个条件:1-你上过网,留下过痕迹;2-你的亲朋好友或仅仅是认识你的人上过网,留下过你的痕迹。这两个条件满足其一,人肉专家就可以很轻松的找到你,可能还知道你现在正在某个餐厅和谁一起共进晚餐。

当很多互联网企业意识到隐私对于用户的重要性时,为了继续得到用户的信任,他们采取了很多办法,比如google承诺仅保留用户的搜索记录9个月,浏览器厂商提供了无痕冲浪模式,社交网站拒绝公共搜索引擎的爬虫进入,并将提供出去的数据全部采取匿名方式处理等。

在这种复杂的环境里面,很多人依然没有建立对于信息隐私的保护意识,让自己一直处于被滋扰,被精心设计,被利用,被监视的处境中。可是,我们能做的几乎微乎其微,因为个人隐私数据已经无法由我们自己掌控了,就像一首诗里说到的:“如果你现在继续麻木,那就别指望这麻木能抵挡得住被”扒光”那一刻的惊恐和绝望……”

和大数据相关的技术

云技术

大数据常和云计算联系到一起,因为实时的大型数据集分析需要分布式处理框架来向数十、数百或甚至数万的电脑分配工作。可以说,云计算充当了工业革命时期的发动机的角色,而大数据则是电。

云计算思想的起源是麦卡锡在上世纪60年代提出的:把计算能力作为一种像水和电一样的公用事业提供给用户。

如今,在Google、Amazon、Facebook等一批互联网企业引领下,一种行之有效的模式出现了:云计算提供基础架构平台,大数据应用运行在这个平台上。

业内是这么形容两者的关系:没有大数据的信息积淀,则云计算的计算能力再强大,也难以找到用武之地;没有云计算的处理能力,则大数据的信息积淀再丰富,也终究只是镜花水月。

那么大数据到底需要哪些云计算技术呢?

这里暂且列举一些,比如虚拟化技术,分布式处理技术,海量数据的存储和管理技术,NoSQL、实时流数据处理、智能分析技术(类似模式识别以及自然语言理解)等。

云计算和大数据之间的关系可以用下面的一张图来说明,两者之间结合后会产生如下效应:可以提供更多基于海量业务数据的创新型服务;通过云计算技术的不断发展降低大数据业务的创新成本。

如果将云计算与大数据进行一些比较,最明显的区分在两个方面:

第一,在概念上两者有所不同,云计算改变了IT,而大数据则改变了业务。然而大数据必须有云作为基础架构,才能得以顺畅运营。

第二,大数据和云计算的目标受众不同,云计算是CIO等关心的技术层,是一个进阶的IT解决方案。而大数据是CEO关注的、是业务层的产品,而大数据的决策者是业务层。

分布式处理技术

分布式处理系统可以将不同地点的或具有不同功能的或拥有不同数据的多台计算机用通信网络连接起来,在控制系统的统一管理控制下,协调地完成信息处理任务—这就是分布式处理系统的定义。

以Hadoop(Yahoo)为例进行说明,Hadoop是一个实现了MapReduce模式的能够对大量数据进行分布式处理的软件框架,是以一种可靠、高效、可伸缩的方式进行处理的。

而MapReduce是Google提出的一种云计算的核心计算模式,是一种分布式运算技术,也是简化的分布式编程模式,MapReduce模式的主要思想是将自动分割要执行的问题(例如程序)拆解成map(映射)和reduce(化简)的方式, 在数据被分割后通过Map 函数的程序将数据映射成不同的区块,分配给计算机机群处理达到分布式运算的效果,在通过Reduce 函数的程序将结果汇整,从而输出开发者需要的结果。

再来看看Hadoop的特性,第一,它是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。其次,Hadoop 是高效的,因为它以并行的方式工作,通过并行处理加快处理速度。Hadoop 还是可伸缩的,能够处理 PB 级数据。此外,Hadoop 依赖于社区服务器,因此它的成本比较低,任何人都可以使用。

你也可以这么理解Hadoop的构成,Hadoop=HDFS(文件系统,数据存储技术相关)+HBase(数据库)+MapReduce(数据处理)+……Others

Hadoop用到的一些技术有:

HDFS: Hadoop分布式文件系统(Distributed File System) - HDFS (HadoopDistributed File System)

MapReduce:并行计算框架

HBase: 类似Google BigTable的分布式NoSQL列数据库。

Hive:数据仓库工具,由Facebook贡献。

Zookeeper:分布式锁设施,提供类似Google Chubby的功能,由Facebook贡献。

Avro:新的数据序列化格式与传输工具,将逐步取代Hadoop原有的IPC机制。

Pig:大数据分析平台,为用户提供多种接口。

Ambari:Hadoop管理工具,可以快捷的监控、部署、管理集群。

Sqoop:用于在Hadoop与传统的数据库间进行数据的传递。

说了这么多,举个实际的例子,虽然这个例子有些陈旧,但是淘宝的海量数据技术架构还是有助于我们理解对于大数据的运作处理机制:

淘宝大数据

如上图所示,淘宝的海量数据产品技术架构分为五个层次,从上至下来看它们分别是:数据源,计算层,存储层,查询层和产品层。

数据来源层。存放着淘宝各店的交易数据。在数据源层产生的数据,通过DataX,DbSync和Timetunel准实时的传输到下面第2点所述的“云梯”。

计算层。在这个计算层内,淘宝采用的是Hadoop集群,这个集群,我们暂且称之为云梯,是计算层的主要组成部分。在云梯上,系统每天会对数据产品进行不同的MapReduce计算。

存储层。在这一层,淘宝采用了两个东西,一个使MyFox,一个是Prom。MyFox是基于MySQL的分布式关系型数据库的集群,Prom是基于Hadoop Hbase技术的一个NoSQL的存储集群。

查询层。在这一层中,Glider是以HTTP协议对外提供restful方式的接口。数据产品通过一个唯一的URL来获取到它想要的数据。同时,数据查询即是通过MyFox来查询的。

最后一层是产品层,这个就不用解释了。

存储技术

大数据可以抽象的分为大数据存储和大数据分析,这两者的关系是:大数据存储的目的是支撑大数据分析。到目前为止,还是两种截然不同的计算机技术领域:大数据存储致力于研发可以扩展至PB甚至EB级别的数据存储平台;大数据分析关注在最短时间内处理大量不同类型的数据集。

提到存储,有一个着名的摩尔定律相信大家都听过:18个月集成电路的复杂性就增加一倍。所以,存储器的成本大约每18-24个月就下降一半。成本的不断下降也造就了大数据的可存储性。

比如,Google大约管理着超过50万台服务器和100万块硬盘,而且Google还在不断的扩大计算能力和存储能力,其中很多的扩展都是基于在廉价服务器和普通存储硬盘的基础上进行的,这大大降低了其服务成本,因此可以将更多的资金投入到技术的研发当中。

以Amazon举例,Amazon S3 是一种面向 Internet 的存储服务。该服务旨在让开发人员能更轻松的进行网络规模计算。Amazon S3 提供一个简明的 Web 服务界面,用户可通过它随时在 Web 上的任何位置存储和检索的任意大小的数据。 此服务让所有开发人员都能访问同一个具备高扩展性、可靠性、安全性和快速价廉的基础设施,Amazon 用它来运行其全球的网站网络。再看看S3的设计指标:在特定年度内为数据元提供 99.999999999% 的耐久性和 99.99% 的可用性,并能够承受两个设施中的数据同时丢失。

S3很成功也确实卓有成效,S3云的存储对象已达到万亿级别,而且性能表现相当良好。S3云已经拥万亿跨地域存储对象,同时AWS的对象执行请求也达到百万的峰值数量。目前全球范围内已经有数以十万计的企业在通过AWS运行自己的全部或者部分日常业务。这些企业用户遍布190多个国家,几乎世界上的每个角落都有Amazon用户的身影。

感知技术

大数据的采集和感知技术的发展是紧密联系的。以传感器技术,指纹识别技术,RFID技术,坐标定位技术等为基础的感知能力提升同样是物联网发展的基石。全世界的工业设备、汽车、电表上有着无数的数码传感器,随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化,都会产生海量的数据信息。

而随着智能手机的普及,感知技术可谓迎来了发展的高峰期,除了地理位置信息被广泛的应用外,一些新的感知手段也开始登上舞台,比如,最新的”iPhone 5S”在home键内嵌指纹传感器,新型手机可通过呼气直接检测燃烧脂肪量,用于手机的嗅觉传感器面世可以监测从空气污染到危险的化学药品,微软正在研发可感知用户当前心情智能手机技术,谷歌眼镜InSight新技术可通过衣着进行人物识别。

除此之外,还有很多与感知相关的技术革新让我们耳目一新:比如,牙齿传感器实时监控口腔活动及饮食状况,婴儿穿戴设备可用大数据去养育宝宝,Intel正研发3D笔记本摄像头可追踪眼球读懂情绪,日本公司开发新型可监控用户心率的纺织材料,业界正在尝试将生物测定技术引入支付领域等。

其实,这些感知被逐渐捕获的过程就是就世界被数据化的过程,一旦世界被完全数据化了,那么世界的本质也就是信息了。

就像一句名言所说,“人类以前延续的是文明,现在传承的是信息。”

大数据的实践

互联网的大数据

互联网上的数据每年增长50%,每两年便将翻一番,而目前世界上90%以上的数据是最近几年才产生的。据IDC预测,到2020年全球将总共拥有35ZB的数据量。互联网是大数据发展的前哨阵地,随着WEB2.0时代的发展,人们似乎都习惯了将自己的生活通过网络进行数据化,方便分享以及记录并回忆。

互联网上的大数据很难清晰的界定分类界限,我们先看看BAT的大数据:

百度拥有两种类型的大数据:用户搜索表征的需求数据;爬虫和阿拉丁获取的公共web数据。搜索巨头百度围绕数据而生。它对网页数据的爬取、网页内容的组织和解析,通过语义分析对搜索需求的精准理解进而从海量数据中找准结果,以及精准的搜索引擎关键字广告,实质上就是一个数据的获取、组织、分析和挖掘的过程。搜索引擎在大数据时代面临的挑战有:更多的暗网数据;更多的WEB化但是没有结构化的数据;更多的WEB化、结构化但是封闭的数据。

阿里巴巴拥有交易数据和信用数据。这两种数据更容易变现,挖掘出商业价值。除此之外阿里巴巴还通过投资等方式掌握了部分社交数据、移动数据。如微博和高德。

腾讯拥有用户关系数据和基于此产生的社交数据。这些数据可以分析人们的生活和行为,从里面挖掘出政治、社会、文化、商业、健康等领域的信息,甚至预测未来。

在信息技术更为发达的美国,除了行业知名的类似Google,Facebook外,已经涌现了很多大数据类型的公司,它们专门经营数据产品,比如:

Metamarkets:这家公司对Twitter、支付、签到和一些与互联网相关的问题进行了分析,为客户提供了很好的数据分析支持。

Tableau:他们的精力主要集中于将海量数据以可视化的方式展现出来。Tableau为数字媒体提供了一个新的展示数据的方式。他们提供了一个免费工具,任何人在没有编程知识背景的情况下都能制造出数据专用图表。这个软件还能对数据进行分析,并提供有价值的建议。

ParAccel:他们向美国执法机构提供了数据分析,比如对15000个有犯罪前科的人进行跟踪,从而向执法机构提供了参考性较高的犯罪预测。他们是犯罪的预言者。

QlikTech:QlikTech旗下的Qlikview是一个商业智能领域的自主服务工具,能够应用于科学研究和艺术等领域。为了帮助开发者对这些数据进行分析,QlikTech提供了对原始数据进行可视化处理等功能的工具。

GoodData:GoodData希望帮助客户从数据中挖掘财富。这家创业公司主要面向商业用户和IT企业高管,提供数据存储、性能报告、数据分析等工具。

TellApart:TellApart和电商公司进行合作,他们会根据用户的浏览行为等数据进行分析,通过锁定潜在买家方式提高电商企业的收入。

DataSift:DataSift主要收集并分析社交网络媒体上的数据,并帮助品牌公司掌握突发新闻的舆论点,并制定有针对性的营销方案。这家公司还和Twitter有合作协议,使得自己变成了行业中为数不多可以分析早期tweet的创业公司。

Datahero:公司的目标是将复杂的数据变得更加简单明了,方便普通人去理解和想象。

举了很多例子,这里简要归纳一下,在互联网大数据的典型代表性包括:

用户行为数据(精准广告投放、内容推荐、行为习惯和喜好分析、产品优化等)

用户消费数据(精准营销、信用记录分析、活动促销、理财等)

用户地理位置数据(O2O推广,商家推荐,交友推荐等)

互联网金融数据(P2P,小额贷款,支付,信用,供应链金融等)

用户社交等UGC数据(趋势分析、流行元素分析、受欢迎程度分析、舆论监控分析、社会问题分析等)

政府的大数据

近期,奥巴马政府宣布投资2亿美元拉动大数据相关产业发展,将“大数据战略”上升为国家意志。奥巴马政府将数据定义为“未来的新石油”,并表示一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分,未来,对数据的占有和控制甚至将成为陆权、海权、空权之外的另一种国家核心资产。

在国内,政府各个部门都握有构成社会基础的原始数据,比如,气象数据,金融数据,信用数据,电力数据,煤气数据,自来水数据,道路交通数据,客运数据,安全刑事案件数据,住房数据,海关数据,出入境数据,旅游数据,医疗数据,教育数据,环保数据等等。这些数据在每个政府部门里面看起来是单一的,静态的。但是,如果政府可以将这些数据关联起来,并对这些数据进行有效的关联分析和统一管理,这些数据必定将获得新生,其价值是无法估量的。

具体来说,现在城市都在走向智能和智慧,比如,智能电网、智慧交通、智慧医疗、智慧环保、智慧城市,这些都依托于大数据,可以说大数据是智慧的核心能源。从国内整体投资规模来看,到2012年底全国开建智慧城市的城市数超过180个,通信网络和数据平台等基础设施建设投资规模接近5000亿元。“十二五”期间智慧城市建设拉动的设备投资规模将达1万亿元人民币。大数据为智慧城市的各个领域提供决策支持。在城市规划方面,通过对城市地理、气象等自然信息和经济、社会、文化、人口等人文社会信息的挖掘,可以为城市规划提供决策,强化城市管理服务的科学性和前瞻性。在交通管理方面,通过对道路交通信息的实时挖掘,能有效缓解交通拥堵,并快速响应突发状况,为城市交通的良性运转提供科学的决策依据。在舆情监控方面,通过网络关键词搜索及语义智能分析,能提高舆情分析的及时性、全面性,全面掌握社情民意,提高公共服务能力,应对网络突发的公共事件,打击违法犯罪。在安防与防灾领域,通过大数据的挖掘,可以及时发现人为或自然灾害、恐怖事件,提高应急处理能力和安全防范能力。

另外,作为国家的管理者,政府应该有勇气将手中的数据逐步开放,供给更多有能力的机构组织或个人来分析并加以利用,以加速造福人类。比如,美国政府就筹建了一个data.gov网站,这是奥巴马任期内的一个重要举措:要求政府公开透明,而核心就是实现政府机构的数据公开。截止目前,已经开放了有91054 个datasets;349citizen-developed apps;137 mobile apps;175 agencies and subagencies;87 galleries;295 Government APIs。

企业的大数据

企业的CXO们最关注的还是报表曲线的背后能有怎样的信息,他该做怎样的决策,其实这一切都需要通过数据来传递和支撑。在理想的世界中,大数据是巨大的杠杆,可以改变公司的影响力,带来竞争差异、节省金钱、增加利润、愉悦买家、奖赏忠诚用户、将潜在客户转化为客户、增加吸引力、打败竞争对手、开拓用户群并创造市场。

那么,哪些传统企业最需要大数据服务呢?抛砖引玉,先举几个例子:1) 对大量消费者提供产品或服务的企业(精准营销);2) 做小而美模式的中长尾企业(服务转型);3) 面临互联网压力之下必须转型的传统企业(生死存亡)。

对于企业的大数据,还有一种预测:随着数据逐渐成为企业的一种资产,数据产业会向传统企业的供应链模式发展,最终形成“数据供应链”。这里尤其有两个明显的现象:1) 外部数据的重要性日益超过内部数据。在互联互通的互联网时代,单一企业的内部数据与整个互联网数据比较起来只是沧海一粟;2) 能提供包括数据供应、数据整合与加工、数据应用等多环节服务的公司会有明显的综合竞争优势。

对于提供大数据服务的企业来说,他们等待的是合作机会,就像微软史密斯说的:“给我提供一些数据,我就能做一些改变。如果给我提供所有数据,我就能拯救世界。”

然而,一直做企业服务的巨头将优势不在,不得不眼看新兴互联网企业加入战局,开启残酷竞争模式。为何会出现这种局面?从 IT 产业的发展来看,第一代 IT 巨头大多是 ToB 的,比如 IBM、Microsoft、Oracle、SAP、HP这类传统 IT 企业;第二代 IT 巨头大多是ToC 的,比如 Yahoo、Google、Amazon、Facebook 这类互联网企业。大数据到来前,这两类公司彼此之间基本是井水不犯河水;但在当前这个大数据时代,这两类公司已经开始直接竞争。比如 Amazon 已经开始提供云模式的数据仓库服务,直接抢占 IBM、Oracle 的市场。这个现象出现的本质原因是:在互联网巨头的带动下,传统 IT 巨头的客户普遍开始从事电子商务业务,正是由于客户进入了互联网,所以传统 IT 巨头们不情愿地被拖入了互联网领域。如果他们不进入互联网,他们业务必将萎缩。在进入互联网后,他们又必须将云技术,大数据等互联网最具有优势的技术通过封装打造成自己的产品再提供给企业。

以IBM举例,上一个十年,他们抛弃了PC,成功转向了软件和服务,而这次将远离服务与咨询,更多地专注于因大数据分析软件而带来的全新业务增长点。IBM执行总裁罗睿兰认为,“数据将成为一切行业当中决定胜负的根本因素,最终数据将成为人类至关重要的自然资源。”IBM积极的提出了“大数据平台”架构。该平台的四大核心能力包括Hadoop系统、流计算(StreamComputing)、数据仓库(Data Warehouse)和信息整合与治理(Information Integration and Governance)

IBM大数据

另外一家亟待通过云和大数据战略而复苏的巨头公司HP也推出了自己的产品:HAVEn,一个可以自由扩展伸缩的大数据解决方案。这个解决方案由HP Autonomy、HP Vertica、HP ArcSight 和惠普运营管理(HP OperationsManagement)四大技术组成。还支持Hadoop这样通用的技术。HAVEn不是一个软件平台,而是一个生态环境。四大组成部分满足不同的应用场景需要,Autonomy解决音视频识别的重要解决方案;Vertica解决数据处理的速度和效率的方案;ArcSight解决机器的记录信息处理,帮助企业获得更高安全级别的管理;运营管理解决的不仅仅是外部数据的处理,而是包括了IT基础设施产生的数据。

个人的大数据

个人的大数据这个概念很少有人提及,简单来说,就是与个人相关联的各种有价值数据信息被有效采集后,可由本人授权提供第三方进行处理和使用,并获得第三方提供的数据服务。

举个例子来说明会更清晰一些:

未来,每个用户可以在互联网上注册个人的数据中心,以存储个人的大数据信息。用户可确定哪些个人数据可被采集,并通过可穿戴设备或植入芯片等感知技术来采集捕获个人的大数据,比如,牙齿监控数据,心率数据,体温数据,视力数据,记忆能力,地理位置信息,社会关系数据,运动数据,饮食数据,购物数据等等。用户可以将其中的牙齿监测数据授权给XX牙科诊所使用,由他们监控和使用这些数据,进而为用户制定有效的牙齿防治和维护计划;也可以将个人的运动数据授权提供给某运动健身机构,由他们监测自己的身体运动机能,并有针对的制定和调整个人的运动计划;还可以将个人的消费数据授权给金融理财机构,由他们帮你制定合理的理财计划并对收益进行预测。当然,其中有一部分个人数据是无需个人授权即可提供给国家相关部门进行实时监控的,比如罪案预防监控中心可以实时的监控本地区每个人的情绪和心理状态,以预防自杀和犯罪的发生。

以个人为中心的大数据有这么一些特性:

数据仅留存在个人中心,其它第三方机构只被授权使用(数据有一定的使用期限),且必须接受用后即焚的监管。

采集个人数据应该明确分类,除了国家立法明确要求接受监控的数据外,其它类型数据都由用户自己决定是否被采集。

数据的使用将只能由用户进行授权,数据中心可帮助监控个人数据的整个生命周期。

展望过于美好,也许实现个人数据中心将遥遥无期,也许这还不是解决个人数据隐私的最好方法,也许业界对大数据的无限渴求会阻止数据个人中心的实现,但是随着数据越来越多,在缺乏监管之后,必然会有一场激烈的博弈:到底是数据重要还是隐私重要;是以商业为中心还是以个人为中心。
文章来源:网络
更多智造家智道分享:www.imefuture.com
 
 
  查看全部
在写这篇文章之前,我发现身边很多IT人对于这些热门的新技术、新趋势往往趋之若鹜却又很难说的透彻,如果你问他大数据和你有什么关系?估计很少能说出一二三来。究其原因,一是因为大家对新技术有着相同的原始渴求,至少知其然在聊天时不会显得很“土鳖”;二是在工作和生活环境中真正能参与实践大数据的案例实在太少了,所以大家没有必要花时间去知其所以然。我希望有些不一样,所以对该如何去认识大数据进行了一番思索,包括查阅了资料,翻阅了最新的专业书籍,但我并不想把那些零散的资料碎片或不同理解论述简单规整并堆积起来形成毫无价值的转述或评论,我很真诚的希望进入事物探寻本质。

如果你说大数据就是数据大,或者侃侃而谈4个V,也许很有深度的谈到BI或预测的价值,又或者拿Google和Amazon举例,技术流可能会聊起Hadoop和Cloud Computing,不管对错,只是无法勾勒对大数据的整体认识,不说是片面,但至少有些管窥蠡测、隔衣瘙痒了。……也许,“解构”是最好的方法。

怎样结构大数据?

首先,我认为大数据就是互联网发展到现今阶段的一种表象或特征而已,没有必要神话它或对它保持敬畏之心,在以云计算为代表的技术创新大幕的衬托下,这些原本很难收集和使用的数据开始容易被利用起来了,通过各行各业的不断创新,大数据会逐步为人类创造更多的价值。

其次,想要系统的认知大数据,必须要全面而细致的分解它,我着手从三个层面来展开:

第一层面是理论,理论是认知的必经途径,也是被广泛认同和传播的基线。我会从大数据的特征定义理解行业对大数据的整体描绘和定性;从对大数据价值的探讨来深入解析大数据的珍贵所在;从对大数据的现在和未来去洞悉大数据的发展趋势;从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。

第二层面是技术,技术是大数据价值体现的手段和前进的基石。我将分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。

第三层面是实践,实践是大数据的最终价值体现。我将分别从互联网的大数据,政府的大数据,企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。

和大数据相关的理论

1特征定义

最早提出大数据时代到来的是麦肯锡:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”

业界(IBM 最早定义)将大数据的特征归纳为4个“V”(量Volume,多样Variety,价值Value,速Velocity),或者说特点有四个层面:第一,数据体量巨大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T);第二,数据类型繁多。比如,网络日志、视频、图片、地理位置信息等等。第三,价值密度低,商业价值高。第四,处理速度快。最后这一点也是和传统的数据挖掘技术有着本质的不同。

其实这些V并不能真正说清楚大数据的所有特征,下面这张图对大数据的一些相关特性做出了有效的说明。

古语云:三分技术,七分数据,得数据者得天下。先不论谁说的,但是这句话的正确性已经不用去论证了。维克托·迈尔-舍恩伯格在《大数据时代》一书中举了百般例证,都是为了说明一个道理:在大数据时代已经到来的时候要用大数据思维去发掘大数据的潜在价值。书中,作者提及最多的是Google如何利用人们的搜索记录挖掘数据二次利用价值,比如预测某地流感爆发的趋势;Amazon如何利用用户的购买和浏览历史数据进行有针对性的书籍购买推荐,以此有效提升销售量;Farecast如何利用过去十年所有的航线机票价格打折数据,来预测用户购买机票的时机是否合适。

那么,什么是大数据思维?维克托·迈尔-舍恩伯格认为,1-需要全部数据样本而不是抽样;2-关注效率而不是精确度;3-关注相关性而不是因果关系。

阿里巴巴的王坚对于大数据也有一些独特的见解,比如,

“今天的数据不是大,真正有意思的是数据变得在线了,这个恰恰是互联网的特点。”

“非互联网时期的产品,功能一定是它的价值,今天互联网的产品,数据一定是它的价值。”

“你千万不要想着拿数据去改进一个业务,这不是大数据。你一定是去做了一件以前做不了的事情。”

特别是最后一点,我是非常认同的,大数据的真正价值在于创造,在于填补无数个还未实现过的空白。

有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类,而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似,大数据并不在“大”,而在于“有用”。价值含量、挖掘成本比数量更为重要。

2价值探讨

大数据是什么?投资者眼里是金光闪闪的两个字:资产。比如,Facebook上市时,评估机构评定的有效资产中大部分都是其社交网站上的数据。

如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。

Target 超市以20多种怀孕期间孕妇可能会购买的商品为基础,将所有用户的购买记录作为数据来源,通过构建模型分析购买者的行为相关性,能准确的推断出孕妇的具体临盆时间,这样Target的销售部门就可以有针对的在每个怀孕顾客的不同阶段寄送相应的产品优惠卷。

Target的例子是一个很典型的案例,这样印证了维克托·迈尔-舍恩伯格提过的一个很有指导意义的观点:通过找出一个关联物并监控它,就可以预测未来。Target通过监测购买者购买商品的时间和品种来准确预测顾客的孕期,这就是对数据的二次利用的典型案例。如果,我们通过采集驾驶员手机的GPS数据,就可以分析出当前哪些道路正在堵车,并可以及时发布道路交通提醒;通过采集汽车的GPS位置数据,就可以分析城市的哪些区域停车较多,这也代表该区域有着较为活跃的人群,这些分析数据适合卖给广告投放商。

不管大数据的核心价值是不是预测,但是基于大数据形成决策的模式已经为不少的企业带来了盈利和声誉。

从大数据的价值链条来分析,存在三种模式:

手握大数据,但是没有利用好;比较典型的是金融机构,电信行业,政府机构等。

没有数据,但是知道如何帮助有数据的人利用它;比较典型的是IT咨询和服务企业,比如,埃森哲,IBM,Oracle等。

既有数据,又有大数据思维;比较典型的是Google,Amazon,Mastercard等。

未来在大数据领域最具有价值的是两种事物:

拥有大数据思维的人,这种人可以将大数据的潜在价值转化为实际利益;

还未有被大数据触及过的业务领域。这些是还未被挖掘的油井,金矿,是所谓的蓝海。

Wal-Mart作为零售行业的巨头,他们的分析人员会对每个阶段的销售记录进行了全面的分析,有一次他们无意中发现虽不相关但很有价值的数据,在美国的飓风来临季节,超市的蛋挞和抵御飓风物品竟然销量都有大幅增加,于是他们做了一个明智决策,就是将蛋挞的销售位置移到了飓风物品销售区域旁边,看起来是为了方便用户挑选,但是没有想到蛋挞的销量因此又提高了很多。

还有一个有趣的例子,1948年辽沈战役期间,司令员林彪要求每天要进行例常的“每日军情汇报”,由值班参谋读出下属各个纵队、师、团用电台报告的当日战况和缴获情况。那几乎是重复着千篇一律枯燥无味的数据:每支部队歼敌多少、俘虏多少;缴获的火炮、车辆多少,枪支、物资多少……有一天,参谋照例汇报当日的战况,林彪突然打断他:“刚才念的在胡家窝棚那个战斗的缴获,你们听到了吗?”大家都很茫然,因为如此战斗每天都有几十起,不都是差不多一模一样的枯燥数字吗?林彪扫视一周,见无人回答,便接连问了三句:“为什么那里缴获的短枪与长枪的比例比其它战斗略高?”“为什么那里缴获和击毁的小车与大车的比例比其它战斗略高?”“为什么在那里俘虏和击毙的军官与士兵的比例比其它战斗略高?”林彪司令员大步走向挂满军用地图的墙壁,指着地图上的那个点说:“我猜想,不,我断定!敌人的指挥所就在这里!”果然,部队很快就抓住了敌方的指挥官廖耀湘,并取得这场重要战役的胜利。

这些例子真实的反映在各行各业,探求数据价值取决于把握数据的人,关键是人的数据思维;与其说是大数据创造了价值,不如说是大数据思维触发了新的价值增长。

现在和未来

我们先看看大数据在当下有怎样的杰出表现:

大数据帮助政府实现市场经济调控、公共卫生安全防范、灾难预警、社会舆论监督;

大数据帮助城市预防犯罪,实现智慧交通,提升紧急应急能力;

大数据帮助医疗机构建立患者的疾病风险跟踪机制,帮助医药企业提升药品的临床使用效果,帮助艾滋病研究机构为患者提供定制的药物;

大数据帮助航空公司节省运营成本,帮助电信企业实现售后服务质量提升,帮助保险企业识别欺诈骗保行为,帮助快递公司监测分析运输车辆的故障险情以提前预警维修,帮助电力公司有效识别预警即将发生故障的设备;

大数据帮助电商公司向用户推荐商品和服务,帮助旅游网站为旅游者提供心仪的旅游路线,帮助二手市场的买卖双方找到最合适的交易目标,帮助用户找到最合适的商品购买时期、商家和最优惠价格;

大数据帮助企业提升营销的针对性,降低物流和库存的成本,减少投资的风险,以及帮助企业提升广告投放精准度;

大数据帮助娱乐行业预测歌手,歌曲,电影,电视剧的受欢迎程度,并为投资者分析评估拍一部电影需要投入多少钱才最合适,否则就有可能收不回成本;

大数据帮助社交网站提供更准确的好友推荐,为用户提供更精准的企业招聘信息,向用户推荐可能喜欢的游戏以及适合购买的商品。

其实,这些还远远不够,未来大数据的身影应该无处不在,就算无法准确预测大数据终会将人类社会带往到哪种最终形态,但我相信只要发展脚步在继续,因大数据而产生的变革浪潮将很快淹没地球的每一个角落。

比如,Amazon的最终期望是:“最成功的书籍推荐应该只有一本书,就是用户要买的下一本书。”

Google也希望当用户在搜索时,最好的体验是搜索结果只包含用户所需要的内容,而这并不需要用户给予Google太多的提示。

而当物联网发展到达一定规模时,借助条形码、二维码、RFID等能够唯一标识产品,传感器、可穿戴设备、智能感知、视频采集、增强现实等技术可实现实时的信息采集和分析,这些数据能够支撑智慧城市,智慧交通,智慧能源,智慧医疗,智慧环保的理念需要,这些都所谓的智慧将是大数据的采集数据来源和服务范围。

未来的大数据除了将更好的解决社会问题,商业营销问题,科学技术问题,还有一个可预见的趋势是以人为本的大数据方针。人才是地球的主宰,大部分的数据都与人类有关,要通过大数据解决人的问题。

比如,建立个人的数据中心,将每个人的日常生活习惯,身体体征,社会网络,知识能力,爱好性情,疾病嗜好,情绪波动……换言之就是记录人从出生那一刻起的每一分每一秒,将除了思维外的一切都储存下来,这些数据可以被充分的利用:

医疗机构将实时的监测用户的身体健康状况;

教育机构更有针对的制定用户喜欢的教育培训计划;

服务行业为用户提供即时健康的符合用户生活习惯的食物和其它服务;

社交网络能为你提供合适的交友对象,并为志同道合的人群组织各种聚会活动;

政府能在用户的心理健康出现问题时有效的干预,防范自杀,刑事案件的发生;

金融机构能帮助用户进行有效的理财管理,为用户的资金提供更有效的使用建议和规划;

道路交通、汽车租赁及运输行业可以为用户提供更合适的出行线路和路途服务安排;

当然,上面的一切看起来都很美好,但是否是以牺牲了用户的自由为前提呢?只能说当新鲜事物带来了革新的同时也同样带来了“病菌”。比如,在手机未普及前,大家喜欢聚在一起聊天,自从手机普及后特别是有了互联网,大家不用聚在一起也可以随时随地的聊天,只是“病菌”滋生了另外一种情形,大家慢慢习惯了和手机共渡时光,人与人之间情感交流仿佛永远隔着一张“网”。

大数据隐私

你或许并不敏感,当你在不同的网站上注册了个人信息后,可能这些信息已经被扩散出去了,当你莫名其妙的接到各种邮件,电话,短信的滋扰时,你不会想到自己的电话号码,邮箱,生日,购买记录,收入水平,家庭住址,亲朋好友等私人信息早就被各种商业机构非法存储或贱卖给其它任何有需要的企业或个人了。

更可怕的是,这些信息你永远无法删除,它们永远存在于互联网的某些你不知道的角落。除非你更换掉自己的所有信息,但是这代价太大了。

用户隐私问题一直是大数据应用难以绕开的一个问题,如被央视曝光过的分众无线、罗维邓白氏以及网易邮箱都涉及侵犯用户隐私。目前,中国并没有专门的法律法规来界定用户隐私,处理相关问题时多采用其他相关法规条例来解释。但随着民众隐私意识的日益增强,合法合规地获取数据、分析数据和应用数据,是进行大数据分析时必须遵循的原则。

说到隐私被侵犯,爱德华?斯诺登应该占据一席之地,这位前美国中央情报局(CIA)雇员一手引爆了美国“棱镜计划”(PRISM)的内幕消息。“棱镜”项目是一项由美国国家安全局(NSA)自2007年起开始实施的绝密电子监听计划,年耗资近2000亿美元,用于监听全美电话通话记录,据称还可以使情报人员通过“后门”进入9家主要科技公司的服务器,包括微软、雅虎、谷歌、Facebook、PalTalk、美国在线、Skype、YouTube、苹果。这个事件引发了人们对政府使用大数据时对公民隐私侵犯的担心。

再看看我们身边,当微博,微信,QQ空间这些社交平台肆意的吞噬着数亿用户的各种信息时,你就不要指望你还有隐私权了,就算你在某个地方删除了,但也许这些信息已经被其他人转载或保存了,更有可能已经被百度或Google存为快照,早就提供给任意用户搜索了。

因此在大数据的背景下,很多人都在积极的抵制无底线的数字化,这种大数据和个体之间的博弈还会一直继续下去……

专家给予了我们一些如何有效保护大数据背景下隐私权的建议:

减少信息的数字化;

隐私权立法;

数字隐私权基础设施(类似DRM数字版权管理);

人类改变认知(接受忽略过去);

创造良性的信息生态;

语境化。

但是这些都很难立即见效或者有实质性的改善。

比如,现在有一种职业叫删帖人,专门负责帮人到各大网站删帖,删除评论。其实这些人就是通过黑客技术侵入各大网站,破获管理员的密码然后进行手工定向删除。只不过他们保护的不是客户的隐私,而大多是丑闻。还有一种职业叫人肉专家,他们负责从互联网上找到一个与他们根本就无关系用户的任意信息。这是很可怕的事情,也就是说,如果有人想找到你,只需要两个条件:1-你上过网,留下过痕迹;2-你的亲朋好友或仅仅是认识你的人上过网,留下过你的痕迹。这两个条件满足其一,人肉专家就可以很轻松的找到你,可能还知道你现在正在某个餐厅和谁一起共进晚餐。

当很多互联网企业意识到隐私对于用户的重要性时,为了继续得到用户的信任,他们采取了很多办法,比如google承诺仅保留用户的搜索记录9个月,浏览器厂商提供了无痕冲浪模式,社交网站拒绝公共搜索引擎的爬虫进入,并将提供出去的数据全部采取匿名方式处理等。

在这种复杂的环境里面,很多人依然没有建立对于信息隐私的保护意识,让自己一直处于被滋扰,被精心设计,被利用,被监视的处境中。可是,我们能做的几乎微乎其微,因为个人隐私数据已经无法由我们自己掌控了,就像一首诗里说到的:“如果你现在继续麻木,那就别指望这麻木能抵挡得住被”扒光”那一刻的惊恐和绝望……”

和大数据相关的技术

云技术

大数据常和云计算联系到一起,因为实时的大型数据集分析需要分布式处理框架来向数十、数百或甚至数万的电脑分配工作。可以说,云计算充当了工业革命时期的发动机的角色,而大数据则是电。

云计算思想的起源是麦卡锡在上世纪60年代提出的:把计算能力作为一种像水和电一样的公用事业提供给用户。

如今,在Google、Amazon、Facebook等一批互联网企业引领下,一种行之有效的模式出现了:云计算提供基础架构平台,大数据应用运行在这个平台上。

业内是这么形容两者的关系:没有大数据的信息积淀,则云计算的计算能力再强大,也难以找到用武之地;没有云计算的处理能力,则大数据的信息积淀再丰富,也终究只是镜花水月。

那么大数据到底需要哪些云计算技术呢?

这里暂且列举一些,比如虚拟化技术,分布式处理技术,海量数据的存储和管理技术,NoSQL、实时流数据处理、智能分析技术(类似模式识别以及自然语言理解)等。

云计算和大数据之间的关系可以用下面的一张图来说明,两者之间结合后会产生如下效应:可以提供更多基于海量业务数据的创新型服务;通过云计算技术的不断发展降低大数据业务的创新成本。

如果将云计算与大数据进行一些比较,最明显的区分在两个方面:

第一,在概念上两者有所不同,云计算改变了IT,而大数据则改变了业务。然而大数据必须有云作为基础架构,才能得以顺畅运营。

第二,大数据和云计算的目标受众不同,云计算是CIO等关心的技术层,是一个进阶的IT解决方案。而大数据是CEO关注的、是业务层的产品,而大数据的决策者是业务层。

分布式处理技术

分布式处理系统可以将不同地点的或具有不同功能的或拥有不同数据的多台计算机用通信网络连接起来,在控制系统的统一管理控制下,协调地完成信息处理任务—这就是分布式处理系统的定义。

以Hadoop(Yahoo)为例进行说明,Hadoop是一个实现了MapReduce模式的能够对大量数据进行分布式处理的软件框架,是以一种可靠、高效、可伸缩的方式进行处理的。

而MapReduce是Google提出的一种云计算的核心计算模式,是一种分布式运算技术,也是简化的分布式编程模式,MapReduce模式的主要思想是将自动分割要执行的问题(例如程序)拆解成map(映射)和reduce(化简)的方式, 在数据被分割后通过Map 函数的程序将数据映射成不同的区块,分配给计算机机群处理达到分布式运算的效果,在通过Reduce 函数的程序将结果汇整,从而输出开发者需要的结果。

再来看看Hadoop的特性,第一,它是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。其次,Hadoop 是高效的,因为它以并行的方式工作,通过并行处理加快处理速度。Hadoop 还是可伸缩的,能够处理 PB 级数据。此外,Hadoop 依赖于社区服务器,因此它的成本比较低,任何人都可以使用。

你也可以这么理解Hadoop的构成,Hadoop=HDFS(文件系统,数据存储技术相关)+HBase(数据库)+MapReduce(数据处理)+……Others

Hadoop用到的一些技术有:

HDFS: Hadoop分布式文件系统(Distributed File System) - HDFS (HadoopDistributed File System)

MapReduce:并行计算框架

HBase: 类似Google BigTable的分布式NoSQL列数据库。

Hive:数据仓库工具,由Facebook贡献。

Zookeeper:分布式锁设施,提供类似Google Chubby的功能,由Facebook贡献。

Avro:新的数据序列化格式与传输工具,将逐步取代Hadoop原有的IPC机制。

Pig:大数据分析平台,为用户提供多种接口。

Ambari:Hadoop管理工具,可以快捷的监控、部署、管理集群。

Sqoop:用于在Hadoop与传统的数据库间进行数据的传递。

说了这么多,举个实际的例子,虽然这个例子有些陈旧,但是淘宝的海量数据技术架构还是有助于我们理解对于大数据的运作处理机制:

淘宝大数据

如上图所示,淘宝的海量数据产品技术架构分为五个层次,从上至下来看它们分别是:数据源,计算层,存储层,查询层和产品层。

数据来源层。存放着淘宝各店的交易数据。在数据源层产生的数据,通过DataX,DbSync和Timetunel准实时的传输到下面第2点所述的“云梯”。

计算层。在这个计算层内,淘宝采用的是Hadoop集群,这个集群,我们暂且称之为云梯,是计算层的主要组成部分。在云梯上,系统每天会对数据产品进行不同的MapReduce计算。

存储层。在这一层,淘宝采用了两个东西,一个使MyFox,一个是Prom。MyFox是基于MySQL的分布式关系型数据库的集群,Prom是基于Hadoop Hbase技术的一个NoSQL的存储集群。

查询层。在这一层中,Glider是以HTTP协议对外提供restful方式的接口。数据产品通过一个唯一的URL来获取到它想要的数据。同时,数据查询即是通过MyFox来查询的。

最后一层是产品层,这个就不用解释了。

存储技术

大数据可以抽象的分为大数据存储和大数据分析,这两者的关系是:大数据存储的目的是支撑大数据分析。到目前为止,还是两种截然不同的计算机技术领域:大数据存储致力于研发可以扩展至PB甚至EB级别的数据存储平台;大数据分析关注在最短时间内处理大量不同类型的数据集。

提到存储,有一个着名的摩尔定律相信大家都听过:18个月集成电路的复杂性就增加一倍。所以,存储器的成本大约每18-24个月就下降一半。成本的不断下降也造就了大数据的可存储性。

比如,Google大约管理着超过50万台服务器和100万块硬盘,而且Google还在不断的扩大计算能力和存储能力,其中很多的扩展都是基于在廉价服务器和普通存储硬盘的基础上进行的,这大大降低了其服务成本,因此可以将更多的资金投入到技术的研发当中。

以Amazon举例,Amazon S3 是一种面向 Internet 的存储服务。该服务旨在让开发人员能更轻松的进行网络规模计算。Amazon S3 提供一个简明的 Web 服务界面,用户可通过它随时在 Web 上的任何位置存储和检索的任意大小的数据。 此服务让所有开发人员都能访问同一个具备高扩展性、可靠性、安全性和快速价廉的基础设施,Amazon 用它来运行其全球的网站网络。再看看S3的设计指标:在特定年度内为数据元提供 99.999999999% 的耐久性和 99.99% 的可用性,并能够承受两个设施中的数据同时丢失。

S3很成功也确实卓有成效,S3云的存储对象已达到万亿级别,而且性能表现相当良好。S3云已经拥万亿跨地域存储对象,同时AWS的对象执行请求也达到百万的峰值数量。目前全球范围内已经有数以十万计的企业在通过AWS运行自己的全部或者部分日常业务。这些企业用户遍布190多个国家,几乎世界上的每个角落都有Amazon用户的身影。

感知技术

大数据的采集和感知技术的发展是紧密联系的。以传感器技术,指纹识别技术,RFID技术,坐标定位技术等为基础的感知能力提升同样是物联网发展的基石。全世界的工业设备、汽车、电表上有着无数的数码传感器,随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化,都会产生海量的数据信息。

而随着智能手机的普及,感知技术可谓迎来了发展的高峰期,除了地理位置信息被广泛的应用外,一些新的感知手段也开始登上舞台,比如,最新的”iPhone 5S”在home键内嵌指纹传感器,新型手机可通过呼气直接检测燃烧脂肪量,用于手机的嗅觉传感器面世可以监测从空气污染到危险的化学药品,微软正在研发可感知用户当前心情智能手机技术,谷歌眼镜InSight新技术可通过衣着进行人物识别。

除此之外,还有很多与感知相关的技术革新让我们耳目一新:比如,牙齿传感器实时监控口腔活动及饮食状况,婴儿穿戴设备可用大数据去养育宝宝,Intel正研发3D笔记本摄像头可追踪眼球读懂情绪,日本公司开发新型可监控用户心率的纺织材料,业界正在尝试将生物测定技术引入支付领域等。

其实,这些感知被逐渐捕获的过程就是就世界被数据化的过程,一旦世界被完全数据化了,那么世界的本质也就是信息了。

就像一句名言所说,“人类以前延续的是文明,现在传承的是信息。”

大数据的实践

互联网的大数据

互联网上的数据每年增长50%,每两年便将翻一番,而目前世界上90%以上的数据是最近几年才产生的。据IDC预测,到2020年全球将总共拥有35ZB的数据量。互联网是大数据发展的前哨阵地,随着WEB2.0时代的发展,人们似乎都习惯了将自己的生活通过网络进行数据化,方便分享以及记录并回忆。

互联网上的大数据很难清晰的界定分类界限,我们先看看BAT的大数据:

百度拥有两种类型的大数据:用户搜索表征的需求数据;爬虫和阿拉丁获取的公共web数据。搜索巨头百度围绕数据而生。它对网页数据的爬取、网页内容的组织和解析,通过语义分析对搜索需求的精准理解进而从海量数据中找准结果,以及精准的搜索引擎关键字广告,实质上就是一个数据的获取、组织、分析和挖掘的过程。搜索引擎在大数据时代面临的挑战有:更多的暗网数据;更多的WEB化但是没有结构化的数据;更多的WEB化、结构化但是封闭的数据。

阿里巴巴拥有交易数据和信用数据。这两种数据更容易变现,挖掘出商业价值。除此之外阿里巴巴还通过投资等方式掌握了部分社交数据、移动数据。如微博和高德。

腾讯拥有用户关系数据和基于此产生的社交数据。这些数据可以分析人们的生活和行为,从里面挖掘出政治、社会、文化、商业、健康等领域的信息,甚至预测未来。

在信息技术更为发达的美国,除了行业知名的类似Google,Facebook外,已经涌现了很多大数据类型的公司,它们专门经营数据产品,比如:

Metamarkets:这家公司对Twitter、支付、签到和一些与互联网相关的问题进行了分析,为客户提供了很好的数据分析支持。

Tableau:他们的精力主要集中于将海量数据以可视化的方式展现出来。Tableau为数字媒体提供了一个新的展示数据的方式。他们提供了一个免费工具,任何人在没有编程知识背景的情况下都能制造出数据专用图表。这个软件还能对数据进行分析,并提供有价值的建议。

ParAccel:他们向美国执法机构提供了数据分析,比如对15000个有犯罪前科的人进行跟踪,从而向执法机构提供了参考性较高的犯罪预测。他们是犯罪的预言者。

QlikTech:QlikTech旗下的Qlikview是一个商业智能领域的自主服务工具,能够应用于科学研究和艺术等领域。为了帮助开发者对这些数据进行分析,QlikTech提供了对原始数据进行可视化处理等功能的工具。

GoodData:GoodData希望帮助客户从数据中挖掘财富。这家创业公司主要面向商业用户和IT企业高管,提供数据存储、性能报告、数据分析等工具。

TellApart:TellApart和电商公司进行合作,他们会根据用户的浏览行为等数据进行分析,通过锁定潜在买家方式提高电商企业的收入。

DataSift:DataSift主要收集并分析社交网络媒体上的数据,并帮助品牌公司掌握突发新闻的舆论点,并制定有针对性的营销方案。这家公司还和Twitter有合作协议,使得自己变成了行业中为数不多可以分析早期tweet的创业公司。

Datahero:公司的目标是将复杂的数据变得更加简单明了,方便普通人去理解和想象。

举了很多例子,这里简要归纳一下,在互联网大数据的典型代表性包括:

用户行为数据(精准广告投放、内容推荐、行为习惯和喜好分析、产品优化等)

用户消费数据(精准营销、信用记录分析、活动促销、理财等)

用户地理位置数据(O2O推广,商家推荐,交友推荐等)

互联网金融数据(P2P,小额贷款,支付,信用,供应链金融等)

用户社交等UGC数据(趋势分析、流行元素分析、受欢迎程度分析、舆论监控分析、社会问题分析等)

政府的大数据

近期,奥巴马政府宣布投资2亿美元拉动大数据相关产业发展,将“大数据战略”上升为国家意志。奥巴马政府将数据定义为“未来的新石油”,并表示一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分,未来,对数据的占有和控制甚至将成为陆权、海权、空权之外的另一种国家核心资产。

在国内,政府各个部门都握有构成社会基础的原始数据,比如,气象数据,金融数据,信用数据,电力数据,煤气数据,自来水数据,道路交通数据,客运数据,安全刑事案件数据,住房数据,海关数据,出入境数据,旅游数据,医疗数据,教育数据,环保数据等等。这些数据在每个政府部门里面看起来是单一的,静态的。但是,如果政府可以将这些数据关联起来,并对这些数据进行有效的关联分析和统一管理,这些数据必定将获得新生,其价值是无法估量的。

具体来说,现在城市都在走向智能和智慧,比如,智能电网、智慧交通、智慧医疗、智慧环保、智慧城市,这些都依托于大数据,可以说大数据是智慧的核心能源。从国内整体投资规模来看,到2012年底全国开建智慧城市的城市数超过180个,通信网络和数据平台等基础设施建设投资规模接近5000亿元。“十二五”期间智慧城市建设拉动的设备投资规模将达1万亿元人民币。大数据为智慧城市的各个领域提供决策支持。在城市规划方面,通过对城市地理、气象等自然信息和经济、社会、文化、人口等人文社会信息的挖掘,可以为城市规划提供决策,强化城市管理服务的科学性和前瞻性。在交通管理方面,通过对道路交通信息的实时挖掘,能有效缓解交通拥堵,并快速响应突发状况,为城市交通的良性运转提供科学的决策依据。在舆情监控方面,通过网络关键词搜索及语义智能分析,能提高舆情分析的及时性、全面性,全面掌握社情民意,提高公共服务能力,应对网络突发的公共事件,打击违法犯罪。在安防与防灾领域,通过大数据的挖掘,可以及时发现人为或自然灾害、恐怖事件,提高应急处理能力和安全防范能力。

另外,作为国家的管理者,政府应该有勇气将手中的数据逐步开放,供给更多有能力的机构组织或个人来分析并加以利用,以加速造福人类。比如,美国政府就筹建了一个data.gov网站,这是奥巴马任期内的一个重要举措:要求政府公开透明,而核心就是实现政府机构的数据公开。截止目前,已经开放了有91054 个datasets;349citizen-developed apps;137 mobile apps;175 agencies and subagencies;87 galleries;295 Government APIs。

企业的大数据

企业的CXO们最关注的还是报表曲线的背后能有怎样的信息,他该做怎样的决策,其实这一切都需要通过数据来传递和支撑。在理想的世界中,大数据是巨大的杠杆,可以改变公司的影响力,带来竞争差异、节省金钱、增加利润、愉悦买家、奖赏忠诚用户、将潜在客户转化为客户、增加吸引力、打败竞争对手、开拓用户群并创造市场。

那么,哪些传统企业最需要大数据服务呢?抛砖引玉,先举几个例子:1) 对大量消费者提供产品或服务的企业(精准营销);2) 做小而美模式的中长尾企业(服务转型);3) 面临互联网压力之下必须转型的传统企业(生死存亡)。

对于企业的大数据,还有一种预测:随着数据逐渐成为企业的一种资产,数据产业会向传统企业的供应链模式发展,最终形成“数据供应链”。这里尤其有两个明显的现象:1) 外部数据的重要性日益超过内部数据。在互联互通的互联网时代,单一企业的内部数据与整个互联网数据比较起来只是沧海一粟;2) 能提供包括数据供应、数据整合与加工、数据应用等多环节服务的公司会有明显的综合竞争优势。

对于提供大数据服务的企业来说,他们等待的是合作机会,就像微软史密斯说的:“给我提供一些数据,我就能做一些改变。如果给我提供所有数据,我就能拯救世界。”

然而,一直做企业服务的巨头将优势不在,不得不眼看新兴互联网企业加入战局,开启残酷竞争模式。为何会出现这种局面?从 IT 产业的发展来看,第一代 IT 巨头大多是 ToB 的,比如 IBM、Microsoft、Oracle、SAP、HP这类传统 IT 企业;第二代 IT 巨头大多是ToC 的,比如 Yahoo、Google、Amazon、Facebook 这类互联网企业。大数据到来前,这两类公司彼此之间基本是井水不犯河水;但在当前这个大数据时代,这两类公司已经开始直接竞争。比如 Amazon 已经开始提供云模式的数据仓库服务,直接抢占 IBM、Oracle 的市场。这个现象出现的本质原因是:在互联网巨头的带动下,传统 IT 巨头的客户普遍开始从事电子商务业务,正是由于客户进入了互联网,所以传统 IT 巨头们不情愿地被拖入了互联网领域。如果他们不进入互联网,他们业务必将萎缩。在进入互联网后,他们又必须将云技术,大数据等互联网最具有优势的技术通过封装打造成自己的产品再提供给企业。

以IBM举例,上一个十年,他们抛弃了PC,成功转向了软件和服务,而这次将远离服务与咨询,更多地专注于因大数据分析软件而带来的全新业务增长点。IBM执行总裁罗睿兰认为,“数据将成为一切行业当中决定胜负的根本因素,最终数据将成为人类至关重要的自然资源。”IBM积极的提出了“大数据平台”架构。该平台的四大核心能力包括Hadoop系统、流计算(StreamComputing)、数据仓库(Data Warehouse)和信息整合与治理(Information Integration and Governance)

IBM大数据

另外一家亟待通过云和大数据战略而复苏的巨头公司HP也推出了自己的产品:HAVEn,一个可以自由扩展伸缩的大数据解决方案。这个解决方案由HP Autonomy、HP Vertica、HP ArcSight 和惠普运营管理(HP OperationsManagement)四大技术组成。还支持Hadoop这样通用的技术。HAVEn不是一个软件平台,而是一个生态环境。四大组成部分满足不同的应用场景需要,Autonomy解决音视频识别的重要解决方案;Vertica解决数据处理的速度和效率的方案;ArcSight解决机器的记录信息处理,帮助企业获得更高安全级别的管理;运营管理解决的不仅仅是外部数据的处理,而是包括了IT基础设施产生的数据。

个人的大数据

个人的大数据这个概念很少有人提及,简单来说,就是与个人相关联的各种有价值数据信息被有效采集后,可由本人授权提供第三方进行处理和使用,并获得第三方提供的数据服务。

举个例子来说明会更清晰一些:

未来,每个用户可以在互联网上注册个人的数据中心,以存储个人的大数据信息。用户可确定哪些个人数据可被采集,并通过可穿戴设备或植入芯片等感知技术来采集捕获个人的大数据,比如,牙齿监控数据,心率数据,体温数据,视力数据,记忆能力,地理位置信息,社会关系数据,运动数据,饮食数据,购物数据等等。用户可以将其中的牙齿监测数据授权给XX牙科诊所使用,由他们监控和使用这些数据,进而为用户制定有效的牙齿防治和维护计划;也可以将个人的运动数据授权提供给某运动健身机构,由他们监测自己的身体运动机能,并有针对的制定和调整个人的运动计划;还可以将个人的消费数据授权给金融理财机构,由他们帮你制定合理的理财计划并对收益进行预测。当然,其中有一部分个人数据是无需个人授权即可提供给国家相关部门进行实时监控的,比如罪案预防监控中心可以实时的监控本地区每个人的情绪和心理状态,以预防自杀和犯罪的发生。

以个人为中心的大数据有这么一些特性:

数据仅留存在个人中心,其它第三方机构只被授权使用(数据有一定的使用期限),且必须接受用后即焚的监管。

采集个人数据应该明确分类,除了国家立法明确要求接受监控的数据外,其它类型数据都由用户自己决定是否被采集。

数据的使用将只能由用户进行授权,数据中心可帮助监控个人数据的整个生命周期。

展望过于美好,也许实现个人数据中心将遥遥无期,也许这还不是解决个人数据隐私的最好方法,也许业界对大数据的无限渴求会阻止数据个人中心的实现,但是随着数据越来越多,在缺乏监管之后,必然会有一场激烈的博弈:到底是数据重要还是隐私重要;是以商业为中心还是以个人为中心。
文章来源:网络
更多智造家智道分享:www.imefuture.com
 
 
 
820 浏览

云计算术语大全

机械自动化类 晴空万里 2016-05-10 11:01 发表了文章 来自相关话题

本文档中通过对现有的云计算资料进行梳理,列出了60多条云计算相关的术语及其解释,以供参考。
本文档中通过对现有的云计算资料进行梳理,列出了60多条云计算相关的术语及其解释,以供参考。
846 浏览

从云计算和大数据看安防行业发展云趋势

机械自动化类 不见不散 2016-05-09 13:40 发表了文章 来自相关话题

作为一种IT基础设施与服务的交互和使用模式,“云”概念的推出已经过去10年。这十年间“云”相关技术发展迅猛,也受到了越来越多的关注。在安防行,云应用无疑已经走在了前列。本文将从云计算和大数据的角度来介绍云技术,更主要的是解读技术背后的行业发展趋势。






云计算技术:起源、概念与解读    
自从2006年谷歌推出“Google101计划”并正式提出“云”的概念和理论,“云”开始渐渐走入大众的视野。亚马逊、微软、IBM等公司也随后宣布了自己的“云计划”,一时间,风起“云”涌。到底什么是“云”?其实这个词语很巧妙地解释了这样一种计算机网络:只要能够连入网络,作为接受服务的对象的你,无论身处何时何地都能够享受到来自网络端提供的服务,用来实现计算、存储等功能。    
云计算是分布式处理、并行处理和网格计算的发展,是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。网络服务提供者可以在数秒之内,处理数以千万计甚至亿计的信息,这意味着计算能力也可作为一种商品通过互联网进行流通。    
云存储是在云计算概念上衍生出的一个概念,通过集群应用、网格技术或分布式文件系统等功能,使用者可以在任何时间、任何地方,透过任何可连网的装置连接到云上方便地存取数据,既能保证数据的安全性,又节约了存储空间。    
云计算的概念    
云计算的概念可以从用户、技术提供商和技术开发人员三个不同角度来解读。    
就用户的体验和效果而言,云计算系统可以看作是一个信息基础设施,包含有硬件设备、软件平台、系统管理的数据以及相应的信息服务。用户可以根据自己的需要,通过网络去获得自己需要的计算机资源和软件服务;这些计算机资源和软件服务是直接供用户使用,而无需用户做进一步的定制开发、管理和维护等工作。同时,这些计算机资源和软件服务的规模可以根据用户业务变化和需求的变化,随时调整到足够大的规模。    
技术提供商强调云计算系统需要组织和协同大量的计算资源,来提供强大的IT能力和丰富的软件服务,利用调度优化的技术来提高资源的利用效率。云计算系统提供的IT能力和软件服务针对用户的直接需求,并且这些IT能力和软件服务都在互联网上进行发布,允许用户直接利用互联网来试用这些IT能力和服务。用户对资源的使用,按照其使用量来进行计费。    
作为云计算系统的设计和开发人员,技术开发人员认为云计算是一个大型集中的信息系统,该系统通过虚拟化技术和面向服务的系统设计等手段,来完成资源和能力的封装以及交互,并且通过互联网来发布这些封装好的资源和能力。虚拟化技术和Web服务是最为常见的封装和呈现技术,可以把硬件资源和软件功能等打包,并且以虚拟计算机和网络服务的形式呈现给用户使用。    
这些理解角度看上去各异,实际上三者的终极目标是一致的,即将计算、服务和应用作为一种公共设施提供给公众,使人们能够像使用水、电、煤气和电话那样使用计算机资源。目前已经有不少公司提供相关实用的云产品,它们的表现形式也多种多样,比如在线协作与发布、云阅读与终端云同步、云搜索引擎、云盘等,云中的资源可以随时获取按需使用,并且随时扩展,用户可以按照使用情况来付费。    
安防大数据:安防行业发展的云趋势    
随着安防视频监控系统技术的进步和安防系统建设规模的增长,安防系统的发展需求发生了深刻的变化,大集成、大联网、高效数据分析和处理已经成为了安防行业的大趋势。视频图像以及数据信息的汇聚、整合和集成,逐步形成了海量数据中心,快速推动安防行业进入大数据时代。当前安防行业涉及的数据信息类型很多,从数据的结构类型来看,包括各类非结构化、结构化以及半结构化信息。非结构化数据主要包括视频录像和图像记录,如监控视频录像、报警录像、车辆卡口图片、人脸抓拍图片、报警抓拍图片等;结构化数据则包括报警记录、系统日志记录、运维数据记录、摘要分析等结构化描述信息,以及各种相关的信息数据库,如人口信息、地理数据信息、车驾管信息等;半结构化数据则如人脸建模数据、指纹记录等。所有这些数据作为一个整体,构成了安防系统的大数据基础。
文章来源:网络
智造家智道分享文章链接:http://bbs.imefuture.com/article 查看全部

作为一种IT基础设施与服务的交互和使用模式,“云”概念的推出已经过去10年。这十年间“云”相关技术发展迅猛,也受到了越来越多的关注。在安防行,云应用无疑已经走在了前列。本文将从云计算和大数据的角度来介绍云技术,更主要的是解读技术背后的行业发展趋势。

云计算3.jpg


云计算技术:起源、概念与解读    
自从2006年谷歌推出“Google101计划”并正式提出“云”的概念和理论,“云”开始渐渐走入大众的视野。亚马逊、微软、IBM等公司也随后宣布了自己的“云计划”,一时间,风起“云”涌。到底什么是“云”?其实这个词语很巧妙地解释了这样一种计算机网络:只要能够连入网络,作为接受服务的对象的你,无论身处何时何地都能够享受到来自网络端提供的服务,用来实现计算、存储等功能。    
云计算是分布式处理、并行处理和网格计算的发展,是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。网络服务提供者可以在数秒之内,处理数以千万计甚至亿计的信息,这意味着计算能力也可作为一种商品通过互联网进行流通。    
云存储是在云计算概念上衍生出的一个概念,通过集群应用、网格技术或分布式文件系统等功能,使用者可以在任何时间、任何地方,透过任何可连网的装置连接到云上方便地存取数据,既能保证数据的安全性,又节约了存储空间。    
云计算的概念    
云计算的概念可以从用户、技术提供商和技术开发人员三个不同角度来解读。    
就用户的体验和效果而言,云计算系统可以看作是一个信息基础设施,包含有硬件设备、软件平台、系统管理的数据以及相应的信息服务。用户可以根据自己的需要,通过网络去获得自己需要的计算机资源和软件服务;这些计算机资源和软件服务是直接供用户使用,而无需用户做进一步的定制开发、管理和维护等工作。同时,这些计算机资源和软件服务的规模可以根据用户业务变化和需求的变化,随时调整到足够大的规模。    
技术提供商强调云计算系统需要组织和协同大量的计算资源,来提供强大的IT能力和丰富的软件服务,利用调度优化的技术来提高资源的利用效率。云计算系统提供的IT能力和软件服务针对用户的直接需求,并且这些IT能力和软件服务都在互联网上进行发布,允许用户直接利用互联网来试用这些IT能力和服务。用户对资源的使用,按照其使用量来进行计费。    
作为云计算系统的设计和开发人员,技术开发人员认为云计算是一个大型集中的信息系统,该系统通过虚拟化技术和面向服务的系统设计等手段,来完成资源和能力的封装以及交互,并且通过互联网来发布这些封装好的资源和能力。虚拟化技术和Web服务是最为常见的封装和呈现技术,可以把硬件资源和软件功能等打包,并且以虚拟计算机和网络服务的形式呈现给用户使用。    
这些理解角度看上去各异,实际上三者的终极目标是一致的,即将计算、服务和应用作为一种公共设施提供给公众,使人们能够像使用水、电、煤气和电话那样使用计算机资源。目前已经有不少公司提供相关实用的云产品,它们的表现形式也多种多样,比如在线协作与发布、云阅读与终端云同步、云搜索引擎、云盘等,云中的资源可以随时获取按需使用,并且随时扩展,用户可以按照使用情况来付费。    
安防大数据:安防行业发展的云趋势    
随着安防视频监控系统技术的进步和安防系统建设规模的增长,安防系统的发展需求发生了深刻的变化,大集成、大联网、高效数据分析和处理已经成为了安防行业的大趋势。视频图像以及数据信息的汇聚、整合和集成,逐步形成了海量数据中心,快速推动安防行业进入大数据时代。当前安防行业涉及的数据信息类型很多,从数据的结构类型来看,包括各类非结构化、结构化以及半结构化信息。非结构化数据主要包括视频录像和图像记录,如监控视频录像、报警录像、车辆卡口图片、人脸抓拍图片、报警抓拍图片等;结构化数据则包括报警记录、系统日志记录、运维数据记录、摘要分析等结构化描述信息,以及各种相关的信息数据库,如人口信息、地理数据信息、车驾管信息等;半结构化数据则如人脸建模数据、指纹记录等。所有这些数据作为一个整体,构成了安防系统的大数据基础。
文章来源:网络
智造家智道分享文章链接:http://bbs.imefuture.com/article