并肩阿里云浙江移动云计算和大数据实践（PPT附下载）

编辑：　发布时间： 2015-11-6 　　文章来源：36大数据

大数据营销

　　作者：汤人杰，中国移动通信集团浙江有限公司信息技术部大数据技术专家，高级工程师。曾任工商银行架构师，2011年加入公司以后主要负责大数据平台的规划和建设以及大数据应用的运维，在工作期间获得过专利、科技进步奖等荣誉，曾在知名技术论坛上发言，并获得过系统分析员、PMP、OCP等多项专业认证。

　　在云计算、大数据等新兴技术带来的IT变革浪潮下，浙江移动做为运营商中较为领先云计算实践先行军，不断推进云计算落地，实践中有收获也有困惑，本次演讲想与业界同行分享浙江移动在云计算实践过程中的一些困惑、思考和经验，同时也希望在本次大会中学习业界领先者的经验，获得启示。

　　浙江移动云计算实践始于2011年，在四年的探索过程中，我们遇到了很多困难和困惑，为此我们反思了云计算的核心价值、特征和技术，思考云计算在通信行业的落地方式、建设误区和价值，通过对标领先云计算企业，分析自身的优劣势并制定适合浙江移动的云计算发展规划蓝图和近远期目标，最后分享一些云计算实践的收益和对未来的展望。

　　核心观点总结

　　X86化，虚拟机化不等于云化， PaaS资源池化和核心云构件EPaaS的建设才能实现真正意义的大云，这一点对企业私有云意义尤其重大;

　　大数据技术平台的整合和发展、轻量级虚拟化技术， HADOOP和DOCKER的融合、 ZOOKEEPER和MESOS技术的发展很可能成为未来一段时间内云计算架构演进的重点;

　　应用云化的提法很可能已经过时，后续可考虑改为云平台建设+应用上云，应予以纠正;

　　云计算推广和建设应摈弃传统的自上而下的竖井式做法，改为自下而上的平台化视角;

　　从企业整体视角，资源池应有三统一分(技术架构统一，管理平台统一，数据运营统一，安全管理分域)的整体理念，而不是简单地以部门甚至项目为单位切分;

　　浙江公司云平台建设现状

　　目前浙江公司建设了三个资源池，各自独立发展，有独立的管理平台。

　　支撑资源池：承载业务支撑系统与管理支撑系统，上层管理平台由华胜天成负责开发;

　　网管资源池：承载网管支撑系统与业务平台，上层管理平台由东信北邮负责开发;

　　IDC资源池：承载IDC业务(公有云)，上层管理平台由华为负责开发;

　　阿里云的启示-云的进化论

　　阶段1： X86化。核心是硬件标准化，是云的原始积累。

　　阶段2： IaaS资源池化。核心特征是虚机级资源管理、调度管理和IAAS服务标准化，俗称大变小。

　　阶段3：应用云化也可以叫做应用资源池化。核心特征是集群级资源管理、调度管理。但这种管理都是私有化的、静态的一方面是有积极意义的可视为云的进化，从小云进化到低级中云。一方面它的局限性太大，仍然是应用级的竖井，不能跨应用弹性伸缩，云化能力不能被标准化和共享，这一点在技术角度和管理角度(供应商依赖和甲方核心能力掌控)有着深远的负面影响!

　　阶段4： PaaS资源池化。核心特征是标准化的、集中的和动态的集群级调度管理，同时实现了PaaS服务的标准化。资源管理仍然是静态的，分散的，但调度管理实现集中化、标准化、动态化将标准化的技术服务能力从应用层转移到PaaS平台层，从应用云化走向应用上云。这是我们近期很现实的一个发展方向。尽管不能大幅度提升弹性伸缩范围，但可以解决云化能力的标准化和能力沉淀，可以极大降低我们对供应商的依赖，提升核心能力掌控。本阶段云将进化到了高级中云。

　　阶段5：控制标准化，核心特征是实现资源管理的数据中心集中化和动态化，俗称小变大。是我们发展的终极目标。可以真正实现大云。

　　架构转型思路：面向互联开放的云聚化架构

　　从垂直型、功能型的传统架构，向“云+平台+应用”的互联网架构转型–架构云化，能力聚化，应用互联网化

　　1、基础设施架构云化：通过云计算技术，实现资源分配的高弹性高扩展性。满足互联网时代业务对技术架构的高并发、快速响应、高可靠、海量存储等要求。

　　2 、业务、技术能力平台化：将各系统逐步进行改造形成应用+平台，标准化的、集成化、开放化的技术、数据、业务能力平台，提高应用系统的专业化、组件化程度，提高建设效率。统一规划、管理各类数据，加强大数据分析、挖掘等数据服务能力建设，推进数据变现。

　　3、应用互联网化：依赖云+平台+敏捷开发等手段、提供无缝的、全渠道的(内、外)客户体验优良的应用，满足企业互联网营销和服务的需要。

　　浙江移动传统数据分析系统架构

　　浙江移动传统数据系统主要包括数据仓库层和数据集市层，其中数据仓库层主要负责基础数据模型的处理和历史数据存储，数据集市层从数据仓库获取基础数据模型，并在此基础上支撑端到端应用。

　　1、数据仓库层主要包括主仓库、应急库、历史库和互联网日志集群。

　　2、主仓库负责原始数据的采集和处理，并将处理后的基础数据模型分发给各数据集市，同时承载一经、 KPI、 MIS等及时性较高的关键应用;应急库作为主仓库的业务级容灾系统，用于保障核心业务连续稳定运行;历史库存储主仓库历史数据，并用于长周期历史数据趋势分析;互联网日志集群主要负责互联网日志数据的预处理。

　　3、主仓库、应急库、历史库采用小型机+高端SAN存储+传统DB2数据库构建;

　　4、报表库、地市数据中心、创新平台、 VGOP等数据集市采用小型机+高端SAN存储+传统Oracle数据库构建。

　　企业级大数据平台的云服务

　　企业级云化大数据平台对外提供3大服务：数据交换服务、数据处理服务、数据开放服务。

　　数据交换层：以Flume、 Sqoop、 Hadoop、消息队列等技术建立统一数据采集交换中心，提供数据采集服务、数据交换服务，实现移动信息生态圈数据共享与交换。

　　数据处理层：以Hadoop、 MPP、流处理等技术建立数据处理中心，提供离线计算服务和在线计算服务，实现海量数据批处理和实时处理。

　　数据开放层：以Oracle、 Mysql、 Hbase等技术，实现海量数据实时查询、多维度挖掘分析，实现大数据变现。

　　回答问题

　　Q:技术架构竖井化，甚至以项目为单位搞技术架构。基础软硬件标准化管理失控，七国八制，运维亚历山大，这种情况谈何核心能力掌控?

　　A：必须通过云平台建设，推进技术架构标准化，否则运维效果，运维成本，核心能力掌控永无宁日

　　Q：浙江移动的云平台是否可以使用或融合阿里云的技术架构?

　　A:可以使用，遇到的挑战主要有运维能力培养，技术选择权的丧失。本质上阿里是一个封闭体系。不可以融合，阿里云的IaaS、 PaaS、飞天是耦合的。