华为网络技术学习打卡8（云计算&大数据，openstack，docker）

云计算

产生背景（云计算的驱动力）

• 技术驱动(
• 需求驱动(海量的数据信息给现阶段设备带来巨大的压力，云计算技术可以降低成本
• 商业模式转变（
• 其他方面，海量的数据及信息、各种各样的终端设备也促使着现阶段技术的变革。
  

云计算的概念

• 商业视角：云计算==信息电厂（大家都可以按需使用付费）
  

• 技术视角：云计算==计算、存储的网络

• 狭义：IT基础设施的交付和使用模式，通过按需，易扩展的方式获得所需的资源。包括基础架构，平台，软件。

• 广义：通过网络以按需，易扩展的方式获得所需服务，这种服务可以是IT和软件，互联网相关的，也可以是其他任意的服务，比如政务云，教育云，医疗云等，，，
  

云计算部署模式

• 私有云
• 公有云
• 混合云
  私有云和公有云通过企业防火墙隔离，保证信息的安全

云计算的应用模式

云计算的价值体现

• 智能资源调度:
  1：业务可以实现基于策略的资源调度以实现负载均衡；
  2：通过热迁移实现节能减排。

• 提高资源的利用率
  1：资源共享；
  2：分时共享。（不同业务有不同高峰期）

• 分布式的计算存储
  

• 统一管理
  

• 业务快速部署
  

虚拟化

概念

虚拟化前后最大的区别就是物理机上可以同时运行多个虚拟机，而且还有虚拟机监控器。
通过这个虚拟机监控器的模拟，虚拟机在上层软件看起来就像一个真实的机器。虚拟机是将物理资源池化了，多个虚拟机直接从资源池中获取资源与硬件解耦合。

虚拟化的主要内容

• 计算虚拟化：CPU虚拟化、内存虚拟化、VO虚拟化
• 存储虚拟化：裸设备+逻辑卷、存储设备虚拟化、主机虚拟化+文件系统
• 网络虚拟化：VPN、VLAN。

虚拟化的本质

• 分区（在单一物理服务器上可以同时使用多个虚拟机，按需使用硬件资源池中的资源）
• 隔离（每个虚拟机之间都是隔离的，虚拟机之间互不影响）
• 封装（整个虚拟机的执行文件封装在独立的执行环境中，可以通过移动复制这些文件来移动和复制该虚拟机）
• 独立（相对于硬件独立，虚拟机无需任何修改，可在任何服务器上使用，实现虚拟机的热迁移）

OpenStack

• openstack是一对大大小小项目的统称
  
  
  Openstack架构
  
  keystone组件
• 身份服务，提供身份验证、服务规则和服务令牌功能
• 管理用户，住户，角色，服务和服务端点
• 可以支持SQL，PAM，LDAP作为后盾
• 任何服务之间相互调用，都需要经过Keystone的身份验证
  
  NOVA组件
• 计算服务——计算节点，运行虚拟机的hypervisor
• 分布式控制器——负责处理器调度策略及AP调用等。
  
  GLANCE
• 为NOVA提供镜像服务
• 通常不负责镜像的本地存储
• 实现对镜像的管理（快照、备份、镜像模块额管理。。）
• 镜像格式：raw,qcow,vhd,vmdk,iso
• 后端存储，Swift,Filesystem,AmazonS3

SWIFT

• 高可用分布式对象存储服务
• 提供存储数据的易用服务
• 适用于互联网场景下非结构数据的存储
• 为NOVA组件提供虚拟机镜像存储
  
  NETWORKING Neutron
• 提供网络服务的核心组件
• 基于软件定义网络的思想
• 提供支持/试下SDN框架
• 基于插件的模型

CINDER

• 块存储服务（卷服务）|为虚拟机实例提供volume卷的块存储服务
• 一个volume可以同时挂载到多个实例上
• 共享的卷同时只能被一个实例进行写操作
• 持久化磁盘
• 基于插件的架构便于扩展
• 支持的文件系统类型:LVM/ISCSI,NFS,NetAPP NFS, Gluster,DELL Equall Logic

HORIZON

• 仪表板
• 自服务界面
• 基于云管理功能

CEILOMETER

• 提供openstack平台组件的监控
• 计量服务，为流量计费提供数据支撑

Heat

• OpenStack核心项目之一
• 提供基于模板的编排服务

Docker技术

• Docker？
•  
• 容器管理
• linux中，容器技术，进程隔离技术

容器迅猛发展的背景：

• 应用架构正在发生变革——微服务化
• 基础架构系统也在发生变革——虚拟化、混合云
  
• 面临越来越多的应用数量和种类越来越多的底层环境，容器技术可以完美的将应用的各种组件封装起来，应用开发以后呢，一次封装，多次部署，随时迁移，完全不需要关注底层环境，可以更好实现一些东西。
• 容器是一种比虚拟机更加轻量级的技术

Docker优势

Docker容器状态：

Docker镜像：

Docker仓库

• 容器一旦关闭，他的修改信息就会丢失
• 对于有状态的应用来说难以接受
• 通过挂在文件目录或者是存储来解决

Docker平台对比：

Docker平台架构

大数据

大数据的产生背景：随着云时代的来临，大数据也吸引了越来越多的关注，大数据通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时，会花费过多的时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析，需要像MapReduce一样的框架来向数十、数百甚至数千的主机分配工作。
大数据的其前世今生

大数据的定义：

数据类型：

• 数据可以分为结构化和非结构化数据
• 结构化数据指可以存在数据库里的，可以用二维表结构来逻辑表达实现的数据
• 非结构化数据是指不方便用数据库二位逻辑表来表示的数据包括：所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频、视频信息等等
• 半结构化数据，介于结构化和非结构化数据之间的，HTML文档就是半结构化数据
  分析当代的数据集合，有25% 结构化数据，剩下由75% 非结构化和半结构化数据构成。

大数据的价值（value）

大数据对我们的生产生活有着重要作用：

在卫星测绘领域，大数据具备海量数据存储服务能力，每天能存储1TB的数据，整个系统可以存储PB级的数据；

在金融领域，大数据可以帮助金融机构盘活客户少量数据资产，深挖存量数据价值；

在能源勘测领域，大数据工具可以有效降低能源公司的勘探成本，根据大数据分析，没扣油井的勘探成本从800美金下降到300万美金；

在影音娱乐领域，播放的真人秀综艺可能只有一个小时，但是却会有着超过1000分钟的高清原始素材，消耗存储大概有2TB，通过使用大数据工具，可以很好的完成制作任务。

• 海量数据存储
• 盘活归档数据
• 潜力分析
• 高清制播

大数据关乎着我们的未来：

• 对于企业，大数据在竞争能力、决策即使、成本控制等领域有广泛的应用前景
• 对于事业组织，在科学探索、知识、社会安全等领域也有强烈需求

大数据的特征

大数据带来的挑战
网络架构：传统网络架构对南北向的网络流量需求支持良好，但不适配大数据应用对东西向流量的需求，为了满足东西向流量的传输需求，要对传统网络架构进行重配。

数据中心：传统数据中心里，计算、存储等各个子系统相对独立，用于大数据处理的数据中心需要更高的资源利用率、自动化，需要使用虚拟化、云计算等技术对这些子系统进行整合和拉通，在重构过程中，增加了技术上的复杂性，给规划、建设、运维带来压力和新的挑战。

数据仓库：传统数据仓库对各类结构化关系型数据库支持良好，但不适应非结构化和半结构化数据在数据处理上的需求，无法高效、迅速处理非结构化和半结构化数据，同时，在存储的非结构化和半结构化数据原始数据上，数据仓库也面临挑战

1；传统网路架构不适应“大数据”时代，从垂直访问到水平访问。
2；数据中心面临巨大压力，同时访问子系统压力大。
3；数据仓库架构不适应高速反应的要求，非结构化数据无法处理。

大数据所面临的的挑战的解决方案：云计算技术
云计算技术

云计算之于大数据，云计算是底层平台，大数据是应用。云计算作为底层平台整合计算、存储和网络等资源，同时提供基础架构资源弹性伸缩的能力。大数据在云计算平台支撑下，调度下层资源，进行数据源加载、计算和最终结果输出等工作。

大数据与云计算的关系

大数据对运营商的作用

国内外电信运营商均拥有丰富的数据资源，国内运营商主要系统youqCRM、BI 、BOSS等，这些系统中数据涉及客户的基本信息、通话行为、上网行为、数据业务使用、智能终端、出道接触等诸多方面，价值巨大。
在生产经营中，通过使用大数据工具进行数据分析，运营商可以提高精准营销、经营分析、要客保障等工作的效率。在网络应用中，通过对积累的客户位置信息进行分析，可以描绘运动轨迹，进而开发增值业务。运维保障工作中，通过使用大数据工具，有助于降低投诉率、降低平均故障时长、提升客户满意度。

如何面对大数据：
为了应对激烈的竞争，各类组织在管理方法、技术工具、基础架构、思维方式等各类需求的倒逼下，渴望对应用和数据的关系进行变革，从传统的被动应对应用产生的数据到主动挖掘数据的价值，大数据是解决之道。

电信大数据应用

大数据带给电信行业的机会和挑战：

第一个挑战：电信行业生产圈的信息产业遇到了革命性的变化，运营商相关业务的发展更加依赖数据，如传统的语音、窄带、宽带数据以及超宽带、数字经济等相关业务的数据量越来越大。

第二个挑战：OTT，虚拟运营商的介入，使得运营商竞争环境更加复杂和激烈。

第三个挑战：客户消费模式的改变，需要大数据分析深入洞察客户的需求，进行定制化的服务，改善客户体验

第四个挑战：提升精细化的管理水平，以数据为中心的一体化、精细化陈伟必然趋势，数据成为企业的核心资产。

电信行业大数据典型需求：
大数据的总体目标是构建统一的数据采集与整合能力、大数据分析处理能力，计算及数据服务能力，大数据应用能力，和互联网化的数据开放能力，支撑业务创新与商业成功

1：延长用户生命周期。大数据建模支撑用户全生命周期的营销和维系（潜在离网用户维挽场景）

2：提升用户使用量。基于大数据的营销体系有效运作，支撑多批次、小群体、高成功率、多用户触点的营销

3：对外价值变现，实现对外合作。MR数据轨迹形成商业价值，用户成为轨迹，形成商业价值。