华为网络技术学习打卡8(云计算&大数据,openstack,docker)

云计算

产生背景(云计算的驱动力)

  • 技术驱动(
  • 需求驱动(海量的数据信息给现阶段设备带来巨大的压力,云计算技术可以降低成本
  • 商业模式转变(
  • 其他方面,海量的数据及信息、各种各样的终端设备也促使着现阶段技术的变革。
    华为网络技术学习打卡8(云计算&大数据,openstack,docker)

云计算的概念

  • 商业视角:云计算==信息电厂(大家都可以按需使用付费)
    华为网络技术学习打卡8(云计算&大数据,openstack,docker)

  • 技术视角:云计算==计算、存储的网络

  • 狭义:IT基础设施的交付和使用模式,通过按需,易扩展的方式获得所需的资源。包括基础架构,平台,软件。

  • 广义:通过网络以按需,易扩展的方式获得所需服务,这种服务可以是IT和软件,互联网相关的,也可以是其他任意的服务,比如政务云,教育云,医疗云等,,,
    华为网络技术学习打卡8(云计算&大数据,openstack,docker)

云计算部署模式

  • 私有云
  • 公有云
  • 混合云
    私有云和公有云通过企业防火墙隔离,保证信息的安全

云计算的应用模式
华为网络技术学习打卡8(云计算&大数据,openstack,docker)

云计算的价值体现

  • 智能资源调度:
    1:业务可以实现基于策略的资源调度以实现负载均衡;
    2:通过热迁移实现节能减排。

  • 提高资源的利用率
    1:资源共享;
    2:分时共享。(不同业务有不同高峰期)

  • 分布式的计算存储
    华为网络技术学习打卡8(云计算&大数据,openstack,docker)

  • 统一管理
    华为网络技术学习打卡8(云计算&大数据,openstack,docker)

  • 业务快速部署
    华为网络技术学习打卡8(云计算&大数据,openstack,docker)

虚拟化

概念
华为网络技术学习打卡8(云计算&大数据,openstack,docker)
虚拟化前后最大的区别就是物理机上可以同时运行多个虚拟机,而且还有虚拟机监控器。
通过这个虚拟机监控器的模拟,虚拟机在上层软件看起来就像一个真实的机器。虚拟机是将物理资源池化了,多个虚拟机直接从资源池中获取资源与硬件解耦合。

虚拟化的主要内容

  • 计算虚拟化:CPU虚拟化、内存虚拟化、VO虚拟化
  • 存储虚拟化:裸设备+逻辑卷、存储设备虚拟化、主机虚拟化+文件系统
  • 网络虚拟化:VPN、VLAN。

虚拟化的本质

  • 分区(在单一物理服务器上可以同时使用多个虚拟机,按需使用硬件资源池中的资源)
  • 隔离(每个虚拟机之间都是隔离的,虚拟机之间互不影响)
  • 封装(整个虚拟机的执行文件封装在独立的执行环境中,可以通过移动复制这些文件来移动和复制该虚拟机)
  • 独立(相对于硬件独立,虚拟机无需任何修改,可在任何服务器上使用,实现虚拟机的热迁移)

OpenStack

  • openstack是一对大大小小项目的统称
    华为网络技术学习打卡8(云计算&大数据,openstack,docker)
    华为网络技术学习打卡8(云计算&大数据,openstack,docker)
    Openstack架构
    华为网络技术学习打卡8(云计算&大数据,openstack,docker)
    keystone组件
  • 身份服务,提供身份验证、服务规则和服务令牌功能
  • 管理用户,住户,角色,服务和服务端点
  • 可以支持SQL,PAM,LDAP作为后盾
  • 任何服务之间相互调用,都需要经过Keystone的身份验证
    华为网络技术学习打卡8(云计算&大数据,openstack,docker)
    NOVA组件
  • 计算服务——计算节点,运行虚拟机的hypervisor
  • 分布式控制器——负责处理器调度策略及AP调用等。
    华为网络技术学习打卡8(云计算&大数据,openstack,docker)
    GLANCE
  • 为NOVA提供镜像服务
  • 通常不负责镜像的本地存储
  • 实现对镜像的管理(快照、备份、镜像模块额管理。。)
  • 镜像格式:raw,qcow,vhd,vmdk,iso
  • 后端存储,Swift,Filesystem,AmazonS3

SWIFT

  • 高可用分布式对象存储服务
  • 提供存储数据的易用服务
  • 适用于互联网场景下非结构数据的存储
  • 为NOVA组件提供虚拟机镜像存储
    华为网络技术学习打卡8(云计算&大数据,openstack,docker)
    NETWORKING Neutron
  • 提供网络服务的核心组件
  • 基于软件定义网络的思想
  • 提供支持/试下SDN框架
  • 基于插件的模型

CINDER

  • 块存储服务(卷服务)|为虚拟机实例提供volume卷的块存储服务
  • 一个volume可以同时挂载到多个实例上
  • 共享的卷同时只能被一个实例进行写操作
  • 持久化磁盘
  • 基于插件的架构便于扩展
  • 支持的文件系统类型:LVM/ISCSI,NFS,NetAPP NFS, Gluster,DELL Equall Logic

HORIZON

  • 仪表板
  • 自服务界面
  • 基于云管理功能

CEILOMETER

  • 提供openstack平台组件的监控
  • 计量服务,为流量计费提供数据支撑

Heat

  • OpenStack核心项目之一
  • 提供基于模板的编排服务

Docker技术

  • Docker?
  •  
  • 容器管理
  • linux中,容器技术,进程隔离技术

容器迅猛发展的背景:

  • 应用架构正在发生变革——微服务化
  • 基础架构系统也在发生变革——虚拟化、混合云
    华为网络技术学习打卡8(云计算&大数据,openstack,docker)
  • 面临越来越多的应用数量和种类越来越多的底层环境,容器技术可以完美的将应用的各种组件封装起来,应用开发以后呢,一次封装,多次部署,随时迁移,完全不需要关注底层环境,可以更好实现一些东西。
  • 容器是一种比虚拟机更加轻量级的技术

Docker优势
华为网络技术学习打卡8(云计算&大数据,openstack,docker)
Docker容器状态:
华为网络技术学习打卡8(云计算&大数据,openstack,docker)

Docker镜像:
华为网络技术学习打卡8(云计算&大数据,openstack,docker)
Docker仓库

华为网络技术学习打卡8(云计算&大数据,openstack,docker)

  • 容器一旦关闭,他的修改信息就会丢失
  • 对于有状态的应用来说难以接受
  • 通过挂在文件目录或者是存储来解决

Docker平台对比:
华为网络技术学习打卡8(云计算&大数据,openstack,docker)
Docker平台架构
华为网络技术学习打卡8(云计算&大数据,openstack,docker)

大数据

大数据的产生背景:随着云时代的来临,大数据也吸引了越来越多的关注,大数据通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时,会花费过多的时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析,需要像MapReduce一样的框架来向数十、数百甚至数千的主机分配工作。
大数据的其前世今生
华为网络技术学习打卡8(云计算&大数据,openstack,docker)
大数据的定义:
华为网络技术学习打卡8(云计算&大数据,openstack,docker)
数据类型:

  • 数据可以分为结构化和非结构化数据
  • 结构化数据指可以存在数据库里的,可以用二维表结构来逻辑表达实现的数据
  • 非结构化数据是指不方便用数据库二位逻辑表来表示的数据包括:所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频、视频信息等等
  • 半结构化数据,介于结构化和非结构化数据之间的,HTML文档就是半结构化数据
    分析当代的数据集合,有25% 结构化数据,剩下由75% 非结构化和半结构化数据构成。

大数据的价值(value)

大数据对我们的生产生活有着重要作用:

在卫星测绘领域,大数据具备海量数据存储服务能力,每天能存储1TB的数据,整个系统可以存储PB级的数据;

在金融领域,大数据可以帮助金融机构盘活客户少量数据资产,深挖存量数据价值;

在能源勘测领域,大数据工具可以有效降低能源公司的勘探成本,根据大数据分析,没扣油井的勘探成本从800美金下降到300万美金;

在影音娱乐领域,播放的真人秀综艺可能只有一个小时,但是却会有着超过1000分钟的高清原始素材,消耗存储大概有2TB,通过使用大数据工具,可以很好的完成制作任务。

  • 海量数据存储
  • 盘活归档数据
  • 潜力分析
  • 高清制播

大数据关乎着我们的未来:

  • 对于企业,大数据在竞争能力、决策即使、成本控制等领域有广泛的应用前景
  • 对于事业组织,在科学探索、知识、社会安全等领域也有强烈需求

大数据的特征
华为网络技术学习打卡8(云计算&大数据,openstack,docker)
大数据带来的挑战
网络架构:传统网络架构对南北向的网络流量需求支持良好,但不适配大数据应用对东西向流量的需求,为了满足东西向流量的传输需求,要对传统网络架构进行重配。

数据中心:传统数据中心里,计算、存储等各个子系统相对独立,用于大数据处理的数据中心需要更高的资源利用率、自动化,需要使用虚拟化、云计算等技术对这些子系统进行整合和拉通,在重构过程中,增加了技术上的复杂性,给规划、建设、运维带来压力和新的挑战。

数据仓库:传统数据仓库对各类结构化关系型数据库支持良好,但不适应非结构化和半结构化数据在数据处理上的需求,无法高效、迅速处理非结构化和半结构化数据,同时,在存储的非结构化和半结构化数据原始数据上,数据仓库也面临挑战

1;传统网路架构不适应“大数据”时代,从垂直访问到水平访问。
2;数据中心面临巨大压力,同时访问子系统压力大。
3;数据仓库架构不适应高速反应的要求,非结构化数据无法处理。

大数据所面临的的挑战的解决方案:云计算技术
云计算技术

云计算之于大数据,云计算是底层平台,大数据是应用。云计算作为底层平台整合计算、存储和网络等资源,同时提供基础架构资源弹性伸缩的能力。大数据在云计算平台支撑下,调度下层资源,进行数据源加载、计算和最终结果输出等工作。

大数据与云计算的关系
华为网络技术学习打卡8(云计算&大数据,openstack,docker)

大数据对运营商的作用

国内外电信运营商均拥有丰富的数据资源,国内运营商主要系统youqCRM、BI 、BOSS等,这些系统中数据涉及客户的基本信息、通话行为、上网行为、数据业务使用、智能终端、出道接触等诸多方面,价值巨大。
在生产经营中,通过使用大数据工具进行数据分析,运营商可以提高精准营销、经营分析、要客保障等工作的效率。在网络应用中,通过对积累的客户位置信息进行分析,可以描绘运动轨迹,进而开发增值业务。运维保障工作中,通过使用大数据工具,有助于降低投诉率、降低平均故障时长、提升客户满意度。

华为网络技术学习打卡8(云计算&大数据,openstack,docker)

如何面对大数据:
为了应对激烈的竞争,各类组织在管理方法、技术工具、基础架构、思维方式等各类需求的倒逼下,渴望对应用和数据的关系进行变革,从传统的被动应对应用产生的数据到主动挖掘数据的价值,大数据是解决之道。
华为网络技术学习打卡8(云计算&大数据,openstack,docker)

电信大数据应用

大数据带给电信行业的机会和挑战:

第一个挑战:电信行业生产圈的信息产业遇到了革命性的变化,运营商相关业务的发展更加依赖数据,如传统的语音、窄带、宽带数据以及超宽带、数字经济等相关业务的数据量越来越大。

第二个挑战:OTT,虚拟运营商的介入,使得运营商竞争环境更加复杂和激烈。

第三个挑战:客户消费模式的改变,需要大数据分析深入洞察客户的需求,进行定制化的服务,改善客户体验

第四个挑战:提升精细化的管理水平,以数据为中心的一体化、精细化陈伟必然趋势,数据成为企业的核心资产。

电信行业大数据典型需求:
大数据的总体目标是构建统一的数据采集与整合能力、大数据分析处理能力,计算及数据服务能力,大数据应用能力,和互联网化的数据开放能力,支撑业务创新与商业成功

1:延长用户生命周期。大数据建模支撑用户全生命周期的营销和维系(潜在离网用户维挽场景)

2:提升用户使用量。基于大数据的营销体系有效运作,支撑多批次、小群体、高成功率、多用户触点的营销

3:对外价值变现,实现对外合作。MR数据轨迹形成商业价值,用户成为轨迹,形成商业价值。