大数据、云计算和人工智能知识点学习(一)
最近刚开始学习大数据、云计算和人工智能等几个概念的含义,整理了一些相关的笔记,理解还很肤浅,如有错误请指正。
大数据
1、大数据与云计算的关系密不可分,大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和/或虚拟化技术。
2、数据又并非单纯指人们在互联网上发布的信息,全世界的工业设备、汽车、电表上有着无数的数码传感器,随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化,也产生了海量的数据信息。
3、大数据的价值体现在以下几个方面:(1)对大量消费者提供产品或服务的企业可以利用大数据进行精准营销;(2) 做小而美模式的中长尾企业可以利用大数据做服务转型;(3)面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。
4、大数据的四个特点:数据体量巨大、数据类型繁多、价值密度低、处理速度快。
5、大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库,数据挖掘电网,分布式文件系统,分布式数据库,云计算平台,互联网和可扩展的存储系统。
6、大数据中的数据分为三种:结构化的(有固定格式和有限长度)、非结构化(不定长和无固定格式)的和半结构化的(多半是XML或者HTML的)。
云计算
1、云计算最初的目标是对资源的管理,管理的主要是计算资源、网络资源、存储资源三个方面。
2、云计算具有两方面的灵活性(即弹性):时间灵活性(随时可以申请资源)和空间灵活性(可以申请任意数量资源)。
3、私有云是把虚拟化和云化的软件部署在别人的数据中心里;公有云就是虚拟化和云化软件部署在云厂商自己数据中心里,用户不需要很大投入,只需要注册一个账号,就能在一个网页上点一下创建一台虚拟电脑。
4、Openstack已经成为开源云平台的事实标准。
5、计算,网络,存储我们常称为基础设施Infranstracture,因而这个阶段的弹性称为资源层面的弹性,管理资源的云平台,我们称为基础设施服务,就是我们常听到的IaaS(Infranstracture As A Service)。
6、除资源层面的弹性外,还要有应用层面的弹性,通常称为PaaS(Platform AS A Service),一般分为两部分,可以理解成:自己的应用自动安装和通用的应用不用安装。
人工智能
1、物联网解决的是感知真实的物理 ;云计算解决的是提供强大的能力去承载这个数据;大数据解决的是对海量的数据进行挖掘和分析,把数据变成信息;人工智能解决的是对数据进行学习和理解,把数据变成知识和智慧。
2、神经网络的普遍性定理:假设某个人给你某种复杂奇特的函数f(x),不管这个函数是什么样的,总会确保有个神经网络能够对任何可能的输入x,其值f(x)(或者某个能够准确的近似)是神经网络的输出。如果在函数代表着规律,也意味着这个规律无论多么奇妙,多么不能理解,都是能通过大量的神经元,通过大量权重的调整,表示出来的。
3、人工智能算法多是依赖于大量数据的,人工智能程序通常作为SaaS(软件即服务,Soft As A Service)平台进入云计算。
4、一般在一个云计算平台上,云、大数据、人工智能都能够找得到;对一个大数据公司,积累了大量数据,也会用人工智能的算法提供一些服务;对一个人工智能公司,不可能没有大数据平台支撑。