云计算与大数据期末考试重点

云计算是一种按使用量付费的模式。这种模式提供可用的、便捷的、按需的网络访问，以及可配置的计算资源共享池（资源包括网络、服务器、存储、应用软件、服务），这些资源能够被快速提供，且只需要投入很少的管理工作，或服务供应商进行很少的交互。

1）云计算是一种按需付费的、典型的自助服务模式

2）云计算需要无处不在的网络接入

3）云计算需要位置透明的资源池

4）云计算需要快速而弹性

5）云计算采用按使用量计费的服务

大数据是指具有体量巨大、来源多样、生成极快且多变等特征并且难以用传统数据体系结构有效处理的包含大量数据集的数据。

云计算、大数据、物联网、人工智能、5G 和区块链这些领域相辅相成，谁都离不开谁。物联网、云计算和 5G 是大数据的底层架构，大数据依赖云计算来处理大数据，人工智能是大数据的应用场景。5G发展落地物联网才能发展，而物联网和云计算的发展是大数据快速发展的主要原因，进而使机器学习、计算机视觉、自然语言处理以及机器人学等人工智能领域也迎来了新的发展机遇。区块链是信任机制的制定者，人与人之间需要互相信任，区块链所记录的信息更加真实可靠，可以帮助人们解决互不信任的问题。

云计算架构就是按照业务需求选择最优的云平台服务部署对应的系统或者存储对应的资源，并结合各个云平台的服务特性设计出弹性、高性能、高可用、可扩展以及自动化的组合方案，以最终满足业务系统运行的需求。假设你在建造一间房子，云计算基础架构包含所有材料，而云计算架构就是其设计蓝图。

1. 进行合理的评估分级，来应对灾难恢复能力和业务恢复能力。

2. 进行冗余设计。

3. 采用弹性伸缩来应对高峰期和业务增长。

1. 性能目标。制定性能目标，如响应时间、并发用户数和吞吐量。

2. 分析问题。网络的出口带宽、网络延迟等；CPU 主频高低、单核多核、集群等计算能力；同步和异步应用逻辑，关系数据库和 NoSQL 的数据逻辑；内存、SSD、SAS、SATA等的 I/O 性能等。

3. 解决问题。升级 CPU、内存、提高 I/O 等硬件配置性能；通过优化架构来降低服务器压力，采用可扩展的架构提高性能。

4. 性能评估。使用 LoadRunner、PTS等测试工具，对系统进行基准测试、峰谷测试和性能测试等。

1. 单点故障。某个组件单节点运行，发生故障后导致整个系统或某个模块不可用。

2. 访问延迟。在高峰期或因其他问题引起性能不足时，造成用户访问延迟，体验变差。

3. 业务中断。由于受到安全攻击或人为因素影响，导致系统不能正常对外提供服务。

虚拟化技术是一种调配计算资源的方法，它将应用系统的不同层面——硬件、软件、数据、网络、存储等，一一隔离开来，从而打破数据中心、服务器、存储、网络、数据和应用中的物理设备之间的划分，实现架构动态化，并集中管理和动态使用物理资源及虚拟化资源，以提高系统结构的弹性和灵活性。虚拟化技术具有通过虚拟化层为多个虚拟机划分服务器资源的能力；每个虚拟机可以同时运行一个单独的操作系统（相同或不同的操作系统），能够在一台服务器上运行多个应用程序；每个操作系统只能看到虚拟化层为其提供的虚拟硬件（虚拟网卡、CPU、内存等），以使它认为运行在自己的专用服务器上。

虚拟机管理程序对整个设备进行抽象处理，具有良好的兼容性，而容器只对操作系统内核进行抽象处理，降低了系统性能的开销。从隔离的有效性角度来看，Docker 不如虚拟机管理程序彻底。

GFS 采用主从架构，包含三大核心模块：

1. Master 主节点：单点管控系统全部元数据（目录、文件、块映射、副本位置），负责块分配、副本容错、垃圾回收，依靠日志与快照实现故障恢复，不存储真实文件数据。

2. ChunkServer 数据块服务器：文件切分为 64MB 固定块存储，每个块默认 3 副本跨机器存放，负责处理客户端数据读写，磁盘故障时上报 Master 触发重建。

3. 客户端 Client：嵌入业务程序，读写前向 Master 查询块副本地址并缓存，随后直接和 ChunkServer 传输数据，减轻主节点压力，不兼容完整 POSIX 语义。

SDN（Software Defined Network，软件定义网络）是一种架构，它抽象了网络的不同、可区分的层，使网络变得敏捷和灵活，SDN 的目标是通过企业和服务提供商能够快速响应不断变化的业务需求来改进网络控制。

1. 云计算安全审计

2. 标识与鉴别技术

3. 访问控制技术

4. 数据加密与隐私保护

5. 数据安全隔离技术

6. 多租户技术

7. 网络隔离技术

8. 云灾备

大数据参考架构由系统协调者、数据提供者、大数据应用提供者、大数据框架提供者和数据消费者五大逻辑功能构件组成，包括信息价值链和信息技术价值链，按照逻辑构件分为3层，从高到低分别为角色、活动和组件。

Lambda架构的设计是为了在处理大规模数据时同时发挥流处理和批处理的优势。通过批处理提供全面、准确的数据，通过流处理提供低延迟的数据，从而达到平衡延迟、吞吐量和容错性的目的。Lambda架构整合离线计算和实时计算，融合不可变性、读写分离和复杂性隔离等一系列架构原则，可集成 Hadoop、Kafka、Storm、Spark、HBase 等大数据组件。

Kappa 架构的核心思想是通过改进流计算系统来解决数据全量处理的问题，使得实时计算和批处理过程使用同一套代码。

IOTA是基于IOT和AI的大数据架构模式。其核心思想是设定标准数据模型，通过边缘计算技术把所有的计算过程分散在数据产生、计算和查询过程当中，以统一的数据模型贯穿始终，从而提高整体的计算效率，同时为了满足计算的需求，可以使用各种即席查询（Ad-hoc Query）来查询底层数据。

1. 构建 Spark Application 的运行环境（启动 Spark Context），Spark Context 向资源管理器（可以是 Standalone、Mesos 或 YARN）注册并申请运行执行器资源。

2. 资源管理器分配执行器资源并启动 Standalone Executor Backend，执行器运行情况将随着心跳发送到资源管理器上。

3. Spark Context 构建 DAG，将 DAG 分解成 Stage，并把 TaskSet 发送给 Task 调度器。执行器向 Spark Context 注册并申请 Task。

4. Task 调度器将 Task 发送给执行器运行，同时 Spark Context 将应用程序代码发送给执行器。

5. Task 在执行器上运行，运行完毕后释放所有资源。

大数据分析处理过程可以概括为从数据产生，经历采集、管理、计算分析，最后进行可视化展现的过程。

1. 数据采集是从现实世界中采集信息，并对信息进行计量和记录。

2. 数据管理是对数据进行分类、编码、存储、索引和查询等，是数据从存储到查询检索的核心。

3. 计算分析是从大规模杂乱无章的数据中揭示隐含的内在规律，发掘有用的知识，指导人们进行科学的推断和决策。

4. 可视化展现是将数据转换为图形图像，通过提供交互，帮助用户高效地完成数据理解分析。

NameNode存的是元数据，元数据的内容有：文件是什么，文件被分成了多少个block（block是HDFS存储基本单位），每个block和文件是怎么映射的，每个block存储在那个服务器上等，这些数据保存在内存中。

DataNode存放具体的文件内容，存放在磁盘上。

大数据计算主要有批处理计算、流计算、查询分析计算和图计算等四种计算类型。

批处理计算针对大规模数据的批量处理；

流计算针对流数据的实时计算；

查询分析计算针对大规模数据存储管理和查询分析；

图计算针对大规模图结构数据的处理。

1. 全域会员精准营销 云平台统一线上线下订单、会员数据，大数据构建用户画像，千人千面推送优惠；案例：泡泡玛特。

2. 智能供应链库存管控 云端汇总全国门店销售数据，大数据预测销量自动补货，减少缺货与商品损耗；案例：美宜佳便利店。

3. 智慧门店客流优化 云存储门店监控视频，AI 大数据分析顾客动线，调整货架布局；案例：大润发智慧门店。

小结：云计算提供弹性算力统一数据底座，大数据打通人货场实现精细化运营。

1. 全网智能电力调度 国网云承载全国电力设备数据，大数据预测用电负荷、预警线路故障；案例：南方电网调度云。

2. 风光新能源智能运维 云边协同管控风电场、光伏传感器，大数据预判设备故障、预测发电量；案例：龙源电力新能源云。

3. 综合能源节能管控 云端统一管理供热、储能设备，大数据削峰填谷降低能耗；案例：兰考县域能源互联网平台。

小结：云承载海量分布式设备数据，大数据实现电网稳定、设备预警、节能降本。

1. 影视云端渲染与选题 云计算提供海量弹性渲染算力，大数据分析观众偏好指导影视创作；案例：马栏山影视文创云。

2. 智慧文博数字保护 云端存储文物三维数字档案，大数据分析游客行为优化游览服务；案例：莫高窟数字展示中心。

3. 数字文娱智能运营 游戏、文创业务部署云端，大数据分析用户行为优化内容投放；案例：三七互娱华为游戏云。

小结：云计算支撑高清内容存储与生产，大数据优化文化产品创作、文旅服务运营。