VPS之家

 找回密码
 立即注册
VPS之家 首页 行业新闻 查看内容

ZB时代已来,云计算数据处理的瓶颈是什么?

2021-5-15 12:39| 发布者: admin| 查看: 1| 评论: 0

摘要: 不知不觉,我们已经进入了ZB时代,根据IDC的统计,2018年全球创建的数据量达到了32ZB,2019年是45ZB,而2020年由于疫情的影响,大多数人都是在家中工作、学习和娱乐,因此2020年创建和复制的数据量出现了异常高的增 ...

在不知不觉中,我们进入了ZB时代,据IDC统计,2018年全球制作的数据量达到了32ZB,2019年为45ZB,2020年受疫情影响,很多人在家工作、学习、娱乐,2020年制作和复印的数据量异常高这是什么概念?

我们现在的手机存储容量一般采用128GB、

1ZB=1024EB=1024×1024PB=1024×1024×1024TB=1024×1024×1024×1024×1024GB,即1040GB,约1兆GB。这是一个超级庞大的数字。

图1:IDC预计数据将爆炸性增长。

(资料来源:IDC,Synopsys)

在当今数据大爆炸时代,大部分数据都没有被保存。例如,2018年制作的数据是32ZB,保存的数据约为5ZB,只占制作数据的15%。在这些存储的数据中,真正分析并提取有用信息的数据更少。

有价值的数据不足存储数据的3%

据IDC统计,目前收集的所有数据中,只有12%的数据得到有效分析,剩下的88%的数据实际上没有得到处理。在有效分析的12%数据中,只有1/4的数据是有意义的,也就是说,真正产生价值的数据不足保存的所有数据的3%。

图2:真正有用的数据不足保存数据的3%。

(资料来源:IDC,Synopsys)

将现在的数据比作能源行业的石油,认为数据是现代社会的动力来源,但没有出现大量的数据和潜在价值。人们也没有办法分析这么多数据,这很遗憾。

有办法更快、更方便地分析这些大量数据吗?目前,行业最常见的方法是使用图像加速器和人工智能加速器来提高分析大量数据的效率。

界面成为制约数据处理效率的瓶颈

随着数据量的增加,数据中心需要更高的计算密度,随着计算密度需求的增加,我们需要更高的效率快的界面来处理增加的数据量。

由于据处理过程中,需要频繁与系统内存交互传输。为了使数据处理更有效率,几乎所有的CPU供应商都支持Cache-Coherent协议,该协议允许内存共享,最大限度地减少数据的复印和翻译,提高数据处理效率。

在服务器内部和服务器之间移动数据是导致数据延迟的主要因素,也是制约数据处理效率的一大瓶颈。因此,尽量减少数据移动,在必要时为移动数据提供高带宽、低延迟的接口,是提高云和高性能计算应用程序性能、减少延迟和功耗的关键。

一般来说,延迟主要来自三个方面,一个是网络延迟,这包括两点之间移动数据所需的时间,网络延迟受数据移动距离的影响,如果所有其他条件相同,在即将到来的两栋楼之间移动数据比跨洲移动数据快得多。同时,网络延迟也受传输路径的影响,有助于减少网络距离和数据经验的网络设备数量。

二是存储延迟,包括数据存储和搜索时间。此前,HDD是主要的长期数据存储截止,HDD的访问时间按毫秒计算,但随着SSD使用量的增加,数据访问时间以纳秒为单位,响应速度提高了10000倍。内存访问时间的大幅度提高,内存网络延迟成为内存延迟的主要影响因素。

三是计算延迟,这是数据处理所需的实际计算时间。计算周期和计算模块之间的数据移动(内存和计算设备之间)都会影响数据处理时间。为了解决延迟问题,设计师需要解决可用带宽和数据传输协议的速度问题。

例如,图3显示了两个芯片的例子。提供应用计算处理的云服务器上系统 (SoC) 和图形加速器芯片。图形加速器采用 HBM 内存,云服务器芯片采用传统 DDR 内存。利用这两个设备之间的缓存一致性接口,可以将内存汇集到我们所谓的&ldquo中,融合内存池&rdquo中,这些设备可以共享内存空间,但实际上没有必要在过程和领域之间复制数据。这样可以减少实际数据的移动时间,提高系统的性能和效率。

图3:缓存一致性接口减少了计算延迟。

那么,如何构建这样的&ldquo,融合存储池&rdquo,让设备之间共享存储空间呢?这需要PCIe、CXL、CCIX等高性能界面IP的帮助。

如何选择合适的界面类型

为了提高更好的性能,数据中心内部的服务器界面正在升级。例如,DDR5 界面的速度正在接近 6400 MbkoNg。PCIe 界面的带宽翻了一番, 16GT/SKONg的 4.0 升级到 32GT/S 界面的 界面的带宽翻了一番, 16G/S 的 4.0 4.0 升级到 32GT/S 界面的 界面,预计今年推出的 16.0 界面的高效率将会降低。

图4:大数据推进了PCIe 5.0的采用。

(来源:Synopsys)

DDR5接口和PCIe接口在市场上存在多年,CXL于2019年3月,英特尔联合微软、思科、戴尔EMC、谷歌、惠普、Facebook、阿里巴巴和华为等多家制造商共同提供高性能计算机/数据中心领域的超高速连接新标准现在CXL联盟的成员人数已经增加到120人以上,包括IBM、AMD 、 Arm等。

另外,CXL 标准通过提供使用 PCIe 5.0 物理层和电气部件的接口,在消除限制的同时,提供了主机处理器和需要共享内存资源的设备(加速器和内存扩展器等)之间的内存访问和一致的缓存。支持的 CXL 标准模型主要以 x16 通道配置为中心,以 32GT/s 运行的 PCIe 5.0 PHY为中心。

CXL 标准定义了 3 个别协议,这些协议在通过标准 PCIe 5.0 5.0 通过 32 GT/S 传输之前动态再利用:

CXL.io 协议本质上是经过一定改进的 PCIe 5.0 协议,用于初始化、链接、设备发现和列举和存储器访问。为 I/O 设备提供了不一致的加载/存储接口。

CXL.cache 协议定义了主机与设备之间的互动,允许连接的 CXL 设备的使用请求和响应方法以极低的延迟高效缓存主机内存。

CXL.mem 协议提供主机处理器,可使用负荷和存储命令访问设备连接的存储器。此时,主机 CPU 作为主机,CXL 设备作为从属设备,可支持易失性和持久性存储器结构。

图5:不同界面类型支持的功能。对于这三种接口,设计师应该如何选择?首先,我们需要知道它们能给我们带来什么。电脑界面通过多年的发展,带宽越来越宽,但它们不能为您提供聚合内存和低延迟功能。

电脑界面在宣布上市之初,提供了电脑界面20电脑界面/电脑界面和电脑界面25电脑界面/电脑界面两种数据速度,当时比电脑界面16电脑界面/电脑界面电脑界面电脑界面电脑界面电脑界面电脑界面电脑界面电脑界面电脑界面电脑界面电脑界面电脑界面电脑界面电脑界面电脑界面电脑界面电脑界面电脑界面电脑界面电脑界面电脑如今,CCIX v1.1 可提供高达 32GT/s 的数据速度,支持缓存一致性,使多个芯片通过虚拟内存空间共享内存。大型存储池由同一系统连接的各种部件构建,无需在处理器和加速器之间传输大量数据。CCIX 支持异构计算,支持网状结构,使许多 CPU 或加速器相互连接,一致共享数据。

CCIX 的实现与 PCIe 非常相似,但实现的是两个虚拟通道 (VC):分别用于一致性和非一致性通信量, PCI Express 的序列延迟稍高, HPC 的应用可能没有魅力。由于 CCIX 是对称协议,所以CCIX 实现中的每个设备都实行相同的操作,利用当地代理 管理缓存。由于其中的固有对称性,任何设备出现一致性问题都可能损坏整个系统,而不仅仅是 SoC。

CXL 是实现主机异构计算的理想选择,预计所有4家 CPU 提供商(Intel、IBM、Arm 和 AMD)都会提供支持。与 CCIX 不同,CXL 是一种不对称的协议,主机可以全面控制内存的一致性和内存的访问。其优点是 CXL 设备的实现变得更加简单,不需要加代理,这意味着设备在处理内存时出现的任何错误都不会导致系统故障。

目前,CXL 致力于为服务器提供优化解决方案。CXL 固有的不对称意味着可能不适用于从 CPU 到 CPU 或加速器到加速器的连接。由于 CXL 依赖于 PCIe 5.0 PHY,因此不同的传输可能更适合提高机架安装在机架上的性能。另外,由于CXL还是比较新的协议,所以其生态系统的搭建还不是很完善,还需要加盟商共同推广,进一步完善。

结语

ZB时代到来,大量数据需要我们处理,从中提取对人类有用的信息,必然需要新的数据处理方法,需要更高效的解决方案。因此,数据中心和高性能计算等应用需要更高的计算能力、更高效的存储和更高效的接口,CXL是为了解决接口的瓶颈而产生的。目前,新思维技术的 DesignWare CXLoNgIP 解决方案包括控制器、PHY 和验证 IP,可以为 AI、机械学习和云计算应用实现低延迟和高带宽互联。

而且为了提高芯片流量的成功率,DesignWare CXLONgIP解决方案是基于新思维技术的 PCI 5.0 专用 DesignWare IP,该解决方案已经在各种应用中进行了流量验证。今年2月,新思科技已交付业内首个符合PCIe5.0和CXL2.0规范的完整性和数据加密安全IP核模块,协助开发商在系统中快速实现所需的安全功能。


鲜花

握手

雷人

路过

鸡蛋

最新评论

返回顶部