当前位置：网站首页 » 导读 » 内容详情

amdahl定律新上映_amdahl定律计算加速比(2024年11月抢先看)

内容来源：卡姆驱动平台所属栏目：导读更新日期：2024-11-27

amdahl定律

MaxK-GNN：图神经速训在深度神经网络训练的加速方面，GPU已经成为主流平台。然而，GPU在处理图神经网络（GNN）时面临诸多挑战，如工作负载不平衡和内存访问不规则，导致硬件利用率低下。现有的解决方案，如PyG、DGL以及cuSPARSE和GNNAdvisor框架，虽然部分解决了这些问题，但内存流量仍然很大。我们认为，只有通过算法和系统创新的垂直优化，才能实现大幅的性能改进，而不是将加速优化视为“事后诸葛亮”（即，给定GNN算法，设计加速器，或给定硬件，主要优化GNN算法）。在本文中，我们提出了MaxK-GNN，一个先进的高性能GPU训练系统，集成了算法和系统创新。首先，我们介绍了MaxK非线性，并对MaxK非线性作为一种通用逼近器进行了理论分析。我们提出了压缩平衡稀疏行（CBSR）格式，用于存储非线性后特征矩阵的数据和索引。其次，我们设计了一个合并增强的前向计算与行积-基于SpGEMM内核的策略，使用CBSR进行输入特征矩阵提取和稀疏输出累积缓冲器在共享存储器中的放置。最后，我们提出了一种基于外积和SSpMM核的优化后向计算方法。我们对MaxK-GNN进行了广泛的评估，并报告了端到端的系统运行时间。实验结果表明，MaxK-GNN系统能够按照Amdahl定律逼近理论加速比极限。我们实现了与SOTA GNN相当的准确性，但速度显著提高：与DGL和GNNAvisor实现相比，Reddit上的加速比为3.22/4.24倍（理论极限为5.52/7.27倍）。

专栏内容推荐

1763 x 1049 · png
Amdahl定律-CSDN博客
素材来自:blog.csdn.net
1200 x 938 · jpeg
学习笔记【阿姆达尔定律（Amdahl's law）】 - 知乎
素材来自:zhuanlan.zhihu.com

1787 x 1000 · png
Amdahl定律-CSDN博客
素材来自:blog.csdn.net

671 x 266 · png
1.amdahl定律（加速比）_amdahl定律计算加速比-程序员宅基地 - 程序员宅基地
素材来自:cxymm.net

1762 x 995 · png
Amdahl定律-CSDN博客
素材来自:blog.csdn.net
798 x 264 · png
【计算机组成原理】一计算机的基本概念（Amdahl定律&CPU性能公式）&指令系统&总线&流水线性能(吞吐率&加速比&效率)_吞吐率加速比效率 ...
素材来自:blog.csdn.net

1780 x 1015 · png
Amdahl定律-CSDN博客
素材来自:blog.csdn.net
1778 x 1001 · png
Amdahl定律-CSDN博客
素材来自:blog.csdn.net

458 x 389 · png
【计算机组成原理】一计算机的基本概念（Amdahl定律&CPU性能公式）&指令系统&总线&流水线性能(吞吐率&加速比&效率)_吞吐率加速比效率 ...
素材来自:blog.csdn.net
1759 x 990 · png
Amdahl定律-CSDN博客
素材来自:blog.csdn.net