当前位置：网站首页 » 热点 » 内容详情

矩阵乘法最新视觉报道_矩阵乘法有没有结合律(2024年12月全程跟踪)

内容来源：卡姆驱动平台所属栏目：热点更新日期：2024-12-01

矩阵乘法

【What Shapes Do Matrix Multiplications Like?】网页链接矩阵乘法是什么样的形状？

CMU深度学习系统课程学习心得最近，我也跟着AI的热潮，开始学习一些深度学习的内容。目标是把CMU 10-414/714课程的大作业和讲义都刷一遍，涉及CNN、Transformer等各种经典和热门的深度学习模型和架构的算法与实现。这个课程一共有6个家庭作业（homework），从零开始实现一个完整的深度学习框架。具体来说： Homework 0：复习基础机器学习内容，包括线性模型、softmax、损失函数和优化算法等。 Homework 1：实现深度学习框架的基础内容，如计算图和自动微分。 Homework 2：实现各种常用模型和优化算法，如SGD、Adam等。 Homework 3：实现基础数据结构ndarray。 Homework 4：使用前面自己实现的深度学习框架来实现CNN等经典模型。附加作业（Homework 4 extra）：介绍热门注意力（attention）和Transformer架构，这部分可能不要求本科生做。我没有按照课程进度来，直接从Homework 3开始，实现了CPU和CUDA上的ndarray，也算是从零开始入门一下CUDA编程。为了这个作业，我申请了一个带NVIDIA T4卡的开发机，用VSCode远程连接，本地开发，远程编译。今天，我基本上完成了除了CUDA矩阵乘法之外的所有内容。矩阵乘法部分，我看了下讲座，理解了寄存器分块和共享内存分块的逻辑，但还没完全实现出来，打算明年再写。写完之后，我还想试一下用Mac的GPU实现一遍，正好苹果新开源了自己的ndarray库MLX，可以对照着学习。总的来说，这次学习过程虽然有些挑战，但也让我对深度学习和CUDA编程有了更深入的了解。希望未来还能继续保持这种学习的热情和动力！

Zach Nussbaum 在其文章中分享了他如何通过优化 WebGPU 矩阵乘法（matmul）内核，实现超过 1TFLOP 的性能的过程。网页链接

Minimax二面：技术挑战在Minimax大模型的二轮技术面试中，部门leader亲自上阵，整体氛围比第一轮有了显著改善。𐟑袀𐟒𜠩⨯•主要围绕大模型项目展开，深入探讨了数据清洗的方法论、模型结构的理解以及预训练的相关知识。𐟔 在多模态方面，面试官询问了图像生成中离散和连续编码的优缺点，以及loss函数的设计。𐟓Š 最后，面试官给了一个基于欧式距离的最近邻查找问题，要求尽可能使用矩阵乘法来优化计算，并构造样例进行验证。𐟧面试结束后，两个工作日内，HR面紧随其后。𐟓… 这次面试体验整体上是积极的，展现了面试官对技术的深入理解和对项目的热情。𐟑

很多人都相信数学是能够准确反映和描述现实世界的，因此他们很看重数字。然而数学真的能够帮助人们了解现实世界吗？恐怕很多时候都并非如此，否则不会有这么多人批评经济统计数据了。即使是基础的数学定律也并不一定在现实世界通用，比如说交换律。1+10=10+1，这个等式的交换律在数学上是成立的，但是在现实生活中就不是。比说你冲凉需要10分钟时间，用毛巾擦干身体需要1分钟，总计11分钟。但是如果你顺序反了，先拿着毛巾擦自己1分钟，然后再冲凉10分钟，虽然你同样花了11分钟，但结果是完全不同的，你将获得一个湿漉漉的身体。正因为次序的重要性，使得数学中一些原本存在交换律的算式被迫禁止进行交换。比如当你在研究线性代数和向量微积分中的矩阵时，你将会学到矩阵乘法不是可交换的。同样地，我们使用一种更高级、奇特的数字类型——四元数来完成各种任务，如机器人技术、3D动画和视频游戏设计，四元数乘法也是不可交换的。

𐟧 AI推理芯片全解析𐟒𛊰Ÿ䔁I推理ASIC，如Groq，正成为AI推理的重要趋势。这种芯片不仅整合了CPU、GPU和CUDA-compliance logic，还采用了stacked DRAM (HBM)等chiplets技术。 𐟒ᤸ同于传统的CPU和GPU，Groq采用了高效的systolic array矩阵乘法处理架构，无需HBM/DRAM作为数据传递中介，从而实现了更高的数据带宽和更低的功耗。 𐟓Œ此外，Groq精简了设计，仅使用SRAM实现推理，这使得其数据延迟极低，但不适合进行大规模模型推理。不过，通过前端算法的优化，可以弥补这一不足。 𐟔同时，借助CPU进行实时数据预处理，可以降低金融、信号处理等应用对算法算力的需求。 𐟔쥜訊柳‡制造方面，Chiplet集成技术正逐渐成为主流，通过wafer-level封装实现。这一技术也符合物理定律：数据传递距离越短，功耗越低。 𐟒ᦀ𛧚„来说，AI推理芯片正逐渐成为AI领域的重要突破，为各种应用提供了更高效、更稳定的计算支持。

机器学习入门指南：从零开始到实战嘿，想入门机器学习的小伙伴们！这本书《机器学习实战》绝对是你的不二选择。虽然我不打算给你具体的代码，但我会给你一些实用的建议，帮助你更好地理解机器学习。数学基础：线性代数、概率论和统计学 𐟓š 首先，数学基础是关键。线性代数、概率论和统计学是机器学习中常用的数学概念。比如，矩阵乘法、特征向量和特征值这些线性代数的知识，还有假设检验、置信区间和回归分析这些统计学的概念，都是你必须要掌握的。了解这些概念有助于你理解模型背后的原理。统计学：假设检验、置信区间和回归分析 𐟓ˆ 统计学在机器学习中占据重要地位。掌握假设检验、置信区间和回归分析等基本概念，能帮助你理解模型的稳定性和可靠性。这些知识会让你在设计和评估机器学习算法时更加得心应手。线性代数：矩阵运算和特征工程 𐟧䚦œ𚥙襭椹算法都涉及到矩阵运算，因此对线性代数有基本的了解是必要的。矩阵乘法、特征向量和特征值这些概念，都是你在进行特征工程和模型训练时需要用到的。概念性理解：监督学习、无监督学习和强化学习 𐟎†解机器学习的基本概念是基础。你需要了解监督学习、无监督学习和强化学习等不同类型的算法，比如决策树、支持向量机和神经网络的工作原理和适用场景。模型评估和选择：准确率、精确度和召回率 𐟓Š 学习如何评估模型的性能是非常重要的。你需要了解常见的评估指标，如准确率、精确度、召回率和F1分数。同时，了解模型选择的方法，避免过拟合和欠拟合，也是提高模型性能的关键。特征工程：数据预处理和标准化 𐟛 ️ 特征工程是机器学习中非常重要的一环。你需要学习如何对数据进行预处理和特征工程，包括数据的清理、缺失值处理、标准化和归一化等技术。这些步骤能帮助你更好地训练模型。深度学习：神经网络和反向传播 𐟌 深度学习是机器学习的一个重要领域。你需要了解神经网络结构、激活函数和反向传播等基本原理。对常见的深度学习架构，如卷积神经网络（CNN）和循环神经网络（RNN），有一定的了解也是非常重要的。实践项目：理论到实战的转换 𐟚€ 理论学习很重要，但实践项目更是关键。通过参与实际项目，你可以更好地理解如何应用机器学习算法解决实际问题。这样，你不仅能巩固理论知识，还能积累实战经验。持续学习：跟上机器学习的发展 𐟌𑊦œ𚥙襭椹领域发展迅速，新的算法和技术不断涌现。保持对新知识的敏感性，参与社区、博客和研讨会，不断更新自己的知识，是每个机器学习从业者的必备素质。希望这些建议能帮到你，祝你在机器学习的道路上越走越远！𐟚€

[鲜花]摩尔线程宣布开源高性能线性代数模板库 MUTLASS，以便开发者能够更高效针对摩尔线程全功能 GPU 的 MUSA Core 及 Tensor Core 等单元进行编程，加速基于国产 GPU 的算子开发以及算法创新。 [打call]作为摩尔线程专为 MUSA 架构优化的高性能计算库，MUTLASS（MUSA Templates for Linear Algebra Subroutines）是基于开源模板库 CUTLASS 进行的 MUSA 适配和定制化开发、优化。针对矩阵乘法及相关变种，MUTLASS 提供了一系列高性能的 C++ 模板组件，并采用了与 muDNN 库类似的分层分解及数据搬运策略，以确保性能的充分发挥。 [微风]在本次开源的版本中，摩尔线程适配了 CuTe 后端库，为其增加了第三代 MUSA 架构的 MMA 计算原语，支持 TF32 / FP16 / BF16 / INT8 等多种数据精度，并以此为基础，初步实现了矩阵乘法、默认实例库、性能测试器及相关工具包的支持。网页链接

𐟓–CLIP模型：多模态学习新基石 𐟤– CLIP模型，OpenAI的杰作，正重新定义计算机视觉与自然语言处理的边界。 𐟔 那么，CLIP是如何运作的呢？它通过捕捉文本与图像间的共通之处，将两者映射至同一维度空间。这仿佛给AI赋予了“翻译”能力，使其能解读图片与文字的深层联系。 𐟓š 训练时，CLIP利用大量文本与图片数据，通过word2vec等技术将文字转化为向量，同时将图片分割并转化为向量。接着，利用编码器如transformer模型（CLIP原型使用简单感知机）将这些向量转换为特征向量。 𐟔⠤𙋥Ž，CLIP采用巧妙方法，将两个特征向量平均，为每个文本或图片生成一个唯一向量。关键步骤在于将文本和图像的向量投影至同一二维空间，从而进行比较。 𐟤 通过矩阵乘法，CLIP计算出每对文本和图像的相似度，并利用Softmax函数生成相似度矩阵。最后，通过损失函数衡量模型预测与实际匹配的差距，并利用反向传播更新模型参数。 𐟌Ÿ CLIP模型的崛起，不仅代表了技术的一大飞跃，更为多模态学习领域开启了新的篇章，充满了无限可能。

半天掌握层次分析法：从零到熟练一开始接触层次分析法时，感觉非常复杂，不知道从哪里开始。尝试使用yaahp和spssau软件，但都需要付费购买。正当准备购买时，偶然在b站上看到了一篇教程，瞬间豁然开朗，按照教程的步骤，自己也能逐步计算了。虽然一开始不熟练时有些麻烦，中午因为结果为负数而感到沮丧，但下午重新计算后发现结果正确。后来，在Excel表格中使用算式可以直接修改数字，自动生成结果，比手动计算更准确。特别是矩阵乘法，使用一个算式超级简单。不过，不确定没有专家问卷的情况下自己列出的矩阵是否合理（有没有大神可以指导一下）。在其他论文中，都是直接给出一个矩阵进行计算，也不知道10个专家问卷最终能否合成这个矩阵结果。先这样吧！如果有懂得小伙伴，欢迎交流哦。