当前位置：网站首页 » 热点 » 内容详情

bf16最新视觉报道_bf16精度(2024年12月全程跟踪)

内容来源：卡姆驱动平台所属栏目：热点更新日期：2024-12-02

bf16

「第七届中国国际进口博览会」「AI+新质生产力」AMD在芯片展示区展示了多款高性能产品，有包括： -运行在5Ghz的第五代EPYC处理器- AMD EPYC 9005系列处理器，涵盖所有的新的云工作负载，也满足所有重要的企业工作负载； -适用于专业创意和国内大模型AI计算、为AI 服务器和AI工作站量身打造的Radeon PRO W7900 Dual Slot GPU, 单卡可提供48GB大容量显存； -采用XDNA神经网络架构的、仅用75W功耗即可实现高达404 TOPs算力（Int8精度，202TOPs for BF16）的AMD Alveo V70 AI计算卡。

【Intel Arrow Lake-H笔记本处理器升级新核显：特殊的1.5代架构】将于明年初发布的主流笔记本处理器Arrow Lake-H，核显既不是Lunar Lake系列的二代Xe2-LPG，也不是Meteor Lake、Arrow Lake-S/HX系列的一代Xe-LPG，而是可以视为1.5代。Intel称之为“Alchemist+”，也叫做“Xe-LPG+”，还称为“Xe with XMX”。它源于初代的Xe-LPG，包含后者没有的XMX引擎，支持INT、INT8、FP16、BF16等数据格式，其中INT8、FP16的每时钟周期操作数分别为2048个、1024个。 Xe-LPG+一共配备128个XMX引擎(可视为128个流处理器)，也就是8个Xe核心，还有128个16宽度的矢量引擎，针对AI和能效进行了优化，以及2个几何流水线、8个采样器、4个像素后端。同时，它还有8个增强光追单元、8MB独立二级缓存，对比上代翻番，并完整支持DX12 Ultimate、XeSS。 AI算力最高可达77 TOPS，再加上CPU、GPU，突破100 TOPS将会非常轻松，最高或可接近150 TOPS。 Arrow Lake-H处理器将采用和桌面版一样的Lion Cove P核架构、Skymont E核架构，支持多引擎安全、高性能NPU、Wi-Fi 7和蓝牙5.4、雷电4、高速LPDDR5X内存、PCIe 5.0，采用Foveros 3D整合封装。

[LG]《"Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization》E Kurtic, A Marques, S Pandit, M Kurtz... [Neural Magic] (2024)网页链接「机器学习」「人工智能」「论文」

大模型显存占用计算：参数与优化器状态详解在深度学习中，模型参数量与显存占用之间的关系常常让人感到困惑。为了帮助大家更好地理解这个问题，本文将详细介绍这两个概念的关系。 1️⃣ 参数量与显存的关系 𐟧斥…ˆ，让我们澄清一下概念：1B代表十亿个参数，而1G显存表示十亿字节（byte）。如果使用全精度训练（fp32），每个参数占用32比特，相当于4字节。因此，1B参数对应4G显存。如果采用fp16或bf16精度，显存占用则会减半，即1B参数对应2G显存。 2️⃣ 显存的其他开销 𐟒ኩ™䤺†模型参数本身，训练时的显存还会被其他部分占用，包括梯度和优化器状态：梯度：每个参数对应一个梯度值，显存占用与参数量相同，占用1倍显存。优化器状态：这取决于具体的优化器类型。如果使用裸SGD，不需要额外显存；若使用带动量的SGD，显存增加1倍；如果是Adam优化器，则会增加2倍显存，因为需要储存一阶和二阶动量。 3️⃣ 计算示例 𐟓Š 假设我们训练一个1B参数量的小模型，使用Adam优化器、fp32精度，忽略数据和hidden states部分的显存开销。显存占用如下：参数占用：4G 梯度占用：4G 优化器状态占用：8G 总计：16G显存。如果是bf16精度，则减半，占用8G显存。通过这些信息，你可以更好地估计大模型训练所需的显存量，从而选择合适的硬件设备。

GPU高效训练Transformer 目标是在尽可能减少GPU训练成本的同时，最大化模型性能。以下是一些实用的建议： 𐟧 内存优化：在内存有限的情况下，可以通过增加计算成本来减少内存需求。实验表明，在不同内存配置下，通过选择性激活重计算可以显著减少内存需求。 𐟒ᠦ•𐦍𖨡Œ度：使用高质量的互连技术可以增加数据并行度，从而提高总吞吐量。分片优化器可以减少优化器的额外内存，而多维度的数据并行度也非常重要。额外开销应小于等于总内存的20%。 𐟔砦𗷥ˆ精度训练：大多数Transformer模型采用混合精度训练，如fp16+fp32或bf16+fp32，这样可以减少训练模型和推理所需的内存量。 ⚙️ 计算成本：Transformer模型通常用GPU-hours或FLOP-seconds来表示计算成本。如果计算性能低于115 FLOP/S/A100，那么很可能是模型或硬件配置出了问题。通过这些方法，可以在保证模型性能的同时，有效降低GPU训练成本。

[鲜花]摩尔线程宣布开源高性能线性代数模板库 MUTLASS，以便开发者能够更高效针对摩尔线程全功能 GPU 的 MUSA Core 及 Tensor Core 等单元进行编程，加速基于国产 GPU 的算子开发以及算法创新。 [打call]作为摩尔线程专为 MUSA 架构优化的高性能计算库，MUTLASS（MUSA Templates for Linear Algebra Subroutines）是基于开源模板库 CUTLASS 进行的 MUSA 适配和定制化开发、优化。针对矩阵乘法及相关变种，MUTLASS 提供了一系列高性能的 C++ 模板组件，并采用了与 muDNN 库类似的分层分解及数据搬运策略，以确保性能的充分发挥。 [微风]在本次开源的版本中，摩尔线程适配了 CuTe 后端库，为其增加了第三代 MUSA 架构的 MMA 计算原语，支持 TF32 / FP16 / BF16 / INT8 等多种数据精度，并以此为基础，初步实现了矩阵乘法、默认实例库、性能测试器及相关工具包的支持。网页链接

神经网络显存优化：你真的需要那么多吗？最近，很多神经网络模型都采用了 BFloat 16（BF16）来存储权重。但你有没有注意到，实际上BF16在8比特的幂中平均只用了2.66比特？这意味着对于那些庞大的模型来说，大量的显存其实是被浪费了。𐟘… 为了解决这个问题，我们开发了一个名为NeuZip的CUDA扩展，它可以压缩掉那些多余的空间，而且不会损失任何精度。更棒的是，它的运行速度非常快，几乎可以和成熟的量化框架相媲美。𐟚€ 你可以通过pip install neuzip来直接使用这个Python包。如果你有能力和意愿，也可以直接修改源代码。我们相信，通过这个工具，你可以更有效地管理神经网络的显存使用。𐟒𞊊欢迎大家加入讨论，一起探索如何让神经网络更高效地运行！𐟤

腾讯今天开了个发布会一股脑的发布了一堆新内容，每个都很牛皮：「ai」 - 元宝 APP 能力更新，增加 AI 搜索应用，支持搜索 QQ 音乐和视频号内容； - 开源最大规模的 MoE LLM Hunyuan-Large； - 开源 SOTA 3D 生成模型，首个支持文生 3D 的模型 Hunyuan3D-1.0 元宝 APP 现在新上线了 AI 搜索能力。同样支持具有推理能力的深度搜索功能，另外也支持了搜索微信生态更多模态的信息，这个太厉害了。在数据层面直接吊打其他家，比如搜索结果里面会有视频号和 QQ 音乐的音频内容。开源最大规模的 MoE LLM Hunyuan-Large。总参数量达到 389B，激活参数量为 52B，预训练模型支持 256K 上下文长度。基准测试和数学推理能力基本超过了所有同规模的大语言模型。 Hunyuan-Large 会上线腾讯云TI平台，同步支持业务自主精调及部署测试。另外还优化了推理架构，显著减少了 GPU 内存使用（KV-Cache 部分节省了 50%），通过 FP8 量化优化，实现与传统 FP16/BF16 量化相比内存使用减少 50%的同时保持精度。 Hunyuan3D-1.0 现在应该是最好的开源 3D 生成模型了，支持文本和图片生成 3D 模型。主要的优势是是非常强的泛化能力，无论是建筑、角色、场景、生物都可以很好的生成。采用两级级联模型架构，标准质量只需要 4 秒就能生成，高精度模型也只需要 7 秒。你现在可以在元宝APP”3D 角色梦工厂“应用里面测试这个模型，上传自己的照片就可以生成跟你一样的多种类型 3D 模型。 Hunyuan3D-1.0：网页链接 Hunyuan-Large：网页链接

完全没提到OpenGL，主机游戏会比高配置的基于计算机的3D游戏主机更省电。游戏显卡的算力似乎对FP64/INT64的支持并不好；不过FP32和INT32也是能用的；但AI算力有种INT8/INT16/FP16/BF16的趋势！ sony和IBM合作的Cell[?]处理器对于图片处理上有优势！索尼最大的危机不是《星鸣特攻》暴毙，而是主机行业不行了？【差评君】「哔哩哔哩动画」索尼最大的危机不是《星鸣特攻》暴毙，而是主...

「特斯拉超话」「自动驾驶」老马家的HW 3，也就是推理硬件(inference，其实更准确说，应该叫“推断”)为何用int8？这个视频讲得不错(【int8/fp16/bf16/tf32在AI芯片中什么作用？【AI芯片】AI计算体系06-哔哩哔哩】网页链接)。

专栏内容推荐

600 x 245 · jpeg
BF16 与 FP16 在模型上哪个精度更高呢 - 知乎
素材来自:zhuanlan.zhihu.com

1024 x 368 · jpeg
威斯尼斯人ww0225mc棋牌官方版正版下载-威斯尼斯人ww0225mc棋牌入口官方-IOS/安卓通用版/手机APP
素材来自:aewin.cn

743 x 301 · png
Arm Adds Muscle To Machine Learning, Embraces Bfloat16
素材来自:nextplatform.com

500 x 297 · png
有效的培训在一个GPU - 首页
素材来自:jardiradio.com
773 x 715 · png
fp32、fp16 與 bf16 - JOYK Joy of Geek, Geek News, Link all geek
素材来自:joyk.com

635 x 700 · jpeg
Настольный мини фрезерный станок Optimum BF16 Vario | цена ...
素材来自:uss-stanko.com
1665 x 847 · png
BFloat16 — DeepRec latest 文档
素材来自:deeprec.readthedocs.io

1512 x 2560 · jpeg
Murdock (BF16-BCD) | Water Bottle Filling Station, Stainless Steel
素材来自:plumbersparadise.net
1600 x 1600 · jpeg
BF16 mod white – KHW mods
素材来自:khwmods.com

810 x 1080 · jpeg
BF16
素材来自:laurellittletheatre.com
960 x 540 · png
The bfloat16 numerical format | Cloud TPU | Google Cloud
素材来自:cloud.google.com

1024 x 1024 · jpeg
BF16 mod red – KHW mods
素材来自:khwmods.com
1428 x 2232 · jpeg
THE KING OF FIGHTERS XV | SNK
素材来自:snk-corp.co.jp

1536 x 1152 · jpeg
BF16 mod black – KHW mods
素材来自:khwmods.com
1200 x 829 · jpeg
F-16 - 維基百科，自由嘅百科全書
素材来自:zh-yue.wikipedia.org

1200 x 800 · jpeg
ウクライナに供与のF16、ロシアのMiG-31撃退なるか | Forbes JAPAN 公式サイト（フォーブスジャパン）
素材来自:forbesjapan.com
1024 x 576 · jpeg
アメリカ、F-16戦闘機の提供を容認の方針他国からウクライナへ - BBCニュース
素材来自:bbc.com

768 x 511 · jpeg
同盟国保有のF16戦闘機、ウクライナへの供与を阻止せず米国が示唆 - CNN.co.jp
素材来自:cnn.co.jp
640 x 360 · jpeg
アメリカ、F-16戦闘機の提供を容認の方針他国からウクライナへ - BBCニュース
素材来自:bbc.com

1827 x 924 · jpeg
Данія та Нідерланди очолять підготовку льотчиків України - Мілітарний
素材来自:mil.in.ua

640 x 340 · jpeg
Bfb Six GIF - BFB Six - 探索與分享 GIF
素材来自:tenor.com

素材来自:battlefordreamisland.fandom.com

1450 x 1200 · jpeg
JDM Honda B16b Engine For Sale - North West Motors
素材来自:nwjdmmotors.com
2000 x 2000 · jpeg
37877b42b08251ceb321d81d172d3b8f.jpg
素材来自:s.lazada.co.th

2560 x 1600 · jpeg
Military Jet Wallpaper - P2 Aircraft
素材来自:p2aircraft.blogspot.com
1600 x 1113 · jpeg
沖縄県で続く米軍機の事故米軍基地の数は？日本が賠償を払っている？ - 霞が関から見た永田町
素材来自:ksmgsksfngtc.com

1192 x 776 · png
F-16戦闘機が世界各国で選ばれるわけ？ | 海洋国防記
素材来自:kaiyoukokubou.jp
960 x 639 · jpeg
台湾のF-16戦闘機墜落か、操縦士いまだ不明 - ニュース - Rti 台湾国際放送
素材来自:jp.rti.org.tw

素材来自:youtube.com

2560 x 1440 · jpeg
Fonds d'ecran 2560x1440 Avions Avion de chasse F-16 Fighting Falcon Vol ...
素材来自:1zoom.me

1280 x 720 · jpeg
BFB 6 Alternate Thumbnail - YouTube
素材来自:youtube.com

1900 x 1069 · jpeg
جنگنده فالکون اف شانزده falcon f16 take off
素材来自:photo-aks.com

1280 x 853 · jpeg
F16 벨기에 공군기 전투기 - Pixabay의 무료 사진 - Pixabay
素材来自:pixabay.com

素材来自:查看更多內容

当前用户设备UA：Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)