来源:量子位(ID: QbitAI)作者梦晨 西风 英伟达刚刚从DeepSeek-R1引发的缓过劲来,又面临新的压力? 硬件媒体Tom‘s Hardware带来开年最新热议: DeepSeek甚至绕过了CUDA,使用更底层的编程语言做优化。 这一次是DeepSeek-V3论文中的更多细节,被人挖掘出来。 来自Mirae Asset Securities Research(韩国未来资产证券)的剖析称,V3的硬件效率之所以能比Meta等横跨10倍,可以总结为“他们重新开始重建了一切”。 在使用英伟达的H800 GPU训练DeepSeek-V3时,他们针对自己的需求把132个流式多处理器(SMs)中的20个修改成卖力效劳器间的通信,而不是盘算任务。 变相绕过了硬件对通信速度的限制。 △ DeepSeek-V3 Technical Report 这种操作是用英伟达的PTX(Parallel Thread Execution)语言实现的,而不是CUDA。 PTX在接近汇编语言的层级运行,允许进行细粒度的优化,如寄存器分派和Thread/Warp级别的调解。 这种编程很是庞大且难以维护,所以行业通用的做法是使用CUDA这样的高级编程语言。 换句话说,他们把优化做到了极致。 有网友体现,如果有一群人嫌CUDA太慢而使用PTX,那一定是前量化交易员。 一位亚马逊工程师提出灵魂质问:CUDA是否照旧护城河?这种顶尖实验室可以有效利用任何GPU。 甚至有网友开始畅想,如果“新源神”DeepSeek开源了一个CUDA替代计划…… 那么事情是否真会如此? DeepSeek真的绕过了CUDA? 首先要明确的是,PTX仍然是英伟达GPU架构中的技术,它是CUDA编程模型中的中间体现,用于连接CUDA高级语言代码和GPU底层硬件指令。 PTX类似汇编语言,代码或许长这样: △来自tinkerd.net 在实际编译流程中,CUDA代码首先被编译为PTX代码,PTX代码再被编译为目标GPU架构的机械码(SASS,Streaming ASSembler)。 CUDA起到了提供高级编程接口和工具链的作用,可以简化开发者的事情。而PTX作为中间层,充当高级语言和底层硬件之间的桥梁。 另外,这种两步编译流程也使得CUDA程序具有跨架构的兼容性和可移植性。 反过来说,像DeepSeek这种直接编写PTX代码的做法,首先不但很是庞大,也很难移植到差别型号的GPU。 有从颐魅者体现,针对H100优化的代码迁移到其他型号上可能效果打折扣,也可能基础不事情了。 所以说,DeepSeek做了PTX级别的优化不料味着完全脱离了CUDA生态,但确实代表他们有优化其他GPU的能力。 事实上,我们也能看到DeekSeek已经与AMD、华为等团队紧密相助,第一时间提供了对其他硬件生态的支持。 One More Thing 另有人提出,如此一来,让AI擅长编写汇编语言是AI自我革新的一个偏向。 我们不知道DeepSeek内部是否使用AI辅助编写了PTX代码—— 可是确实刚刚见证DeepSeek-R1编写的代码显著提升大模型推理框架的运行速度。 Llama.cpp项目中的一个新PR请求,使用SIMD指令(允许一条指令同时处理多个数据)显著提升WebAssembly在特定点积函数上的运行速度,提交者体现: 这个PR中的99%的代码都是由DeekSeek-R1编写的。我唯一做的就是开发测试和编写提示(经过一些实验和过失)。 是的,这个PR旨在证明大模型现在能够编写良好的底层代码,甚至能够优化自己的代码。 llama.cpp项目的首创人检查了这段代码后体现“比预期的更爆炸”。 参考链接:[1]https://www.tomshardware.com/tech-industry/artificial-intelligence/deepseeks-ai-breakthrough-bypasses-industry-standard-cuda-uses-assembly-like-ptx-programming-instead[2]https://x.com/bookwormengr/status/1883355712191123666[3]https://tinkerd.net/blog/machine-learning/cuda-basics/[4]https://www.amd.com/en/developer/resources/technical-articles/amd-instinct-gpus-power-deepseek-v3-revolutionizing-ai-development-with-sglang.html[5]https://x.com/ggerganov/status/1883888097185927311 2025,信心同行,美好可期 【编辑:金家明】
大江网(中国江西网)版权与免责声明 |
1、本网所载的文/图等稿件均出于为民众流传有益资讯信息之目的,并不料味着赞同其看法或证实其内容的真实性,我们差池其科学性、严肃性等作任何形式的包管 。如其他媒体、网络或个人从本网下载使用须自负版权等执法责任。
2、本网站内凡注明“来源:大江网(中国江西网)”的所有文字、图片和音视频稿件均属本网站原创内容,版权均属“大江网(中国江西网)”所有,任何媒体、网站或个人未经本网站协 议授权不得转载、链接、转贴或以其他方法复制宣布。本网站原创内容版权归本网站所有,内容为作者个人看法,本网站只提供参考并不组成任何商业目的及应用建议。 已经由本网站协议授权的媒体、网站,在下载使用时必须注明稿件来源:“大江网(中国江西网)”,违者本网将依法追究执法责任。
3、凡本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本网站接纳的非本站原创文章及图片等内容无法一一和版权者联系,如果本网 所选内容的文章作者及编辑认为其作品不宜上网供各人浏览,或不应无偿使用,请实时用电子邮件或电话通知我们,以迅速接纳适当步伐,制止给双方造成不须要的经济 损失。
4、关于已经授权本站独家使用提供应本站资料的版权所有人的文章、图片等资料,如需转载使用,需取得本网站和版权所有人的同意。
※联系方法:大江网(中国江西网) 电话:0791-86849032
|