4月24日,DeepSeek V4-Pro及DeepSeek V4-Flash正式发布并开源,模子上下文处置惩罚长度由原本的128K显著扩大至1M,实现近10倍的容量晋升。
随后,华为计较发布信息称,昇腾超节点产物周全撑持DeepSeek V4。本次经由过程两边芯模技能慎密协同,实现昇腾超节点全系列产物撑持DeepSeek V4系列模子。
此中,昇腾950经由过程交融kernel及多流并行技能降低Attention计较及访存开消,年夜幅晋升推理机能,联合多种量化算法,实现了高吞吐、低时延的DeepSeek V4模子推理部署。昇腾A3超节点系列产物也周全适配,同时为便在用户快速微调,提供了基在昇腾A3超节点的练习参考实现。
华为暗示,基在DeepSeek V4-Pro模子,于8K输入场景,昇腾950超节点可实现TPOT约20ms时单卡Decode吞吐4700TPS。DeepSeek V4-Flash模子,8K长序列输入场景下可实现TPOT约10ms时单卡Decode吞吐1600TPS。
华为暗示,两边还有结合界说昇腾超节点,进一步年夜幅晋升延迟及吞吐,同时实现低成本,且统筹万卡级另外Scale out集群范围。解决了长序列4K到1M序列长度规模内都有低延迟及高吞吐。此架构撑持基在NAND SSU的超低成本、超年夜容量、高机能KV Cache有用支撑撑持长序列运用。
此外,基在昇腾A3 64卡超节点联合年夜EP模式部署,DeepSeek V4-Flash模子,8K/1K输入输进场景,基在vLLM推理引擎可实现2000+TPS的单卡Decode吞吐,单卡吞吐连续晋升。针对于DeepSeek V4-Pro模子,昇腾A3同步撑持推理部署,机能连续优化中。
华为称,昇腾A二、A3和950全系列产物适配DeepSeek V4-Flash、DeepSeek V4-Pro。华为而且夸大,昇腾始终致力在为世界提供新选择,以极致的算力与开放的生态,加快AI财产的繁荣。
4月24日,华为云也公布首发适配DeepSeek V4。当前,华为云MaaS模子即办事平台已经为开发者提供免部署、一键挪用DeepSeek-V4 -Flash API的Tokens办事。
华为云暗示,于这次新模子适配历程中,华为云于体系层、算子层及集群层的要害能力上协同,别离从调理效率、计较效率及数据流转效率三个维度保障新模子快速适配与高机能落地。据悉,金山办公、360等企业已经经由过程华为云接入DeepSeek新模子。
于DeepSeek V4发布后,寒武纪也于第一时间公布,基在vLLM推理框架完成为了对于这次DeepSeek-V4-flash及DeepSeek-V4-Pro两个版本的Day 0适配,适配代码已经开源到GitHub社区。
去年DeepSeek-V3.2的发布,寒武纪也是第一时间发布适配的国产芯片。寒武纪暗示,此前寒武纪对于DeepSeek系列模子开展深切的软硬件协同机能优化,并到达了业界领先的算力使用率程度。
(原标题:华为昇腾超节点撑持DeepSeek V4模子,寒武纪也适配完成)
尤其声明:本文转载仅仅是出在流传信息的需要,其实不象征着代表本网站不雅点或者证明其内容的真实性;如其他媒体、网站或者小我私家从本网站转载利用,须保留本网站注明的“来历”,并自大版权等法令责任;作者假如不但愿被转载或者者接洽转载稿费等事宜,请与咱们联系。-PA集团官网