继续更新！京东云JoyScale成功行业最多元国产异构算力调度 (北京 京q)

近日，京东云JoyScale AI平台才干再更新，成功行业最多元国产异构算力调度，支持10+家国产AI算力卡，20+训练推理框架，也是目前业界独一同时支持英伟达显卡和昇腾NPU远程调用的算力平台，为AI运转的高效运转提供弱小的算力支持。

AI深度运转开启，市场要求AI Native 的算力平台

随着AI运转深化，对基础设备带来了一系列全新的技术应战，都指向要求一套AI Native的AI算力平台。

一方面，以为中心的架构在支持AI原生运转方面存在顺手的疑问，要求以GPU为中心重塑基础设备，在国际还要求处置GPU自身型号多样带来的异构疑问。另一方面，运转的深化激起了更多推理的需求，计算资源继续介入，企业要求思索资源投入产出的疑问，心愿智算资源像过去一样失掉极致的效率。此外，GPU国际供应链风险加剧，金融、政务等范围AI算力国产化替代减速，算力还需满足合规要求。

面向大模型训练、推理的算力需求，京东云推出全新的JoyScale AI算力平台——以GPU为中心，高效异构算力调度，弱小推理性能。

片面更新， 成功行业最多元国产 算力异构 调度

JoyScale AI算力平台，是基于京东外部分歧GPU池化通常打磨的同源同栈AI基础设备算力平台，支持训练义务和推理服务分歧调度和资源共享，支持10+家国产AI算力卡，20+训练推理框架，也是目前业界独一同时支持英伟达显卡和昇腾NPU远程调用的算力平台。

它具有四大中心优点：

极致算力性能。行业抢先的内核态池化引擎，提供多卡聚合、单卡切分、多机多卡集群化调度、推理减速等差异化才干，满足大参数模型集群化部署要求，JoyScale作为经过信通院最后等级双认证的AI算力平台，可以满足金融级、性能和稳如泰山性要求，全体推理性能优化50%。

高效异构算力调度。JoyScale片面适配十余家国产算力，兼容适配昇腾、、海光等多种国产减速卡，支持异构算力分歧纳管、精细化运维，云原生AI调度才干，极致优化AI义务部署密度，全体资源运行率优化70%。

深度国产AI生态协作。京东云和众多国产芯片厂商深度协作，相互开放运转时Runtime层代码，经过GPU/NPU切分池化技术，从内核层屏蔽异构厂商配件的复杂性，成功更高效的AI算力。

支持超20种AI训推框架。训练框架支持PyTorch、TensorFlow、DeepSpeed，MindSpore等；推理框架支持vllm，sglang，MindIE，triton，TensorRT-LLM等。

3、极致性能调优，支持大模型在国产卡高效运转

JoyScale AI算力平台，基于极致的性能调优目的，攻克了支流模型在国产卡上运转的技术难点并构成处置计划，作为业界独一同时支持英伟达显卡和昇腾NPU远程调用的平台，成功了运转与算力的区分，让底层异构算力得以彻底池化，能够依据高层AI运转的通常需求，灵敏地按需分配算力资源。

在调度优化方面，JoyScale经过调度，在国产卡互联拓扑结构上，兼容原有英伟达NVLink上的优化，统筹算法义务性能、集群运行率与业务运转。经过自动识别CPU NUMA和网络拓扑，确保义务被分配到最优的计算和网络资源上，最大化义务的行动效率。

在资源运行率方面，JoyScale经过让国产GPU/NPU与英伟达/AMD共同遵照资源队列机制，既可有肯定资源的保证量，同时可共享集群闲暇资源，给用户提供更灵敏的计算资源，成功更高的集群资源运行率。

在模型优化方面，经过GE图编译优化和ATB高性能算子技术，对Paged Attention、Flash Attention等操作启动深度优化，成功整图下发才干，经过算子setup、下发、计算成功流水线并行，有效隐藏了算子调度开支。并经过Prefill/Decode区分技术，KV cache等缓存技术增加重复计算，有效提高多模态场景推理速度。

在软硬协同优化方面，经过对热点算子启动精细调优，实施锯齿Attention、灵敏输入拼接、全子图下发，以及重计算流水线的独立调度和自顺应重计算等深度优化措施，成功了百卡 MFU达60%。同时，经过权重更新通讯隐藏、CoC计算通讯并行和多机间RDMA通讯等技术，抵达了百卡扩充系数0.93，成功了千亿至万亿参数模型训练的近线性横向扩充。

以后，基于京东集团复杂场景通常，京东云构建了一站式大模型产品矩阵，从底层的智算基础设备，到两边层的模型服务和工具，再到高层的Agent运转开发，支持企业加快部署大模型及运转。同时，仰仗在京东外部场景千锤百炼的深度运转阅历，打造出的极致性能、极致性价比的技术与产品，助力更多企业重塑AI消费力。