本日，寒武纪开源了PyTorch开采后端扩张插件Torch-MLU，并末端了寒武纪硬件对于PyTorch的原生复古，充分进步了开发者的使用体验和集收遵守。

早在2018年，寒武纪就运转了与PyTorch框架的集成适配责任。自PyTorch 1.3版块运转就复古寒武纪MLU系列智能加快卡动作PyTorch的加快后端，使开发者不祥将原先基于GPU的深度学习蚁合高效迁徙到基于寒武纪MLU的PyTorch环境中。

跟着PyTorch社区发布PyTorch 2.4版块，配合新版块（≥ V1.22）的Torch-MLU插件，寒武纪硬件末端了对PyTorch的原生复古。开发者无需再安设寒武纪定制的Cambricon PyTorch，而是不错基于社区的PyTorch安设Torch-MLU插件，就可将寒武纪硬件的算力接入原生PyTorch。

与此同期，Torch-MLU的开源使寒武纪不祥更快地反映开发者的反馈和问题，搭建了高效的疏导桥梁，促进了与大家开发者的结合和常识分享。寒武纪通过执续孝顺开源社区的骨子举止，展示着拥抱开源、复古AI生态共建的决心。

↓GitEE仓库（点击文末“阅读原文”可获胜跳转）↓

https://gitee.com/cambricon/torch_mlu

*具体版块与分支信息请参考仓库中的README文档。

一、 Torch-MLU的时刻演进

1、开采后端接入PyTorch框架

PyTorch初期莫得提供第三方后端和谐接入决策。新开采后端淌若想接入PyTorch，时时需要对PyTorch的中枢代码进行修改。比如开发者需要在中枢模块Dispatcher中加入对应后端的Dispatch Key，以及对其他模块中对于开采后端作念一些适配性修改。开采后端扩张插件需要配合修悛改的PyTorch才调够平日责任。

▲侵入式开采后端复古

2023年8月PyTorch社区发布了PyTorch 2.1版块，重磅推出了基于PrivateUse1 Dispatch Key的新后端和谐接入参考筹算。PrivateUse1筹算决策通过PrivateUse1概括层将开采厂商专有属性和谐封装，完善了PyTorch的开采扩张机制，为新硬件非侵入性接入PyTorch提供了阶梯。

▲开采后端原生复古

通过这些改换，PyTorch不仅增强了其动作深度学习框架的天真性和可扩张性，还为开发者和开采厂商提供了更顺畅和高效的合作环境。

2、寒武纪执续孝顺PyTorch社区

PrivateUse1接入决策的推出为新后端和谐接入提供了启发性的念念路，然而在初期仍有一些待完善的特色和模块，需要开采厂商的执续插足和孝顺。

PrivateUse1复古开采在Eager模式下的基本的运行和接入，但并不成完善复古PyTorch的一些特色。比如Profiler模块，初期仅复古GPU后端，不复古外部自界说后端，基于PrivateUse1注册的开采后端无法使用PyTorch原生的Profiler。

PrivateUse1旅途的斥逐给开发者带来了更多挑战，使他们在进行开采集成时靠近更多防碍，影响了举座使用体验。

寒武纪在PrivateUse1接入决策的基础上优化了非CUDA开采的接入体验，在本年向PyTorch社区提交了数十个Patch，触及Profiler、Compile、Graph Capture、Autograd、Allocator、Storage, FSDP、Sparse等盛大模块，买通了这些模块与PrivateUse1的集成旅途，进一步完善了PrivateUse1机制。昔日，第三方开采的厂商和开发者就不祥充分欺诈这些已买通的集成旅途，愈加高效和方便地接入PyTorch。

3、安设Torch-MLU插件，保留原生体验

过程寒武纪对PyTorch社区的PrivateUse1机制进行完善后，自PyTorch 2.4版块起，寒武纪硬件末端了PyTorch原生复古。

开发者可获胜基于社区PyTorch发布包安设Torch-MLU插件，即可将寒武纪MLU的算力无缝接入，同期保留原生PyTorch的使用体验。

二、开源界限

刻下开源的Torch-MLU仓库复古的社区版块:

PyTorch 2.1PyTorch 2.3PyTorch 2.4（2024年7月25日最新发布）

昔日会随社区版块执续更新。

三、拥抱开源社区，执续生态孝顺

寒武纪遥远以来剿袭绽开、合作、分享的理念，积极参与开源社区的开发，在多个热切开源样式中孝顺代码，如PyTorch、TensorFlow、Huggingface、Transformers、vLLM、Deepspeed等大模子进修推理当用中的中枢组件。

近期，寒武纪开源了Triton-Linalg AI编译器前端，开发者或者硬件厂商不错以极低的开发资本，快速集成复古Triton谈话特色的后端领导集，并对接表层AI应用。

这次开源Torch-MLU插件，亦然但愿昔日能更好地领略和更快速地贬责开发者的问题，同期为寒武纪深度学习框架与开发者之间确立获胜的交流渠说念。寒武纪投诚，激动东说念主工智能限制昔日发展的要道在于绽开性、合作精神和分享资源。通过开源样式，开发者们不错结合一致，通过结合和配合，使得时刻效果赢得庸碌应用。

昔日，寒武纪将执续孝顺开源社区，为AI开源生态注入新能源。同期通过期刻的开源，赋予开发者更多智商，共同促进繁荣和多元的东说念主工智能全国。