有人说，我做一款AI芯片，只要原生支持PyTorch就好了呀，用户直接用PyTorch跑模型，根本接触不到CUDA呀。

没错，一般的用户只要在PyTorch层面做应用，但是总是有新的模型架构出来，这些架构都需要做特定的性能优化才能在一个芯片上得到较高的性能，这时候就涉及到算子开发了。

比如说一开始LLM在GPU上的性能不好，后来社区针对Nvidia GPU做了flash attention等的优化才把LLM的性能提升到了比较可观的程度。

CUDA已经被各种开源AI框…。

　　以上就是小编为大家介绍的CUDA真是NVIDIA绝对牢不可破的生态吗？_云南省大理白族自治州巍山彝族回族自治县享复水产合伙企业的全部内容，如果大家还对相关的内容感兴趣，请持续关注

　　本文标题：CUDA真是NVIDIA绝对牢不可破的生态吗？_云南省大理白族自治州巍山彝族回族自治县享复水产合伙企业　　地址：