證明生成的過程中,約有60%的時間花在MSM上,其余時間由NTT/FTT主導。MSM和NTT都存在性能挑戰,通常的解決辦法:
●MSM可以在多線程上執行,從而支持并行處理。然而,當處理大型數據向量時,例如6700萬個參數,乘法運算可能仍然很慢,并且需要大量的內存資源。此外,MSM存在可擴展性方面的挑戰,即使在廣泛并行化的情況下也可能保持緩慢。
芯片的硬件指的是運行指令的物理平臺,包括處理器、內存、存儲設備等等。芯片數據中常出現的“晶體管數量”、“7nm制程”、“存儲”等,往往指的就是硬件參數。
軟件則包括固件、驅動程序、操作系統、應用程序、算子、編譯器和開發工具、模型優化和部署工具、應用生態等等。這些軟件指導硬件如何響應用戶指令、處理數據和任務,同時通過特定的算法和策略優化硬件資源的使用。芯片數據中常出現的“x86指令集”、“深度學習算子”、“CUDA平臺”等,往往指的就是芯片軟件。
為了打破英偉達一家獨大的局面,前任全球芯片老大英特爾和多年老對手AMD對標CUDA都分別推出了OneAPI和ROCm,Linux基金會更是聯合英特爾、谷歌、高通、ARM、三星等公司聯合成立了民間號稱“反CUDA聯盟”的UXL基金會,以開發全新的開源軟件套件,讓AI開發者能夠在基金會成員的任何芯片上進行編程,試圖讓其取代CUDA,成為AI開發者的開發平臺。
早在2021年,英偉達就曾公開表示過“禁止使用轉換層在其他硬件平臺上運行基于CUDA的軟件”,2024年3月,英偉達更是將其升級為“CUDA禁令”,直接添加在了CUDA的終用戶許可協議中,已禁止用轉譯層在其他GPU上運行CUDA軟件