硬件層面，也就是所謂的硬件加速， CPU、GPU、FPGA、ASIC。CPU與GPU相比在大數據多任務處理上，肯定GPU更占優勢。FPGA與GPU相比，在兼顧了靈活性的基礎上，無論是計算能力和功耗性能上都要更強，缺點是性價比太低。ASIC是的，其他的硬件形態都是無法比擬的。
綜上來看，內存和帶寬是限制證明生成的主要瓶頸。對于顯卡來說，這里的內存指的是顯存，并不是主板上的內存，主板上的內存主要是參與CPU的計算。當然目前有些芯片技術可以打通主板上的內存和顯存，讓內存為顯存計算來用。
在分析之前，我們先看一下ASIC（Application Specific Integrated Circuit），中文全稱是“專用集成電路”。這里特別強調“專用”，“專用”意味著針對單一項目來說會更加有競爭力。相對比，GPU（顯卡）是通用計算處理芯片，所以在單一項目上來說“專用”肯定比“通用”更有競爭力。
為了打破英偉達一家獨大的局面，前任全球芯片老大英特爾和多年老對手AMD對標CUDA都分別推出了OneAPI和ROCm，Linux基金會更是聯合英特爾、谷歌、高通、ARM、三星等公司聯合成立了民間號稱“反CUDA聯盟”的UXL基金會，以開發全新的開源軟件套件，讓AI開發者能夠在基金會成員的任何芯片上進行編程，試圖讓其取代CUDA，成為AI開發者的開發平臺。