關於GPU顯卡TFLOPS指標介紹和CUDA Toolkit下載安裝教學
CUDA 是 NVIDIA 的 GPU 技術，讓開發者運用並管理 NVIDIA GPU 大規模平行運算能力的技術與程式設計模型。 但 CUDA 本身不等於平行處理，平行處理是一種概念；CUDA 則提供技術與程式設計模型，幫助開發者使用並管理 GPU 的運算資源。 CPU 能運算大量資料，但資源較少： CPU 可以處理數百萬甚至數十億次計算，只是執行資源相對有限，因此大量工作可能耗時較久。至於GPU 則相對擅長大量同類型計算，GPU 應用廣泛，但需要有效調度。涵蓋到遊戲、科學模擬、人工智慧與影像處理等工作都需要大量計算。 一般市面上顯卡，會用 TFLOPS(Tera Floating Point Operations Per Second) 這個指標來衡量GPU浮點運算能力。代表每秒可以執行多少萬億(10^12)次浮點運算。 常見的浮點數精度有半精度(FP16)、單精度又被稱作全精度(FP32、TF32)、雙精度(FP64)，基本上分別代表16位浮點數、32位浮點數、64位浮點數。在計算機科學中，浮點數的儲存方式主要是由三個部分所組成，分別是符號位元（sign）、指數位元（exponent）和小數位元（fraction, 理解成小數點後的數），可以參照 IEEE 754 。 以固定FP32指標來看 像是2016年 NVIDIA GeForce GTX 1050顯卡 ，只支援到1.862 TFLOPS 到了2020年 NVIDIA GeForce RTX 3070 ，短短四年時間就支援到20.31 TFLOPS。 2022年10月的 NVIDIA GeForce RTX 4090 ，則已經能支援高達82.58 TFLOPS。 2025年1月的 NVIDIA GeForce RTX 5090 ，又進步到了能支援104.8 TFLOPS。 從 NVIDIA GPU 的 FP32（32 位元單精度浮點運算）理論運算效能來看，2016 年 GeForce GTX 1050 僅有 1.862 TFLOPS，到了 2025 年 GeForce RTX 5090 已提升至 104.8 TFLOPS，短短 9 年間，理論運算能力成長約 56.3 倍，從中即可得知 GPU 硬體運算效能有顯著進步。 CUDA 提供多種運算管理功能，包括程式設計模型、核心函式（kernels）、記憶體系統、...