第25個冬天

  https://brian-liu.medium.com/build-enviroment-cuda-cudnn-on-win11-6ac5e51268f3 接續前一篇 關於GPU顯卡TFLOPS指標介紹和CUDA Toolkit下載安裝教學 裝完CUDA Toolkit之外還需要下載安裝cuDNN https://developer.nvidia.com/rdp/cudnn-archive 由於我這邊裝的版本是CUDA Toolkit 11.2.2 因此從最新版本cuDNN v8.9.7、cuDNN v8.9.5、.....只要有匹配的CUDA 11.x都可以下載安裝 不然預設你的本地電腦Tensorflow程式，是無法啟用到GPU資源的。 Python測試腳本 import tensorflow as tf print ( "TensorFlow:" , tf . __version__ ) gpus = tf . config . list_physical_devices ( "GPU" ) print ( "Detected GPU:" , gpus ) print('GPU->',tf.test.is_gpu_available()) if gpus : try : for gpu in gpus : tf . config . experimental . set_memory_growth ( gpu , True ) with tf . device ( "/GPU:0" ): a = tf . random . normal (( 512 , 512 )) b = tf . matmul ( a , a ) print ( "GPU calculation:" , b . device ) print ( "GPU test: PASS" ) except Exception as ...

CUDA 是 NVIDIA 的 GPU 技術，讓開發者運用並管理 NVIDIA GPU 大規模平行運算能力的技術與程式設計模型。電腦本身一定要是Nvida的顯卡才能裝CUDA。 但 CUDA 本身不等於平行處理，平行處理是一種概念；CUDA 則提供技術與程式設計模型，幫助開發者使用並管理 GPU 的運算資源。 CPU 能運算大量資料，但資源較少： CPU 可以處理數百萬甚至數十億次計算，只是執行資源相對有限，因此大量工作可能耗時較久。至於GPU 則相對擅長大量同類型計算，GPU 應用廣泛，但需要有效調度。涵蓋到遊戲、科學模擬、人工智慧與影像處理等工作都需要大量計算。 一般市面上顯卡，會用 TFLOPS(Tera Floating Point Operations Per Second) 這個指標來衡量GPU浮點運算能力。代表每秒可以執行多少萬億(10^12)次浮點運算。 常見的浮點數精度有半精度(FP16)、單精度又被稱作全精度(FP32、TF32)、雙精度(FP64)，基本上分別代表16位浮點數、32位浮點數、64位浮點數。在計算機科學中，浮點數的儲存方式主要是由三個部分所組成，分別是符號位元（sign）、指數位元（exponent）和小數位元（fraction, 理解成小數點後的數），可以參照 IEEE 754 。 以固定FP32指標來看 像是2016年 NVIDIA GeForce GTX 1050顯卡 ，只支援到1.862 TFLOPS 到了2020年 NVIDIA GeForce RTX 3070 ，短短四年時間就支援到20.31 TFLOPS。 2022年10月的 NVIDIA GeForce RTX 4090 ，則已經能支援高達82.58 TFLOPS。 2025年1月的 NVIDIA GeForce RTX 5090 ，又進步到了能支援104.8 TFLOPS。 從 NVIDIA GPU 的 FP32（32 位元單精度浮點運算）理論運算效能來看，2016 年 GeForce GTX 1050 僅有 1.862 TFLOPS，到了 2025 年 GeForce RTX 5090 已提升至 104.8 TFLOPS，短短 9 年間，理論運算能力成長約 56.3 倍，從中即可得知 GPU 硬體運算效能有顯著進步。 CUDA 提供多種運算管理功能，包括程式設...