當你使用GPU進行深度學習時,你會一次又一次驚奇地發現,你的速度提高了多少。與CPU相比,20倍的速度提升是很常見的,但是在更大的處理問題上,你甚至可以達到50倍的速度提升。使用GPU,您可以比平常更快地嘗試新的想法、算法和實驗,并且幾乎可以立即得到關于哪些可行哪些不可行的反饋結果。如果你是認真的,一定要有一個深度學習。那么怎么挑選合適的GPU去深度學習呢?下面一起來看看。
當一個人開始進行深度學習時,擁有一個快速的GPU是一個非常重要的,因為這種在實踐經驗中的快速收獲是建立在專業技能的基礎之上的,你會在將深度學習應用中遇到許多的新問題,如果沒有這種快速的反饋,從錯誤中吸取教訓就會花費太多的時間。有了GPU,就可以很快的學會如何將深度學習應用得更好。
使用模型并行性,能夠組成更大的神經網絡,它有近30億個連接。但要利用好這些聯系,只需要更大的數據集。另一方面,多GPU的一個優點是可以在每個GPU上分別運行多個算法或實驗。雖然沒有獲得加速,但可以通過同時使用不同的算法或參數獲得更多關于性能的信息。如果你的主要目標是盡快獲得深度學習經驗,這是非常有用的,而且對于想同時嘗試多個新算法版本的研究人員也是非常有用的。
如果只是偶爾使用深度學習,或者使用非常小的數據集(小于10-15GB)和重要的密集神經網絡,那么多個GPU可能不適合。
如果想自己編寫類似的網絡,請注意,要編寫高效的多GPU網絡是一項艱巨的任務,這將比在一個GPU上編寫一個簡單的網絡要花費更多的時間。
因此,總的來說,一個GPU應該足以完成幾乎所有任務,而額外的GPU只能在非常特定的情況下傳遞好處(許多GPU用于非常、非常大的數據集)。
|