GDDR

• 邊緣AI推理趨勢下，GDDR7內(nèi)存有望勝出？

  邊緣計算在低延遲、高帶寬、隱私保護等方面展現(xiàn)出較強優(yōu)勢，使得大模型在邊緣端的推理逐漸成為可能，也進一步推動了AI推理向邊緣下沉的趨勢，以降低對云端計算的依賴、提高系統(tǒng)的響應速度。

  張慧娟

  1931

  2024/07/24

  與非觀察 內(nèi)存
• 車載大模型計算分析：存儲帶寬遠比算力重要

  車載大模型的定義尚無，傳統(tǒng)大模型即LLM的參數(shù)一般在70億至2000億之間，而早期的CNN模型參數(shù)通常不到1000萬，CNN模型目前大多做骨干網(wǎng)使用，參數(shù)飛速增加。特斯拉使用META的RegNet，參數(shù)為8400萬，消耗運算資源很少，得分82.9也算不低；小米UniOcc使用META的ConvNeXt-B，參數(shù)8900萬，消耗運算資源最少，得分83.8；華為RadOcc使用微軟的Swin-B，參數(shù)8800萬。相對于早期的CNN模型，這些都可以叫大模型，但要與真正意義上的ChatGPT之類的LLM大模型比，這些是小模型都稱不上，只能叫微模型。

  佐思產(chǎn)研

  3833

  2024/06/18

  自動駕駛 大模型

  

正在努力加載...