模型運算快逾十倍 Groq晶片挑機輝達

聊天機械人背後必須依賴晶片運算。美國人工智能（AI）晶片初創Groq最近聲名大噪，該企主打研發「語言處理單元」（LPU）晶片，當中採用張量流處理器（TPS）架構，克服計算量、記憶體頻寬兩大樽頸，聲稱其大型語言模型（LLM）的推理效能比頂級雲端供應商快18倍，足以挑戰輝達（Nvidia）圖像處理器（GPU）地位。 Groq網站最近公開API（應用程式介面）金鑰，並免費提供100萬Token（1個Token約等於英文4個字元），給已獲批准的會員試用10天。以執行Meta Llama2 7B模型為例，每秒可輸出750個Token，較OpenAI旗下GPT-3.5每秒40個Token快得多，價格為每1 ...

（節錄）全文共494字