早前我們報道過, Elon Musk 斥 OpenAI 無法做到真正開源,而且違反了非牟利的初衷(相關報道)。Elon Musk 自己設立 xAI 公司,為求與 OpenAI 對抗,而 xAI 今日(18 日)宣布正式開放旗下人工智能聊天機械人 Grok,表示會以開源形式提供服務。
Grok-1 是 xAI 去年 7 月成立後發布的第一個自主研發大型人工智能模型,使用 JAX 和 Rust 自訂訓練。xAI 表示,Grok-1 未針對任何特定任務進行微調,而且使用大量文字數據訓練,是一個具有 3140 億個參數(parameter)的 MoE(Mixture-of-Experts)。據報目前 Grok-1 是世上有最多參數的開源模型,遠超 Meta 開發的 Llama 2(700 億個參數)及 Mistral 8x7B(120 億個參數)。不過目前 Grok-1 在 MMLU、GSM8K、HumanEval 等基準測試中都落後 ChatGPT 4,只比 Llama-2-70B、ChatGPT 3.5 更好。
xAI 遵從 Apache 2.0 協議開放模型架構,能夠對應不同應用環境,允許用戶使用、修改及分發軟件,即使是商業用途也可。
圖片、資料來源:xAI