Apple 最近於 Hugging Face 上發布了 OpenELM 生成式人工智能模型,據悉這個 AI 模型有 4 個不同參數的版本,可在手機上運作。
OpenELM 全稱為 Open-source Efficient Language Models,意思是開源高效語言模型。OpenELM 設有 2.7 億、4.5 億、11 億及 30 億共 4 個不同參數版本,比一般高性能模型而言要少。
《The Register》報道指,OpenELM 使用 GitHub RedPajama 資料庫、Wikipedia、StackExchange、ArXiv 、Reddit 以及大量書籍進行預訓練。Apple 於 Hugging Face 公開的數據顯示,其訓練資料規模高達1.8 兆 tokens。據外媒報道,Apple 聲稱 OpenELM 是開源,其理由是因為 Apple 推出了模型,同一時間亦分享了其訓練方式。Apple 亦將 OpenELM 的原始碼上傳至 GitHub 資料庫。
據《The Register》報道,Apple 推出的 OpenELM 並沒有使用公認開源標準,但亦沒有嚴格禁止用戶用於商業用途,不過就表示會保留向任何基於 OpenELM 的衍生品提出專利索償的權利。
▲圖片來源:Hugging Face
由於 OpenELM 參數較少,而且運用了分層縮放技術提高準確度,模型亦可在普通手提電腦,甚至是電話上運作。據《The Register》報道,OpenELM 可以將模型轉換為 MLX 程式碼,讓 OpenELM 在 Apple 電腦上運行更加流暢。
圖片來源:YouTube
資料來源:The Register、East money