GenAI 與雲端科技專區

Amazon Bedrock 搭載 Claude 3 Sonnet 發揮強生成式 AI 應用實力

Published by
藍骨

Amazon Web Service(AWS)早前與 AI 企業 Anthropic 合作,在旗下全託管 AI 平台 Amazon Bedrock 支援最新推出的 Claude 3 Sonnet 模型,為使用者帶來更靈活、更快的生成式 AI 效能。

Claude3 三個模型各有不同

Claude3 系列設有三個模型,分別名為「Haiku」、「Sonnet」及「Opus」,三者之間在效能、適用場景及使用成本方面有一定的差異,能夠適用於不同場景的需求。其中位列中等級別的 Sonnet 在效能、智能性、推理速度及成本達致平衡,適合大部分日常及商業應用場景。

配備 200k 超長上下文視窗,以及全面而強大的檢索及生成功能(RAG),Claude 3 系列能夠有效處理長文件及進行分析與生成,有利於需要利用生成式 AI 進行創意寫作或市場營銷的企業。

有測試分別要求 Claude 3 三個模型以同樣的故事前提設計角色,並為他們賦予名字及細節,並以指定風格寫出 14 個場景,以測試三者之間在創意方面的表現。測試結果發現,無論是 Haiku、Sonnet 或 Opus,都能夠生成高品質的場景大綱,在寫作質量上未見太大差異。然而,當涉及更細緻的創作要求,例如為角色命名,Sonnet 及 Opus 就能生成更具一致性的答案,並建立更多細節,對於需要豐富層次的創作更為有利。此外,相較於 Opus 注重故事的複雜程度,Sonnet 在創造具情感變化及現代感的對話上則更具優勢。這亦體現於創作具感染力廣告標語的效果,在另一項測試中,Sonnet 的生成結果比 Haiku 及 Opus 更能理解市場營銷策略背後的複雜性,創作更吸引及具效果的標語。

編程及多媒體處理能力優異

另一方面,編程能力同樣是衡量 AI 模型效能的關鍵指標之一。透過專為生成式 AI 編程能力而設的基準測試 HumanEval,不論 Haiku(75.9%)、Sonnet(73%)或 Opus(84.9%)的效能都比 GPT-4(67%)為高。

有測試使用 Claude 3 的三個模型進行編寫 Python 貪食蛇遊戲,結果發現儘管 Opus 能夠在基本遊戲以外,生成額外遊戲機制及互動元素等複雜編碼,Sonnet 卻能夠以平均每秒 56.68 個 Token 的高速度完成基本編程任務,比起平均每秒 21.875 個 Token 的 Opus 高出兩倍,而且生成的程式碼易於複製和直接使用,在成本更低的前提下,同樣能夠為用戶提供流暢及可靠的編程體驗,在速度及輸出品質上達致更佳平衡。

除創作及編程能力外,Claude 3 亦進一步加強影像理解效能。三個模型在 ANLS(文件影像對答)、AI2D(科學圖表)及 Relaxed Accuracy(圖表對答)等基準測試上,都錄得比 GPT-4 及 Gemini 1.0 Pro 更出色的表現,其中 Sonnet 在科學圖表測試上的結果更在眾多模型中首屈一指,足以應對使用者大量處理圖表、分析報告等視覺數據的需求。

有專家曾對 Amazon Bedrock 上的 Sonnet 進行視覺測試,其中透過展示兩張近乎相同的圖片,讓模型描述當中的差異,結果 Sonnet 能夠準確描述相異之處的位置、形狀和大小,效果令人滿意。專家亦進行工藝流程圖(P&ID)與 AWS 參考架構圖測試,結果在了解過相關文件的上下文資訊後,Sonnet 同樣能夠作出快速而準確的解讀。

配合需求選用合適模型

在坊間眾多生成式 AI 的測試與比較中,Claude 3 三個模型的表現同樣可圈可點,當中尤以功能最強大的 Opus 更適用於處理複雜的流程,然而其每百萬 Tokens 的輸入和輸出成本分別為 15 美元和 75 美元,對於資金有限的使用者無疑較大負擔。相比之下,擁有比 Haiku 更佳效能、與 GPT-4 智能水平相若的 Sonnet,每百萬 Tokens 輸入和輸出成本僅為 3 美元和 15 美元,在效能及成本之間取得平衡,適合大規模 AI 部署。

受惠於 AWS 雲端技術的完善的運算能力,Claude 3 Sonnet 在 Amazon Bedrock 上的應用將具備更快、更流暢的效能,同時透過 VPC 網路隔離、數據加密等嚴格的安全機制,將有助企業保護數據及機密資料,消除隱私外洩疑慮,讓企業更無後顧之憂地部署及應用生成式 AI,帶來無窮無盡的可能性。

Published by
藍骨