Amazon Bedrock推出多個新模型和全新強大的推理和數據處理功能
北京2024年12月6日 /美通社/ -- 亞馬遜雲科技在2024 re:Invent全球大會上，宣佈推出Amazon Bedrock的多項創新功能。Amazon Bedrock是亞馬遜雲科技一項完全託管的服務，旨在利用高性能基礎模型構建和擴展生成式人工智能（AI）應用程序。此次發佈進一步彰顯了亞馬遜雲科技對模型選擇的承諾，同時優化了大規模推理的執行方式，幫助客户從數據中挖掘更多價值。
亞馬遜雲科技人工智能和數據副總裁Swami Sivasubramanian博士表示：“Amazon Bedrock服務持續快速增長，因其廣泛而領先的模型選擇、可輕鬆基於自身數據進行定製的工具、內置的負責任的AI功能以及開發複雜智能體的能力成為越來越多客户的選擇。為了讓客户充分釋放生成式AI的潛力，Amazon Bedrock一直致力於解決開發人員當前面臨的最大挑戰。通過此次新發布的一系列新功能，我們將幫助客户開發出更智能的AI應用程序，讓他們為其最終用户創造更大價值。”
彙集領先AI公司的廣泛模型選擇
Amazon Bedrock為客户提供豐富的完全託管的模型選擇，這些模型來自領先的AI公司，包括AI21 Labs、Anthropic、Cohere、Meta、Mistral AI以及Stability AI等。此外，Amazon Bedrock是客户使用新發布的Amazon Nova模型的唯一渠道。Amazon Nova是新一代基礎模型，以行業領先的性價比為廣泛的任務提供先進的智能能力。通過此次發佈，亞馬遜雲科技在Amazon Bedrock上新增更多行業領先的模型，進一步擴展Amazon Bedrock的模型選擇範圍。
通過Amazon Bedrock Marketplace訪問100多個熱門、新興和專業模型
儘管Amazon Bedrock中的模型能夠支持眾多任務，許多客户仍希望將新興的專用模型融入到他們的應用程序中，為其獨特的用例，如分析財務文檔或生成新型蛋白質等提供支持。藉助Amazon Bedrock Marketplace，客户如今能夠輕鬆地從100多個模型中進行查找與選擇，這些模型可部署在亞馬遜雲科技上，並能通過Amazon Bedrock中的統一體驗進行訪問。這涵蓋了諸如Mistral AI的Mistral NeMo Instruct 2407、Technology Innovation Institute的Falcon RW 1B以及NVIDIA NIM微服務等熱門模型，以及眾多專業模型，如用於金融行業的Writer的Palmyra-Fin、用於翻譯的Upstage的Solar Pro、Camb.ai的文本轉音頻MARS6以及用於生物學的EvolutionaryScale的ESM3生成模型等。
客户一旦找到他們想用的模型，就能依據自身擴展需求選擇合適的基礎設施，並通過完全託管端點輕鬆將其部署在亞馬遜雲科技上。客户隨後可將該模型與Amazon Bedrock的統一應用程序編程接口（API）安全集成，從而使用諸如Guardrails和Agents等工具，並受益於內置的安全和隱私功能。
Zendesk是一家全球服務軟件公司，服務於覆蓋全球10萬個品牌的多元文化客户羣體。該公司可在Amazon Bedrock中使用如用於翻譯的Widn.AI等專用模型，通過電子郵件、聊天、電話以及社交媒體對客户服務請求進行個性化和本地化處理。這將為客服人員提供其所需的數據，比如客户母語表達中的情緒或意圖等，最終提升客户服務體驗。
提示詞緩存和Intelligent Prompt Routing幫助客户大規模處理推理問題
在選擇模型時，開發人員需要權衡多種因素，如準確性、成本和延遲。針對其中任一因素進行優化，都可能意味着在其他因素上做出讓步。為了在將應用程序部署到生產環境時平衡這些考量因素，客户會採用多種技術，例如緩存常用提示詞或將簡單問題分配給較小模型。然而，運用這些技術既複雜又耗時，需要專業知識來反覆測試不同的方法，以確保終端用户獲得良好的體驗。正因如此，亞馬遜雲科技新增了兩項功能，幫助客户更有效地大規模管理提示詞信息。
- **通過緩存提示詞功能降低響應延遲和成本。**Amazon Bedrock現已支持安全地緩存提示詞，從而減少重複處理，且不會影響準確性。對於受支持的模型，此功能最高可將成本降低90%，並將延遲最多縮短85%。例如，一家律師事務所可以創建一個生成式AI聊天應用程序，用於回答律師有關文件的問題。當多名律師在提示詞中詢問關於文檔同一部分的問題時，Amazon Bedrock能夠緩存該部分內容，使其只需處理一次，之後每當有人想要詢問相關問題時便可重複使用。這通過減少模型每次需要處理的信息量來降低成本。Adobe的Acrobat AI助手通過實現快速文檔摘要和問答功能，提高了用户的工作效率。根據初步測試，藉助Amazon Bedrock上的提示詞緩存功能，Adobe發現其響應時間縮短了72%。
- **提示詞智能路由功能有助於優化響應質量和成本。**藉助該功能，客户能配置 Amazon Bedrock 自動把提示詞分配至同一模型系列裏的不同基礎模型，以優化響應質量和成本。運用先進的提示詞匹配和模型理解技術，提示詞智能路由能夠預測每個請求對應的每個模型的性能，並將請求動態路由至最有可能以最低成本提供所需響應的模型。提示詞智能路由可在不影響準確性的情況下，將成本降低多達30%。Argo Labs為餐廳提供創新的語音代理解決方案，通過提示詞智能路由處理各類客户諮詢和預訂業務。當客户提交問題、下單以及預訂位置時，Argo Labs的語音聊天機器人會動態地將查詢請求路由至最合適的模型，從而優化響應的成本和質量。例如，像"今晚這家餐廳有空桌嗎？“這樣簡單的是非問題，可以由較小模型處理，而"這家餐廳提供哪些素食選項？“這類更復雜的問題則可由較大模型來回答。藉助提示詞智能路由功能，Argo Labs能夠利用其語音代理無縫處理客户交互，同時實現準確性和成本之間的合理平衡。
Amazon Bedrock**知識庫的兩項新功能助力客户最大程度發揮數據價值
無論自身數據存儲於何處、採用何種格式，客户都希望利用它們為終端用户構建獨特的由生成式AI驅動的體驗。知識庫是一項全託管功能，客户藉助檢索增強生成（RAG），能夠輕鬆利用上下文相關及關聯數據自定義基礎模型的響應。雖然知識庫已能便捷地連接至諸如Amazon OpenSearch Serverless和Amazon Aurora等數據源，但許多客户還希望將其他數據源和數據類型融入其生成式AI應用程序中。基於此，亞馬遜雲科技為知識庫新增了兩項功能。
Amazon Bedrock Data Automation將非結構化多模態數據轉換為結構化數據，用於生成式AI**和分析
如今，大多數企業數據都是非結構化的，這些數據包含在文檔、視頻、圖像以及音頻文件等內容中。許多客户希望利用這些數據挖掘見解或為客户打造新體驗，但將其轉換為便於分析或RAG所需的格式往往是一個艱難的手動過程。例如，銀行在處理貸款業務時可能會接收多個PDF文檔，需要從每個文檔中提取詳細信息，對姓名、出生日期等特徵進行標準化以保證一致性，然後將結果轉換為文本格式，再輸入數據倉庫進行分析。藉助Amazon Bedrock Data Automation，客户能夠使用單個API從非結構化內容中大規模自動提取、轉換並生成數據。
Amazon Bedrock Data Automation能夠快速且經濟高效地從文檔、圖像、音頻以及視頻中提取信息，並將其轉換為結構化格式，適用於智能文檔處理、視頻分析以及RAG等用例。該功能可以使用預定義的默認設置生成內容，例如視頻片段每個場景的描述或音頻的轉錄內容，客户也可以根據自身的數據架構生成定製化的輸出內容，並將其輕鬆加載到現有的數據庫或數據倉庫中。通過與Knowledge Bases的集成，Amazon Bedrock Data Automation還可以解析內容以支持RAG應用程序，通過整合嵌入在圖像和文本中的信息，提升結果的準確性和相關性。同時，該功能提供置信度評分，並基於原始內容生成響應，有助於降低生成"幻覺"風險並提高透明度。
Symbeo是一家隸屬於CorVel的公司，提供自動化應付賬款解決方案。Symbeo計劃利用Amazon Bedrock Data Automation，從複雜的文檔（如保險理賠、醫療賬單等）中自動提取數據。這將幫助Symbeo的團隊更快速地處理理賠事務，並縮短向客户回覆的週轉時間。數字資產管理平台Tenovos正在使用Amazon Bedrock Data Automation在大規模語義搜索中提升內容的複用率，複用率提高了50%以上，節省了數百萬美元的營銷費用。
Amazon Bedrock Marketplace現已正式可用，同時Amazon Bedrock Knowledge Bases中的推理管理功能、結構化數據檢索、GraphRAG以及Amazon Bedrock Data Automation均已預覽可用。此外，Luma AI、poolside和Stability AI的模型也即將上線。
免責聲明：
本新聞稿中提及的生成式AI新發布服務暫時僅在亞馬遜雲科技境外區域可用，亞馬遜雲科技中國僅為幫助您瞭解行業前沿技術和發展海外業務選擇推介該服務。
消息來源：亞馬遜雲科技