Google 新語言模型PaLM 2 可邏輯推理、撰寫程式

分類: 網路 新品報導   5/11/2023   Google


Google宣布推出新一代的語言模型PaLM 2。PaLM 2支援超過100種語言,通過進階語言能力測試達到Mastery等級。模型的資料數據廣泛,能整合涵蓋數學算式的科學研究論文、網頁等,提升邏輯、常識推理和數學方面的功能。此外,PaLM 2模型精通Python和JavaScript等程式語言,並有能力生成Prolog、Fortran和Verilog等其他語言的專業程式。Google將推出四種不同規模的PaLM 2模型,從輕量的Gecko到大型的Unicorn,以適應不同的使用需求情境。以下便是 Google 新聞稿全文。


本文作者:Google DeepMind 副總裁 Zoubin Ghahramani
在過去的十年中,Google 在 AI 領域做出了許多重大突破。尤其是在基礎模型方面,我們開創出前所未有的技術,為整個產業和數十億人們每天使用到的 AI 產品奠定了穩固的基礎。當我們持續以負責任的方式提升技術發展的同時,這些技術將有潛力在一些領域應用中帶來翻轉性的改變,尤其是在醫療照護和思維創意等影響深遠的領域。

在過去十年開發 AI 技術的經驗中,我們發現擴充類神經網路可以大幅提高模型可能性。事實上,大型模型已經發展出許多令人驚喜的功能。但我們也從研究中發現,模型並不是越大越好,想建置出優質的機器學習模型,研究方面的創意才是關鍵。近年來,我們在建構和訓練模型方面取得了許多進展,也從中學習到如何解鎖多模態功能、提高模型建立的效率,以及在過程中納入真人意見的重要性。這些學習為我們發展先進 AI 技術提供強大的推動力,同時建構出能夠為人們日常生活帶來實質效益的模型。

PaLM 2 正式登場
今天,我們很高興地宣布,以這些成果為基礎,Google 正式推出新一代語言模型 PaLM 2;它不僅支援多種語言,還具備更強大的推理能力和程式編寫能力。

支援多語言:
PaLM 2 運用超過 100 種語言的多語資料訓練而成,理解和產生文字的能力都大幅增強,還能將含有微妙細節的文本翻譯成各種語言,像是不容易處理的俗諺、詩歌和謎語等等。PaLM2 也通過進階語言能力測試,達到 Mastery 等級。

邏輯推理功能:
PaLM 2 的資料數據廣泛,整合了涵蓋數學算式的科學研究論文、網頁等,所以在邏輯、常識推理和數學方面的功能都有大幅提升。

程式編寫:
PaLM 2 使用了大量公開的自然語言及原始碼資料進行預先訓練,所以這個模型精通 Python 和 JavaScript 等常見程式語言,也有能力生成 Prolog、Fortran 和 Verilog 等其他語言編寫專業程式。

一系列多元模型
PaLM 2 擁有更進階的能力, 同時也比之前的模型運行速度更快、更有效率。PaLM 2 模型有不同的規模尺寸,讓它能夠更輕易的部署並應用在不同的使用需求情境。我們將推出四種不同規模的PaLM2 模型,從小到大分別是: Gecko、Otter、Bison 和 Unicorn。Gecko 極為輕量,甚至可以在離線的行動裝置上運作。這種多功能性代表 PaLM 2 可以進行微調,以更多方式支援整個產品類別,幫助更多使用者。

支援近 25 種 Google 產品
在今天的 I/O 開發者大會中,我們發表了 25 款由 PaLM 2 提供支援的新產品和功能,Google 內部也已經有許多團隊在使用。換句話說,PaLM 2 直接將最先進的 AI 技術注入我們的產品與使用者,包含消費者、開發者以及全世界不同規模大小的企業,以下是幾個實際例子:

透過 PaLM 2 支援多語言能力的提升,讓我們得以開始從今天開始,將全新語言加入 Bard。此外,它也支援我們近日公開的全新程式設計功能。

Workspace 中的功能讓你能夠在 Gmail 和 Google 文件中協助撰寫,並幫助你在Google 試算表中進行整理,這些都是結合 PaLM 2 技術,能夠幫助使用者快速完成工作,交出亮眼成績。

Med-PaLM 2 是由 Google 具有醫學背景的健康研究團隊應用醫學知識進行訓練的語言模型,能從各種密集複雜的醫學內容中歸納出重點,並回答相關問題,在醫療知識方面已展現出頂尖效能,也是第一個能在美國醫師執照考試的試題類型中,達到「專家」等級的大型語言模型。我們也會開始支援多模態功能,結合 X 光和乳房攝影等各種資訊,希望未來能改善治療成果。今年夏天,Med-PaLM 2 會開放給小部分的 Cloud 客戶使用,藉此收集各方意見回饋,瞭解模型能為哪些方面帶來安全有效的幫助。

Sec-PaLM 是 PaLM 2 的特殊版本,專為安全性用途訓練而成,在網路安全分析方面可望帶來重大進展。這個模型可透過 Google Cloud 使用,它採用 AI 來協助分析、解釋可能造成威脅的指令碼行為,並且能更精準地偵測對使用者和組織確實有害的指令碼。

我們在 3 月推出 PaLM API 的非公開預先發布版給少部分開發者試用。從今天起,開發者可登記使用 PaLM 2,企業用戶也可以透過 Vertex AI 中的模型,享受企業級的隱私、安全和管理功能。此外,生成式 AI 協作工具 Duet AI for Google Cloud 也採用 PaLM 2 技術,可幫助用戶以前所未有的速度學習、建構並執行營運作業。

推動 AI 的未來
PaLM 2 的問世,證明大小和速度各不相同的高效模型,能帶來巨大的影響,也證明多元化的 AI 模型能為大眾創造真實效益。我們不只致力推出當今最實用、最負責的 AI 工具,也正努力建構 Google 至今最棒的基礎模型。

過去十年來,我們的 Brain 和 DeepMind 團隊在 AI 領域取得許多歷史性的時刻。現在,這兩個世界級團隊將合而為一,攜手加速推動進步。Google DeepMind 奠基於我們豐富的運算資源,不僅能在你每天使用的產品中,加入全新功能,也將替新一代的 AI 模型奠定堅實基礎。

我們也已著手開發 Gemini,這是 Google 第一個從頭即採取多模態開發的模型,在不同大小模型下都能提供絕佳性能,也能有效率地和其他工具、API 整合。Gemini 目前仍在訓練階段,但在處理多種型態的內容上,已展現出更優於先前模型的效能,我們也很期待加入規劃和記憶等創新功能。一旦微調完成並通過安全性測試,Gemini 就會像 PaLM 2 一樣,開始提供多樣尺寸和速度的模型,確保能有效運用在各種應用程式、裝置和產品,為所有人帶來更多助益。