中國網/中國發展門戶網訊 7月9日，中國科學院自動化研究所所長徐波在2021世界人工智能大會（WAIC2021）上場地佈置就人工智能的最新進展進行報告，發布了自動化所研發的跨模態通用人工智能平臺—“紫東太初”。
7月9日，中國科學院自動化研究所所長徐波在2021世界人工智能大會（WAIC2021）上就人工智能的最新進展進行報告。
徐波介紹說，“紫東太初” 跨模態通用人工智能平臺以多模態大模型為核心，基于全棧國產化基礎軟硬件平臺，可支撐全場景AI應用。
多模態預訓練模型被廣泛認為是從限定領域的攤位設計弱人工智能邁向通用人工智能路徑的探索。自動化所 “紫東太參展初” 跨模態通用人工智能平臺瞄策展準成為實現通用人工智能的開天之經典大圖斧，在智能活動佈置世界混沌初開之人形立牌際開辟新局。廣告設計
徐波表示，經典大圖依托面向超大規模的高效分布式訓練框架，自動化攤位設計所構建了具有業界領先性能的中文預訓記者會練模型、語音預訓練模型、視覺預訓練模型，并開廣告設計拓性地通過跨模態語義關聯實現了視覺-文本-語音三模態統一表示，構建了三模態預參展訓練大模型，賦予跨模態通用人工智能平臺多種核心攤位設計展場設計能力。
他介紹說，“紫東太初”兼具跨模態理解和生成能力。與單模態和圖文兩模態相比，其采用一個大模型就可以靈活支撐圖-文-音全場景AI應用，具有了在無監督情況下多任務聯合學習、并快速遷移到不同領域數據的強大能力。引入語音模態后的多模態預訓練模型，可實現共性圖文音語義空間表征和利用，并突破性地直接實現三模態的統一表示。特別地首次使 “以圖生音”和“以音生圖”成為現實，對AR擴增實境更廣泛、更多樣的下包裝盒游任務提供模型基礎支撐，達成AI沈浸式體驗在如視頻配音、語音播報、標題摘要、海報創作等更多元場景的應用。
此外，自動化所研發團奇藝果影像隊還提出了弱關聯三模態數據的語義統一表達，可同時支持三種或任兩種模態弱關聯數據進行預訓練，有效降低了多模態數據收集與清洗成本。
總結來說，此跨模態通用人工智能平臺包括三大關鍵技術和六大核心能力。三大關鍵技術為多模態理FRP解與生成多任務統一建模、面向國產化軟硬件的高效訓練與部署、多模態預訓練模舞臺背板型架構設計與優化。六大核心能力則體現為多模態記者會統一表示與語義關聯、跨模態內容轉化與生成、預訓練模型網絡架構設計、標注受限自監督模型學習、模型適配與分布式訓練、模型輕量化與推理加速。
會上，徐波展示了基于“紫東太初”平臺打造的虛擬人“小初”，并進行通用多模記者會態大模型的活動佈置人機對話演示，展示了不同模態間的互相轉換和生成實例，涵蓋視頻描述、智能問答、圖像檢索、吟詩作賦、中文續寫、雙語翻譯、語音識別等多個功能。證明通過圖模型文啟動儀式音三模態的關聯與協同可以有效的提升機器的理解和生成能力，讓AI接近人類想象力！大圖輸出
徐波表示，“大數據+大模型+多模態”將改變品牌活動當前單一模型對應單一任務的人工智能研發范式展覽策劃，多模態大模型將成為不同領域的共性平臺技術，是邁向通用人工智能路徑的探索，具有廣闊的應用前景。同時，全棧國產化通用人工智能平臺的實踐將使人工智能研發的規則發生重舞臺背板大變革并逐漸形成壁壘，對我國實現AI領域科技創新、占領核心技術高地具有重要的戰略意義。
發佈留言