清華大學:百度和智普AI的大語言模型在國內生成式AI排名領先
根據清華大學最新一輪的評估,百度的Ernie Bot 4.0和初創公司智普AI的GLM-4在國內大語言模型(LLM)中名列前茅,但它們的國外競爭對手在整體能力方面仍然領先。
SuperBench評估報告研究了14個具有代表性的LLM,結果發現OpenAI的GPT-4和Anthropic的Claude-3等海外模型在多種能力方面名列前茅,包括語義理解、編碼能力和與人類命令的一致性。
研究人員發現,國內模型和國外一流模型在現實世界環境中的代碼編寫和操作能力存在“明顯差距”。
根據清華大學基礎模型研究中心發布的微信帖子,該報告旨在“提供客觀和科學的評估標準”,以檢查最近出現的越來越多的LLM,該中心與國家支持的中關村實驗室進行了評估。
自微軟支持的美國初創公司OpenAI推出一系列由生成式AI提供支持的創新工具(包括ChatGPT和文本轉視頻服務Sora)以來,中國科技巨頭和初創企業一直在競相改進他們的LLM。
根據政府數據,中國已經推出了大約200個LLM,OpenAI的服務在中國正式不可用。
清華大學的報告呼應了阿里巴巴集團控股公司聯合創始人兼董事長蔡崇信最近發表的評論,他表示,中國在全球人工智能競賽中落后美國公司大約兩年,并引用了OpenAI在人工智能創新方面如何超越其他科技行業。
本月早些時候生效的美國現行出口管制修訂將使中國大陸更難獲得先進的人工智能處理器和半導體制造設備。
盡管中國LLM開發者面臨挑戰,但清華大學的報告顯示,網絡搜索巨頭百度推出的生成式AI聊天機器人的最新版本Ernie Bot 4.0和清華大學畢業生創立的初創公司智浦AI的GLM-4已經逐漸縮小了各自與全球最佳模型的整體性能差距。
測試發現,中國的LLM表現更好的領域是中文文本語言任務。初創公司Moonshot AI的Kimi聊天機器人、阿里巴巴的通義千問2.1、GLM-4和Ernie Bot 4.0在該類別中排名前四,盡管GPT-4在中文文本推理方面仍然排名第一。
Moonshot AI和智普AI,以及百川和MiniMax,在當地被稱為中國的“AI四小虎”,因為它們是中國最有前途的生成式AI初創企業之一。
據其創始人稱,智普AI成立于2019年,自去年以來已經籌集了25億元人民幣(3.47億美元),投資方包括國有投資者、風險投資家和阿里巴巴、騰訊控股和美團等大型科技公司。
據多家中國媒體報道,同樣總部位于北京的Moonshot AI在2月份的一輪融資中籌集了10億美元。
原文來自https://www.93913.com/99917.html