3 月 19 日消息，IT之家從中國信通院官方微信公眾號(hào)獲悉，為摸清大模型的幻覺現(xiàn)狀，推動(dòng)大模型應(yīng)用走深走實(shí)，中國信息通信研究院人工智能所基于前期的 AI Safety Benchmark 測評(píng)工作，發(fā)起大模型幻覺測試。
大模型幻覺(AI Hallucination)是指模型在生成內(nèi)容或回答問題時(shí)，產(chǎn)生了看似合理，實(shí)則與用戶輸入不一致(忠實(shí)性幻覺)或者不符合事實(shí)(事實(shí)性幻覺)的內(nèi)容。隨著大模型在醫(yī)療、金融等關(guān)鍵領(lǐng)域廣泛應(yīng)用，大模型幻覺帶來的潛在應(yīng)用風(fēng)險(xiǎn)日益加劇，正得到業(yè)界的廣泛關(guān)注。
本輪幻覺測試工作將以大語言模型為測試對(duì)象，涵蓋了事實(shí)性幻覺和忠實(shí)性幻覺兩種幻覺類型，具體測評(píng)體系如下：
測試數(shù)據(jù)包含 7000 余條中文測試樣本，測試形式包括對(duì)應(yīng)于忠實(shí)性幻覺檢測的信息抽取與知識(shí)推理兩類題型，以及對(duì)應(yīng)事實(shí)性幻覺檢測的事實(shí)判別題型。總體涉及人文科學(xué)、社會(huì)科學(xué)、自然科學(xué)、應(yīng)用科學(xué)和形式科學(xué)五種測試維度。
中國信通院邀請(qǐng)各相關(guān)企業(yè)參與模型測評(píng)，共同推動(dòng)大模型安全應(yīng)用。
網(wǎng)站客服
粵公網(wǎng)安備 44030402000946號(hào)