聽說了嗎，智能問答界又出現(xiàn)了 KAG，跟 RAG 有什么區(qū)別？
在智能問答領(lǐng)域，新技術(shù)不斷涌現(xiàn)。繼上期探討 RAG（檢索增強(qiáng)生成） 技術(shù)后【點(diǎn)擊閱讀原文】，近期 KAG （知識圖譜增強(qiáng)生成）技術(shù)又引起熱議。
通用RAG技術(shù)無法完全解決模型幻覺
RAG 技術(shù)的出現(xiàn)，宛如給大模型外掛了一個(gè)知識庫，助力大模型通過相關(guān)的知識片段快速精準(zhǔn)作答。
但是，根據(jù)螞蟻集團(tuán)發(fā)布的測評報(bào)告，盡管普遍認(rèn)為引入 RAG 和外部知識庫能有效避免大模型的幻覺問題，但實(shí)際情況卻并非如此，這種方式產(chǎn)生的幻覺問題更為隱蔽。
螞蟻集團(tuán)測評報(bào)告
如上圖所示，原文中提到功能飲料中的維生素、礦物質(zhì)等成分對運(yùn)動(dòng)后補(bǔ)充身體營養(yǎng)、消除疲勞有益，而經(jīng)模型重寫后，可能被錯(cuò)誤地描述為 “對增加疲勞有一定作用”，這種誤導(dǎo)性信息會給用戶帶來極大困擾。
此外，通用 RAG 還存在實(shí)體反轉(zhuǎn)、合并錯(cuò)誤、概念替換等問題，當(dāng)模型生成的內(nèi)容達(dá)到數(shù)百甚至數(shù)千字時(shí)，這些細(xì)節(jié)錯(cuò)誤更是難以察覺。評估結(jié)果顯示，即便加入了 RAG 技術(shù)，大語言模型仍然存在 30%-40% 的幻覺率，這一比例不容小覷。
垂直領(lǐng)域?qū)Υ竽Ｐ陀懈叩囊?/span>
在真實(shí)的業(yè)務(wù)決策場景中，無論是生成研究報(bào)告還是處理車險(xiǎn)理賠等復(fù)雜問題，都需要經(jīng)過嚴(yán)格的步驟，包括問題規(guī)劃、數(shù)據(jù)收集、執(zhí)行決策以及生成和反饋等流程。
在將大語言模型應(yīng)用到專業(yè)領(lǐng)域時(shí)，也必須有一個(gè)嚴(yán)格且可控的決策過程。基于大模型提供專業(yè)知識服務(wù)時(shí)，就需要滿足以下條件：
首先，確保知識的準(zhǔn)確性，涵蓋知識邊界的完整性以及知識結(jié)構(gòu)和語義的清晰性；其次，具備邏輯嚴(yán)謹(jǐn)性、時(shí)間敏感性和數(shù)字敏感性；最后，還需要完備的上下文信息，以便在知識決策時(shí)獲取充分的支持信息。
2024年9月，螞蟻集團(tuán)和浙江大學(xué)聯(lián)合推出了基于知識增強(qiáng)的、面向垂直領(lǐng)域的可控生成框架 KAG（知識增強(qiáng)大模型服務(wù)框架 ）。經(jīng)驗(yàn)證，在政務(wù)問答場景中，相較于傳統(tǒng)的 Naive RAG 方法，KAG 技術(shù)將準(zhǔn)確率從 66% 提升到了 91%。在醫(yī)療問答方面，準(zhǔn)確率超過 80%，在更垂直的指標(biāo)解讀任務(wù)上，已達(dá)到 90% 以上的準(zhǔn)確率。
KAG對比RAG的優(yōu)勢
對比RAG技術(shù)，KAG有以下幾個(gè)明顯的優(yōu)勢：
#用戶操作：在上傳文檔時(shí)，RAG 支持常見的 pdf、word、txt 格式。KAG不僅能裝這些，還能上傳已有知識圖譜，知識來源豐富。
#技術(shù)路線：RAG 主要執(zhí)行自己的索引策略，把文檔轉(zhuǎn)化成向量存進(jìn)知識庫，好比把書分類放上書架。
KAG同時(shí)進(jìn)行 RAG 和 KG 兩種索引策略，一邊構(gòu)建向量知識庫，一邊自動(dòng)構(gòu)建知識圖譜，相當(dāng)于同時(shí)打造兩個(gè)相互關(guān)聯(lián)的 “知識宮殿”，知識儲備更豐富、更有序。
#執(zhí)行問答：RAG 向量化問題后，從向量知識庫中檢索相關(guān)文本塊，然后生成答案，像在書架上找書，找到就開始讀。
KAG同時(shí)運(yùn)用 RAG 和 KG 兩種檢索策略，不僅召回相關(guān)文本塊，還從知識圖譜里撈出相關(guān)實(shí)體和關(guān)系，把這些信息組合起來后，讓大模型生成的答案更準(zhǔn)確、更有邏輯。
執(zhí)行問答階段RAG與KAG的技術(shù)路線區(qū)別
KAG 技術(shù)的引入與應(yīng)用
金現(xiàn)代除了通過采用“創(chuàng)新性切分算法、自主召回策略、智能檢索重排、可視化切分配置”等手段對通用RAG進(jìn)行微調(diào)，顯著推動(dòng)大模型在垂直領(lǐng)域的應(yīng)用和能力提升。
還率先將 KAG 技術(shù)應(yīng)用在金現(xiàn)代小金智問?智能問答平臺中，使得用戶對準(zhǔn)確率有極高要求時(shí)，小金智問可以靈活應(yīng)對。
以最常見的差旅費(fèi)管理場景為例，面對問答場景 “2021 年普通員工出差到武漢住宿最高限額是多少” ，RAG僅靠向量庫檢索給出260 元的錯(cuò)誤答案，KAG 借助向量庫和知識圖譜檢索給出220元的正確答案。
金現(xiàn)代小金智問借助KAG實(shí)現(xiàn)的問答效果
從對通用 RAG 的優(yōu)化提升，到率先引入 KAG 技術(shù)，金現(xiàn)代致力于通過技術(shù)創(chuàng)新讓智能問答在各類垂直領(lǐng)域發(fā)揮更大的價(jià)值，為企業(yè)AI場景落地提供有力支撐。