作為社交大數(shù)據(jù)領域領跑行業(yè)發(fā)展的人工智能技術(shù)公司，慧科訊業(yè)基于累積多年的AI技術(shù)實力與27年豐富客戶服務經(jīng)驗，落地于AI驅(qū)動的知識圖譜技術(shù)提升數(shù)據(jù)價值和效率，實現(xiàn)AI在營銷中的實戰(zhàn)應用，充分釋放商業(yè)價值。
背靠擁有100+ AI及大數(shù)據(jù)專家的Wisers AI Lab，立足于自研四大模型和三大獨有AI技術(shù)，慧科訊業(yè)自研的行業(yè)權(quán)威媒介大數(shù)據(jù)挖掘分析模型(Wisers Industry LLM)在數(shù)據(jù)處理和分析的全面性、準確性、時效性等方面都在業(yè)界遙遙領先。準確率引領行業(yè)最高標準，可對標DeepSeek R1 Level；性能優(yōu)勢顯著，處理每個調(diào)用平均時長僅為通用LLM的1/20。在穩(wěn)定性方面，實現(xiàn)更高并發(fā)和高性能的同時，慧科訊業(yè)已基于火山引擎和華為云上的DeepSeek，使用雙活LLM及自由蒸餾行業(yè)化模型（2+1）的模式規(guī)?；湛蛻?，實現(xiàn)更準確、速度快、情感準的行業(yè)化應用，賦能客戶最大化挖掘和商用社交媒體數(shù)據(jù)價值。
隨著大語言模型的應用日漸廣泛，大模型的幻覺問題也逐漸凸顯。“幻覺”指大模型在生成內(nèi)容時，有時輸出的結(jié)果看似豐富有邏輯，但經(jīng)過人工核實后，發(fā)現(xiàn)信息與問題不符或是完全虛構(gòu)的。大語言模型的“幻覺”現(xiàn)象已成為當前人工智能領域備受關(guān)注的問題之一，企業(yè)在應用大語言模型的過程中，如何借助技術(shù)方案，解決AI幻覺問題？
慧科訊業(yè)基于累積多年的AI技術(shù)實力與服務經(jīng)驗，已將自研大模型及RAG等技術(shù)投入于營銷應用。在商業(yè)實踐中，慧科訊業(yè)進一步驗證了RAG技術(shù)的應用價值：除了在技術(shù)層面從數(shù)據(jù)、訓練、推理三方面緩解大模型幻覺外，還將RAG與商業(yè)場景充分結(jié)合，為企業(yè)提供數(shù)據(jù)擴展性極強的事件發(fā)現(xiàn)和脈絡分析方案，實現(xiàn)AI在營銷中的實戰(zhàn)應用。
何為大模型“幻覺”？
大模型幻覺是指模型生成的輸出內(nèi)容不準確、具有誤導性、與現(xiàn)實世界事實不符、與用戶指令或提供的上下文不一致，或者無法通過已知事實來驗證。這些輸出可能完全是捏造的，也可能是對現(xiàn)有知識的錯誤引用或扭曲。模型在產(chǎn)生幻覺時，往往表現(xiàn)得非常“自信”，使得用戶難以辨別真?zhèn)巍?/span>
通常來說，大模型幻覺分為兩大類——事實性幻覺與忠實性幻覺。事實性幻覺指生成的內(nèi)容與可驗證的現(xiàn)實世界事實不一致，如錯誤地回答歷史事件的時間、人物關(guān)系等或生成的內(nèi)容是完全虛構(gòu)的。忠實性幻覺指生成的內(nèi)容與用戶的指令或提供的上下文不一致，輸出偏離了用戶的明確指令，輸出與提供的上下文信息不符，或生成內(nèi)容存在邏輯矛盾。如要求總結(jié)A文章，卻生成了B文章的摘要，或要求總結(jié)某篇文章，但生成的摘要包含了原文未提及的觀點或信息。在長篇幅或多輪對話中出現(xiàn)前后矛盾的陳述。
隨著越來越多的企業(yè)在業(yè)務中應用大語言模型，大模型幻覺可能對企業(yè)帶來多方面的危害和風險。錯誤信息和虛假信息被用戶采信并傳播，可能造成廣泛的誤導。在醫(yī)療、金融、法律等關(guān)鍵領域，基于幻覺內(nèi)容做出的決策可能導致嚴重后果。生成帶有偏見、歧視性或有害的內(nèi)容，也可能引發(fā)倫理爭議甚至觸犯法律法規(guī)。
大模型運作基于統(tǒng)計模式而非事實核查，缺乏真正的理解和對真理的認知。因此，幻覺可能是大型語言模型的一種固有屬性，難以完全避免。綜合而言，大模型產(chǎn)生幻覺的原因主要涉及大模型在數(shù)據(jù)、訓練和推理的三大環(huán)節(jié)。
前期，模型預訓練所需海量數(shù)據(jù)，其中可能包含錯誤、過時、偏見或矛盾內(nèi)容。訓練數(shù)據(jù)存在知識邊界，無法覆蓋所有知識領域且存在截止日期，導致模型缺乏對某些領域或最新事件的了解。此外，數(shù)據(jù)集中的重復樣本帶來的數(shù)據(jù)重復或不平衡、數(shù)據(jù)標注中存在錯誤或不一致，也可能導致模型生成內(nèi)容時產(chǎn)生偏差。
在模型架構(gòu)與訓練過程中，大模型概率驅(qū)動的生成機制決定了優(yōu)化的是生成文本的流暢性、連貫性和統(tǒng)計上的可能性，而非事實的準確性。模型參數(shù)與復雜性，以及訓練過程中過擬合（模型過度學習訓練數(shù)據(jù)細節(jié)，泛化能力差）或欠擬合，也增加了出錯和“過度思考”產(chǎn)生幻覺的可能性。
在大模型推理生成階段，內(nèi)容生成時采用的解碼策略（如束搜索、隨機采樣）以及溫度等參數(shù)設置會影響輸出的多樣性和隨機性，都可能導致偏離事實的生成。內(nèi)容層面，模型可能無法完全理解長距離依賴關(guān)系或細微的語境差異，對上下文理解的限制帶來了生成內(nèi)容的不準確。對齊階段，人類標注的期望超出模型的能力邊界，或基于人類反饋的強化學習帶來的能力錯位或信念錯位，都可能導致模型不得不犧牲事實準確性以生成內(nèi)容。此外，不清晰、有歧義或引導性的用戶輸入也可能誘導模型產(chǎn)生幻覺。
如何借助技術(shù)，緩解大模型“幻覺”問題？
大模型幻覺雖不能完全得到消除，可以借助技術(shù)，針對根據(jù)大模型幻覺產(chǎn)生的原因，從數(shù)據(jù)、訓練、推理三方面進行緩解。RAG（Retrieval-Augmented Generation，檢索增強生成）是一種將信息檢索與大型語言模型的生成能力相結(jié)合的技術(shù)框架。它不是直接修改大模型的內(nèi)部參數(shù)，而是在大模型生成回答之前，先從一個外部的、可信的知識庫中檢索相關(guān)信息，并將這些信息作為上下文提供給大模型，指導其生成更準確、更可靠的回答。
針對大模型“幻覺”產(chǎn)生的三大原因，RAG技術(shù)能一定程度上緩解大模型幻覺問題。
數(shù)據(jù)層面
RAG通過動態(tài)更新知識和注入事實依據(jù)解決大模型因知識過時而產(chǎn)生的幻覺。RAG所依賴的外部知識庫可以獨立于LLM進行更新。這意味著可以通過更新知識庫來輕松地讓系統(tǒng)掌握最新的信息，而無需重新訓練龐大的LLM。此外，RAG會根據(jù)用戶的問題，從一個指定的、通常是更新更頻繁、更可靠的外部知識源（如公司內(nèi)部文檔庫、最新的新聞數(shù)據(jù)庫、專業(yè)知識庫等）中檢索最相關(guān)的信息片段。然后，它將這些檢索到的信息作為“事實依據(jù)”注入到給LLM的提示中。LLM被明確指示要基于這些提供的信息來生成回答。這相當于給模型提供了“開卷考試”的參考資料，大大降低了它憑空捏造事實的可能性。
訓練層面
RAG通過增強答案的特異性和相關(guān)性與減少對模型內(nèi)部記憶的依賴降低大模型因缺乏具體信息或過度依賴這種內(nèi)部記憶而產(chǎn)生幻覺的可能性。RAG通過檢索步驟，能夠定位到與用戶查詢最相關(guān)的具體信息，并將這些條款提供給LLM。這樣，LLM生成的答案就能緊密圍繞這些具體條款，而不是基于其泛化的內(nèi)部知識進行猜測。另外，RAG將一部分知識查找的任務外包給了外部檢索系統(tǒng)。LLM的角色更多地轉(zhuǎn)變?yōu)槔斫鈫栴}、整合檢索到的信息，并以自然語言形式生成流暢回答。它不再需要僅僅依賴其可能不準確或過時的內(nèi)部記憶來回答事實性問題。
推理層面
RAG提供提高透明度和可驗證性，大大降低了憑空捏造“事實性幻覺”的可能性。RAG系統(tǒng)通?？梢蕴峁┢浯鸢杆罁?jù)的原始信息來源（即檢索到的文檔或片段）。用戶可以查看這些來源，自行驗證信息的準確性。這種可追溯性不僅增強了用戶對答案的信任，也使得發(fā)現(xiàn)和糾正潛在的幻覺（無論是檢索錯誤還是生成錯誤）變得更加容易。
總結(jié)來說，RAG通過以下核心機制緩解幻覺：
數(shù)據(jù)層面，通過外部知識注入補充內(nèi)部知識：RAG用實時、相關(guān)、通常更可信的外部信息來補充或替代模型可能不準確的內(nèi)部知識。
訓練層面，增強上下文約束降低大模型對內(nèi)部記憶的過度依賴：RAG通過檢索步驟及外部檢索系統(tǒng)，強制模型在生成答案時優(yōu)先考慮提供的外部上下文信息。
推理層面，借助來源追溯機制降低大模型捏造“事實性幻覺”可能性：RAG允許驗證答案所依據(jù)的信息來源，增強用戶對答案的信任同時糾正潛在的幻覺。
RAG應用于商業(yè)實踐，高效助力非結(jié)構(gòu)化數(shù)據(jù)價值挖掘
隨著人工智能技術(shù)的發(fā)展，越來越多的AI技術(shù)正在與商業(yè)場景結(jié)合，在實際應用中激發(fā)出技術(shù)潛能。在當下，全球數(shù)據(jù)量正出現(xiàn)大幅增長，非結(jié)構(gòu)化數(shù)據(jù)仍然是最主要的數(shù)據(jù)形式。IDC數(shù)據(jù)顯示，2023年的數(shù)據(jù)中非結(jié)構(gòu)化數(shù)據(jù)占92.9%。大量非結(jié)構(gòu)化數(shù)據(jù)蘊含著巨大的商業(yè)價值，如何借助技術(shù)手段，從其中挖掘出商業(yè)金礦？
面對公域海量多模態(tài)非結(jié)構(gòu)化社媒大數(shù)據(jù)，企業(yè)可從海量百億文檔和評論內(nèi)容中進行熱點話題/事件、新趨勢話題/事件抽取與發(fā)現(xiàn)，并持續(xù)追蹤話題/事件。從中提前洞察最新營銷趨勢及消費者動態(tài)，輔助商業(yè)決策。此外，非結(jié)構(gòu)化數(shù)據(jù)處理費時費力，如何實現(xiàn)自動無人工、準確、全面、高效、成本可控，則是當下技術(shù)層面聚焦的一大難題。
作為社交大數(shù)據(jù)領域領跑行業(yè)發(fā)展的人工智能技術(shù)公司，慧科訊業(yè)基于累積多年的AI技術(shù)實力與27年豐富客戶服務經(jīng)驗，落地于AI驅(qū)動的知識圖譜技術(shù)提升數(shù)據(jù)價值和效率，為企業(yè)提供基于RAG技術(shù)的豐富商業(yè)應用場景。慧科訊業(yè)話題事件發(fā)現(xiàn)及脈絡分析，能幫助企業(yè)實現(xiàn)對非結(jié)構(gòu)化社媒大數(shù)據(jù)自動、高效、高精度、成本可控地發(fā)現(xiàn)重點事件話題、公眾情感態(tài)度、事件關(guān)聯(lián)脈絡、自動預測發(fā)展趨勢，實現(xiàn)AI在營銷中的實戰(zhàn)應用，充分釋放商業(yè)價值。
在趨勢事件與話題發(fā)現(xiàn)層面
慧科訊業(yè)話題事件發(fā)現(xiàn)算法能在百億數(shù)據(jù)上實時進行話題事件發(fā)現(xiàn)抽取，并自動識別主體進行聚類，自動呈現(xiàn)完整的事件脈絡，相比行業(yè)傳統(tǒng)做法無需人工干預?；劭朴崢I(yè)自研大模型可自動識別新事件，結(jié)合積累的行業(yè)know-how，將行業(yè)、類型與目標主體高度相關(guān)，算法可實現(xiàn)話題歸一率95%。后續(xù)，話題事件可自動按聲量、參與者、相關(guān)度、類型等維度靈活排序，為企業(yè)實時生成完整的事件脈絡。
在持續(xù)追蹤話題或事件過程中
慧科訊業(yè)自研大模型在數(shù)據(jù)打標及構(gòu)建知識圖譜的全面性、準確性、時效性均在業(yè)界遙遙領先。可以自動持續(xù)對新增數(shù)據(jù)進行話題事件打標，幫助企業(yè)持續(xù)追蹤話題事件，隨時靈活調(diào)整，同時杜絕人工配置監(jiān)控關(guān)鍵詞，話題事件打標不準確等問題。
話題事件類型與關(guān)聯(lián)主體發(fā)現(xiàn)時
慧科訊業(yè)自研大模型能夠無延遲自動從大數(shù)據(jù)文本中抽取歸納行業(yè)知識，形成知識圖譜，自動進行話題事件類型判斷及事件關(guān)聯(lián)主體抽取?？蓪崿F(xiàn)主體和維度實時構(gòu)建并擴充，覆蓋率保持98%以上，相比傳統(tǒng)人工進行話題事件類型判斷及關(guān)聯(lián)主體抽取效率高、成本低。
細分到客觀/主觀態(tài)度識別過程中
慧科訊業(yè)大模型可自動識別話題事件參與者的客觀態(tài)度。相較普遍采用的人工判斷費時費力且不準確，借助四元關(guān)系組識別技術(shù)，可準確理解企業(yè)關(guān)注和內(nèi)容真實表達情感。
慧科訊業(yè)基于自研大模型及RAG等技術(shù)，為企業(yè)提供數(shù)據(jù)擴展性極強的事件發(fā)現(xiàn)和脈絡分析方案，可支持千萬至億萬量級輸入數(shù)據(jù)，準確高效、成本可控。未來，基于累積多年的AI技術(shù)實力和數(shù)據(jù)優(yōu)勢，結(jié)合高質(zhì)量知識庫、精準檢索算法和生成模型的適配訓練，慧科訊業(yè)將繼續(xù)為企業(yè)提供更智能高效的事件發(fā)現(xiàn)和脈絡分析解決方案，助力企業(yè)充分挖掘數(shù)據(jù)商業(yè)潛力。
慧科訊業(yè)公眾號
慧科訊業(yè)視頻號
京公網(wǎng)安備 11010502044517號
400-0969-797
登錄
