2月25日，人工智能?chē)H頂級學(xué)術(shù)會(huì )議AAAI 2025開(kāi)幕，在此次大會(huì )論文錄用結果中，中國電信人工智能研究院（TeleAI）科研團隊10篇論文成功入選，不僅覆蓋大語(yǔ)言模型偏好對齊、視覺(jué)模型參數微調、正激勵噪聲（PI Noise）采樣和表征對齊等技術(shù)方面的突破，更包括人工智能與化學(xué)、醫療的交叉研究等多個(gè)方向的系列創(chuàng )新。
AAAI會(huì )議由國際先進(jìn)人工智能協(xié)會(huì )主辦，是人工智能領(lǐng)域歷史最為悠久、最具影響力的頂級學(xué)術(shù)會(huì )議之一。本屆大會(huì )共收到12957篇有效投稿，最終3032篇文章脫穎而出，接收率為23.4%。
讓AI讀懂化學(xué)反應方程式
人工智能技術(shù)的創(chuàng )新在基礎科學(xué)研究中的作用越發(fā)凸顯。隨著(zhù)大語(yǔ)言模型（LLM）的快速發(fā)展，AI對科學(xué)文獻和技術(shù)專(zhuān)利的理解、分析和描述正得到廣泛應用。LLM在化學(xué)任務(wù)中的重點(diǎn)之一是進(jìn)行“分子文本描述生成”（Molecule Captioning），即將分子的相關(guān)信息轉化為自然語(yǔ)言文本描述，并在其之間進(jìn)行對齊。然而，現有工作主要集中在單分子上，化學(xué)反應和自然語(yǔ)言文本之間的一致性在很大程度上仍然未被探索。
作為專(zhuān)利和文獻的重要組成部分之一，對化學(xué)反應進(jìn)行準確描述不僅可以更好地理解化學(xué)反應的過(guò)程，且有助于促進(jìn)化學(xué)合成和逆合成的自動(dòng)化相關(guān)研究。
為此，TeleAI聯(lián)合華東師范大學(xué)等單位提出了一項“ReactGPT”框架，集成了基于化學(xué)反應的指紋檢索模塊、特定領(lǐng)域提示設計模塊、兩階段上下文調優(yōu)模塊。
基于化學(xué)反應的指紋檢索模塊利用“化學(xué)反應指紋”高效且精準地檢索相關(guān)反應，并通過(guò)計算不同反應指紋之間的相似度，快速從大規模的化學(xué)反應數據庫中找出與目標反應最相關(guān)的若干個(gè)反應實(shí)例。這種檢索方式基于反應的內在特征，而非僅僅依靠簡(jiǎn)單的關(guān)鍵詞匹配，大大提高了檢索的準確性和效率。同時(shí)，它為后續的上下文學(xué)習提供了高質(zhì)量、有針對性的示例，使得模型能夠基于這些相似反應更好地學(xué)習化學(xué)反應與文本之間的關(guān)聯(lián)模式。
特定領(lǐng)域提示設計模塊聚焦設計適用于化學(xué)領(lǐng)域的提示信息，以引導大語(yǔ)言模型更好地理解和處理化學(xué)反應與文本的對齊任務(wù)。該模塊會(huì )根據化學(xué)知識的特點(diǎn)和任務(wù)需求，精心設計提示內容。這些提示可能包含特定的化學(xué)術(shù)語(yǔ)解釋、反應條件說(shuō)明、文本生成的格式要求等。通過(guò)精心設計的提示，能夠有效激發(fā)大語(yǔ)言模型在化學(xué)領(lǐng)域的潛力，讓其生成更符合化學(xué)邏輯和規范的文本描述，從而提升模型在化學(xué)反應相關(guān)任務(wù)中的表現。
在兩階段上下文調優(yōu)模塊中，第一階段，利用從指紋檢索模塊獲取的相關(guān)反應示例和特定領(lǐng)域提示設計模塊生成的提示信息，讓模型在上下文中初步學(xué)習化學(xué)反應與文本的對齊模式。第二階段，對模型進(jìn)行進(jìn)一步的精細調優(yōu)，結合更多的反饋信息和實(shí)際任務(wù)的要求，調整模型的參數，使其能夠更準確地生成化學(xué)反應的文本描述。通過(guò)這種兩階段的調優(yōu)方式，逐步提升模型對化學(xué)反應的理解和文本生成能力，以適應不同復雜程度的化學(xué)反應與文本對齊任務(wù)。
ReactGPT框架旨在彌合化學(xué)反應與文本之間的差距。實(shí)驗結果表明，與先前模型相比，ReactGPT在解決化學(xué)反應問(wèn)題和生成結構正確的高質(zhì)量文本方面表現出色。
讓AI理解放射科醫學(xué)偏好
放射學(xué)報告對醫生的診斷意義重大，但人工撰寫(xiě)不僅負擔重且易出錯，現有的自動(dòng)報告生成技術(shù)RRG（Radiology Report Generation）方法多基于監督回歸或注入額外知識，生成報告難以契合醫生多元偏好。
為應對這一挑戰，TeleAI提出多目標偏好優(yōu)化（MPO），將預訓練的報告生成模型根據多個(gè)人類(lèi)偏好進(jìn)行調整，具體通過(guò)多維獎勵函數來(lái)微調，并通過(guò)多目標強化學(xué)習（RL）進(jìn)行優(yōu)化，從而使模型能夠在不同的偏好條件下生成符合特定醫生偏好的報告。
研究通過(guò)引入兩個(gè)新的模塊來(lái)實(shí)現與人類(lèi)偏好的對齊。首先，設計了一個(gè)偏好向量融合（PVF）網(wǎng)絡(luò )，它位于標準的Transformer編碼器和解碼器之間，利用多頭注意力機制和殘差連接將偏好向量與編碼后的圖像特征融合，實(shí)現條件生成。其次，提出了一個(gè)多目標優(yōu)化（MOO）模塊，該模塊使用偏好向量表示偏好權重，并通過(guò)點(diǎn)積操作將多維獎勵與偏好向量線(xiàn)性組合，形成加權的多目標獎勵函數。然后，通過(guò)強化學(xué)習（RL）算法優(yōu)化這個(gè)加權獎勵函數，引導RRG模型與偏好向量對齊。
在訓練階段，模型通過(guò)隨機采樣多樣化的偏好向量并優(yōu)化加權多目標獎勵函數進(jìn)行對齊，從而在整體偏好空間上獲得最優(yōu)策略。在推理階段，模型能根據給定的偏好向量生成符合特定偏好的報告，無(wú)需進(jìn)一步微調。這種方法不僅能夠生成符合人類(lèi)偏好的報告，而且在單個(gè)模型內無(wú)需額外的微調即可適應不同偏好，實(shí)現了在兩個(gè)公共數據集上的性能達到了最先進(jìn)的水平。
人工智能與化學(xué)、醫療等交叉學(xué)科的結合，能夠為各領(lǐng)域的研究工作帶去新方法和新視角，為解決復雜問(wèn)題提供更全面的思路和方向，為培養復合型人才提供實(shí)踐土壤。未來(lái)，TeleAI將結合中國電信在算力、數據、應用場(chǎng)景等多方面的優(yōu)勢,持續推進(jìn)這種跨學(xué)科的合作模式，推動(dòng)人工智能研究不斷開(kāi)創(chuàng )新的局面。
