中國青海研究團隊在《復(fù)雜與智能系統(tǒng)》（Complex & Intelligent Systems）期刊發(fā)表研究，介紹一種名為MHCNet的多通道模態(tài)融合超圖卷積神經(jīng)網(wǎng)絡(luò)。該模型專為藏藥植物識別設(shè)計，在自建的圖文配對數(shù)據(jù)集上實現(xiàn)了98.11%的分類準(zhǔn)確率。

藏藥識別面臨小目標(biāo)易被遮擋、強光噪聲干擾紋理細(xì)節(jié)以及標(biāo)注數(shù)據(jù)量有限等挑戰(zhàn)。MHCNet的視覺分支采用改進的DenseNet121架構(gòu)，增強密集連接以保留特征流，提升對微小目標(biāo)和強光照環(huán)境的魯棒性。文本分支則調(diào)用預(yù)訓(xùn)練的中文BERT模型，提取藥師與從業(yè)者實際書寫描述中的上下文語義特征。

與傳統(tǒng)簡單拼接圖文向量不同，MHCNet在特征層進行模態(tài)融合，并針對圖像特征、文本特征及融合特征分別計算曼哈頓距離相似度?；谶@些相似度構(gòu)建三張獨立的超圖，利用超邊可同時連接多個樣本的特性，捕捉成對連接難以體現(xiàn)的群體級結(jié)構(gòu)關(guān)聯(lián)。模型采用多通道超圖神經(jīng)網(wǎng)絡(luò)進行協(xié)同學(xué)習(xí)，有效避免早期融合與多層傳播導(dǎo)致的“過平滑”問題，保持視覺與語言特征的互補優(yōu)勢。

針對細(xì)粒度識別難題，該架構(gòu)在首個超圖卷積層后引入前饋網(wǎng)絡(luò)，迭代優(yōu)化并動態(tài)調(diào)整超圖結(jié)構(gòu)的重建過程。模型在訓(xùn)練過程中持續(xù)更新樣本間的歸屬關(guān)系，彌補了靜態(tài)超圖構(gòu)造對細(xì)微特征刻畫不足的問題。研究團隊使用反映實際拍攝與記錄條件的自建數(shù)據(jù)集進行評估，結(jié)果顯示該模型能有效捕獲跨模態(tài)高階相關(guān)性。

此項工作由青海民族大學(xué)人工智能科學(xué)與技術(shù)學(xué)院與國家民委人工智能應(yīng)用技術(shù)重點實驗室的研究人員完成，聯(lián)合青海省藏醫(yī)院開展。項目獲青海省重點研發(fā)與成果轉(zhuǎn)化專項、青海省自然科學(xué)基金及國家自然科學(xué)基金資助。該圖文分類技術(shù)可為藥房質(zhì)量控制、標(biāo)本館數(shù)字化、偏遠(yuǎn)地區(qū)臨床輔助及商業(yè)供應(yīng)鏈防偽提供驗證支持，也為其他依賴圖文配對的細(xì)粒度識別任務(wù)提供了可復(fù)用的多模態(tài)架構(gòu)參考。