當(dāng)前位置 > 首頁 > 技術(shù)文章 > 認(rèn)知負(fù)荷對腦眼響應(yīng)的影響：基于fNIRS–眼動(dòng)多模態(tài)的神經(jīng)心理學(xué)研究

選型 | 市場 | 應(yīng)用 | 使用 | 法規(guī) | 技術(shù) | 其他

認(rèn)知負(fù)荷對腦眼響應(yīng)的影響：基于fNIRS–眼動(dòng)多模態(tài)的神經(jīng)心理學(xué)研究

瀏覽次數(shù)：270　發(fā)布日期：2026-2-24　來源：本站　僅供參考，謝絕轉(zhuǎn)載，否則責(zé)任自負(fù)

當(dāng)認(rèn)知負(fù)荷加重時(shí)，大腦和眼睛會(huì)告訴我們什么？——基于fNIRS–眼動(dòng)多模態(tài)的神經(jīng)心理學(xué)研究

文章概要
在當(dāng)代高度信息化、任務(wù)高密度的工作與學(xué)習(xí)環(huán)境中，“認(rèn)知負(fù)荷”已成為一個(gè)不可忽視的核心變量。無論是復(fù)雜決策、在線學(xué)習(xí)，還是高風(fēng)險(xiǎn)職業(yè)操作，人類都在不斷逼近自身信息加工能力的上限。然而，我們真的知道“過載”發(fā)生在什么時(shí)候、發(fā)生在大腦的哪一層面嗎？

基于此，上海理工大學(xué)團(tuán)隊(duì)在《Medical & Biological Engineering & Computing》（2025）發(fā)表研究Exploring cognitive load through neuropsychological features: an analysis using fNIRS-eye tracking，將功能性近紅外光譜成像（fNIRS）與眼動(dòng)追蹤技術(shù)結(jié)合，同步采集腦部血氧信號與眼動(dòng)數(shù)據(jù)，克服了單一模態(tài)的局限，有效解決了特征選擇困難、數(shù)據(jù)維度過高以及樣本數(shù)量不足等挑戰(zhàn)，從神經(jīng)心理層面重新審視個(gè)體如何承載信息這一問題。

數(shù)據(jù)處理方面，該研究利用最大相關(guān)最小冗余（mRMR）算法提取與認(rèn)知負(fù)荷最為相關(guān)的特征。隨后將其輸入樸素貝葉斯、支持向量機(jī)、K近鄰和隨機(jī)森林等分類模型中，通過交叉驗(yàn)證評估模型的分類性能。結(jié)果表明，多模態(tài)生理信號結(jié)合特征選擇與機(jī)器學(xué)習(xí)方法，能夠有效區(qū)分不同水平的認(rèn)知負(fù)荷。

文章信息

研究背景
在高信息密度與高復(fù)雜度并存的當(dāng)代社會(huì)，個(gè)體的認(rèn)知資源分配直接影響其判斷質(zhì)量與行為效率。因此，如何準(zhǔn)確、穩(wěn)定、客觀地測量認(rèn)知負(fù)荷，一直是認(rèn)知科學(xué)、人因工程與教育技術(shù)領(lǐng)域的重要議題。

傳統(tǒng)的認(rèn)知負(fù)荷評估主要依賴兩類方法：一是基于自我報(bào)告的主觀量表（如NASA-TLX; Byers, 1989），二是基于反應(yīng)時(shí)、正確率等行為表現(xiàn)指標(biāo)。然而，這些方法只能反映結(jié)果層面的變化，難以揭示任務(wù)執(zhí)行過程中的心理加工狀態(tài)；同時(shí)，主觀報(bào)告還易受到回憶偏差、情緒狀態(tài)與社會(huì)期望的影響。因此，利用生理信號捕捉神經(jīng)層面認(rèn)知負(fù)荷的即時(shí)變化成為研究趨勢。

既有研究表明，當(dāng)任務(wù)復(fù)雜度上升時(shí)，個(gè)體前額葉皮層（PFC）的血氧水平會(huì)發(fā)生系統(tǒng)性變化，同時(shí)其眼動(dòng)行為（如掃視次數(shù)、注視時(shí)長、瞳孔變化）也會(huì)隨之改變（Yeung et al., 2021）。這意味著，大腦活動(dòng)與視覺行為共同構(gòu)成了認(rèn)知負(fù)荷的雙通道表征。然而，現(xiàn)有研究多采用單一模態(tài)，難以全面反應(yīng)被試的認(rèn)知狀態(tài)（Skulmowski & Rey, 2017; Asgher et al., 2020; ）；同時(shí)，高維生理特征還可能帶來特征選擇困難與數(shù)據(jù)維度過高等問題，限制模型的穩(wěn)定性與可推廣性（Broadbent et al., 2023）。

在此背景下，Yu等人（2025）提出將功能性近紅外光譜成像（fNIRS）與眼動(dòng)追蹤進(jìn)行多模態(tài)融合，并引入最大相關(guān)最小冗余算法（mRMR）進(jìn)行特征篩選，構(gòu)建從神經(jīng)信號到認(rèn)知負(fù)荷分類的系統(tǒng)框架，嘗試在神經(jīng)心理層面重新理解認(rèn)知負(fù)荷。

實(shí)驗(yàn)設(shè)計(jì)——如何“誘發(fā)”不同水平的認(rèn)知負(fù)荷？
研究對象和實(shí)驗(yàn)流程：
共招募20名大學(xué)生（16名男生、4名女生），完成三種難度遞增的心算任務(wù)：
低負(fù)荷：單數(shù)加減，如7-3+5
中負(fù)荷：單數(shù)四則運(yùn)算，如6*9-4*7
高負(fù)荷：多位數(shù)四則運(yùn)算，如18*11-5*14
每位被試完成5個(gè)任務(wù)塊與5個(gè)靜息塊，單個(gè)任務(wù)區(qū)塊50秒，總時(shí)長300秒。

圖1. 實(shí)驗(yàn)范式。(a) 單個(gè)任務(wù)區(qū)塊；(b) 包含五個(gè)任務(wù)區(qū)塊與五個(gè)靜息區(qū)塊的完整實(shí)驗(yàn)流程

圖2. 實(shí)驗(yàn)流程。(a) 前額葉皮層（PFC）通道編號分布；(b) 光源–探測器分布示意圖；(c) 瞳孔校準(zhǔn)；(d) 實(shí)驗(yàn)裝置與數(shù)據(jù)處理流程

記錄工具
fNIRS：24通道，記錄前額葉HbO/HbR；計(jì)算5類特征：均值、方差、峰度、偏度、峰值；經(jīng)單因素重復(fù)測量方差分析篩選出的 9 個(gè)顯著通道相關(guān)特征均納入其中（見圖3）
眼動(dòng)：經(jīng)方差分析篩選出的 6 類顯著眼動(dòng)特征（左 / 右眼光掃視時(shí)長、左 / 右眼注視時(shí)長、左 / 右眼掃視次數(shù)）

圖3. 關(guān)鍵通道位置示意圖（紅色）

特征提取和模型訓(xùn)練
特征提取：引入mRMR（最大相關(guān)最小冗余）算法，解決特征冗余與過擬合問題。將fNIRS和眼動(dòng)數(shù)據(jù)的兩類特征整合后形成完整的原始特征集，基于香農(nóng)信息論，計(jì)算特征與任務(wù)類別的相關(guān)性（互信息）和特征間冗余度，篩選 “高相關(guān)、低冗余” 的最優(yōu)特征子集。

分類模型：以三個(gè)認(rèn)知負(fù)荷水平（低、中、高）下采集的 fNIRS 和眼動(dòng)追蹤信號為樣本，應(yīng)用四種常用分類模型：樸素貝葉斯（NB）、支持向量機(jī)（SVM）、K 近鄰（KNN）和隨機(jī)森林（RF）做分類（訓(xùn)練集：測試集 = 3：1），采用 10 折交叉驗(yàn)證法評估分類性能；另外，根據(jù)mRMR得到的最優(yōu)特征子集排序，依次選取不同數(shù)量特征值，來探索每個(gè)分類模型最優(yōu)特征數(shù)量。

研究結(jié)果
1. 認(rèn)知負(fù)荷操控的有效性
圖4展示了隨著任務(wù)難度增加，20名被試的NASA-TLX評分顯著上升，反應(yīng)時(shí)延長，正確率下降，三項(xiàng)指標(biāo)均存在顯著差異，說明實(shí)驗(yàn)成功操控了不同水平的認(rèn)知負(fù)荷。

圖4. 三種任務(wù)的平均 NASA 任務(wù)負(fù)荷指數(shù)（TLX）評分與任務(wù)表現(xiàn)對比圖

2. 神經(jīng)與行為的生理表征
在神經(jīng)層面，隨著任務(wù)難度提升，前額葉HbO濃度顯著增加，表明大腦需要投入更多代謝資源以支持更復(fù)雜的認(rèn)知加工。在行為層面，高負(fù)荷任務(wù)中被試的掃視次數(shù)明顯增多，而注視與掃視時(shí)長縮短，反映其需要更頻繁地重新定位信息并快速分配注意資源（見圖5）。

圖 5. 任務(wù)執(zhí)行過程中屏幕上的眼部熱圖。(a) (b) (c)依次為低中高難度任務(wù)的熱圖

3. 多模態(tài)分類性能
研究構(gòu)建了樸素貝葉斯（NB）、支持向量機(jī)(SVM)、K近鄰（KNN）與隨機(jī)森林(RF)四類分類模型。結(jié)果表明（見圖6），當(dāng)特征數(shù)量處于最優(yōu)區(qū)間時(shí)，分類精度顯著提升，其中隨機(jī)森林最高達(dá)到87.8%，SVM與KNN均超過86%。當(dāng)特征過少時(shí)信息不足，過多時(shí)引入噪聲并導(dǎo)致過擬合，因此認(rèn)知負(fù)荷識別必須在特征信息量與模型復(fù)雜度之間取得最優(yōu)平衡。

圖6. 四種分類器的準(zhǔn)確率與關(guān)鍵特征數(shù)量的關(guān)系。(a) 樸素貝葉斯（NB）；(b) 支持向量機(jī)（SVM）；(c) K 近鄰（KNN）；(d) 隨機(jī)森林（RF）

對比單模態(tài)與多模態(tài)模型的分類結(jié)果可以發(fā)現(xiàn)，多模態(tài)融合在認(rèn)知負(fù)荷識別中具有明顯優(yōu)勢（見表1）。具體而言，僅使用fNIRS特征時(shí)，分類準(zhǔn)確率范圍為52%–84%；僅使用眼動(dòng)特征時(shí)，準(zhǔn)確率為51%–80%。相比之下，將fNIRS與眼動(dòng)數(shù)據(jù)進(jìn)行融合后，模型的分類準(zhǔn)確率顯著提升至82%–87%。這一結(jié)果表明，大腦血氧信號與視覺行為指標(biāo)在認(rèn)知負(fù)荷表征上具有互補(bǔ)性，多模態(tài)信息的整合能夠有效增強(qiáng)模型對不同認(rèn)知負(fù)荷水平的區(qū)分能力，并提升識別結(jié)果的穩(wěn)定性與可靠性。

表1. 分類模型準(zhǔn)確率對比

結(jié)論與啟示
本研究從神經(jīng)心理學(xué)視角證明，認(rèn)知負(fù)荷并非僅體現(xiàn)在主觀體驗(yàn)或行為結(jié)果中，而是嵌入在神經(jīng)活動(dòng)與感知行為的動(dòng)態(tài)協(xié)同之中。多模態(tài)生理特征為認(rèn)知狀態(tài)提供了可解釋、可量化的客觀依據(jù)。

在實(shí)踐層面，該框架為智能學(xué)習(xí)系統(tǒng)、人機(jī)交互、駕駛安全、醫(yī)學(xué)培訓(xùn)等領(lǐng)域提供了新的評估思路：通過實(shí)時(shí)監(jiān)測認(rèn)知負(fù)荷，可動(dòng)態(tài)調(diào)節(jié)任務(wù)難度與界面設(shè)計(jì)，從而優(yōu)化人機(jī)協(xié)同效率。

不足與展望
首先，多模態(tài)生理信號數(shù)據(jù)體量大、結(jié)構(gòu)復(fù)雜，數(shù)據(jù)處理過程依賴較高的計(jì)算資源并耗時(shí)較長，增加了數(shù)據(jù)處理與建模過程中的潛在誤差風(fēng)險(xiǎn)。

其次，fNIRS與眼動(dòng)數(shù)據(jù)均易受到噪聲與偽跡的干擾，例如頭部運(yùn)動(dòng)可能導(dǎo)致fNIRS信號失真，而快速眼動(dòng)與眨眼則會(huì)影響眼動(dòng)數(shù)據(jù)的穩(wěn)定性與準(zhǔn)確性。

方法層面，本研究在特征數(shù)量選擇與數(shù)據(jù)預(yù)處理方面仍存在不足：（1）受限于儀器精度與個(gè)體差異，部分特征在總體樣本中未呈現(xiàn)顯著差異；（2）現(xiàn)有預(yù)處理策略在去除噪聲與無效信息方面仍不夠理想。

針對上述問題，未來研究可通過擴(kuò)展特征集合、引入其他生理信號與行為指標(biāo)，以挖掘更豐富的神經(jīng)心理學(xué)特征；同時(shí)結(jié)合更先進(jìn)的去噪技術(shù)與機(jī)器學(xué)習(xí)算法（如自適應(yīng)濾波），進(jìn)一步優(yōu)化數(shù)據(jù)預(yù)處理流程，從而提升模型的穩(wěn)健性與泛化能力。

參考文獻(xiàn)
Byers, J. C. (1989). Traditional and raw task load index (TLX) correlations: are paired comparisons necessary?. Advances in industrial ergonomics and safety, 481-485.
Yeung, M. K., Lee, T. L., Han, Y. M., & Chan, A. S. (2021). Prefrontal activation and pupil dilation during n-back task performance: A combined fNIRS and pupillometry study. Neuropsychologia, 159, 107954.
Skulmowski, A., & Rey, G. D. (2017). Measuring cognitive load in embodied learning settings. Frontiers in psychology, 8, 1191.
Asgher, U., Khalil, K., Khan, M. J., Ahmad, R., Butt, S. I., Ayaz, Y., ... & Nazir, S. (2020). Enhanced accuracy for multiclass mental workload detection using long short-term memory for brain–computer interface. Frontiers in neuroscience, 14, 584.
Broadbent, D. P., D’Innocenzo, G., Ellmers, T. J., Parsler, J., Szameitat, A. J., & Bishop, D. T. (2023). Cognitive load, working memory capacity and driving performance: A preliminary fNIRS and eye tracking study. Transportation research part F: traffic psychology and behaviour, 92, 121-132

原文信息鏈接
Yu, K., Chen, J., Ding, X., & Zhang, D. (2025). Exploring cognitive load through neuropsychological features: an analysis using fNIRS-eye tracking. Medical & Biological Engineering & Computing, 63(1), 45-57.

https://link.springer.com/article/10.1007/s11517-024-03178-w

作者及單位介紹
該研究由Yu Kaiwen、Chen Jiafa、Ding Xian、Zhang Dawei等作者完成，研究單位為上海理工大學(xué)光電信息與計(jì)算機(jī)工程學(xué)院、教育部光學(xué)儀器與系統(tǒng)工程研究中心、上海市現(xiàn)代光學(xué)系統(tǒng)重點(diǎn)實(shí)驗(yàn)室。

關(guān)于維拓啟創(chuàng)
維拓啟創(chuàng)（北京）信息技術(shù)有限公司成立于2006年，是一家專注于腦科學(xué)、康復(fù)工程、人因工程、心理學(xué)、體育科學(xué)等領(lǐng)域的科研解決方案供應(yīng)商。公司與國內(nèi)外多所大學(xué)、研究機(jī)構(gòu)、企業(yè)長期保持合作關(guān)系，致力于將優(yōu)質(zhì)的產(chǎn)品、先進(jìn)的技術(shù)和服務(wù)帶給各個(gè)領(lǐng)域的科研工作者，為用戶提供有競爭力的方案和服務(wù)，協(xié)助用戶的科研工作，持續(xù)提升使用體驗(yàn)。

相關(guān)產(chǎn)品