图片来源@视觉中国

在心理学和神经科学研究中，收集反应时间是一种重要的研究手段，以检验构建的模型是否合理。基于受控实验室环境的认知任务中收集的反应时间数据，人们建立了丰富的模型，但现有模型往往对数据生成过程做出了强烈的假设，难以实际验证。

近年来，深度神经网络模型和递归神经网络模型在认知任务中得到应用，但仅限于对单个试次进行建模，无法高精度地捕捉个体间的行为差异，而且训练时目标是优化执行认知任务，无法捕捉表现出来的偏差。为了解决这些限制，斯坦福大学心理系的研究人员构造了一种机器学习模型——task-DyVA，将逐试次的动力学模型与循环神经网络结合，模拟了人类在实时认知任务中的表现。这项成果发表在Nature Human Behaviour杂志上。

(资料图)

▷图片来源：nature官网

研究者们利用任务切换游戏“Ebb and Flow”中的数据来训练深度学习模型，以模仿人类的“任务切换”行为，即把注意力从一个任务转移到另一个任务。在游戏中，受试者需根据刺激的颜色提示，在每个试次中报告移动的树叶的朝向或运动方向。研究者利用一个动力系统框架，将真实观察到的刺激序列和反应序列作为模型的输入与输出，训练得到一个生成模型，用来模拟在认知任务中成序列的人类行为。模型中引入了隐藏层状态变量，它的迭代代表着：所有内在的认知操作受到当前时间的刺激输入和上一个时间点状态变量的影响，具有循环神经网络的特性，可以有效保证训练学得的任务表征是由数据而非人为的先验假设来塑造。需要注意的是，输入输出的形式仅代表当前时刻的信息，而不提示当前试次的任务是否变化，但模型将通过刺激序列自己习得这一重要特征。

建立模型时使用的潜在变量，是无法直接观测到的“隐藏”信息，通过观察状态变量在时间上的变化，可以了解任务计算进程的内在规律和机制，这对于深入理解任务本身和计算过程中的认知操作非常重要。

模型的效果与揭示的深层现象

本研究采用了深度神经网络框架，通过对表现较好的参与者的数据进行模型训练，来模拟认知任务中的行为表现。研究者使用了三个行为指标来评估模型的性能，包括平均反应时间、切换成本和一致性效应。模型表现与参与者表现高度相关，并且成功地再现了早期研究中观察到的刺激一致性和任务保持/切换之间的交互作用。此外，研究者还观察到增强模型中的噪声项会影响任务的准确性，与真实世界中的不确定性增加时的任务表现一致。研究表明，通过限制模型的底层框架，允许它自己处理真实数据并学习内部认知操作，可以很好地模拟出真实的行为表现。此外，研究者还发现样本量对模型效果没有决定性影响，说明他们的方法适用于一般实验中的数据集。

在经过精心设计和真实数据训练验证的基础上，研究人员将关注点转移到了潜在状态变量的时间序列上。首先根据任务提示和刺激方向对试次进行分组，然后计算每组的平均潜在状态轨迹。为了可视化，研究人员将这些轨迹投影到它们的三个主成分（principal component，PC）上。这些PC解释了大部分变化，并发现在模型的潜在空间中，不同任务要求划分了不同子区域。进一步，通过使用线性判别分析方法，他们证明了模型所学习到的任务表示在潜在空间中的不同区域能够可靠地代表不同的任务和刺激方向。

▷图注：任务的潜在表达是按照层次结构进行组织的，每条曲线代表经过线性降维和平均后不同任务刺激和任务提示组合的潜在状态轨迹。简单来说，这个模型可以根据任务刺激和任务提示来预测大脑的活动状态和行为表现。

为了更好地理解状态变量的动态过程，研究人员使用长时间的静态刺激作为输入，来探索神经网络在“生成模式”下的表现。在这种模式下，神经网络不再接收正确的输出，而是根据给定的输入生成自己的输出。结果，研究人员发现每个模型都有一组稳定的固定点，这些点在潜在空间中对附近轨迹具有吸引作用。对于给定的任务提示，相同任务相关刺激方向的固定点对比不同任务的固定点对更为接近，因此，模型训练得到的固定点揭示了任务的分层表示。在全局上，每个任务与一个有限的吸引区域相关联，根据活动任务提示引导潜在状态。在每个任务区域内部，潜在状态被拉向对应于正确响应方向的固定点。

研究者基于观察到的分层表示结果，提出了两个关于任务切换的预测。首先，研究者指出任务转换时的反应时间会比同一任务下的更长。这是因为任务转换需要在潜在空间中移动到新的任务区域，并且该过程需要一定的时间。反应时间的增加取决于当前任务区域和目标任务区域之间的距离。其次，对不同个体来说，如果不同任务区域空间分离得越厉害，任务转换成本（switch cost，sc）也相应增强。这是因为在交替任务之间，潜在空间中的状态需要被调整以适应新任务的要求，这个调整的过程会消耗一定的时间。特别地，如果年龄较大的个体在潜在空间中的任务表征相对较分离，那么他们执行任务转换的成本可能会更高，因为他们需要更长的时间来转换任务。

为了验证这两个假设，研究者采用了人工生成的数据来训练模型。具有较强任务转换成本的个体的这一特征被消除，称作sc^-模型。而用原始数据训练的模型称作sc⁺模型。结果表明，如果训练出来的模型没有任务转换的代价，那么模型中潜在的任务表示的分离程度也会降低。在没有转换成本的sc^-模型中，转换成本显著降低，而平均反应时间和一致性效应之间的差异相对较小（但是具有统计显著性）。同时，相对于sc⁺模型，sc^-模型中任务中心之间的距离显著降低。因此，任务之间的距离是导致模型内外较大转换成本的原因，这正是层次化任务表示的结果。

研究人员还考虑了潜在表征的结构是否具有其他功能上的优势。他们想知道增加分离度是否能够提高模型的鲁棒性，即减少噪声干扰使得潜在状态更不容易进入错误的响应区域。为了测试这个想法，研究人员改变了sc⁺与sc^-这两个任务区域分离度不同的模型中刺激噪声的大小，评估其对两类模型精度的影响。结果表明，相对于sc^-模型，sc⁺模型对于噪声刺激的鲁棒性更强，即在处理噪声刺激时，sc⁺模型的性能受到的影响较小。

此外，研究人员发现，模型的鲁棒性与参与者执行任务时表现出的“干扰效应”（即Stroop效应）之间存在显著的正相关关系。干扰效应是指在执行任务时，与任务无关的干扰信息对任务执行的影响。研究使用模型的鲁棒性和干扰效应的数据，证明了分离的任务表征可以提高鲁棒性，并建立了两种不同定义下认知稳定性之间的联系。因此潜在表征的结构不仅可以解释切换成本的计算原理，还可以提高模型的鲁棒性和认知稳定性。

模型研究行为实验的未来

认知任务模型作为行为研究中的重要手段，目前的模型具有许多不足之处，研究者提出了一个新的建模框架——task-DyVA，该框架可以精确重现参与者个体反应时间效应的可解释的动力学模型。

作者指出，相较其他用神经网络模型解释神经和行为数据的方法，本模型的优点在于，task-DyVA的训练目的不是为了达到最优表现，而是为了尽可能复现人类真实表现；并且以亚秒级时间精度处理传入信息，从而能对反应时间进行建模。

另外，作者用模型解释了任务切换成本的原理，与前人提出的吸引子模型一致，但在他们的模型中并没有先验的假设不同情境下吸引子的排斥效应，而是模型自己从真实数据中学习到了这一点，更加验证了这一理论的有效性。作者还指出他们的模型为未来直接检验神经活动数据与任务切换成本的关系提供了可能。

最后作者强调，该模型可以推广到一切测量了反应时长的意识任务中，并且对于小数据集依旧适用——虽然这样的推广需要进一步的统计验证——未来可以用于推导出解释大脑如何动态产生行为的生成模型。