旋转神经动力学如何产生准确而灵活的运动?

一个由人工肌肉和强化学习控制器构成的机器人模拟系统,揭示了旋转神经动力学如何引导到达运动。

直接答案

一个由人工肌肉、多模态传感器和经强化学习训练的神经网络控制器构成的运动系统机器人模拟体,复现了运动皮层中观察到的旋转群体动力学,并揭示了这些旋转在物理层面的作用:旋转驱动与到达方向正交的振荡式动作,在线修正运动轨迹。同一控制器还能准确到达目标,并耐受人工肌肉损伤;论文报告称,旋转结构只在训练约第2000个回合前后发生一次突变之后才出现。

1篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

机器人身体让因果问题可被检验

运动皮层记录显示,群体活动先经过一个类似吸引子的准备状态,随后在执行运动时发生旋转;这种旋转出现在包括非周期性到达在内的多种任务中。但旋转对实际运动有何贡献一直不清楚,原因是运动系统的神经元远多于肌肉,而记录只能覆盖一小部分神经元。论文的前提是:一个控制器可被完整观察的物理系统能同时消除这两个障碍。

作者构建了他们所称的机器人模拟体:一个完全类比神经肌肉系统的装置,包含分布式人工肌肉、多模态传感器,以及由强化学习训练的人工神经网络控制器。人工肌肉由编织的液晶弹性体纤维制成,表面覆有导电涂层,可通过电阻反映长度;惯性传感器报告关节朝向;动作捕捉系统追踪末端执行器。由于控制器的每个单元都可见、身体又是真实的,潜在神经动力学与物理运动之间的联系可以被直接考察,而不必依赖推断。

准备与执行活动占据不同子空间

控制器的行动者网络包含512个循环神经元。在没有任何预设任务结构的情况下,它们的群体活动在多种任务中分成两个阶段,复现了运动皮层中准备与执行的分离。两个阶段第一主成分之间的夹角接近90度,该第一主成分解释了20.39±3.10%的方差;两个子空间之间完整的主角度分布较广,大多在30至90度之间。

基于方差的分析进一步显示,在不同反馈组合下,超过一半的执行方差位于准备子空间的零空间中,超过一半的准备方差位于执行子空间的零空间中,而子空间重叠明显低于0.5。作者将这一结果描述为大体分离但并非严格正交的流形。群体方差在两个状态转换时也急剧下降,与设定执行初始条件的吸引子式收敛相符。局部线性近似以0.9至1.0的R2捕捉了神经状态的演化,因此尽管神经到行为的映射是非线性的,系统仍在局部线性区间内运行。

旋转驱动垂直于到达方向的修正

在执行阶段,512个神经元呈现螺旋状轨迹;应用jPCA——一种对群体活动时间导数拟合反对称矩阵以揭示潜在旋转的方法——在单点到达和循环任务中,以及在所有不同反馈组合的控制器变体中,都发现了稳定的旋转动力学。定量来看,在视觉驱动和本体感觉驱动的模型中,神经状态与其导数之间的夹角都接近90度,低维旋转模型的拟合优度超过保留原始协方差结构的替代数据集。旋转出现在循环层,而不出现在输入线性层或肌肉输出信号中。

论文的核心机制主张是:这些旋转产生与到达方向正交的振荡式动作,在线调整轨迹,在保持稳定的同时补偿误差。作者报告称,这一点得到了灵长类神经数据的证实,数据取自一个公开的猴子数据集。这就是论文对旋转用途的回答:它不是循环连接或感觉延迟的副产品,而是在不与到达本身相抗的方向上引导修正的手段。

肌肉损伤下仍保持准确,通道越多控制器越轻松

在有视觉反馈时,机械臂在多种意外人工肌肉损伤下仍保持准确轨迹,论文报告了不同损伤情景下的到达误差。旋转动力学并非脆弱的附加物:它们出现在不同反馈组合的控制器中,也出现在3、6和12个控制通道的控制器中,且神经状态与导数之间的夹角在这些通道数下都保持在90度附近。

通道比较还带来第二个结果。丰富反馈并增加控制通道,在保持运动表现的同时减轻了神经控制器的计算负担。作者解释为:更丰富的输入和输出使感觉运动映射更易区分,并在寻找状态估计和运动规划解时给控制器更多冗余选择。他们将这一底层规律称为感觉与运动冗余下反直觉的神经能量原理。实际解读仅针对这一系统:冗余之所以有帮助,是因为它让控制器的搜索更容易,而不是因为执行器越多机器人就自动越好。

旋转、准备与准确性同时出现

比较不同训练阶段的控制器,发现了一次协同突变。在不同反馈组合的模型中,神经表征的稀疏性急剧下降,并在训练约第2000个回合前后趋于稳定。稳定的旋转动力学只在2000个回合之后出现,同时PCA解释方差和旋转半径先跳升后进入平台。在同一节点,机械臂突然开始准确到达目标,之后改善变慢,准备与执行子空间之间的分离也转向90度。神经能量和肌肉驱动能量的突变发生在同一回合。

作者称这些为“顿悟”时刻,并将其解释为闭环系统中稳定控制机制的出现,源于神经动力学与身体力学之间的相互作用。他们明确指出,这种重组背后的具体神经机制仍有待研究。该转变在不同架构、反馈组合和随机初始化下都被观察到,尽管确切回合略有差异;循环和前馈架构都表现出这一转变,但循环层发展出更强的旋转动力学和更高的表现。

模拟体能支持什么、留下什么未决

关于功能的证据来自训练好的人工控制器和物理机器人,而不是对生物皮层的操控。灵长类比较是对已有数据集的印证,而不是在动物中扰动旋转的实验。作者论证说,子空间分离在无预设结构下出现,并在真实和模拟设置中不受反馈延迟影响而持续存在,他们以此说明这些动力学服务于功能目的,而非由感觉延迟驱动。这一论证依赖于模型的行为,论文本身也指出学习转变的机制需要进一步研究。

范围也受任务集限制:单点到达和循环运动,以及不同反馈组合和3、6、12个控制通道。所报告的鲁棒性是在测试情景下对人工肌肉损伤的鲁棒性,能量发现是该平台内不同控制策略和反馈组合之间的比较。这些都不能确立生物运动皮层以完全相同的修正角色使用旋转,只能说明一个为到达而优化的系统会发展出承担这一任务的旋转。

冗余与正交动力学作为设计杠杆

对于权衡从论文中取用什么的读者,最具决策相关性的比较是控制器配置之间的比较,而不是机器人与大脑之间的比较。增加反馈和控制通道降低了神经控制器的计算负担,同时保持表现;支持修正的旋转在3、6和12个通道中都出现。因此论文指向具身控制设计的两个杠杆:利用正交潜在动力学进行在线修正,并将感觉与运动冗余视为让控制器优化更容易的途径。

作者将此联系到协调大量执行器的人形机器人和灵巧手,以及康复机器人和假肢设备,同时指出其框架目前只涵盖在线闭环控制,将其扩展到记忆巩固和回放等机制是未来方向。证据支持的优先事项比一般仿生学更窄:当到达控制器必须在损伤下保持准确时,论文的结果倾向于检查其潜在动力学是否以接近正交于运动的方式旋转,以及增加的通道是否减少而非仅仅转移控制负担。

本文引用的文献

1

Decoding Neural Population Dynamics through Robotic Analog

一个由人工肌肉和强化学习控制器构成的机器人模拟体复现了类似运动皮层的旋转群体动力学,表明这些旋转驱动与到达方向正交的振荡式动作,用于在线轨迹修正。