[J.P. Morgan AI] TradeFM：金融微观结构的生成式预训练大模型

TL;DR

摩根大通 AI Research 团队发布了 TradeFM，这是一款参数量达 5.24 亿的生成式基础模型，专门处理“交易流”数据。它不依赖特权的 LOB（限价订单簿）快照，而是直接从数十亿条公开交易事件中学习，不仅能精准复现市场的“典型事实”（Stylized Facts），还能在全球不同市场（如中、日股市）实现跨地域的 Zero-shot 泛化。

背景定位

在 AI 领域，文本（NLP）和代码已有成熟的 Foundation Model，但在金融领域，高频交易数据由于高度非平稳、异构且资产间差异极大，一直缺乏一个通用的“底层引擎”。TradeFM 的出现，标志着金融建模从“一物一模”的特定资产预测，向“一模多用”的通用表征学习进化。

痛点深挖：为什么金融数据难做大模型？

1. 异构性：苹果（AAPL）的交易频率和价格波动与一只垃圾股完全不同。
2. 分布偏移：市场环境瞬息万变，去年的统计规律在今年可能完全失效。
3. 观测不全：大多数模型需要完整的 LOB 深度数据，但现实中普通参与者只能看到成交事件流。

核心技术：尺度不变性 (Scale-Invariance)

TradeFM 之所以能泛化，核心在于其 特征工程。作者没有直接输入美元价格或股数，而是构建了一套“尺度不变”的特征：

• EW-VWAP 估计：利用指数加权成交量平均价作为动态基准，解决了不同流动性下的价格归一化问题。
• 相对深度与对数成交量：将价格变动转化为基点（bps），成交量进行对数化，使不同价格区间、不同行业的股票在模型眼里变成了“同一种语言”。

图 1：TradeFM 与市场模拟器的闭环交互架构。模型预测下一笔交易，模拟器执行并反馈更新后的状态。

架构解析

TradeFM 基于 Llama 架构改进，引入了 GQA (Grouped-Query Attention) 和 RoPE (Rotary Positional Encoding)。

• Tokenization 方案：这是一个巧妙的设计，它将时间差、价格深度、成交量、买卖方向等 5 个维度组合成一个复合 Token（混基数系统），词表大小为 16,384。这使得 Transformer 可以像预测下一个单词一样预测下一笔市场成交。

实验战绩：它真的懂市场吗？

为了验证真实性，研究者将 TradeFM 与传统的 Hawkes Process（霍克斯过程）和 Zero-Intelligence 代理进行了对比。

1. 典型事实复现（Stylized Facts）

实验证明，TradeFM 生成的序列完美契合了金融学的三大定律：

• 收益率无自相关：模型生成的波动看起来像随机行走，符合有效市场假说。
• 波动率聚集：模拟序列表现出“大波动接着大波动”的特征。
• 肥尾分布：极端行情的发生概率与真实市场高度一致。

图 2：TradeFM 对收益率自相关性、波动率聚集及肥尾特性的拟合情况。

2. 跨地域“零样本”泛化

这是最令人惊叹的部分。即便只在美国数据上预训练，TradeFM 在处理中国和日本市场数据时，困惑度（Perplexity）仅有轻微下降。这说明模型捕捉到了人类交易行为背后的某种“普适逻辑”。

深度洞察与总结

TradeFM 的价值不仅在于它是一个更好的预测器，更在于它是一个高保真的“数字孪生”市场容器。

• 压力测试：你可以向模型注入 10 倍于平时的卖单，观察模拟器中价格崩盘的链式反应（如图 17 所示的 Counterfactual 分析）。
• 隐私保护：利用该模型生成的合成数据可以替代敏感的真实交易记录，用于学术研究。

局限性：目前模型对 Bid-Ask Spread（买卖价差）的刻画仍略逊于专门的统计模型，这可能是因为价差是复杂的订单撮合演化的结果，单纯的事件流预测仍存在信息损失。

展望：未来，TradeFM 有望成为金融版的“世界模型”，作为强化学习环境，培养出能够在极端市场条件下依然稳健的下一代自动交易算法。