如何从内接椭球读取多元回归的各项统计量？

一张图同时编码三种回归量

当解释变量之间存在相关时，仅凭数字很难看出系数、边际相关与偏相关之间的关系。某个系数可能与它对应变量和响应之间的边际相关符号相反，标准化系数可能绝对值大于 1，多元相关也可能远大于每一个边际相关。这篇论文在 Rᵖ 中构造了一个单一图形，它仅由 (X, Y) 的 (p+1)×(p+1) 相关矩阵决定，三种回归量都能通过初等几何作图读出。

输入是解释变量的 p×p 相关矩阵 R，以及它们与响应的相关向量 r。椭球 E = {x : xᵀR⁻¹x = 1} 是标准化解释变量的数据椭球。引理 7 表明它内接于立方体 [−1,1]ᵖ，并在面 xⱼ = 1 上与 Tⱼ（R 的第 j 列）相切；从正定相关矩阵到这类椭球的映射是一一对应。引理 8 把 P = r 放在 E 上或 E 内，当 (X, Y) 的完整相关矩阵正定时严格位于内部。定理 9、10、12 随后从这一张图中读出三种量。该构造对任意有限维 p 都成立，但直接可视化通常只在 p ≤ 3 时实用。

多元相关系数是两条长度之比

定理 9 指出，多元相关 ρX⊢Y 等于 |OP|/|OP′|，其中 O 是原点，P′ 是从 O 经 P 的射线与 E 的交点（P = O 除外）。证明很短：由于对正数 c 有 ‖cP‖R⁻¹ = c‖P‖R⁻¹，点 P′ = P/‖P‖R⁻¹ 是射线上满足 ‖x‖R⁻¹ = 1 的唯一一点，因此该比值等于 ‖P‖R⁻¹，而引理 8(a) 把它等同于 ρX⊢Y。换言之，多元相关就是 r 在 R⁻¹ 度量下的范数，即一个马氏长度。

三种特殊位置有助于理解这个比值衡量的是什么。若 R 为单位矩阵，E 是单位球面，ρX⊢Y 退化为 P 的欧氏长度，即各边际相关平方和的开方。若 P 落在过 O 与某个 Tᵢ 的直线上，即 P = ρᵢTᵢ，则 ρX⊢Y = |ρᵢ|，其他变量不会改善对 Y 的线性预测。第三种情形是增强，即 ρ²X⊢Y 超过各边际相关平方之和；由定理 9，这恰好发生在 |OP′| < 1 时，意味着 E 在 P 的方向上比单位球面更窄。当 p = 2、ρ₁₂ = 0.8、r = (0.7, 0.2)ᵀ 时，多元相关平方为 0.85，而 P 的欧氏长度平方为 0.53，于是 |OP′| ≈ 0.790。

标准化系数是列基下的坐标

定理 10 从同一个点读出标准化回归系数。由于 T₁, …, Tₚ 是可逆矩阵 R 的各列，它们构成 Rᵖ 的一组基，P 可分解为 P = Σᵢ b̂#ᵢ Tᵢ，其中 b̂#ᵢ 是第 i 个标准化系数。等价地，每个系数是 P 处线性泛函 fᵢ 的取值，fᵢ 由 fᵢ(Tⱼ) = δᵢⱼ 定义，其显式为 fᵢ(x) = eᵢᵀR⁻¹x。

水平集 fᵢ(x) = c 是一族平行超平面：fᵢ(x) = 0 过原点并由其余各列张成，而 fᵢ(x) = ±1 分别过 ±Tᵢ。该超平面是 E 关于坐标方向 eᵢ 的共轭直径超平面，因此 E 中每条平行于 xᵢ 轴的弦，其中点都落在该超平面上。固定 R 与其他相关不变，当 P 沿该弦移动时，Xᵢ 的标准化系数恰在中点处为零。该中点同时也是偏相关所用刻度尺的零点，从而把第二和第三种构造联系起来。

论文指出标准化系数可能落在 [−1, 1] 之外，其算例同时展示了这一点与符号反转。这些是标准化尺度上的性质，而不是原始测量尺度上回归系数的性质。

偏相关系数是弦上的刻度读数

定理 12 固定某个变量 i，并假设弦 ℓᵢ ∩ Ē 具有正长度，其中 ℓᵢ 是过 P 且平行于 xᵢ 轴的直线。设 Q±ᵢ 为弦的两个端点，gᵢ 是从 [−1, 1] 到该弦的仿射双射，满足 gᵢ(−1) = Q−ᵢ、gᵢ(+1) = Q+ᵢ，取向使第 i 个坐标增大。则 gᵢ⁻¹(P) 等于在给定其余解释变量时 Xᵢ 与 Y 的偏相关。

闭式表达使读数变得明确。令 vᵢ = (R⁻¹)ᵢᵢ、Dᵢ = (b̂#ᵢ)² + vᵢ(1 − ρ²X⊢Y)，弦端点为 P + t±ᵢeᵢ，其中 t±ᵢ = (−b̂#ᵢ ± √Dᵢ)/vᵢ，而 P 处的刻度值为 b̂#ᵢ/√Dᵢ。证明把 ‖P + teᵢ‖²R⁻¹ 展开为 ρ²X⊢Y + 2b̂#ᵢt + vᵢt²，其根给出该弦，随后把归一化位置等同于偏相关。论文还指出，过原点且与之平行的弦，其半长为 1/√VIFᵢ，从而把该图与方差膨胀因子联系起来。

这里有两个边界需要注意。偏相关定义为 Xᵢ 与 Y 在对其余解释变量做线性回归后的残差之间的相关，它要求两个残差方差都为正。刻度尺构造还额外要求该弦具有正长度，论文将其记为假设 11。

符号反转与方差膨胀变得可见

第 5 节把该图转化为关于符号反转、抑制、系数界和方差膨胀的陈述。引言勾勒了背后的现象：某个系数可能与它对应变量和 Y 的边际相关符号相反，此时偏相关与系数同号；标准化系数可能绝对值大于 1；多元相关可能远大于每一个边际相关。论文把这些现象的代数解释归于此前以抑制、多重共线性和增强为标题的工作，并把自身贡献定位为让它们在一个图形中变得可见。

方差膨胀因子通过弦的几何进入。论文把 VIFᵢ 定义为 (R⁻¹)ᵢᵢ，等价于 1/(1 − ρ²X₍₋ᵢ₎⊢Xᵢ)，命题 15 把它与过原点且平行于 xᵢ 轴的弦联系起来，该弦半长为 1/√VIFᵢ。论文还指出，其中央弦半长所描述的构造，与 Friendly、Monette 和 Fox 所用的水平宽度比 √VIF 不同。这是两种几何编码之间的比较，而不是说其中一种取代另一种。

可行相关也出现在图中：注 13 把边际相关 ρᵢ 的允许范围读作弦 Q−ᵢQ+ᵢ。论文引用 Kiesl 和 Rässler，说明当某些变量从未被联合观测时，可用椭球描述可行的相关向量。

算例与数值校验

第 6 节给出两个算例。例 16 使用日本职业棒球中央联盟 31 个赛季、每队均打满 130 场的 186 个球队-赛季观测，取自 1954–2003 年的记录。响应为最终名次，两个解释变量为得分与失分。合并后的皮尔逊相关为 ρ₁ = cor(得分, 名次) = −0.4180、ρ₂ = cor(失分, 名次) = +0.4724、ρ₁₂ = cor(得分, 失分) = +0.4232。对这一构型，从图中读出的多元相关为 0.829，标准化系数为 b̂#₁ = −0.752、b̂#₂ = 0.790。

该例展示了论文想要呈现的现象。得分与名次的边际相关为负，标准化系数保持这一负号，而两个解释变量本身正相关。论文还报告了一项模拟校验：对 p 取 {2, 3, 4, 6, 10}，各做 200 次试验，把多元相关、标准化系数和偏相关的几何读数与直接最小二乘及逆相关计算比较，all.equal 容差为 1e-8，所有校验均通过。

棒球数据是观测性的球队-赛季汇总，因此这些相关描述的是这 186 个观测之间的关联，而不是得分或失分的受控效应。几何恒等式本身是代数的，只要 R 正定就成立；该算例是示例，而不是对因果主张的检验。

构造适用于何处，止于何处

该构造对任意有限维 p 都成立，但论文指出直接可视化通常只在 p ≤ 3 时实用。这是画图上的实用限制，而不是代数上的限制：定理对一般 p 都有证明，模拟校验覆盖到 p = 10。想要几何直觉的读者可以把二维和三维图像当作工作情形，而在更高维中公式仍是可操作的工具。

该设定假设 R 正定，因此解释变量不完全共线，且 (X, Y) 的完整相关矩阵半正定，除非 Y 恰为解释变量的线性组合加一个常数，否则它正定。当完整矩阵不正定时，P 落在 E 的边界上而非严格位于内部。偏相关刻度尺还额外要求过 P 且平行于 xᵢ 轴的弦具有正长度。

论文还把自身与两种已有的几何方法作对照：观测空间中的向量与投影，以及变量空间中的数据椭球。它声称的新增内容是一个 Rᵖ 中的单一构型，其输入仅为 R 与 r，把相关编码为固定立方体中点的坐标，而不是向量之间的夹角。论文说明定理 9、10、12 的初步版本曾在会议摘要中提出但未附证明，而本文给出了完整证明、刻度读数的闭式以及相应推论。

先读弦的中点，再读端点

这张图最具判断价值的特征不是多元相关比值，而是同时承载标准化系数与偏相关的弦结构。对固定的变量 i，过 P 且平行于 xᵢ 轴的弦的中点，正是 Xᵢ 的标准化系数为零之处，而 P 处的刻度读数给出偏相关。这意味着，比较相关解释变量的读者应关注 P 相对于弦中点的位置，而不只是边际相关或长度比 |OP|/|OP′|。

算例使这一优先级变得具体。当 ρ₁ = −0.4180、ρ₂ = +0.4724、ρ₁₂ = +0.4232 时，多元相关为 0.829，而标准化系数为 −0.752 与 0.790，得分的边际相关与标准化系数符号一致。弦的几何展示了两个相关解释变量如何分配各自的贡献，方差膨胀因子则以过原点平行弦的半长 1/√VIFᵢ 出现在那里。对于要在解释变量相关时决定先看哪个量的读者，论文自身的顺序指向弦及其中点，因为符号反转、系数界与多重共线性在那里同时变得可见。

本文引用的文献