[CVPR/ACL 视角] IslamicMMLU：当 AI 遇上伊斯兰经学，如何客观衡量机器的“信仰”？

TL;DR

IslamicMMLU 并非简单的翻译版题目集，它是一个针对伊斯兰核心知识（古兰经、圣训、教法）精心设计的、包含 10,013 道题目的专业评测基准。它首次深入探讨了大模型在面对伊斯兰四大法学派别（Madhab）时的隐性偏见。结果显示：虽然 Gemini 3 Flash 横扫榜单，但强如 GPT-5 也会表现出特定学派的倾向性。

背景定位：宗教知识评估的缺失

在百万级用户通过 AI 获取宗教咨询的今天，LLM 的“一本正经胡说八道”在高度严肃的宗教领域可能导致严重的社会后果。现有的 ArabicMMLU 等基准仅将宗教作为一个二级学科，缺乏对深度逻辑（如：为什么同一个行为在不同学派里既可以是“必须”也可以是“仅推荐”？）的刻画。IslamicMMLU 的出现，填补了这一坐标系中的空白。

痛点深挖：不仅仅是“背诵”

作者认为，现有的模型评估存在三个痛点：

1. 肤浅的文本匹配：简单的古兰经填空无法区分模型是“理解”还是“记住”了文本。
2. 传述链依赖：在圣训（Hadith）评测中，模型常通过背诵传述者名单（Isnad）而非理解内容（Matn）来答题。
3. 法学多元性的忽视：伊斯兰教法（Fiqh）中，四大 Sunni 学派（Hanafi, Maliki, Shafi'i, Hanbali）在同一问题上可能持有不同但均有效的观点。

核心方法论：结构化知识提取与偏见检测

1. 自动化流水线 (Pipeline)

为了确保 Fiqh 轨道的权威性，作者利用 o1 和 GPT-4 构建了一个多智能体提取系统，对《四大学派法学百科全书》进行了数字化重构。

2. Madhab Bias Detection (法学偏见检测)

这是本文最精妙的设计：作者设计了 800 道题目，其四个选项分别是四大正统学派的正确答案。如果一个模型在没有任何提示的情况下持续选择某一个学派的观点，则证明其训练数据中存在显著的内部传统偏见（Intra-tradition bias）。

实验战绩与结果分析

SOTA 对比

在 26 个模型的混战中，Google 的 Gemini 3 Flash 表现惊人，尤其在古兰经轨道几乎达到完美（99.3%）。相比之下，一些专门针对阿拉伯语微调的模型（如 ALLaM-7B）虽然在语言流畅性上不错，但在深度专业知识上仍被 Frontier Models 甩开。

深度洞察：越聪明，越中立？

研究发现了一个有趣的负相关现象：模型的平均准确率越高，其展现的学派偏见往往越小。这暗示了 Scaling Laws 在某种程度上能自动习得知识的广度与中立性，但并不绝对——例如 GPT-5.1 在汉巴里（Hanbali）学派上仍表现出明显的偏向。

总结与挑战

总结：IslamicMMLU 证明了即便没有针对性训练，顶尖模型通过海量预训练已经掌握了极高水平的宗教知识。 局限性：目前的评测主要基于现有的 Sunni 视角。对于占据全球穆斯林 15% 的什叶派（Shia）观点，以及更现代的 ijtihad（自主推导），该基准尚有进步空间。此外，MCQ（选择题）形式虽然标准化程度高，但无法衡量模型在开放式生成中的表现。

未来展望：建立实时更新的排行榜（Leaderboard），并引入更多地域性和宗派视角的语料，将是全球文化对齐（Cultural Alignment）的重要一步。