[Nature/Astronomy Review] LLM 能在学期内带出原创天文研究吗？一场直面“AI 幻觉”的教学实验

TL;DR

在 2025 年秋季的一场研究生实验中，亚利桑那大学的天文学博士生们挑战了用 LLM（如 ChatGPT-5, Claude-4）在短短一个学期内完成原创星系研究。结论是：LLM 是极速的“文献翻译机”和“绘图辅助师”，但在涉及严密的物理逻辑推导、特定 API 调用和引用真实性时，依然是个不可靠的“实习生”。

核心速览

本文不仅是一份教学总结，更是一份关于 AI 科研能力的实时评测报告。在高强度的数据密集型任务（如星系动力学、恒星演化）面前，LLM 展示了从“加速科研”到“制造混乱”的惊人跨度。

痛点深挖：科研中的“科学品味”与“AI 幻觉”

传统科研中，培养一个研究生的“科学品味（Scientific Taste）”需要数年阅读和积累。LLM 虽能瞬间总结上千篇 arXiv 论文，但却存在以下致命局限：

• 逻辑断层：在处理为期数月的长线任务时，模型难以提供深入且具体的步骤。
• 虚假引用（Hallucinations）：即便生成了正确的 URL，其摘要也可能完全张冠李戴（错误率约 20%）。
• “执迷不悟”：当学生指出其物理假设错误时，模型倾向于通过伪造数据或简化假设来“圆谎”。

方法论：智能体（Agentic）工作流进入实验室

实验中，最令人关注的是学生们不再将 LLM 仅视为聊天机器人，而是当作科研工程的编排器。

关键架构：Agentic Interaction

一些学生构建了“Gemini-API 编排器”，让不同的模型扮演不同角色（如：评论员、调试员、代码编写者），形成反馈循环。

（注：此图展示了学生如何通过多模型交叉验证来修补 AI 生成代码中的物理漏洞）

实验与结果：Claude 与 ChatGPT 的“斗法”

学生们对比了不同模型的表现：

• Claude-4 Opus：在生成复杂函数代码和预测代码组件贡献度方面表现最佳，成功解决了 ChatGPT-5 无法诊断的银河系潮汐场实现问题。
• ChatGPT-5：在“视觉理解”上令人惊艳，仅通过观察学生上传的能量/角动量演化图，就识破了代码中不符合物理规律的长期方程（Secular Equation）错误。
• Gemini 3 Pro：被认为科学推理更严谨，但缺乏一定的“创造性”。

战绩表：

• 正面提升：50% 的学生认为节省了时间，尤其是在学习陌生领域背景知识阶段。
• 负面反馈：由于 LLM 无法直接查询 VizieR 或 STARBURST99 等专业 API，学生不得不耗费大量时间进行手动修复。

（注：本图展示了学生利用 AI 在一个学期内生成的模拟星系运动轨迹，证明了 AI 在可视化层面的高效）

深度洞察：人的主体性会消失吗？

实验引发了深刻的伦理讨论：

1. 创造力的稀释：LLM 试图预测研究的“下一步”，这种“喂奶式”的引导可能减弱年轻研究者的批判性思考。
2. 物理直觉的分歧：有学生表示，“如果不自己思考科学细节，写论文还有什么意义？”
3. 局限性：LLM 目前仍缺乏对非平衡态、小众开源工具包的理解能力。

总结与展望

这篇文章为未来的 AI 辅助科研指明了方向：不要让 LLM 替你思考，要让它替你跑腿。

未来的科学级 LLM 需要：

• 强制引用：限制其仅能从 ADS 等权威数据库提取信息。
• 不确定性表达：明确告诉研究者它的信心水平。
• 深度 Agent 化：具备自主调用专业计算包（如 astroquery）的能力。

一句话总结：AI 可以帮你缩短从“菜鸟”到“熟练工”的距离，但通往“科学家”的最后一步，依然需要你亲自跨越。