来源评估不是对一篇论文是否“好”的单一判断。它是一连串决策:什么算作你问题的合格证据、你如何找到它、你是否能追溯它、它能承载多少分量,以及你交给别人的记录是否完整到足以核查。制作客户演示文稿、决策备忘录、交接材料和可复用证据库的团队需要这条链可见,因为最终产物的读者往往不是做检索的人。
本指南将评估视为一个在各阶段都有产出的工作流。它借鉴了 Cochrane Handbook 关于检索和选择研究的指导、PRISMA 2020 报告标准,以及 Google Scholar 和 PubMed 记录的检索机制。它还展示了 WisPaper 工具在具体步骤中的位置。
“评估一个来源”实际需要什么?
大多数薄弱的评估失败,是因为它们回答了错误的问题。“这是不是一本有声望的期刊?”和“这篇论文是否相关?”都有用,但都不能告诉你该来源能否支持你正在提出的主张。
一个可操作的定义:当一个来源能够让你说明(1)它为何对你的问题合格,(2)你如何找到它以及该检索对你的目的而言是否足够系统,(3)它支持什么具体主张以及以何种置信度支持,以及(4)记录存放在哪里以便同事检索和复核时,该来源就得到了充分评估。
这个定义意味着四个评估层次,每个层次都有自己的产出:
| 层次 | 它回答的问题 | 你产出的东西 |
|---|---|---|
| 合格性 | 这个来源是否应纳入范围? | 书面的纳入/排除标准 |
| 发现 | 我的检索方式是否可描述、可重复? | 包含来源、术语、日期、筛选条件的检索日志 |
| 评价 | 这个来源能支持什么,支持力度如何? | 带置信度等级的主张—来源映射 |
| 溯源 | 别人能否追溯并复用? | 文库记录、引文文件、项目交接说明 |
跳过某一层是返工最常见的原因。建立在没有检索日志的来源之上的演示文稿,在客户询问证据如何选出时无法辩护;主张很强但没有主张—来源映射的备忘录,在新证据出现时无法更新。
你的团队从何处起步?
不同的读者从不同节点进入这个工作流。在选择工具或模板之前,先诊断你的起始状态。
起始状态 A:有问题但没有来源集。 你有一个研究问题或客户请求,但什么都没收集。从合格性标准开始,然后进行发现。不要从读到最先出现的东西开始。
起始状态 B:一堆 PDF 和链接。 有人已经收集了材料,但没有记录它是如何找到的或为何保留。从追溯性合格性审查开始:对每一项,写一行说明它为何在范围内。你无法证明其合理性的项目,成为移除候选,或获得有记录的“仅作背景”标签。
起始状态 C:带引文的草稿。 论证已经存在,参考文献也已附上,但没有人检查每条引文是否支持它旁边的那句话。从主张—来源映射开始,只在出现缺口的地方回溯到发现环节。
起始状态 D:交接或收尾。 工作已完成,必须移交给另一个团队或未来项目。从溯源开始:确认每个保留的来源都有可检索的记录,并且置信度等级附在结论上,而不是埋在某个人的记忆里。
说出你的起始状态,可以防止经典失败:在快速范围界定答案就足够时运行完整的系统检索,或者交付一个建立在非系统化材料堆上的演示文稿。
如何在检索前设定合格性标准?
Cochrane Handbook 关于检索和选择研究的指导,从根据合格性标准规划检索开始。这个顺序很重要:在检索前写好的标准能保护你,避免你为碰巧找到的东西找理由。
对于学术写作和企业研究,把标准写成一个四行的简表:
- 人群或主题:何种研究、组织、数据集或案例在范围内。
- 干预或现象:你正在考察的具体实践、技术或关系。
- 结果或关注的主张:来源必须实际报告什么才有用。
- 设计和日期限制:可接受的研究类型、发表时间窗口、语言,以及你将排除的任何来源类型。
让标准窄到能排除某些东西。每篇论文都能通过的标准没有发挥作用。如果你的问题是探索性的,就说明这一点,并定义一个更宽但仍然明确的范围,例如“过去五年的同行评审实证研究加上权威指导文件”。
把标准与项目一起存储,而不是放在个人笔记里。当工作移交给同事时,标准是他们判断来源集是否仍然有效的第一件东西。
应如何检索,才能使来源集经得起检验?
检索质量是过程的属性,而不是任何单一结果的属性。Cochrane Handbook 建议使用多个来源,将自由文本词与主题词结合,记录过程,去重记录,分阶段筛选,关联同一研究的多份报告,并在发表前重新运行检索。并非每个项目都需要完整的系统综述装置,但底层逻辑可以按比例缩减。
使用不止一个入口。 单一数据库或单一检索引擎会产生有偏的切片。PubMed 记录了字段标签、短语检索、筛选器、高级检索、保存的检索和相似文章,其检索详情显示术语是如何被转换和组合的。Google Scholar 记录了作者和标题检索、日期排序和限制、被引用和相關文章、引文导出,以及定位作品的替代版本。这些机制对发现和审计检索实际做了什么都有用。
边做边记录。 对每次检索,记录平台、确切术语、应用的筛选条件、运行日期和检索到的记录数。这个日志让你能在方法部分或客户附录中描述你的方法,而不必凭记忆重建。
筛选前去重。 同一研究常常以预印本、会议论文和期刊文章的形式出现。Cochrane Handbook 关于关联同一研究多份报告的指导直接相关:在标准阶段决定关联报告算一个来源还是多个来源,并记录该决定。
分阶段筛选。 先做标题和摘要筛选,然后根据相同标准进行全文审查。在全文阶段记录排除原因;这些原因往往是方法附录中最有说服力的部分。
当你需要建立初始候选池时,WisPaper 检索提供了用于查找学术论文的学术检索界面,而学者检索入口向新用户解释论文查找能力。无论你选择哪条发现路径,都要一致地使用,并像记录 PubMed 或 Google Scholar 查询一样记录它。
如何针对具体主张评价一个来源?
评价是大部分评估精力应投入的地方,也是通用清单帮助最小的地方。有效的单位是配对:一个主张,一个来源。
对于草稿或演示文稿中的每个主张,记录:
- 按原文写出的主张,使用将出现在产物中的确切措辞。
- 支持段落,引用或紧密转述,并附页码或章节定位。
- 来源自身的范围:该发现来自什么人群、环境或数据集。
- 置信度等级,附一行理由。
三级置信度方案通常足以用于企业产物:
| 等级 | 含义 | 典型依据 |
|---|---|---|
| 高 | 主张直接陈述于范围与你匹配的来源中 | 在可比人群或环境中的直接发现 |
| 中 | 主张得到支持,但需要一步推断 | 相邻人群、间接结果,或若干来源中的单一来源 |
| 低 | 主张仅具提示性 | 探索性发现、狭窄案例,或范围与你不同的来源 |
两个评价习惯能防止最常见的错误。第一,把来源发现了什么与你想要得出什么结论分开;一个环境中的发现不会自动迁移。第二,检查多个被引来源是否真正独立。同一研究的多份报告是一份证据,而不是多份。
对于进行较长文献综述的团队,Scholar Agent在文献综述、灵感激发和复现用例中支持较长的研究任务。用它加速评价环节,然后为每个主张附上你自己的置信度等级;置信度判断属于你的产物,而不属于工具。
可追溯的证据记录是什么样子?
一个来源的可复用程度取决于它的记录。至少,每个保留的来源应有:
- 稳定标识符(DOI 或等效物)和完整引文。
- 它进入集合的检索或推荐路径。
- 一行合格性理由。
- 它支持的主张,附置信度等级。
- 团队成员可以打开的本地副本或链接。
这正是共享文库的价值所在。我的文库让你保存或上传论文,并在 WisPaper 文库中组织它们,从而把分散的 PDF 变成同事可以继承的单一有序集合。将文库与保存在项目工作区中的主张—来源映射配对,使两份记录保持同步。
对于需要审问已收集集合而不是重新检索的问题,文库问答让你基于上传到我的文库或从检索结果添加的论文提问。这在评价阶段很有用,当你想在分配置信度等级之前检查某个主张是否确实存在于你保留的来源中。
交接前如何核验引文?
引文错误集中在项目末期,当参考文献从笔记、草稿和早期演示文稿中快速汇编时。两种失败模式占主导:与真实出版物不对应的参考文献,以及存在但不支持其所附句子的参考文献。
第二种失败是评价问题,由主张—来源映射捕获。第一种是记录完整性问题,可以通过机械方式筛查。TrueCite对照真实学术数据库检查 BibTeX,以标记幻觉参考文献,这使它成为书目冻结进交付物之前的合理关口。
把检查作为一个定义好的步骤来运行,而不是事后想法:导出 BibTeX,筛查它,解决每个标记,然后才把书目附到演示文稿或备忘录上。在项目日志中记录筛查已发生以及日期。
如何报告方法,使读者能信任结果?
PRISMA 2020 提供了报告清单、扩展解释、摘要清单,以及用于原始和更新系统综述的流程图模板,包括对检索、选择和综合方法的透明报告。即使你的工作不是系统综述,PRISMA 结构也是方法附录应包含内容的有用模型:检索了什么、记录如何选出、证据如何综合。
对于企业产物,一页方法说明覆盖相同要素通常就足够:
- 完整陈述的合格性标准。
- 检索的来源和日期,至少主要检索附确切术语。
- 每个筛选阶段的计数,附全文排除原因。
- 关联报告如何处理。
- 置信度等级如何分配。
如果你的项目是面向发表的正式综述,直接遵循 PRISMA 2020 清单,而不是缩写版本。如果是决策备忘录,一页说明仍然完成基本工作:它让持怀疑态度的读者看到证据是如何汇编的。
实例:带溯源和置信度的决策备忘录
考虑一个团队被要求建议是否采用一种新的运营实践。交付物是一份给内部指导小组的两页决策备忘录,外加一个给将实施或重新审视该决策的团队的交接包。
第 1 步:标准。 团队写下范围标准:过去五年发表的实证研究或权威指导,环境与自身运营可比,报告与决策相关的结果。来自无关行业的研究标记为仅作背景。
第 2 步:检索日志。 使用两条发现路径,记录术语、筛选条件和日期。记录去重,同一研究的关联报告分组。
第 3 步:筛选。 标题和摘要筛选移除明显超出范围的记录;全文审查移除其余记录,并为每次排除写一行理由。
第 4 步:主张—来源映射。 备忘录的每个主张得到一行:主张、支持段落、来源范围、置信度等级。备忘录的核心建议标记为中等,因为最强的支持发现来自相邻环境;一个次要主张标记为高,因为一项直接可比的研究报告了它。
第 5 步:引文筛查。 书目导出为 BibTeX,并在备忘录分发前筛查。
第 6 步:交接。 保留的来源存放在共享文库中;标准、检索日志、筛选计数、主张映射和置信度理由存放在项目工作区中。交接说明指出如果新证据出现,哪些主张需要重新审查。
研究项目提供了 WisPaper 研究项目区域,团队可以在其中创建项目来承载这项工作,使备忘录及其证据轨迹作为一个包一起传递,而不是一份文档加一文件夹散落 PDF。
如何知道评估已准备好交付?
准备状态是可检查的。在演示文稿、备忘录或交接离开团队之前,确认以下每一项:
- 产物中的每个主张都出现在主张—来源映射中,并附置信度等级。
- 每个保留的来源都有稳定标识符和可检索记录。
- 检索日志完整到同事可以重新运行主要检索。
- 筛选计数和排除原因已记录。
- 同一研究的关联报告已分组,分组决定已记录。
- 书目已通过引文筛查。
- 方法说明已附上或链接。
如果任何一项缺失,产物并非在某种模糊意义上未准备好;它缺少一个具体、可修复的组件。把清单视为有明确负责人的关口,而不是一般性的质量愿望。




