更便宜的模型真的能在你的检索任务中交出令人满意的答卷吗？
信任的核心在于证据，证明一个更小、更便宜的嵌入模型在你关心的特定检索任务上，表现能与更大的模型相当。在真实的赞助搜索系统中，一个1.9亿参数的学生模型恢复了十亿参数教师模型超过98%的精确度，同时运行速度快27倍，在相同硬件上每秒处理的查询量多20倍[3]。这意味着你几乎能以相同的检索质量，换取更低的延迟和成本——这正是用户愿意信赖的那种权衡。
同样地，一个专注于土耳其语的200M参数嵌入模型，在语义相似度基准测试中超越了其300M参数的教师模型（皮尔逊相关系数77.55对73.84），而训练成本仅在单块GPU上花费5至20美元[2]。启示在于：当小型模型在合适的数据上进行微调时，它们可以胜过大型模型。但关键在于，这些提升是任务特定的——土耳其语模型在土耳其语任务上表现出色，而赞助搜索模型则是针对广告查询调优的。因此，信任需要与你的领域相匹配的基准测试，而不仅仅是通用的排行榜。
为什么即使用户模型既快又准，用户仍不信任检索结果？
即使是一个效率完美的嵌入模型，如果其背后的来源不可靠，也可能给出用户不信任的答案。在一个回答欧盟相关问题的政府AI服务中，专家评估员发现，35%的网页搜索答案中至少有一个引用的来源被标记为不可信或不相关，而经过策划的来源被标记的频率则低得多——仅因过时而被标记[1]。这表明检索质量（找到相关文本）和来源可信度（引用可靠的来源）是两回事，而用户对两者都很在意。
同一项研究还发现，表述流畅度和主题契合度并不能预测来源的可信度——一个答案可能读起来很通顺，但引用的却是糟糕的来源[1]。这对信任问题是一个关键启示：用户需要了解答案来源的透明度，而不仅仅是生成速度。研究还表明，简单的提示词层面修复（如添加可信域名列表）仅能将引用这些域名的比例从12%提升到21%，这意味着系统设计本身，而非仅仅提示词，必须解决来源质量问题[1]。
是什么让成本声明显得可信？
对成本与质量权衡的信任，也取决于成本数据的可复现性和透明度。土耳其模型论文明确报告了5至20美元的训练成本，并公开了所有工件——模型权重、分词器、预计算嵌入及工具——以便他人验证其主张[2]。同样，赞助搜索研究提供了详细的设计选择（对齐目标、嵌入维度、模型规模），并通过在线A/B测试验证了收入提升1%的效果[3]。这种详细程度使用户能够评估该权衡是否适用于自身约束条件。
相比之下，一项针对电影推荐的小模型微调研究显示，在24GB GPU上微调后，Recall@10从0.56提升至0.81，但未披露总训练成本或推理延迟[4]。尽管质量提升令人印象深刻，但成本细节的缺失使得“成本高效”这一说法更难令人信服。结论是：应关注那些同时量化质量指标与实际资源消耗，并公开足够信息以供复现的论文。
关于这些来源
本回答基于5项同行评审研究——发表于2025年至2026年，其中5项为2024年或之后——这些研究是从5项通过质量筛选的研究中选出的最相关成果，而这些研究又源自从超过5亿篇论文的数据库中检索到的42篇文献。
本文引用的文献
公共AI信息服务中的策展检索与开放网络搜索：覆盖度与信任度的权衡
在政府AI服务上线前的专家评估中，35%的网络搜索答案至少包含一个被标记的来源（大多不可信或不相关），而经过筛选的来源被标记的频率则低得多；流畅度并不能预示可信度。
通过跨语言分词器手术与离线蒸馏，将多语言嵌入模型适配至土耳其语
一个拥有2亿参数的土耳其语嵌入模型，通过离线蒸馏训练5至20轮，在语义相似度任务上超越了3亿参数的教师模型（皮尔逊相关系数77.55对73.84），并在TR-MTEB上达到63.9%的成绩，所有相关资源均已公开。
HARNESS-LM：一种在赞助搜索检索中利用小型语言模型的三阶段训练方案
一个拥有1.9亿参数的学生检索器恢复了教师模型（10亿参数）超过98%的精度，同时运行速度快27倍、吞吐量高20倍，在线A/B测试显示赞助搜索收入提升1%。
微调小型大语言模型以实现高质量语义搜索：一种比基础模型更具成本效益的替代方案
对小型模型（Gemma 3 + Granite Embedder）进行电影元数据微调后，Recall@10从0.56提升至0.81，平均余弦相似度从0.43提升至0.72，但论文未报告总训练成本或延迟。
通过智能体程序搜索实现冻结嵌入模型的测试时计算
一个冻结的嵌入模型，在通过智能体程序搜索获得测试时计算后，在14个发现任务上提升了nDCG@10，并迁移到19个保留任务上，在更高计算预算下实现了54-57%的胜率，且无需任何训练。