利用 Wiki LLM 索引提升机器学习课程学习效果

arXiv:2609.25303v1 公告类型：新发布 摘要：大语言模型（LLM）越来越多地被部署为针对特定课程的辅导工具，但其实用性取决于模型是否扎根于经过审核的教学材料，而这些材料往往会在学期中途进行修订。我们此前的工作构建了一个基于真实机器学习课程语料库（《机器学习基础》）的多模态检索增强生成（RAG）系统，并发现检索能够改善上下文扎根性，但固定的检索策略并非最优。这引出了另一个问题：语料库在导入时的结构组织方式，是否比查询时检索内容的多少更为关键。我们在同一课堂语料库上，对两种知识表示进行了受控的正面对比：（A）向量 RAG，复现我们此前研究中表现最佳的配置；（B）LLM 编译的 wiki（Karpathy 框架），即在导入时将语料库综合整理为带有明确交叉引用和来源引用的链接式概念页面。我们评估了 59 个问题，涵盖单一事实回忆、跨单元概念关联、综合与解释，以及教学大纲修订后的时效性，并由 LLM 评判根据人工编写的评分标准进行打分。两种表示在单一事实问题上表现相当（满分 10 分，分别为 9.33 和 9.96），但在需要跨课程单元建立关联的问题上出现明显分化。编译后的 wiki 保持了准确性和扎根性（9.93 分；100% 扎根于所引用的来源），而检索方案的得分较低，且扎根性明显更差（8.14 分；64%）。wiki 的引用功能让学生和教师可以将任何论断追溯到首次介绍该内容的讲义，从而增加了一层机器学习课程所需的动态检索能力。尽管仍需进一步测试，但使用 AI 辅助机器学习课程学习的教师应考虑采用基于 wiki 的结构，因为它有潜力支撑最佳实践的基础要素。