校园AI导师的本地部署多课程RAG教学：软硬件权衡分析

arXiv:2610.02510v1 公告类型：新发布 摘要：基于检索增强生成（RAG）的校园 AI 助教必须将回答严格锚定在指定课程材料上，同时确保教材与师生对话数据留在校内基础设施中。我们推出 CourseChat——一个面向本科商科教育的本地化（on-premises）多课程 RAG 助教系统，部署于校园 Web 网关之后，并设计为内嵌于 Moodle 中使用。六个相互隔离的课程实例各自以课程参考编号（CRN）为键，共享双边缘 AI 主机，每台主机运行 FastAPI 服务、本地向量数据库，以及由 Ollama 托管的本地大语言模型（LLM）。我们报告了两轮生成模型对比测试、一项独立的固定证据源保真度对比，以及对话与测验审计。多款较大模型未能通过课堂速度门槛，而一个 12B 模型和一个 7B 备选模型通过；另一个 mixture-of-experts 候选模型虽改进了部分纠错，却引入了新的史实性与连贯性错误。因此，在出现可验证的整体改进之前，我们保留现有的 8B 生产模型，而非断言 8B universally 最优。软件迭代改进了追问话题解析能力，同时保持了课程范围边界；覆盖 65 个模块的 435 道预置题目将练习功能与实时生成解耦。研究结果支持将模型选择、证据选取、服务兼容性与产品设计视为一项联合工程决策。本研究并未证实学习收益：教师评分、峰值负载容量以及完整的公共网关验收仍是待完成的独立评估项。