企业知识库的失败,九成不在模型,而在资料。模型只是最后一道工序,前面越乱,后面越玄。真正决定成败的是资料清洗、知识结构化、问答调优这三个阶段,缺任何一环,最后都会退化成一个“会说漂亮话但不靠谱”的聊天框。
第一步:资料清洗——把“能搜到”变成“能读懂”
企业资料通常有三类通病:格式混乱(扫描件 PDF、微信截图、十年前的老 PPT 混在一起)、版本冲突(同一份制度三个版本,没人知道哪个有效)、边界不清(哪些内容能对外说,从来没人界定)。我的做法是不做全量治理,先圈场景:挑 3~5 个高频高价值的问答场景,比如售后故障排查、报价与交期、新员工入职,只清洗这些场景真正会用到的资料。
判断标准只有三条:一主题一文件、标题直接写成问题、单段不超过 300 字。我们给一家制造业客户做试点,2.8 万份资料清洗后只保留 4200 份进入知识库,问答准确率从 51% 提升到 78%。清洗不是删资料,是把噪声换成信号。
第二步:知识结构化——让机器知道“在什么条件下适用”
模型不缺知识点,缺的是上下文。切片要按语义段落切,不能按字数硬切;每一片必须携带元数据:来源文档、版本、生效日期、适用部门或产品线。否则它会把 2021 年的旧政策当成现行制度念给你听。
三个实操要点:
- 问答对沉淀:从客服工单、销售聊天记录里提炼用户的真实问法,一问一配标准答案,比让模型自己“悟”可靠得多。
- 表格单独走结构化查询:报价、参数、库存这类数据不要塞进向量库,交给数据库或接口精确查询,模型只负责组织语言。
- 元数据先行:能给出引用出处的答案,员工才敢用,采纳率往往是没有引用的两倍以上。
第三步:问答调优——从“能答”到“敢用”
上线不是终点,调优主要三件事:检索侧用向量加关键词混合召回再重排,纯向量检索在型号、编号、专有名词上经常失手;提示词侧明确约束“仅依据检索到的资料作答,无依据时直接说不知道并转人工”;运营侧建立反馈闭环,点赞点踩和未解决问题每周归集复盘。
这里有个数字值得记住:某客户上线首月沉淀 240 条 badcase,复盘后 62% 是资料缺失,28% 是切片错误,只有 10% 是模型本身的问题。体系里最危险的不是答错,而是理直气壮地编造,所以我盯的第一个指标是“无依据回答率”,控制在 5% 以内,比准确率更说明问题。