检索、版本与引用
在目录里核对和检索文档,管理生效版本,引用怎样定位到页和表格行。
目录与检索
打开「知识库(知汇) › 检索 › 目录与检索」。顶部选一个资料来源,页面显示它的已索引文档数、最近同步时间和是否「尚有待同步资料」,点「管理来源」回到来源配置。
浏览目录
没有输入关键词时,页面是「索引目录」:文档名称、格式与大小、索引状态和更新时间,可以按文档名称筛选。点文档名称,右侧打开详情抽屉,里面有:
- 文档信息:文件名、文字和片段数量、同步时间(北京时间)、「文内表格」。有来源系统的 https 原文链接时,显示「打开来源系统原文」。
- 「生效版本」:状态、日期和它是从哪里识别的,管理员可以在这里修改,见「生效版本」一节。
- 「相似文档」:同一制度的另一版本、近似重复的副本和主题相近的资料,并标出内容重合度。
- 「索引文字」:提取出的文字,可以在「正文预览」和「原始索引」之间切换,也可以「复制全文」。预览按索引保存的文字和换行显示,不还原 Word、PDF 的版式。
- 「索引版本与引用标识」:文档 ID、索引版本和远程文档 ID,排查引用时用。
关键词检索
在「检索来源内容」里输入关键词,点「检索」。可用的条件:
- 「在全部已授权来源中检索」:不勾选时只检索当前来源。
- 「格式」:PDF、OFD、DOCX、DOC、XLSX、XLS、PPTX、PPT、MD、TXT、HTML、CSV。
- 「更多筛选」里的「来源目录」(当前来源里文档所在的目录;勾选「在全部已授权来源中检索」时不显示)、「同步不早于」和「生效日期」。
生效中的条件显示为标签,每个可以单独去掉,也可以「清除全部条件」。默认的检索方式是关键词检索:中文按相邻两个字切词,单字查询匹配包含该字的词;标题命中的权重高于章节标题和工作表名,完整的查询短语出现在片段里有额外加分。每条结果显示标题、位置(页、工作表、幻灯片或章节)、生效状态,点「引用依据」展开引用的各个字段,点「查看索引片段」打开所属文档。
检索结果可以点「保存为常用检索」,也可以导出为 Markdown 或 CSV。导出时会重新检索并逐条核对引用,每个片段最多 500 字,文件最大 1 MiB。这里导出的是检索到的片段,不是原文件。
检索默认只检索今天有效的现行文档,页面上显示为「检索范围」,旁边有「检索规则说明」。要查历史,在「生效日期」里指定日期,下面的「生效版本」一节有详细说明。
生效版本
制度、手册会出新版本,也会废止旧版本。知汇给每份文档记录状态和生效区间,让检索默认不引用已经废止的条款。
| 状态 | 含义 | 默认检索 |
|---|---|---|
| 现行 | 当前有效。没有任何记录的文档按现行处理,生效日期显示为「生效日期未知」 | 返回今天有效的现行文档 |
| 废止 | 已经废止。有「最后生效日」,含当天 | 不返回。指定生效日期后,当天有效的历史版本会返回,但没有填最后生效日的废止文档不会出现在按日期检索的结果里 |
| 草案 | 征求意见稿、讨论稿一类 | 不返回,也不会出现在按日期检索的结果里,要把状态条件设为草案才能查到 |
修改生效状态不会改变文档的内容版本,已有的引用继续有效。
状态和日期怎么识别
同步时按下面的顺序取值:
- 管理员已经手动设置过的,保留管理员的值,重新同步不会覆盖。
- 来源平台的自定义字段,按该来源的「生效版本字段」映射取值。
- 按规则识别。日期从文件名、标题和正文前 3,000 字里找,能识别的写法如「自2024年1月1日起施行」「生效日期:2024-01-01」「有效期至 2025/6/30」「于2023年12月31日废止」。状态只看文件名和标题:含「征求意见稿」「草案」「讨论稿」「送审稿」的记为草案,含「已废止」「作废」「已失效」的记为废止。
三步都没有结果时,文档按「现行、日期未知」处理。规则只认上面这些写法,识别错了要由管理员手动改。
设置「生效版本字段」
目前只有 S3 来源能映射自定义字段,字段来自对象元数据(x-amz-meta-*)。飞书、钉钉、腾讯文档、Confluence、WebDAV 和本地目录的接口不提供自定义字段,只能按规则识别。S3 来源的详情页里有「生效版本字段」卡片:
| 字段 | 怎么填 |
|---|---|
| 「状态字段」 | 字段名与来源一致,例如「状态」。同步读到的字段名会列在卡片里,可以直接选 |
| 「现行(生效)取值」「废止(失效)取值」「草案取值」 | 多个取值用逗号或顿号分隔,不区分大小写,同一个取值不能对应两种状态 |
| 「生效日期字段」「失效日期字段」 | 支持 2024-01-01、带时区的时间(换算为北京时间的日期)、2024年1月1日、2024/1/1。失效日期是最后生效日,早于生效日期时被忽略 |
保存或清除映射后,下次同步会重新读取该来源的全部文档。S3 对象只改了元数据时 ETag 可能不变,增量同步不会重新读取,需要立即生效时,修改后保存映射(或清除后重新设置);内容没变时保存按钮是禁用的。
管理员手动修改
在文档详情抽屉的「生效版本」里点「修改生效版本」,设置「状态」「生效日期」「最后生效日」,保存。最后生效日不能早于生效日期。手动设置的来源显示为「管理员设置」,不会被后续同步覆盖。点「恢复自动识别」可以改回按来源字段和规则取值。只有知汇管理员能修改,修改记入运行日志,操作名是「设置生效版本」。
待确认的废止
新文件常在正文里写明废止旧文件,例如「《某某管理办法》(文号)同时废止」。知汇按文号(优先)或标题找出这些旧文件,列在「目录与检索」页顶部的「待确认的废止」里,每条显示旧文件、替代它的新文件、匹配方式(「按文号」「按标题」「疑似旧版本」)和原文条款。管理员逐条处理:
- 「确认废止」:旧文件改为废止,不再出现在默认检索里。
- 「保持现行」:不再提示。
两个操作都等于手动设置生效版本,处理过的不会再出现。候选只在旧文件是现行且没有手动设置过、新文件是现行、两者当前身份都能读取时给出,不会自动应用。没有废止条款、但有同名同发文机关而且日期更晚的文件时,旧文件会作为「疑似旧版本」列出。最多列出 200 条。
Agent 检索时,命中的文档如果有更新日期更晚的同名文件,结果会多带一个「有更新版本」的提示,Agent 引用时应当说明,或者改用新版本。
查历史版本
默认检索只返回今天有效的现行文档。要查某个日期的情况,在「更多筛选」里填「生效日期」,检索范围会变成「某日当天有效的版本(含已废止的历史版本)」。Agent 检索时用 filters.as_of 指定日期,或用 filters.statuses 指定状态。只给出 document_refs 取不到废止的文档,必须同时指定日期。
引用与文内表格
引用怎么定位
提取时,知汇保留文档的结构:PDF 每页、Excel 每个工作表、PowerPoint 每张幻灯片、Word 和 HTML 的标题层级、Markdown 的标题。分块以结构为单位,不超过 2,000 字符的页、表、幻灯片或章节保持完整,更大的在换行或句末附近拆开,相邻部分重叠 200 字符。大型工作表按行拆分,每一部分重复工作表名和表头行。
| 引用字段 | 内容 |
|---|---|
位置(section) | 「第 3 页」「工作表「销售」」「幻灯片 5」「报销制度 > 差旅」。拆分过的附「(第 i/n 部分)」 |
结构定位(source_locator) | knowledge://文档/版本#page=3、#sheet=销售、#slide=5、#heading=差旅;没有结构的纯文本是 #chunk=N |
| 页码 | PDF 另有页码 |
| 文档 ID、索引版本、片段 ID、片段哈希 | 把引用绑定到某份文档的某个版本和某段文字 |
文档的内容、分块方案或结构变了,会产生新的版本,旧版本的引用无法再读取,不会指向不同的文字。
引用复核
知汇在输出结果前,会按当前授权和当前版本重新核对引用。Agent 可以调用 answer.verify 核验一组引用:每条都必须是检索、读取等操作返回的原样引用,仍是当前版本、调用者仍可读、摘要哈希一致。任何一条无效,整体拒绝,并且不说明是哪一条、是过期还是无权,避免有人借核验去探测资料。
文档里的表格
制度、通知里常有费用标准、审批矩阵这类表格。知汇在提取 DOCX 和 PDF 的文字层时,把表格抽成可以按行读取的表,编号为「表格 1」「表格 2」,按出现顺序。第一行是表头。Agent 用 table.read 读取,可以选列,也可以按列值做等值筛选。XLSX、CSV、TSV 按工作表读取,飞书的电子表格和多维表格同步后也是工作表的形态。
抽不准的表格不会猜,标为「未结构化」并写明原因。文档详情里的「文内表格」会显示「N 张可按行读取 · M 张未结构化」和每张的原因(带页码)。对未结构化的表格,Agent 的读取会被拒绝,并提示改用 document.read 读原文。常见原因:
- DOCX:含合并单元格,表格里嵌套了表格,行首或行尾缺单元格,各行列数不一致,超过 1,000 行、50 列或单元格超过 2,000 字。只有一个单元格的排版框和完全空白的表不算数据表格。
- PDF:只识别画有框线的表格。内部框线缺段,文字跨过列线,行与行之间缺横线无法判断归属,只有横线没有竖线而列边界不明,或超过上限,都会标为未结构化。
每份文档最多 100 个表格、20,000 个单元格。没有框线的 PDF 表格和没有文字层的扫描件不抽表格,也不会出现在未结构化的列表里,内容仍然在正文里,可以检索和用 document.read 读取。PPTX、HTML、OFD 里的表格不抽取。已有文档要等文件变化重新同步后,才会补抽表格。