同步与文件格式
测试连接、同步资料、设置定时同步,以及支持哪些文件格式。
测试连接与同步
选中一个已保存的来源,页面下方的「连接与同步」卡片显示四行状态,并给出下一步:
| 状态行 | 可能的取值 | 含义 |
|---|---|---|
| 连接 | 「未测试」「连接测试通过」「连接测试未通过」;本地文库显示「目录读取」 | 以手动点「测试连接」的结果为准。测试只检查能否连接并读取,不开启定时同步,也不扩大读取范围 |
| 凭据 | 「已保存 · 不回显」「未保存」;本地文库显示「不需要」 | 非本地来源在凭据保存之前,测试和同步按钮不可用 |
| 最近同步 | 「手动 · 成功」「手动 · 部分完成」「手动 · 失败」,定时同步显示为「定时」;还没同步过显示「尚未同步」 | 同时给出更新索引、未变化、失败、已处理的数量,和「尚有待同步资料」的提示 |
| 可检索 | 「已有索引」「暂无可检索资料」 | 「已有索引」表示最近一次同步后有资料可以检索。同步完成但没有可检索资料时,要检查读取范围里有没有受支持格式的文件 |
三个按钮:
- 测试连接:校验凭据和范围,并读取前几个条目。不同来源的提示不同,例如飞书缺权限时会列出需要开通的权限名,WeKnora 会指出配置的知识库里找不到哪几个 ID。
- 同步资料:读取来源并建立索引。每一批最多处理 50 份文档,同时受约 90 秒和 50 页列表的限制,先到者为准。没读完时按钮变成「继续同步下一批」,状态里会显示「尚有待同步资料」,在资料读完之前,目录里只有已同步的部分。
- 读取同步记录:列出每次测试连接、同步和定时设置的时间、结果和索引变化。
同步结果的三种状态:
- 成功:本轮读取完成,没有失败。
- 部分完成:一批只处理了 50 份,后面还有;或者有文档读取失败,其余已建立索引;或者前面的批次出现过失败或不支持的内容。说明栏会写出原因。
- 失败:本轮出错,或者读取的文档全部失败。
同步有几条规则,值得知道:
- 来源的文档没变化,就不重新生成索引,记为「未变化」。WebDAV、S3、WeKnora 和 Confluence 用列表里的 ETag、更新时间或版本号判断,没变化的不重新下载,也不占每批 50 份的额度。
- 内容变了,文档保持原来的标识,生成新的内容版本,旧版本的引用不能再读取。
- 同步从来源系统消失的文档时,只有确认读取范围已完整覆盖、并且整轮没有失败或不支持的内容,才会撤回它们的索引。范围无法确认完整时,不会据此删除任何索引。
- 目录和检索展示的是最近一次成功同步的快照,不是来源系统的实时内容。
- 不支持的文档类型会在同步记录里说明,例如飞书旧版文档、思维笔记、快捷方式和多维表格里的附件,钉钉的表格和其他类型的节点。
规模上限
| 范围 | 上限 |
|---|---|
| WebDAV、S3、WeKnora 单个来源 | 10,000 份文档。超过时同步停止并说明原因,不撤回任何索引,需要缩小目录或前缀,WeKnora 可以减少知识库或用「只同步的目录」缩小范围 |
| 本地目录、飞书云盘、Confluence 单个来源 | 各自保留 1,000 份的上限。本地目录另有 10,000 个目录条目、20 层子目录的限制,超过要缩小子目录范围 |
| 钉钉单个来源 | 1,000 个节点(含文件夹),不是 1,000 份文档 |
| 腾讯文档单个来源 | 1,000 个目录项,不是 1,000 份文档 |
| 飞书知识库单个来源 | 遍历节点超过 500 个时停止,没有单独的文档数上限 |
| 所有来源合计 | 最多 10,000 份文档。超过时同步停止并提示,不撤回已有索引。单个来源的上限和总上限同时生效 |
| 其他遍历上限 | WebDAV:20,000 个条目、256 个目录、32 层。S3:20,000 个对象。飞书云盘:256 个文件夹、10,000 项、32 层。Confluence:页面层级 32 层 |
| 单个文件 | 20 MiB,提取出的文字不超过 200,000 字符 |
定时同步
在已保存且凭据就绪的来源下,「定时同步」卡片可以设置同步间隔。选项有:不定时(仅手动同步)、每 15 分钟、每 30 分钟、每小时、每 2 小时、每 6 小时、每 12 小时、每天、每周。选好后点「保存定时设置」,面板会先确认:知汇将按这个间隔以只读方式读取来源系统。
- 每分钟检查一次到期的来源,以模块自己的管理员身份运行,流程和手动同步相同。
- 定时同步和手动同步不会同时运行。点「同步资料」时若来源正在同步,会提示来源配置已更新或该来源正在同步,稍后再试。
- 一批没读完时,1 分钟后自动继续下一批;读完后按间隔安排下一次。
- 一次同步失败后,下次运行会延后,延后时长是间隔的 2 的连续失败次数次方倍,最长 1 天,间隔本身更长时按间隔。成功后清零。卡片上会显示下次运行时间和连续失败次数。
- 新建的 WeKnora 来源默认每 60 分钟自动同步一次,可以在这里修改或关闭。其他平台默认不开启。
- 同步记录里,定时同步显示为「定时同步索引」,修改设置显示为「定时同步设置」。
文件格式与提取
| 类别 | 格式 | 前提和说明 |
|---|---|---|
| 直接提取 | TXT、Markdown、CSV、TSV、JSON、HTML、PDF、DOCX、XLSX、PPTX、OFD | OFD 只取文字,不还原版式、图片和签章。PDF 需要有文字层,没有文字层的页面见 OCR |
| 旧版 Office | DOC、XLS、PPT | 需要 LibreOffice。知汇镜像已内置并默认开启,转成新格式后提取文字。转换在私有临时目录中进行,超过 60 秒终止,禁止宏。关闭后这些文件只保存原文件并注明原因,配置后重新同步这个来源,这些文件会重新提取 |
| 图片 | PNG、JPEG、WebP、GIF、TIFF | 需要启用 OCR。OCR 默认关闭,要设置 ECHOMIND_KNOWLEDGE_OCR=on 并在镜像里装 Tesseract,语言默认 chi_sim+eng。每份文档最多识别 60 张图像、合计 120 秒。未启用时图片只保存原文件并显示原因,扫描版 PDF 会提示需要启用 OCR,其他格式不受影响 |
| 云文档 | 飞书的文档、电子表格、多维表格,钉钉原生文字文档,腾讯文档,Confluence 页面 | 按平台接口读取正文。飞书的电子表格和多维表格按工作表转成文字。Confluence 页面里白名单之外的宏、附件会让整页被拒绝,同步记录里写明原因 |
在「知识库(知汇) › 检索 › 目录与检索」里,每份文档有一个「索引状态」:「已索引」表示已有可检索文字,「暂无文本」表示只保存了原文件信息,没有提取出文字,「提取失败」表示提取出错。
索引保存提取出的文字、位置、标题、格式、大小、摘要哈希和同步时间,不保存原文件副本。