125 lines
3.1 KiB
Markdown
125 lines
3.1 KiB
Markdown
# 知识库多人协作处理方案
|
||
|
||
## 一、分工方式
|
||
|
||
将 PDF 文件按数量或类型分配给不同人员处理：
|
||
|
||
| 人员 | 负责文件 | 预计时间 |
|
||
|-----|---------|---------|
|
||
| 人员A | 心理测量类 (10个PDF) | 2-3小时 |
|
||
| 人员B | 心理治疗类 (10个PDF) | 2-3小时 |
|
||
| 人员C | 心理学基础 (10个PDF) | 2-3小时 |
|
||
|
||
## 二、每个人需要的文件
|
||
|
||
将以下文件打包发给每个处理人员：
|
||
|
||
```
|
||
rag-python-处理包/
|
||
├── batch_index.py # 索引脚本
|
||
├── config.py # 配置文件
|
||
├── document_parser.py # 文档解析
|
||
├── text_splitter.py # 文本分块
|
||
├── vector_store.py # 向量存储
|
||
├── knowledge_docs/ # 空目录，用于放PDF
|
||
├── index_data/ # 空目录，存放结果
|
||
└── requirements.txt # Python依赖
|
||
```
|
||
|
||
## 三、处理人员操作步骤
|
||
|
||
### 1. 环境准备
|
||
|
||
```bash
|
||
# 安装 Python 依赖
|
||
pip install -r requirements.txt
|
||
|
||
# 安装 Tesseract OCR（用于扫描版PDF）
|
||
# Windows: 下载安装 https://github.com/UB-Mannheim/tesseract/wiki
|
||
# 安装时勾选中文语言包
|
||
|
||
# 安装 Ollama 并下载嵌入模型
|
||
ollama pull nomic-embed-text
|
||
```
|
||
|
||
### 2. 放入 PDF 文件
|
||
|
||
将分配的 PDF 文件放入 `knowledge_docs/` 目录
|
||
|
||
### 3. 执行索引
|
||
|
||
```bash
|
||
python batch_index.py
|
||
```
|
||
|
||
等待处理完成，会显示：
|
||
- 处理进度
|
||
- 每个文件的字符数和向量块数
|
||
- 总耗时
|
||
|
||
### 4. 返回结果
|
||
|
||
处理完成后，将 `index_data/` 文件夹打包发回：
|
||
- 重命名为 `index_data_姓名/`
|
||
- 包含 `documents.json` 和 `faiss.index` 两个文件
|
||
|
||
## 四、合并索引（汇总人员操作）
|
||
|
||
### 1. 收集所有人的结果
|
||
|
||
将各人返回的 `index_data_xxx/` 文件夹放到 `to_merge/` 目录：
|
||
|
||
```
|
||
rag-python/
|
||
├── to_merge/
|
||
│ ├── index_data_张三/
|
||
│ │ ├── documents.json
|
||
│ │ └── faiss.index
|
||
│ ├── index_data_李四/
|
||
│ │ ├── documents.json
|
||
│ │ └── faiss.index
|
||
│ └── index_data_王五/
|
||
│ ├── documents.json
|
||
│ └── faiss.index
|
||
└── merge_index.py
|
||
```
|
||
|
||
### 2. 执行合并
|
||
|
||
```bash
|
||
python merge_index.py
|
||
```
|
||
|
||
### 3. 验证结果
|
||
|
||
```bash
|
||
python app.py
|
||
# 访问 http://localhost:5000/api/stats 查看统计
|
||
```
|
||
|
||
## 五、注意事项
|
||
|
||
1. **Ollama 必须运行** - 所有处理人员的电脑都需要运行 Ollama
|
||
2. **模型要一致** - 都使用 `nomic-embed-text` 模型
|
||
3. **避免重复文件** - 不同人员处理的 PDF 不要重复
|
||
4. **大文件耐心等待** - 200MB 的 PDF 可能需要 30-60 分钟
|
||
|
||
## 六、常见问题
|
||
|
||
### Q: 处理中断了怎么办？
|
||
A: 删除 `index_data/` 目录，重新运行 `batch_index.py`
|
||
|
||
### Q: 某个 PDF 处理失败怎么办？
|
||
A: 检查 PDF 是否损坏，或尝试用其他工具转换格式
|
||
|
||
### Q: 合并后发现有重复怎么办？
|
||
A: 合并脚本会自动去重（按文件名判断）
|
||
|
||
## 七、预估时间
|
||
|
||
| PDF 类型 | 大小 | 预估时间 |
|
||
|---------|------|---------|
|
||
| 文字版 PDF | 10MB | 1-2 分钟 |
|
||
| 扫描版 PDF | 10MB | 5-10 分钟 |
|
||
| 大型扫描版 | 200MB | 30-60 分钟 |
|