定位问题
This commit is contained in:
parent
91493c36d4
commit
4d3ae549e1
|
|
@ -1,2 +1,5 @@
|
||||||
DATABASE_URL=mysql+pymysql://root:rootx77@localhost:3306/fastadmin?charset=utf8mb4
|
DATABASE_URL=mysql+pymysql://root:rootx77@localhost:3306/fastadmin?charset=utf8mb4
|
||||||
USER_INFO_API=http://127.0.0.1:30100/api/user_basic/get_user_basic
|
USER_INFO_API=http://127.0.0.1:30100/api/user_basic/get_user_basic
|
||||||
|
|
||||||
|
# 语音通话超时设置（秒）- 增加到120秒以适应ASR+LLM+TTS处理时间
|
||||||
|
VOICE_CALL_IDLE_TIMEOUT=120
|
||||||
100
xuniYou/App端实时录音配置说明.md
Normal file
100
xuniYou/App端实时录音配置说明.md
Normal file
|
|
@ -0,0 +1,100 @@
|
||||||
|
# App 端实时录音配置说明
|
||||||
|
|
||||||
|
## 让 recorderManager.onFrameRecorded 在 App 端工作的关键配置
|
||||||
|
|
||||||
|
### 必须满足的条件：
|
||||||
|
|
||||||
|
1. **format 必须是 'pcm'**
|
||||||
|
```javascript
|
||||||
|
format: 'pcm' // 不能是 mp3 或 aac
|
||||||
|
```
|
||||||
|
|
||||||
|
2. **必须设置 frameSize**
|
||||||
|
```javascript
|
||||||
|
frameSize: 5 // 单位 KB，建议 1-10
|
||||||
|
```
|
||||||
|
|
||||||
|
3. **sampleRate 必须是标准值**
|
||||||
|
```javascript
|
||||||
|
sampleRate: 16000 // 只能是 8000/16000/44100
|
||||||
|
```
|
||||||
|
|
||||||
|
4. **完整配置示例**
|
||||||
|
```javascript
|
||||||
|
recorderManager.start({
|
||||||
|
duration: 600000, // 最长录音时间
|
||||||
|
sampleRate: 16000, // 采样率
|
||||||
|
numberOfChannels: 1, // 单声道
|
||||||
|
encodeBitRate: 48000, // 编码比特率
|
||||||
|
format: 'pcm', // 关键：必须 pcm
|
||||||
|
frameSize: 5, // 关键：必须设置
|
||||||
|
audioSource: 'auto' // 音频源
|
||||||
|
})
|
||||||
|
```
|
||||||
|
|
||||||
|
## 工作原理
|
||||||
|
|
||||||
|
### 实时流式传输模式（推荐）
|
||||||
|
- 按住按钮 → 开始录音
|
||||||
|
- 录音持续进行，实时产生音频帧
|
||||||
|
- 按住时：发送音频帧到服务器
|
||||||
|
- 松开时：停止发送（但录音继续）
|
||||||
|
- 再次按住：继续发送
|
||||||
|
|
||||||
|
### 优点
|
||||||
|
- 低延迟，实时传输
|
||||||
|
- 服务器可以实时处理
|
||||||
|
- 用户体验好
|
||||||
|
|
||||||
|
### 缺点
|
||||||
|
- 需要 PCM 格式（文件较大）
|
||||||
|
- 需要服务器支持流式处理
|
||||||
|
|
||||||
|
## 备用方案
|
||||||
|
|
||||||
|
如果 `onFrameRecorded` 仍然不工作，会自动降级到 `onStop` 方案：
|
||||||
|
|
||||||
|
```javascript
|
||||||
|
recorderManager.onStop((res) => {
|
||||||
|
// 读取完整录音文件
|
||||||
|
// 一次性发送到服务器
|
||||||
|
})
|
||||||
|
```
|
||||||
|
|
||||||
|
## 调试技巧
|
||||||
|
|
||||||
|
1. **查看日志**
|
||||||
|
- `✅ 录音已开始` - 录音启动成功
|
||||||
|
- `🎤 收到音频帧 #1` - 实时帧工作
|
||||||
|
- `⏹️ 录音已停止` - 降级到备用方案
|
||||||
|
|
||||||
|
2. **如果没有音频帧**
|
||||||
|
- 检查 format 是否为 'pcm'
|
||||||
|
- 检查 frameSize 是否设置
|
||||||
|
- 检查 manifest.json 中 Record 模块是否启用
|
||||||
|
|
||||||
|
3. **性能优化**
|
||||||
|
- frameSize 越小，延迟越低，但回调频率越高
|
||||||
|
- 建议值：3-5 KB
|
||||||
|
|
||||||
|
## 服务器端要求
|
||||||
|
|
||||||
|
服务器需要支持：
|
||||||
|
1. WebSocket 连接
|
||||||
|
2. 接收 PCM 格式音频流
|
||||||
|
3. 实时语音识别（如果需要）
|
||||||
|
4. 返回音频响应
|
||||||
|
|
||||||
|
## 当前状态
|
||||||
|
|
||||||
|
✅ 录音功能已实现
|
||||||
|
✅ 文件发送已成功
|
||||||
|
⚠️ 需要测试实时帧是否工作
|
||||||
|
⚠️ 需要检查服务器端处理
|
||||||
|
|
||||||
|
## 下一步
|
||||||
|
|
||||||
|
1. 重新编译并测试
|
||||||
|
2. 查看是否有 `🎤 收到音频帧` 日志
|
||||||
|
3. 如果有，说明实时流式传输工作
|
||||||
|
4. 如果没有，会自动使用备用方案（文件发送）
|
||||||
222
xuniYou/idle_timeout问题分析.md
Normal file
222
xuniYou/idle_timeout问题分析.md
Normal file
|
|
@ -0,0 +1,222 @@
|
||||||
|
# "idle timeout" 问题分析
|
||||||
|
|
||||||
|
## 问题来源
|
||||||
|
|
||||||
|
错误来自 **FastAPI 服务器**（`192.168.1.141:30101`）的 `lover/routers/voice_call.py` 文件。
|
||||||
|
|
||||||
|
## 代码分析
|
||||||
|
|
||||||
|
### 1. idle timeout 的触发位置
|
||||||
|
|
||||||
|
在 `VoiceCallSession` 类中有两个超时检测：
|
||||||
|
|
||||||
|
#### 1.1 空闲超时（idle timeout）
|
||||||
|
|
||||||
|
```python
|
||||||
|
async def _idle_watchdog(self):
|
||||||
|
timeout = settings.VOICE_CALL_IDLE_TIMEOUT or 0
|
||||||
|
if timeout <= 0:
|
||||||
|
return
|
||||||
|
try:
|
||||||
|
while True:
|
||||||
|
await asyncio.sleep(5)
|
||||||
|
if time.time() - self.last_activity > timeout:
|
||||||
|
await self.send_signal({"type": "error", "msg": "idle timeout"})
|
||||||
|
await self.close()
|
||||||
|
break
|
||||||
|
except asyncio.CancelledError:
|
||||||
|
return
|
||||||
|
```
|
||||||
|
|
||||||
|
**触发条件**：
|
||||||
|
- 每 5 秒检查一次
|
||||||
|
- 如果 `time.time() - self.last_activity > timeout`
|
||||||
|
- 就发送 "idle timeout" 错误并关闭连接
|
||||||
|
|
||||||
|
#### 1.2 静默超时（silence timeout）
|
||||||
|
|
||||||
|
```python
|
||||||
|
async def _silence_watchdog(self):
|
||||||
|
"""长时间静默时关闭会话，ASR 常驻不再因短静音 stop。"""
|
||||||
|
try:
|
||||||
|
while True:
|
||||||
|
await asyncio.sleep(1.0)
|
||||||
|
if time.time() - self.last_voice_activity > 60:
|
||||||
|
logger.info("Long silence, closing session")
|
||||||
|
await self.send_signal({"type": "error", "msg": "idle timeout"})
|
||||||
|
await self.close()
|
||||||
|
break
|
||||||
|
except asyncio.CancelledError:
|
||||||
|
return
|
||||||
|
```
|
||||||
|
|
||||||
|
**触发条件**：
|
||||||
|
- 每 1 秒检查一次
|
||||||
|
- 如果 60 秒内没有语音活动
|
||||||
|
- 就发送 "idle timeout" 错误并关闭连接
|
||||||
|
|
||||||
|
### 2. last_activity 的更新
|
||||||
|
|
||||||
|
`last_activity` 在以下情况更新：
|
||||||
|
|
||||||
|
```python
|
||||||
|
def _touch(self):
|
||||||
|
self.last_activity = time.time()
|
||||||
|
```
|
||||||
|
|
||||||
|
调用 `_touch()` 的地方：
|
||||||
|
1. `feed_audio()` - 接收音频数据时
|
||||||
|
2. `send_signal()` - 发送信号时
|
||||||
|
3. `_synthesize_stream()` - 发送 TTS 音频时
|
||||||
|
|
||||||
|
### 3. 问题分析
|
||||||
|
|
||||||
|
从你的日志看：
|
||||||
|
```
|
||||||
|
✅ 录音文件发送成功
|
||||||
|
❌ WebSocket 关闭, code: 1000
|
||||||
|
{"type":"error","msg":"idle timeout"}
|
||||||
|
```
|
||||||
|
|
||||||
|
**可能的原因**：
|
||||||
|
|
||||||
|
#### 原因1：服务器配置的超时时间太短
|
||||||
|
|
||||||
|
检查 `lover/config.py` 或 `.env` 文件中的配置：
|
||||||
|
```python
|
||||||
|
VOICE_CALL_IDLE_TIMEOUT = ? # 这个值可能太小
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 原因2：服务器处理音频时间过长
|
||||||
|
|
||||||
|
服务器接收音频后需要：
|
||||||
|
1. ASR 识别（~1-2秒）
|
||||||
|
2. LLM 生成回复（~2-5秒）
|
||||||
|
3. TTS 合成语音（~1-2秒）
|
||||||
|
|
||||||
|
如果 `VOICE_CALL_IDLE_TIMEOUT` 设置为 5 秒，而处理需要 6 秒，就会超时。
|
||||||
|
|
||||||
|
#### 原因3：客户端发送的是完整文件，不是流式数据
|
||||||
|
|
||||||
|
当前客户端实现：
|
||||||
|
- 录音完成后一次性发送整个 MP3 文件
|
||||||
|
- 服务器期望的是 PCM 流式数据
|
||||||
|
|
||||||
|
服务器代码中：
|
||||||
|
```python
|
||||||
|
self.recognition = Recognition(
|
||||||
|
model="paraformer-realtime-v2",
|
||||||
|
format="pcm", # 期望 PCM 格式
|
||||||
|
sample_rate=16000,
|
||||||
|
...
|
||||||
|
)
|
||||||
|
```
|
||||||
|
|
||||||
|
但客户端发送的是：
|
||||||
|
```javascript
|
||||||
|
format: 'mp3' // 发送的是 MP3
|
||||||
|
```
|
||||||
|
|
||||||
|
**这是主要问题！**
|
||||||
|
|
||||||
|
## 解决方案
|
||||||
|
|
||||||
|
### 方案1：修改服务器超时配置（临时方案）
|
||||||
|
|
||||||
|
在 `lover/.env` 或 `lover/config.py` 中增加超时时间：
|
||||||
|
|
||||||
|
```python
|
||||||
|
VOICE_CALL_IDLE_TIMEOUT = 30 # 从默认值增加到 30 秒
|
||||||
|
```
|
||||||
|
|
||||||
|
### 方案2：客户端改用 PCM 格式（推荐）
|
||||||
|
|
||||||
|
修改客户端录音配置：
|
||||||
|
|
||||||
|
```javascript
|
||||||
|
const recorderOptions = {
|
||||||
|
duration: 600000,
|
||||||
|
sampleRate: 16000,
|
||||||
|
numberOfChannels: 1,
|
||||||
|
format: 'pcm', // 改为 PCM
|
||||||
|
audioSource: 'auto'
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
**但是**：PCM 文件很大，一次性发送会很慢。
|
||||||
|
|
||||||
|
### 方案3：修改服务器支持 MP3 格式（最佳方案）
|
||||||
|
|
||||||
|
修改 `lover/routers/voice_call.py`：
|
||||||
|
|
||||||
|
```python
|
||||||
|
async def feed_audio(self, data: bytes):
|
||||||
|
# 检测音频格式
|
||||||
|
if self._is_mp3(data):
|
||||||
|
# 转换 MP3 到 PCM
|
||||||
|
pcm_data = self._convert_mp3_to_pcm(data)
|
||||||
|
data = pcm_data
|
||||||
|
|
||||||
|
# 原有逻辑
|
||||||
|
if self.recognition:
|
||||||
|
self.recognition.send_audio_frame(data)
|
||||||
|
```
|
||||||
|
|
||||||
|
### 方案4：使用流式录音（理想方案）
|
||||||
|
|
||||||
|
客户端使用实时音频帧：
|
||||||
|
```javascript
|
||||||
|
format: 'pcm',
|
||||||
|
frameSize: 5, // 启用 onFrameRecorded
|
||||||
|
```
|
||||||
|
|
||||||
|
但这需要 App 端支持 `onFrameRecorded`。
|
||||||
|
|
||||||
|
## 当前最快的解决方案
|
||||||
|
|
||||||
|
### 步骤1：增加服务器超时时间
|
||||||
|
|
||||||
|
编辑 `lover/.env` 文件：
|
||||||
|
|
||||||
|
```bash
|
||||||
|
# 在文件中添加或修改
|
||||||
|
VOICE_CALL_IDLE_TIMEOUT=30
|
||||||
|
```
|
||||||
|
|
||||||
|
### 步骤2：重启 FastAPI 服务器
|
||||||
|
|
||||||
|
```bash
|
||||||
|
# 在服务器上
|
||||||
|
cd /path/to/lover
|
||||||
|
# 停止旧进程
|
||||||
|
pkill -f "uvicorn.*main:app"
|
||||||
|
# 启动新进程
|
||||||
|
uvicorn main:app --host 0.0.0.0 --port 30101 --reload
|
||||||
|
```
|
||||||
|
|
||||||
|
### 步骤3：测试
|
||||||
|
|
||||||
|
重新测试语音通话，看是否还有 "idle timeout" 错误。
|
||||||
|
|
||||||
|
## 长期优化建议
|
||||||
|
|
||||||
|
1. **服务器端支持 MP3 输入**
|
||||||
|
- 添加音频格式检测
|
||||||
|
- 自动转换 MP3 到 PCM
|
||||||
|
|
||||||
|
2. **优化处理流程**
|
||||||
|
- 使用更快的 ASR 模型
|
||||||
|
- 优化 LLM 调用
|
||||||
|
- 使用流式 TTS
|
||||||
|
|
||||||
|
3. **客户端使用流式录音**
|
||||||
|
- 实现 PCM 实时传输
|
||||||
|
- 降低延迟
|
||||||
|
|
||||||
|
## 配置文件位置
|
||||||
|
|
||||||
|
需要检查的文件：
|
||||||
|
- `lover/.env` - 环境变量配置
|
||||||
|
- `lover/config.py` - 配置类定义
|
||||||
|
|
||||||
|
查找 `VOICE_CALL_IDLE_TIMEOUT` 的当前值。
|
||||||
|
|
@ -73,43 +73,23 @@
|
||||||
"landscape-secondary"
|
"landscape-secondary"
|
||||||
]
|
]
|
||||||
},
|
},
|
||||||
/* 原生插件配置 - 已注释，因为插件文件不存在
|
/* 原生插件配置 */
|
||||||
* 如果需要使用这些插件，请先安装插件，然后取消注释并替换下面的空对象
|
"nativePlugins" : {
|
||||||
* Agora-RTC 插件：https://ext.dcloud.net.cn/plugin?id=3720
|
"AudioRecode" : {
|
||||||
*
|
"__plugin_info__" : {
|
||||||
* 配置示例（取消注释后使用）：
|
"name" : "AudioRecode",
|
||||||
* "nativePlugins" : {
|
"description" : "录音插件",
|
||||||
* "Agora-RTC" : {
|
"platforms" : "Android,iOS",
|
||||||
* "__plugin_info__" : {
|
"url" : "",
|
||||||
* "name" : "Agora音视频插件",
|
"android_package_name" : "",
|
||||||
* "description" : "Agora官方维护的音视频插件，并且在GitHub上开源，欢迎大家积极参与问题反馈和代码贡献",
|
"ios_bundle_id" : "",
|
||||||
* "platforms" : "Android,iOS",
|
"isCloud" : false,
|
||||||
* "url" : "",
|
"bought" : -1,
|
||||||
* "android_package_name" : "",
|
"pid" : "",
|
||||||
* "ios_bundle_id" : "",
|
"parameters" : {}
|
||||||
* "isCloud" : false,
|
}
|
||||||
* "bought" : -1,
|
}
|
||||||
* "pid" : "",
|
}
|
||||||
* "parameters" : {}
|
|
||||||
* }
|
|
||||||
* },
|
|
||||||
* "AudioRecode" : {
|
|
||||||
* "__plugin_info__" : {
|
|
||||||
* "name" : "AudioRecode",
|
|
||||||
* "description" : "录音插件",
|
|
||||||
* "platforms" : "Android",
|
|
||||||
* "url" : "",
|
|
||||||
* "android_package_name" : "",
|
|
||||||
* "ios_bundle_id" : "",
|
|
||||||
* "isCloud" : false,
|
|
||||||
* "bought" : -1,
|
|
||||||
* "pid" : "",
|
|
||||||
* "parameters" : {}
|
|
||||||
* }
|
|
||||||
* }
|
|
||||||
* }
|
|
||||||
*/
|
|
||||||
"nativePlugins" : {}
|
|
||||||
},
|
},
|
||||||
/* 快应用特有相关 */
|
/* 快应用特有相关 */
|
||||||
"quickapp" : {},
|
"quickapp" : {},
|
||||||
|
|
|
||||||
|
|
@ -34,9 +34,10 @@
|
||||||
</view>
|
</view>
|
||||||
<!-- 按住说话按钮 -->
|
<!-- 按住说话按钮 -->
|
||||||
<view class="opt_item mic-button"
|
<view class="opt_item mic-button"
|
||||||
@touchstart="startTalking"
|
@touchstart.stop.prevent="startTalking"
|
||||||
@touchend="stopTalking"
|
@touchend.stop.prevent="stopTalking"
|
||||||
@touchcancel="stopTalking"
|
@touchcancel.stop.prevent="stopTalking"
|
||||||
|
@click="testClick"
|
||||||
:class="{ 'talking': isTalking }">
|
:class="{ 'talking': isTalking }">
|
||||||
<image class="opt_image" src="/static/images/phone_a1.png" mode="widthFix"></image>
|
<image class="opt_image" src="/static/images/phone_a1.png" mode="widthFix"></image>
|
||||||
<view class="opt_name">{{ isTalking ? '松开结束' : '按住说话' }}</view>
|
<view class="opt_name">{{ isTalking ? '松开结束' : '按住说话' }}</view>
|
||||||
|
|
@ -47,20 +48,6 @@
|
||||||
</template>
|
</template>
|
||||||
|
|
||||||
<script>
|
<script>
|
||||||
// #ifdef APP
|
|
||||||
const recorder = uni.requireNativePlugin('AudioRecode')
|
|
||||||
// const recorder = uni.requireNativePlugin('LcPrinter')
|
|
||||||
console.log('recorder123456::', recorder)
|
|
||||||
// #endif
|
|
||||||
|
|
||||||
// let socketTask = null
|
|
||||||
// socketTask = uni.connectSocket({
|
|
||||||
// url: 'wss://lovers.shandonghuixing.com/voice/call',//'wss://<host>/voice/call',
|
|
||||||
// header:{
|
|
||||||
// Authorization: 'Bearer ' + uni.getStorageSync("token") || "" //'Bearer <token>'
|
|
||||||
// }
|
|
||||||
// })
|
|
||||||
// console.log('socketTask:',socketTask)
|
|
||||||
import {
|
import {
|
||||||
|
|
||||||
} from '@/utils/api.js'
|
} from '@/utils/api.js'
|
||||||
|
|
@ -68,7 +55,7 @@
|
||||||
import { baseURLPy } from '@/utils/request.js'
|
import { baseURLPy } from '@/utils/request.js'
|
||||||
import topSafety from '@/components/top-safety.vue';
|
import topSafety from '@/components/top-safety.vue';
|
||||||
|
|
||||||
// 在组件外部初始化 recorderManager
|
// 在组件外部初始化 recorderManager（所有平台统一使用）
|
||||||
let recorderManager = null;
|
let recorderManager = null;
|
||||||
|
|
||||||
export default {
|
export default {
|
||||||
|
|
@ -89,26 +76,23 @@
|
||||||
status: 'Ready',
|
status: 'Ready',
|
||||||
audioContext: null,
|
audioContext: null,
|
||||||
audioData: [],
|
audioData: [],
|
||||||
isApp: false, // 是否为 App 端
|
|
||||||
totalDuration: 300000, // 默认 5 分钟
|
totalDuration: 300000, // 默认 5 分钟
|
||||||
remainingTime: 300000,
|
remainingTime: 300000,
|
||||||
timer: null,
|
timer: null,
|
||||||
isVip: false,
|
isVip: false,
|
||||||
isTalking: false, // 是否正在说话
|
isTalking: false, // 是否正在说话
|
||||||
micEnabled: true // 麦克风是否开启
|
micEnabled: true, // 麦克风是否开启
|
||||||
|
isReconnecting: false // 是否正在重连
|
||||||
}
|
}
|
||||||
},
|
},
|
||||||
onLoad() {
|
onLoad() {
|
||||||
// 检测平台
|
// 检测平台
|
||||||
const systemInfo = uni.getSystemInfoSync()
|
const systemInfo = uni.getSystemInfoSync()
|
||||||
console.log('systemInfo', systemInfo)
|
console.log('systemInfo', systemInfo)
|
||||||
// console.log('plus', plus)
|
|
||||||
this.isApp = systemInfo.uniPlatform === 'app'
|
|
||||||
|
|
||||||
// 初始化 recorderManager（非 App 端）
|
// 所有平台统一使用 uni.getRecorderManager()
|
||||||
if (!this.isApp) {
|
|
||||||
recorderManager = uni.getRecorderManager();
|
recorderManager = uni.getRecorderManager();
|
||||||
}
|
console.log('✅ recorderManager 初始化完成')
|
||||||
|
|
||||||
this.getCallDuration()
|
this.getCallDuration()
|
||||||
this.initAudio()
|
this.initAudio()
|
||||||
|
|
@ -229,9 +213,32 @@
|
||||||
})
|
})
|
||||||
},
|
},
|
||||||
connectWebSocket() {
|
connectWebSocket() {
|
||||||
|
// 如果已经有连接且状态正常，不重复连接
|
||||||
|
if (this.socketTask && this.socketTask.readyState === 1) {
|
||||||
|
console.log('⚠️ WebSocket 已连接，跳过重复连接')
|
||||||
|
return
|
||||||
|
}
|
||||||
|
|
||||||
|
// 如果正在连接中，不重复连接
|
||||||
|
if (this.socketTask && this.socketTask.readyState === 0) {
|
||||||
|
console.log('⚠️ WebSocket 正在连接中，请稍候...')
|
||||||
|
return
|
||||||
|
}
|
||||||
|
|
||||||
|
// 关闭旧连接
|
||||||
|
if (this.socketTask) {
|
||||||
|
console.log('🔌 关闭旧的 WebSocket 连接...')
|
||||||
|
try {
|
||||||
|
this.socketTask.close()
|
||||||
|
} catch (e) {
|
||||||
|
console.error('关闭旧连接失败:', e)
|
||||||
|
}
|
||||||
|
this.socketTask = null
|
||||||
|
}
|
||||||
|
|
||||||
// 根据 baseURLPy 构建 WebSocket URL
|
// 根据 baseURLPy 构建 WebSocket URL
|
||||||
let wsUrl = baseURLPy.replace('http://', 'ws://').replace('https://', 'wss://') + '/voice/call'
|
let wsUrl = baseURLPy.replace('http://', 'ws://').replace('https://', 'wss://') + '/voice/call'
|
||||||
console.log('WebSocket URL:', wsUrl)
|
console.log('🔗 WebSocket URL:', wsUrl)
|
||||||
|
|
||||||
this.socketTask = uni.connectSocket({
|
this.socketTask = uni.connectSocket({
|
||||||
url: wsUrl,
|
url: wsUrl,
|
||||||
|
|
@ -248,184 +255,43 @@
|
||||||
this.startTimer();
|
this.startTimer();
|
||||||
});
|
});
|
||||||
this.socketTask.onMessage((res) => {
|
this.socketTask.onMessage((res) => {
|
||||||
console.log('onMessage:', res.data)
|
console.log('📨 收到服务器消息, 数据类型:', typeof res.data)
|
||||||
|
console.log('📨 消息内容:', res.data)
|
||||||
this.handleServerMessage(res.data);
|
this.handleServerMessage(res.data);
|
||||||
});
|
});
|
||||||
this.socketTask.onError((err) => {
|
this.socketTask.onError((err) => {
|
||||||
console.error('WS 错误', err);
|
console.error('❌ WS 错误', err);
|
||||||
|
console.error('错误详情:', JSON.stringify(err));
|
||||||
|
|
||||||
|
// 尝试重连
|
||||||
|
if (err.errMsg && err.errMsg.includes('timeout')) {
|
||||||
|
console.log('⚠️ WebSocket 超时，尝试重连...')
|
||||||
|
setTimeout(() => {
|
||||||
|
this.connectWebSocket()
|
||||||
|
}, 2000)
|
||||||
|
}
|
||||||
});
|
});
|
||||||
this.socketTask.onClose((res) => {
|
this.socketTask.onClose((res) => {
|
||||||
console.log('WebSocket 关闭：', res)
|
console.log('❌ WebSocket 关闭, code:', res.code, 'reason:', res.reason)
|
||||||
if (this.isApp && this.isRecording) {
|
|
||||||
|
if (res.code !== 1000) {
|
||||||
|
console.error('⚠️ 非正常关闭')
|
||||||
|
}
|
||||||
|
|
||||||
|
if (this.isRecording && recorderManager) {
|
||||||
console.log('关闭录音')
|
console.log('关闭录音')
|
||||||
recorder.stop()
|
recorderManager.stop()
|
||||||
}
|
|
||||||
})
|
|
||||||
},
|
|
||||||
// 开始录制
|
|
||||||
async startRecording() {
|
|
||||||
console.log('=== startRecording 被调用 ===')
|
|
||||||
console.log('isRecording:', this.isRecording)
|
|
||||||
console.log('isApp:', this.isApp)
|
|
||||||
console.log('socketTask 状态:', this.socketTask ? this.socketTask.readyState : 'null')
|
|
||||||
|
|
||||||
if (this.isRecording) {
|
|
||||||
console.log('录音已在进行中，跳过')
|
|
||||||
return;
|
|
||||||
}
|
}
|
||||||
|
|
||||||
this.isRecording = true;
|
// 自动重连（避免重复重连）
|
||||||
this.status = 'Call Started';
|
if (!this.isReconnecting) {
|
||||||
|
this.isReconnecting = true
|
||||||
if (this.isApp) {
|
console.log('⚠️ WebSocket 已关闭，3秒后自动重连...')
|
||||||
console.log('App 端：启动原生录音')
|
setTimeout(() => {
|
||||||
this.startRecord()
|
console.log('🔄 尝试重新连接 WebSocket...')
|
||||||
} else {
|
this.isReconnecting = false
|
||||||
// 小程序和 H5 端支持 onFrameRecorded
|
this.connectWebSocket()
|
||||||
if (!recorderManager) {
|
}, 3000)
|
||||||
console.error('recorderManager 未初始化')
|
|
||||||
uni.showToast({
|
|
||||||
title: '录音功能初始化失败',
|
|
||||||
icon: 'none'
|
|
||||||
})
|
|
||||||
this.isRecording = false
|
|
||||||
return
|
|
||||||
}
|
|
||||||
|
|
||||||
console.log('小程序/H5 端：设置录音监听器')
|
|
||||||
|
|
||||||
// 监听录音开始
|
|
||||||
recorderManager.onStart(() => {
|
|
||||||
console.log('✅ 录音已开始')
|
|
||||||
})
|
|
||||||
|
|
||||||
// 监听录音错误
|
|
||||||
recorderManager.onError((err) => {
|
|
||||||
console.error('❌ 录音错误:', err)
|
|
||||||
uni.showToast({
|
|
||||||
title: '录音失败: ' + (err.errMsg || '未知错误'),
|
|
||||||
icon: 'none'
|
|
||||||
})
|
|
||||||
this.isRecording = false
|
|
||||||
})
|
|
||||||
|
|
||||||
// 监听录音停止
|
|
||||||
recorderManager.onStop((res) => {
|
|
||||||
console.log('录音已停止:', res)
|
|
||||||
})
|
|
||||||
|
|
||||||
// 监听音频帧
|
|
||||||
recorderManager.onFrameRecorded((res) => {
|
|
||||||
const {
|
|
||||||
frameBuffer,
|
|
||||||
isLastFrame
|
|
||||||
} = res;
|
|
||||||
|
|
||||||
console.log('收到音频帧, isTalking:', this.isTalking, 'frameBuffer size:', frameBuffer.byteLength)
|
|
||||||
|
|
||||||
// 只有在说话状态下才发送音频数据
|
|
||||||
if (this.isTalking && this.socketTask && this.socketTask.readyState === 1) {
|
|
||||||
console.log('✅ 发送音频数据到服务器')
|
|
||||||
this.socketTask.send({
|
|
||||||
data: frameBuffer,
|
|
||||||
success: () => {
|
|
||||||
console.log('音频数据发送成功')
|
|
||||||
},
|
|
||||||
fail: (err) => {
|
|
||||||
console.error('音频数据发送失败:', err)
|
|
||||||
}
|
|
||||||
});
|
|
||||||
} else {
|
|
||||||
console.log('⏸️ 不发送音频数据 - isTalking:', this.isTalking, 'socketTask.readyState:', this.socketTask ? this.socketTask.readyState : 'null')
|
|
||||||
}
|
|
||||||
});
|
|
||||||
|
|
||||||
console.log('启动 recorderManager')
|
|
||||||
try {
|
|
||||||
recorderManager.start({
|
|
||||||
duration: this.totalDuration,
|
|
||||||
format: 'pcm', // ⚠️ 必须用 PCM，Paraformer 实时版只吃 PCM
|
|
||||||
sampleRate: 16000, // ⚠️ 必须 16000Hz，这是 ASR 的标准
|
|
||||||
numberOfChannels: 1, // 单声道
|
|
||||||
frameSize: 2, // 单位是 KB。设置小一点(2-4KB)延迟低，设置太大延迟高
|
|
||||||
audioSource: 'voice_communication'
|
|
||||||
});
|
|
||||||
console.log('recorderManager.start 已调用')
|
|
||||||
} catch (err) {
|
|
||||||
console.error('启动录音失败:', err)
|
|
||||||
this.isRecording = false
|
|
||||||
uni.showToast({
|
|
||||||
title: '启动录音失败',
|
|
||||||
icon: 'none'
|
|
||||||
})
|
|
||||||
}
|
|
||||||
}
|
|
||||||
},
|
|
||||||
startRecord() {
|
|
||||||
console.log('=== startRecord (App原生) 被调用 ===')
|
|
||||||
const doStart = () => {
|
|
||||||
console.log('开始启动原生录音器')
|
|
||||||
recorder.start({
|
|
||||||
sampleRate: 16000,
|
|
||||||
frameSize: 640,
|
|
||||||
source: 'mic'
|
|
||||||
}, (res) => {
|
|
||||||
if (res.type === 'frame') {
|
|
||||||
const ab = uni.base64ToArrayBuffer(res.data)
|
|
||||||
|
|
||||||
console.log('收到原生音频帧, isTalking:', this.isTalking, 'buffer size:', ab.byteLength)
|
|
||||||
|
|
||||||
// 只有在说话状态下才发送音频数据
|
|
||||||
if (this.isTalking && this.socketTask && this.socketTask.readyState === 1) {
|
|
||||||
console.log('发送原生音频数据到服务器')
|
|
||||||
this.socketTask.send({
|
|
||||||
data: ab
|
|
||||||
})
|
|
||||||
} else {
|
|
||||||
console.log('不发送原生音频数据 - isTalking:', this.isTalking)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
})
|
|
||||||
console.log('原生录音器已启动')
|
|
||||||
}
|
|
||||||
|
|
||||||
if (uni.getSystemInfoSync().platform !== 'android') {
|
|
||||||
doStart()
|
|
||||||
return
|
|
||||||
}
|
|
||||||
|
|
||||||
if (typeof plus === 'undefined') {
|
|
||||||
// 还没到 plusready
|
|
||||||
console.log('等待 plusready')
|
|
||||||
document.addEventListener('plusready', () => {
|
|
||||||
plus.android.requestPermissions(['android.permission.RECORD_AUDIO'], (e) => {
|
|
||||||
if (e.granted && e.granted.length) {
|
|
||||||
console.log('录音权限已授予')
|
|
||||||
doStart()
|
|
||||||
} else {
|
|
||||||
console.error('录音权限被拒绝')
|
|
||||||
uni.showModal({
|
|
||||||
title: '权限不足',
|
|
||||||
content: '请允许麦克风权限'
|
|
||||||
})
|
|
||||||
}
|
|
||||||
})
|
|
||||||
})
|
|
||||||
return
|
|
||||||
}
|
|
||||||
|
|
||||||
console.log('请求录音权限')
|
|
||||||
plus.android.requestPermissions(['android.permission.RECORD_AUDIO'], (e) => {
|
|
||||||
console.log('权限请求结果:', e)
|
|
||||||
if (e.granted && e.granted.length) {
|
|
||||||
console.log('录音权限已授予')
|
|
||||||
doStart()
|
|
||||||
} else {
|
|
||||||
console.error('录音权限被拒绝')
|
|
||||||
uni.showModal({
|
|
||||||
title: '权限不足',
|
|
||||||
content: '请允许麦克风权限'
|
|
||||||
})
|
|
||||||
}
|
}
|
||||||
})
|
})
|
||||||
},
|
},
|
||||||
|
|
@ -448,9 +314,19 @@
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
},
|
},
|
||||||
|
// 测试点击
|
||||||
|
testClick() {
|
||||||
|
console.log('🔥🔥🔥 按钮被点击了！')
|
||||||
|
uni.showToast({
|
||||||
|
title: '按钮可以点击',
|
||||||
|
icon: 'none'
|
||||||
|
})
|
||||||
|
},
|
||||||
// 开始说话（按住）
|
// 开始说话（按住）
|
||||||
startTalking() {
|
startTalking(e) {
|
||||||
console.log('startTalking 被调用, micEnabled:', this.micEnabled, 'isRecording:', this.isRecording)
|
console.log('=== startTalking 被调用 ===')
|
||||||
|
console.log('事件对象:', e)
|
||||||
|
console.log('micEnabled:', this.micEnabled, 'isRecording:', this.isRecording)
|
||||||
|
|
||||||
if (!this.micEnabled) {
|
if (!this.micEnabled) {
|
||||||
uni.showToast({
|
uni.showToast({
|
||||||
|
|
@ -460,8 +336,29 @@
|
||||||
return
|
return
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// 检查 WebSocket 连接状态
|
||||||
|
if (!this.socketTask) {
|
||||||
|
console.error('❌ socketTask 不存在，尝试重新连接...')
|
||||||
|
uni.showToast({
|
||||||
|
title: 'WebSocket 未连接，正在重连...',
|
||||||
|
icon: 'none'
|
||||||
|
})
|
||||||
|
this.connectWebSocket()
|
||||||
|
return
|
||||||
|
}
|
||||||
|
|
||||||
|
if (this.socketTask.readyState !== 1) {
|
||||||
|
console.error('❌ WebSocket 未连接, 状态:', this.socketTask.readyState)
|
||||||
|
uni.showToast({
|
||||||
|
title: 'WebSocket 未连接，正在重连...',
|
||||||
|
icon: 'none'
|
||||||
|
})
|
||||||
|
this.connectWebSocket()
|
||||||
|
return
|
||||||
|
}
|
||||||
|
|
||||||
this.isTalking = true
|
this.isTalking = true
|
||||||
console.log('开始说话, isTalking 设置为:', this.isTalking)
|
console.log('✅ 开始说话, isTalking 设置为:', this.isTalking)
|
||||||
|
|
||||||
// 如果录音还没开始，先启动录音
|
// 如果录音还没开始，先启动录音
|
||||||
if (!this.isRecording) {
|
if (!this.isRecording) {
|
||||||
|
|
@ -471,29 +368,280 @@
|
||||||
console.log('录音已在运行')
|
console.log('录音已在运行')
|
||||||
}
|
}
|
||||||
},
|
},
|
||||||
// 停止说话（松开）
|
// 停止说话（松开）- 停止录音并发送
|
||||||
stopTalking() {
|
stopTalking(e) {
|
||||||
this.isTalking = false
|
console.log('=== stopTalking 被调用 ===')
|
||||||
console.log('停止说话, isTalking 设置为:', this.isTalking)
|
console.log('事件对象:', e)
|
||||||
|
console.log('当前 isTalking:', this.isTalking)
|
||||||
|
|
||||||
// 注意：不要停止录音，只是停止发送数据
|
this.isTalking = false
|
||||||
// 录音会持续进行，但数据不会被发送到服务器
|
console.log('❌ 停止说话, isTalking 设置为:', this.isTalking)
|
||||||
|
|
||||||
|
// 停止录音，触发 onStop 回调发送文件
|
||||||
|
if (this.isRecording && recorderManager) {
|
||||||
|
console.log('🛑 停止录音并准备发送...')
|
||||||
|
recorderManager.stop()
|
||||||
|
this.isRecording = false
|
||||||
|
}
|
||||||
},
|
},
|
||||||
openMicPermission() {
|
// 开始录制（支持实时音频帧）
|
||||||
plus.android.requestPermissions(['android.permission.RECORD_AUDIO'], (e) => {
|
async startRecording() {
|
||||||
console.log('e.granted', e)
|
console.log('=== startRecording 被调用 ===')
|
||||||
if (e.granted && e.granted.length) {
|
console.log('isRecording:', this.isRecording)
|
||||||
|
console.log('socketTask 状态:', this.socketTask ? this.socketTask.readyState : 'null')
|
||||||
|
|
||||||
|
if (this.isRecording) {
|
||||||
|
console.log('录音已在进行中，跳过')
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
|
||||||
|
this.isRecording = true;
|
||||||
|
this.status = 'Call Started';
|
||||||
|
|
||||||
|
// 所有平台统一使用 recorderManager
|
||||||
|
if (!recorderManager) {
|
||||||
|
console.error('recorderManager 未初始化')
|
||||||
uni.showToast({
|
uni.showToast({
|
||||||
title: '麦克风权限已开启',
|
title: '录音功能初始化失败',
|
||||||
icon: 'none'
|
icon: 'none'
|
||||||
})
|
})
|
||||||
} else {
|
this.isRecording = false
|
||||||
uni.showModal({
|
return
|
||||||
title: '权限不足',
|
}
|
||||||
content: '请允许麦克风权限'
|
|
||||||
|
console.log('设置录音监听器')
|
||||||
|
|
||||||
|
// 监听录音开始
|
||||||
|
recorderManager.onStart(() => {
|
||||||
|
console.log('✅ 录音已开始')
|
||||||
|
console.log('当前时间:', new Date().toLocaleTimeString())
|
||||||
|
})
|
||||||
|
|
||||||
|
// 监听录音错误
|
||||||
|
recorderManager.onError((err) => {
|
||||||
|
console.error('❌ 录音错误:', err)
|
||||||
|
console.error('错误详情:', JSON.stringify(err))
|
||||||
|
uni.showToast({
|
||||||
|
title: '录音失败: ' + (err.errMsg || '未知错误'),
|
||||||
|
icon: 'none'
|
||||||
|
})
|
||||||
|
this.isRecording = false
|
||||||
|
})
|
||||||
|
|
||||||
|
// 监听录音停止 - 作为备用方案
|
||||||
|
recorderManager.onStop((res) => {
|
||||||
|
console.log('⏹️ 录音已停止')
|
||||||
|
console.log('📁 文件路径:', res.tempFilePath)
|
||||||
|
console.log('⏱️ 录音时长:', res.duration, 'ms')
|
||||||
|
console.log('📦 文件大小:', res.fileSize, 'bytes')
|
||||||
|
|
||||||
|
// 检查 WebSocket 状态
|
||||||
|
if (!this.socketTask) {
|
||||||
|
console.error('❌ socketTask 不存在')
|
||||||
|
return
|
||||||
|
}
|
||||||
|
|
||||||
|
console.log('🔌 WebSocket 状态:', this.socketTask.readyState)
|
||||||
|
console.log('状态说明: 0=CONNECTING, 1=OPEN, 2=CLOSING, 3=CLOSED')
|
||||||
|
|
||||||
|
if (this.socketTask.readyState !== 1) {
|
||||||
|
console.error('❌ WebSocket 未连接，无法发送')
|
||||||
|
uni.showToast({
|
||||||
|
title: 'WebSocket 未连接',
|
||||||
|
icon: 'none'
|
||||||
|
})
|
||||||
|
return
|
||||||
|
}
|
||||||
|
|
||||||
|
// 如果有录音文件且没有通过实时帧发送，则在这里发送
|
||||||
|
if (res.tempFilePath) {
|
||||||
|
console.log('📤 准备分片发送录音文件...')
|
||||||
|
|
||||||
|
// 读取文件内容
|
||||||
|
const fs = uni.getFileSystemManager()
|
||||||
|
fs.readFile({
|
||||||
|
filePath: res.tempFilePath,
|
||||||
|
encoding: 'binary', // 明确指定二进制编码
|
||||||
|
success: (fileRes) => {
|
||||||
|
console.log('✅ 文件读取成功')
|
||||||
|
console.log('📊 数据类型:', typeof fileRes.data)
|
||||||
|
console.log('📊 数据大小:', fileRes.data.byteLength || fileRes.data.length, 'bytes')
|
||||||
|
|
||||||
|
// 再次检查 WebSocket 状态
|
||||||
|
if (this.socketTask.readyState !== 1) {
|
||||||
|
console.error('❌ 读取文件后 WebSocket 已断开')
|
||||||
|
return
|
||||||
|
}
|
||||||
|
|
||||||
|
// 分片发送音频数据
|
||||||
|
this.sendAudioInChunks(fileRes.data)
|
||||||
|
},
|
||||||
|
fail: (err) => {
|
||||||
|
console.error('❌ 文件读取失败:', err)
|
||||||
|
console.error('错误详情:', JSON.stringify(err))
|
||||||
|
uni.showToast({
|
||||||
|
title: '文件读取失败',
|
||||||
|
icon: 'none'
|
||||||
})
|
})
|
||||||
}
|
}
|
||||||
})
|
})
|
||||||
|
} else {
|
||||||
|
console.error('❌ 没有录音文件路径')
|
||||||
|
}
|
||||||
|
})
|
||||||
|
|
||||||
|
// 监听音频帧 - 实时发送
|
||||||
|
let frameCount = 0
|
||||||
|
recorderManager.onFrameRecorded((res) => {
|
||||||
|
frameCount++
|
||||||
|
const {
|
||||||
|
frameBuffer,
|
||||||
|
isLastFrame
|
||||||
|
} = res;
|
||||||
|
|
||||||
|
console.log(`🎤 收到音频帧 #${frameCount}, isTalking:`, this.isTalking, 'frameBuffer size:', frameBuffer ? frameBuffer.byteLength : 'null', 'isLastFrame:', isLastFrame)
|
||||||
|
|
||||||
|
if (!frameBuffer) {
|
||||||
|
console.error('❌ frameBuffer 为空！')
|
||||||
|
return
|
||||||
|
}
|
||||||
|
|
||||||
|
// 只有在说话状态下才发送音频数据
|
||||||
|
if (this.isTalking && this.socketTask && this.socketTask.readyState === 1) {
|
||||||
|
console.log('✅ 发送音频帧到服务器, 帧号:', frameCount)
|
||||||
|
this.socketTask.send({
|
||||||
|
data: frameBuffer,
|
||||||
|
success: () => {
|
||||||
|
console.log('✅ 音频帧发送成功, 帧号:', frameCount)
|
||||||
|
},
|
||||||
|
fail: (err) => {
|
||||||
|
console.error('❌ 音频帧发送失败:', err)
|
||||||
|
}
|
||||||
|
});
|
||||||
|
} else {
|
||||||
|
console.log('⏸️ 不发送音频帧 - isTalking:', this.isTalking, 'socketTask.readyState:', this.socketTask ? this.socketTask.readyState : 'null')
|
||||||
|
}
|
||||||
|
});
|
||||||
|
|
||||||
|
console.log('✅ 所有录音监听器已设置')
|
||||||
|
|
||||||
|
console.log('启动 recorderManager')
|
||||||
|
try {
|
||||||
|
// 使用 PCM 格式匹配服务器期望
|
||||||
|
const recorderOptions = {
|
||||||
|
duration: 600000, // 10 分钟
|
||||||
|
sampleRate: 16000, // 必须 16kHz，匹配服务器
|
||||||
|
numberOfChannels: 1, // 单声道
|
||||||
|
encodeBitRate: 48000,
|
||||||
|
format: 'pcm', // 使用 PCM 格式，匹配服务器
|
||||||
|
audioSource: 'auto'
|
||||||
|
}
|
||||||
|
|
||||||
|
console.log('📋 录音参数:', JSON.stringify(recorderOptions))
|
||||||
|
console.log('⚠️ 注意：PCM 文件较大，上传可能需要几秒')
|
||||||
|
|
||||||
|
recorderManager.start(recorderOptions);
|
||||||
|
console.log('✅ recorderManager.start 已调用')
|
||||||
|
} catch (err) {
|
||||||
|
console.error('❌ 启动录音失败:', err)
|
||||||
|
this.isRecording = false
|
||||||
|
uni.showToast({
|
||||||
|
title: '启动录音失败: ' + err.message,
|
||||||
|
icon: 'none'
|
||||||
|
})
|
||||||
|
}
|
||||||
|
},
|
||||||
|
// 分片发送音频数据（按照官方推荐参数）
|
||||||
|
async sendAudioInChunks(audioData) {
|
||||||
|
// 官方推荐：每包3200字节（约100ms音频），延迟100ms
|
||||||
|
// PCM 16kHz 单声道：16000 * 2 * 0.1 = 3200 bytes/100ms
|
||||||
|
const chunkSize = 3200 // 3.2KB per chunk（官方推荐）
|
||||||
|
const chunkDelay = 100 // 100ms（官方推荐）
|
||||||
|
const totalSize = audioData.byteLength || audioData.length
|
||||||
|
let offset = 0
|
||||||
|
let chunkCount = 0
|
||||||
|
|
||||||
|
console.log('📦 开始分片发送（官方推荐参数）')
|
||||||
|
console.log('📊 总大小:', totalSize, 'bytes')
|
||||||
|
console.log('📊 每片大小:', chunkSize, 'bytes')
|
||||||
|
console.log('📊 发送间隔:', chunkDelay, 'ms')
|
||||||
|
console.log('📊 预计发送时间:', Math.ceil(totalSize / chunkSize) * chunkDelay, 'ms')
|
||||||
|
|
||||||
|
// 显示加载提示
|
||||||
|
uni.showLoading({
|
||||||
|
title: '发送中...',
|
||||||
|
mask: true
|
||||||
|
})
|
||||||
|
|
||||||
|
// 使用 Promise 确保顺序发送
|
||||||
|
const sendChunk = (chunk, index) => {
|
||||||
|
return new Promise((resolve, reject) => {
|
||||||
|
console.log(`📤 发送第 ${index} 片，大小: ${chunk.byteLength} bytes`)
|
||||||
|
|
||||||
|
this.socketTask.send({
|
||||||
|
data: chunk,
|
||||||
|
success: () => {
|
||||||
|
console.log(`✅ 第 ${index} 片发送成功`)
|
||||||
|
resolve()
|
||||||
|
},
|
||||||
|
fail: (err) => {
|
||||||
|
console.error(`❌ 第 ${index} 片发送失败:`, err)
|
||||||
|
reject(err)
|
||||||
|
}
|
||||||
|
})
|
||||||
|
})
|
||||||
|
}
|
||||||
|
|
||||||
|
try {
|
||||||
|
// 顺序发送所有片段
|
||||||
|
while (offset < totalSize) {
|
||||||
|
const end = Math.min(offset + chunkSize, totalSize)
|
||||||
|
const chunk = audioData.slice(offset, end)
|
||||||
|
chunkCount++
|
||||||
|
|
||||||
|
await sendChunk(chunk, chunkCount)
|
||||||
|
offset = end
|
||||||
|
|
||||||
|
// 延迟指定时间再发送下一片（模拟实时流）
|
||||||
|
if (offset < totalSize) {
|
||||||
|
await new Promise(resolve => setTimeout(resolve, chunkDelay))
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
console.log('✅ 所有音频片段发送完成，共', chunkCount, '片')
|
||||||
|
console.log('📊 实际发送时间:', chunkCount * chunkDelay, 'ms')
|
||||||
|
|
||||||
|
// 延迟 100ms 后发送结束标记
|
||||||
|
await new Promise(resolve => setTimeout(resolve, 100))
|
||||||
|
|
||||||
|
// 发送结束标记
|
||||||
|
await new Promise((resolve, reject) => {
|
||||||
|
console.log('📤 发送结束标记 "end"')
|
||||||
|
this.socketTask.send({
|
||||||
|
data: 'end',
|
||||||
|
success: () => {
|
||||||
|
console.log('✅ 结束标记发送成功，等待服务器处理...')
|
||||||
|
uni.showLoading({
|
||||||
|
title: '识别中...',
|
||||||
|
mask: true
|
||||||
|
})
|
||||||
|
resolve()
|
||||||
|
},
|
||||||
|
fail: (err) => {
|
||||||
|
console.error('❌ 结束标记发送失败:', err)
|
||||||
|
reject(err)
|
||||||
|
}
|
||||||
|
})
|
||||||
|
})
|
||||||
|
|
||||||
|
} catch (err) {
|
||||||
|
console.error('❌ 发送过程出错:', err)
|
||||||
|
uni.hideLoading()
|
||||||
|
uni.showToast({
|
||||||
|
title: '发送失败',
|
||||||
|
icon: 'none'
|
||||||
|
})
|
||||||
|
}
|
||||||
},
|
},
|
||||||
stopCall() {
|
stopCall() {
|
||||||
this.isRecording = false;
|
this.isRecording = false;
|
||||||
|
|
@ -513,31 +661,37 @@
|
||||||
},
|
},
|
||||||
// 接收消息
|
// 接收消息
|
||||||
async handleServerMessage(data) {
|
async handleServerMessage(data) {
|
||||||
console.log('接受到的信息：', data, typeof(data))
|
console.log('=== handleServerMessage 被调用 ===')
|
||||||
console.log('接受到的信息：', JSON.stringify(data))
|
console.log('📥 接收到的信息, 类型:', typeof(data))
|
||||||
console.log('接受到的信息：', Object.prototype.toString.call(data))
|
|
||||||
if (data && typeof(data) == 'object') {
|
// 隐藏加载提示
|
||||||
//处理数据流
|
|
||||||
uni.hideLoading()
|
uni.hideLoading()
|
||||||
|
|
||||||
|
if (data && typeof(data) == 'object') {
|
||||||
|
//处理数据流（音频数据）
|
||||||
this.audioData.push(data);
|
this.audioData.push(data);
|
||||||
console.log('this.audioData:', this.audioData)
|
console.log('🎵 收到音频数据流, 当前缓存数量:', this.audioData.length, '本次大小:', data.byteLength)
|
||||||
} else {
|
} else {
|
||||||
//处理非数据流
|
//处理非数据流（控制消息）
|
||||||
|
try {
|
||||||
let dataInfo = JSON.parse(data)
|
let dataInfo = JSON.parse(data)
|
||||||
console.log('dataInfo:', dataInfo.type)
|
console.log('📋 收到控制消息, type:', dataInfo.type)
|
||||||
|
console.log('📋 完整消息:', JSON.stringify(dataInfo))
|
||||||
|
|
||||||
if (dataInfo.type == 'reply_end') {
|
if (dataInfo.type == 'reply_end') {
|
||||||
if(this.isApp){
|
// 检测是否为 App 平台
|
||||||
|
// #ifdef APP-PLUS
|
||||||
uni.showLoading({
|
uni.showLoading({
|
||||||
title: '思考中',
|
title: '思考中',
|
||||||
mask: true
|
mask: true
|
||||||
});
|
});
|
||||||
console.log('reply_endreply_endreply_end',)
|
console.log('reply_end (App平台)')
|
||||||
// 创建一个完整的 ArrayBuffer 来存储所有音频数据
|
// 创建一个完整的 ArrayBuffer 来存储所有音频数据
|
||||||
const totalLength = this.audioData.reduce((acc, buffer) => acc + buffer.byteLength, 0)
|
const totalLength = this.audioData.reduce((acc, buffer) => acc + buffer.byteLength, 0)
|
||||||
console.log('totalLength:',totalLength)
|
console.log('totalLength:',totalLength)
|
||||||
const mergedArrayBuffer = new Uint8Array(totalLength)
|
const mergedArrayBuffer = new Uint8Array(totalLength)
|
||||||
|
|
||||||
// 将音频数据填充到mergedArrayBuffer中（修复：之前这里没有填充数据）
|
// 将音频数据填充到mergedArrayBuffer中
|
||||||
let offset = 0;
|
let offset = 0;
|
||||||
for (let i = 0; i < this.audioData.length; i++) {
|
for (let i = 0; i < this.audioData.length; i++) {
|
||||||
const buffer = new Uint8Array(this.audioData[i]);
|
const buffer = new Uint8Array(this.audioData[i]);
|
||||||
|
|
@ -545,10 +699,9 @@
|
||||||
offset += buffer.byteLength;
|
offset += buffer.byteLength;
|
||||||
}
|
}
|
||||||
|
|
||||||
// console.log('mergedArrayBuffer填充完成，长度:', mergedArrayBuffer)
|
|
||||||
const base64Audio = uni.arrayBufferToBase64(mergedArrayBuffer.buffer);
|
const base64Audio = uni.arrayBufferToBase64(mergedArrayBuffer.buffer);
|
||||||
const base64WithPrefix = `data:audio/mp3;base64,${base64Audio}`;
|
const base64WithPrefix = `data:audio/mp3;base64,${base64Audio}`;
|
||||||
// console.log('base64WithPrefix:',base64WithPrefix)
|
|
||||||
const filePath = await new Promise((resolve) => {
|
const filePath = await new Promise((resolve) => {
|
||||||
console.log('this:',this)
|
console.log('this:',this)
|
||||||
const fileName = `_doc/${Date.now()}_numberPerson.mp3`;
|
const fileName = `_doc/${Date.now()}_numberPerson.mp3`;
|
||||||
|
|
@ -559,22 +712,21 @@
|
||||||
});
|
});
|
||||||
|
|
||||||
console.log('pathpathpathfilePath',filePath)
|
console.log('pathpathpathfilePath',filePath)
|
||||||
// 使用filePath播放音频
|
|
||||||
// const audioCtx = uni.createInnerAudioContext();
|
|
||||||
this.audioContext.src = filePath;
|
this.audioContext.src = filePath;
|
||||||
try {
|
try {
|
||||||
uni.hideLoading()
|
uni.hideLoading()
|
||||||
console.log('尝试延迟播放...');
|
console.log('尝试播放...');
|
||||||
this.audioContext.play();
|
this.audioContext.play();
|
||||||
// 清空音频数据
|
// 清空音频数据
|
||||||
this.audioData = [];
|
this.audioData = [];
|
||||||
|
|
||||||
} catch (delayError) {
|
} catch (delayError) {
|
||||||
console.error('延迟播放也失败:', delayError);
|
console.error('播放失败:', delayError);
|
||||||
}
|
}
|
||||||
}else{
|
// #endif
|
||||||
|
|
||||||
|
// #ifndef APP-PLUS
|
||||||
this.mergeAudioData()
|
this.mergeAudioData()
|
||||||
}
|
// #endif
|
||||||
}
|
}
|
||||||
if (dataInfo.type == 'reply_text') {
|
if (dataInfo.type == 'reply_text') {
|
||||||
// #ifdef APP
|
// #ifdef APP
|
||||||
|
|
@ -602,6 +754,10 @@
|
||||||
if (dataInfo.type == 'ready') {
|
if (dataInfo.type == 'ready') {
|
||||||
// 准备好的
|
// 准备好的
|
||||||
}
|
}
|
||||||
|
} catch (parseError) {
|
||||||
|
console.error('❌ JSON 解析失败:', parseError)
|
||||||
|
console.error('原始数据:', data)
|
||||||
|
}
|
||||||
}
|
}
|
||||||
},
|
},
|
||||||
base64ToFile(base64Str, fileName, callback) {
|
base64ToFile(base64Str, fileName, callback) {
|
||||||
|
|
@ -665,7 +821,7 @@
|
||||||
const fileName = `recording_${Date.now()}.mp3`
|
const fileName = `recording_${Date.now()}.mp3`
|
||||||
let filePath;
|
let filePath;
|
||||||
|
|
||||||
if (this.isApp) {
|
// #ifdef APP-PLUS
|
||||||
// App端音频播放处理
|
// App端音频播放处理
|
||||||
try {
|
try {
|
||||||
// 重新初始化音频上下文，确保状态正确
|
// 重新初始化音频上下文，确保状态正确
|
||||||
|
|
@ -719,12 +875,14 @@
|
||||||
const fileURL = await this.writeFileApp(mergedArrayBuffer.buffer, filePath);
|
const fileURL = await this.writeFileApp(mergedArrayBuffer.buffer, filePath);
|
||||||
this.audioContext.src = fileURL;
|
this.audioContext.src = fileURL;
|
||||||
}
|
}
|
||||||
} else {
|
// #endif
|
||||||
|
|
||||||
|
// #ifndef APP-PLUS
|
||||||
// 小程序端使用uni API写入文件
|
// 小程序端使用uni API写入文件
|
||||||
filePath = `${uni.env.USER_DATA_PATH}/${fileName}`;
|
filePath = `${uni.env.USER_DATA_PATH}/${fileName}`;
|
||||||
await this.writeFileMiniProgram(mergedArrayBuffer.buffer, filePath);
|
await this.writeFileMiniProgram(mergedArrayBuffer.buffer, filePath);
|
||||||
this.audioContext.src = filePath;
|
this.audioContext.src = filePath;
|
||||||
}
|
// #endif
|
||||||
|
|
||||||
console.log('最终音频源:', this.audioContext.src)
|
console.log('最终音频源:', this.audioContext.src)
|
||||||
// 播放音频
|
// 播放音频
|
||||||
|
|
|
||||||
253
xuniYou/优化总结.md
Normal file
253
xuniYou/优化总结.md
Normal file
|
|
@ -0,0 +1,253 @@
|
||||||
|
# 语音通话 "idle timeout" 问题 - 优化总结
|
||||||
|
|
||||||
|
## 📅 日期
|
||||||
|
2026-02-28
|
||||||
|
|
||||||
|
## 🎯 问题描述
|
||||||
|
用户在使用语音通话功能时，录音后总是收到 "idle timeout" 错误，无法完成完整的对话流程（ASR → LLM → TTS）。
|
||||||
|
|
||||||
|
## 🔍 问题根因
|
||||||
|
|
||||||
|
### 1. 客户端发送参数不符合官方推荐
|
||||||
|
- **问题**: 每片 8KB，间隔 50ms，发送速度是实际音频速度的 5 倍
|
||||||
|
- **影响**: 虽然在官方范围内（1KB-16KB），但不是最优参数
|
||||||
|
|
||||||
|
### 2. 服务器超时时间不足
|
||||||
|
- **问题**: 默认 60 秒超时，但 ASR + LLM + TTS 可能需要更长时间
|
||||||
|
- **影响**: 在处理完成前就超时断开
|
||||||
|
|
||||||
|
### 3. 测试音频太短
|
||||||
|
- **问题**: 之前测试只有 9KB（约 0.3 秒）
|
||||||
|
- **影响**: ASR 无法识别太短的音频
|
||||||
|
|
||||||
|
## ✅ 已实施的优化
|
||||||
|
|
||||||
|
### 优化1: 调整客户端分片参数（符合官方推荐）
|
||||||
|
|
||||||
|
**文件**: `xuniYou/pages/chat/phone.vue`
|
||||||
|
|
||||||
|
**修改内容**:
|
||||||
|
```javascript
|
||||||
|
// 优化前
|
||||||
|
const chunkSize = 8192 // 8KB
|
||||||
|
const chunkDelay = 50 // 50ms
|
||||||
|
|
||||||
|
// 优化后
|
||||||
|
const chunkSize = 3200 // 3.2KB（官方推荐）
|
||||||
|
const chunkDelay = 100 // 100ms（官方推荐）
|
||||||
|
```
|
||||||
|
|
||||||
|
**理由**:
|
||||||
|
- PCM 16kHz 单声道: 32000 bytes/秒
|
||||||
|
- 100ms 音频 = 32000 × 0.1 = 3200 bytes
|
||||||
|
- 完美匹配实时音频流速度
|
||||||
|
|
||||||
|
### 优化2: 增加服务器超时时间
|
||||||
|
|
||||||
|
**文件**: `lover/.env`
|
||||||
|
|
||||||
|
**修改内容**:
|
||||||
|
```bash
|
||||||
|
# 新增配置
|
||||||
|
VOICE_CALL_IDLE_TIMEOUT=120
|
||||||
|
```
|
||||||
|
|
||||||
|
**理由**:
|
||||||
|
- 从 60 秒增加到 120 秒
|
||||||
|
- 给 ASR + LLM + TTS 留出足够处理时间
|
||||||
|
- 避免在处理过程中超时
|
||||||
|
|
||||||
|
## 📊 优化效果对比
|
||||||
|
|
||||||
|
### 发送速度对比
|
||||||
|
|
||||||
|
| 参数 | 优化前 | 优化后 |
|
||||||
|
|------|--------|--------|
|
||||||
|
| 每片大小 | 8192 bytes | 3200 bytes |
|
||||||
|
| 发送间隔 | 50ms | 100ms |
|
||||||
|
| 发送速率 | 163840 bytes/s | 32000 bytes/s |
|
||||||
|
| 音频速率 | 32000 bytes/s | 32000 bytes/s |
|
||||||
|
| 速率比 | 5.12 倍 | 1 倍 ✅ |
|
||||||
|
|
||||||
|
### 时间线对比
|
||||||
|
|
||||||
|
**优化前**:
|
||||||
|
```
|
||||||
|
0s - 用户说话 1 秒
|
||||||
|
1s - 一次性发送 32KB
|
||||||
|
1s - ASR 无法处理
|
||||||
|
60s - 超时断开 ❌
|
||||||
|
```
|
||||||
|
|
||||||
|
**优化后**:
|
||||||
|
```
|
||||||
|
0s - 用户说话 5 秒
|
||||||
|
5s - 开始分片发送（3200 bytes/片，100ms 间隔）
|
||||||
|
10s - 发送完成，ASR 识别
|
||||||
|
11s - LLM 生成回复
|
||||||
|
13s - TTS 合成语音
|
||||||
|
15s - 客户端播放音频 ✅
|
||||||
|
```
|
||||||
|
|
||||||
|
## 🔧 需要执行的操作
|
||||||
|
|
||||||
|
### ⚠️ 重要：必须重启服务器
|
||||||
|
|
||||||
|
修改 `.env` 文件后，必须重启 FastAPI 服务器才能生效：
|
||||||
|
|
||||||
|
```bash
|
||||||
|
# 1. 停止旧进程
|
||||||
|
pkill -f "uvicorn.*main:app"
|
||||||
|
|
||||||
|
# 2. 启动新进程
|
||||||
|
cd /path/to/lover
|
||||||
|
uvicorn main:app --host 0.0.0.0 --port 30101 --reload
|
||||||
|
```
|
||||||
|
|
||||||
|
### 客户端重新编译
|
||||||
|
|
||||||
|
在 HBuilderX 中重新运行项目到手机或模拟器。
|
||||||
|
|
||||||
|
## 📱 测试指南
|
||||||
|
|
||||||
|
### 测试步骤
|
||||||
|
1. 打开 App，进入语音通话页面
|
||||||
|
2. 按住"按住说话"按钮
|
||||||
|
3. **清晰地说 3-5 秒的话**（重要！）
|
||||||
|
4. 松开按钮
|
||||||
|
5. 等待响应（应该在 20 秒内完成）
|
||||||
|
|
||||||
|
### 预期结果
|
||||||
|
- ✅ 看到"发送中..."提示
|
||||||
|
- ✅ 看到"识别中..."提示
|
||||||
|
- ✅ 收到文字回复
|
||||||
|
- ✅ 听到语音回复
|
||||||
|
- ✅ 没有 "idle timeout" 错误
|
||||||
|
|
||||||
|
### 关键日志
|
||||||
|
|
||||||
|
**客户端应该看到**:
|
||||||
|
```
|
||||||
|
📦 开始分片发送（官方推荐参数）
|
||||||
|
📊 总大小: 160000 bytes
|
||||||
|
📊 每片大小: 3200 bytes
|
||||||
|
📊 发送间隔: 100 ms
|
||||||
|
✅ 所有音频片段发送完成，共 50 片
|
||||||
|
✅ 结束标记发送成功
|
||||||
|
📋 收到控制消息, type: reply_text
|
||||||
|
🎵 收到音频数据流
|
||||||
|
📋 收到控制消息, type: reply_end
|
||||||
|
```
|
||||||
|
|
||||||
|
**服务器应该看到**:
|
||||||
|
```
|
||||||
|
ASR connection opened
|
||||||
|
ASR event end=True sentence=[识别的文字]
|
||||||
|
Handle sentence: [识别的文字]
|
||||||
|
```
|
||||||
|
|
||||||
|
## 📚 相关文档
|
||||||
|
|
||||||
|
已创建的文档：
|
||||||
|
1. `最新优化说明.md` - 详细的优化说明
|
||||||
|
2. `测试检查清单.md` - 测试步骤和检查项
|
||||||
|
3. `语音通话完整流程图.md` - 可视化流程图
|
||||||
|
4. `官方文档分析和正确实现.md` - 技术分析
|
||||||
|
5. `问题定位总结.md` - 问题诊断过程
|
||||||
|
|
||||||
|
## 🎓 技术要点总结
|
||||||
|
|
||||||
|
### 1. Paraformer-realtime-v2 的正确用法
|
||||||
|
- 必须流式发送音频数据
|
||||||
|
- 每包 1KB-16KB，建议 3200 bytes
|
||||||
|
- 发送间隔建议 100ms
|
||||||
|
- 发送完成后必须发送 "end" 标记
|
||||||
|
|
||||||
|
### 2. PCM 音频参数
|
||||||
|
- 采样率: 16000 Hz
|
||||||
|
- 位深度: 16 bit (2 bytes)
|
||||||
|
- 声道数: 1（单声道）
|
||||||
|
- 数据速率: 32000 bytes/秒
|
||||||
|
|
||||||
|
### 3. 超时设置
|
||||||
|
- 空闲超时: 120 秒（从 60 秒增加）
|
||||||
|
- 静默超时: 60 秒（无语音活动）
|
||||||
|
- 给 ASR + LLM + TTS 留出足够时间
|
||||||
|
|
||||||
|
### 4. 录音要求
|
||||||
|
- 最少 2-3 秒
|
||||||
|
- 建议 3-5 秒
|
||||||
|
- 清晰发音，避免噪音
|
||||||
|
|
||||||
|
## 🐛 故障排查
|
||||||
|
|
||||||
|
### 如果还是出现 "idle timeout"
|
||||||
|
|
||||||
|
1. **检查服务器是否重启**
|
||||||
|
```bash
|
||||||
|
ps aux | grep uvicorn
|
||||||
|
```
|
||||||
|
|
||||||
|
2. **检查配置是否生效**
|
||||||
|
```bash
|
||||||
|
cat lover/.env | grep VOICE_CALL_IDLE_TIMEOUT
|
||||||
|
```
|
||||||
|
|
||||||
|
3. **检查录音时长**
|
||||||
|
- 客户端日志中的 "总大小" 应该 > 96000 bytes（3 秒）
|
||||||
|
|
||||||
|
4. **检查服务器日志**
|
||||||
|
```bash
|
||||||
|
tail -f lover/logs/app.log
|
||||||
|
```
|
||||||
|
|
||||||
|
### 常见问题
|
||||||
|
|
||||||
|
**Q: 为什么要用 3200 bytes？**
|
||||||
|
A: 因为 PCM 16kHz 单声道每秒 32000 bytes，100ms 就是 3200 bytes，这是官方推荐的参数。
|
||||||
|
|
||||||
|
**Q: 为什么要延迟 100ms？**
|
||||||
|
A: 模拟实时音频流的速度，让 ASR 能够边收边识别，而不是一次性收到大块数据。
|
||||||
|
|
||||||
|
**Q: 为什么要发送 "end" 标记？**
|
||||||
|
A: 告诉服务器音频发送完毕，触发 ASR 的最终识别，否则 ASR 会一直等待更多数据。
|
||||||
|
|
||||||
|
**Q: 为什么要说 3-5 秒？**
|
||||||
|
A: 太短的音频（< 1 秒）ASR 可能无法识别，3-5 秒是比较合适的长度。
|
||||||
|
|
||||||
|
## 🎉 预期成果
|
||||||
|
|
||||||
|
优化完成后，语音通话应该能够：
|
||||||
|
|
||||||
|
1. ✅ 用户说话 3-5 秒
|
||||||
|
2. ✅ 客户端分片发送（3200 bytes/片，100ms 间隔）
|
||||||
|
3. ✅ 服务器 ASR 识别成功
|
||||||
|
4. ✅ LLM 生成回复
|
||||||
|
5. ✅ TTS 合成语音
|
||||||
|
6. ✅ 客户端播放音频
|
||||||
|
7. ✅ 整个流程在 20-30 秒内完成
|
||||||
|
8. ✅ 不再出现 "idle timeout" 错误
|
||||||
|
|
||||||
|
## 💡 下一步建议
|
||||||
|
|
||||||
|
如果基本功能正常，可以考虑：
|
||||||
|
|
||||||
|
1. **实时流式录音**: 使用 `onFrameRecorded` 实现真正的实时传输
|
||||||
|
2. **降低延迟**: 优化 LLM 和 TTS 的响应速度
|
||||||
|
3. **打断功能**: 允许用户在 AI 说话时打断
|
||||||
|
4. **多轮对话**: 优化对话历史管理
|
||||||
|
5. **情感识别**: 根据用户语气调整回复风格
|
||||||
|
|
||||||
|
## 📞 需要帮助？
|
||||||
|
|
||||||
|
如果测试失败，请提供：
|
||||||
|
1. 客户端完整日志
|
||||||
|
2. 服务器日志
|
||||||
|
3. 录音信息（大小、时长）
|
||||||
|
4. 错误信息
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
**优化完成时间**: 2026-02-28
|
||||||
|
**优化人员**: Kiro AI Assistant
|
||||||
|
**状态**: ✅ 已完成，待测试
|
||||||
329
xuniYou/官方文档分析和正确实现.md
Normal file
329
xuniYou/官方文档分析和正确实现.md
Normal file
|
|
@ -0,0 +1,329 @@
|
||||||
|
# 官方文档分析和正确实现
|
||||||
|
|
||||||
|
## 📚 官方文档关键信息
|
||||||
|
|
||||||
|
### 1. send_audio_frame 的正确用法
|
||||||
|
|
||||||
|
根据官方文档：
|
||||||
|
|
||||||
|
> **每次推送的音频流不宜过大或过小，建议每包音频时长为100ms左右，大小在1KB~16KB之间。**
|
||||||
|
|
||||||
|
### 2. 官方示例代码
|
||||||
|
|
||||||
|
#### 识别本地文件的正确方式
|
||||||
|
|
||||||
|
```python
|
||||||
|
recognition.start()
|
||||||
|
|
||||||
|
try:
|
||||||
|
f = open("asr_example.wav", 'rb')
|
||||||
|
while True:
|
||||||
|
audio_data = f.read(3200) # 每次读取 3200 字节（约 3KB）
|
||||||
|
if not audio_data:
|
||||||
|
break
|
||||||
|
else:
|
||||||
|
recognition.send_audio_frame(audio_data) # 发送小块数据
|
||||||
|
time.sleep(0.1) # 延迟 100ms
|
||||||
|
f.close()
|
||||||
|
except Exception as e:
|
||||||
|
raise e
|
||||||
|
|
||||||
|
recognition.stop()
|
||||||
|
```
|
||||||
|
|
||||||
|
**关键点**：
|
||||||
|
- ✅ 每次读取 3200 字节（约 3KB）
|
||||||
|
- ✅ 延迟 100ms（0.1秒）
|
||||||
|
- ✅ 循环发送，模拟实时流
|
||||||
|
|
||||||
|
#### 识别麦克风的正确方式
|
||||||
|
|
||||||
|
```python
|
||||||
|
recognition.start()
|
||||||
|
|
||||||
|
while True:
|
||||||
|
if stream:
|
||||||
|
data = stream.read(3200, exception_on_overflow=False) # 每次 3200 字节
|
||||||
|
recognition.send_audio_frame(data) # 立即发送
|
||||||
|
else:
|
||||||
|
break
|
||||||
|
|
||||||
|
recognition.stop()
|
||||||
|
```
|
||||||
|
|
||||||
|
**关键点**：
|
||||||
|
- ✅ 每次读取 3200 字节
|
||||||
|
- ✅ 实时发送，无需延迟（因为是实时流）
|
||||||
|
|
||||||
|
## 🔍 我们的问题
|
||||||
|
|
||||||
|
### 当前实现（错误）
|
||||||
|
|
||||||
|
```python
|
||||||
|
# 服务器端 lover/routers/voice_call.py
|
||||||
|
async def feed_audio(self, data: bytes):
|
||||||
|
if self.recognition:
|
||||||
|
self.recognition.send_audio_frame(data) # 直接发送整个文件
|
||||||
|
```
|
||||||
|
|
||||||
|
```javascript
|
||||||
|
// 客户端
|
||||||
|
fs.readFile({
|
||||||
|
filePath: res.tempFilePath,
|
||||||
|
success: (fileRes) => {
|
||||||
|
// 一次性发送 260KB ❌
|
||||||
|
socketTask.send({ data: fileRes.data })
|
||||||
|
}
|
||||||
|
})
|
||||||
|
```
|
||||||
|
|
||||||
|
**问题**：
|
||||||
|
- ❌ 客户端一次性发送 260KB
|
||||||
|
- ❌ 服务器直接喂给 ASR
|
||||||
|
- ❌ 不符合官方要求（1KB~16KB）
|
||||||
|
|
||||||
|
### 正确实现（已修复）
|
||||||
|
|
||||||
|
```javascript
|
||||||
|
// 客户端分片发送
|
||||||
|
sendAudioInChunks(audioData) {
|
||||||
|
const chunkSize = 8192 // 8KB（符合官方要求）
|
||||||
|
|
||||||
|
for (let offset = 0; offset < totalSize; offset += chunkSize) {
|
||||||
|
const chunk = audioData.slice(offset, offset + chunkSize)
|
||||||
|
socketTask.send({ data: chunk })
|
||||||
|
await sleep(50) // 延迟 50ms（每秒发送 20 片）
|
||||||
|
}
|
||||||
|
|
||||||
|
socketTask.send({ data: 'end' }) // 发送结束标记
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
**改进**：
|
||||||
|
- ✅ 每次发送 8KB（符合 1KB~16KB 要求）
|
||||||
|
- ✅ 延迟 50ms（比官方建议的 100ms 更快）
|
||||||
|
- ✅ 发送结束标记
|
||||||
|
|
||||||
|
## 📊 数据大小计算
|
||||||
|
|
||||||
|
### PCM 音频数据大小
|
||||||
|
|
||||||
|
```
|
||||||
|
采样率：16000 Hz
|
||||||
|
位深度：16 bit = 2 bytes
|
||||||
|
声道数：1（单声道）
|
||||||
|
|
||||||
|
每秒数据量 = 16000 × 2 × 1 = 32000 bytes = 31.25 KB/s
|
||||||
|
```
|
||||||
|
|
||||||
|
### 官方建议
|
||||||
|
|
||||||
|
```
|
||||||
|
每包时长：100ms
|
||||||
|
每包大小：31.25 KB/s × 0.1s = 3.125 KB ≈ 3200 bytes
|
||||||
|
```
|
||||||
|
|
||||||
|
**这就是为什么官方示例用 3200 字节！**
|
||||||
|
|
||||||
|
### 我们的实现
|
||||||
|
|
||||||
|
```
|
||||||
|
每包大小：8192 bytes = 8 KB
|
||||||
|
每包时长：8192 / 32000 = 0.256 秒 = 256ms
|
||||||
|
发送间隔：50ms
|
||||||
|
|
||||||
|
实际传输速率：8192 / 0.05 = 163840 bytes/s = 160 KB/s
|
||||||
|
实际音频速率：32000 bytes/s = 31.25 KB/s
|
||||||
|
|
||||||
|
速率比：160 / 31.25 = 5.12 倍
|
||||||
|
```
|
||||||
|
|
||||||
|
**结论**：我们的发送速度是实际音频速度的 5 倍，完全够用。
|
||||||
|
|
||||||
|
## 🔧 优化建议
|
||||||
|
|
||||||
|
### 方案1：使用官方推荐的参数（推荐）
|
||||||
|
|
||||||
|
```javascript
|
||||||
|
sendAudioInChunks(audioData) {
|
||||||
|
const chunkSize = 3200 // 3.2KB（官方推荐）
|
||||||
|
const delay = 100 // 100ms（官方推荐）
|
||||||
|
|
||||||
|
for (let offset = 0; offset < totalSize; offset += chunkSize) {
|
||||||
|
const chunk = audioData.slice(offset, offset + chunkSize)
|
||||||
|
socketTask.send({ data: chunk })
|
||||||
|
await sleep(delay)
|
||||||
|
}
|
||||||
|
|
||||||
|
socketTask.send({ data: 'end' })
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
**优点**：
|
||||||
|
- 完全符合官方建议
|
||||||
|
- 更接近实时音频流
|
||||||
|
- 延迟更低
|
||||||
|
|
||||||
|
### 方案2：保持当前实现
|
||||||
|
|
||||||
|
```javascript
|
||||||
|
const chunkSize = 8192 // 8KB
|
||||||
|
const delay = 50 // 50ms
|
||||||
|
```
|
||||||
|
|
||||||
|
**优点**：
|
||||||
|
- 发送更快
|
||||||
|
- 减少网络请求次数
|
||||||
|
- 仍在官方范围内（1KB~16KB）
|
||||||
|
|
||||||
|
## 🎯 服务器端需要的改动
|
||||||
|
|
||||||
|
### 当前代码
|
||||||
|
|
||||||
|
```python
|
||||||
|
async def feed_audio(self, data: bytes):
|
||||||
|
if self.recognition:
|
||||||
|
self.recognition.send_audio_frame(data)
|
||||||
|
```
|
||||||
|
|
||||||
|
**问题**：没有处理 "end" 标记
|
||||||
|
|
||||||
|
### 建议改动
|
||||||
|
|
||||||
|
```python
|
||||||
|
async def feed_audio(self, data: bytes):
|
||||||
|
# 检查是否为结束标记
|
||||||
|
if isinstance(data, str) and data == 'end':
|
||||||
|
# 停止 ASR，触发最终识别
|
||||||
|
self.finalize_asr()
|
||||||
|
return
|
||||||
|
|
||||||
|
# 正常音频数据
|
||||||
|
if self.recognition:
|
||||||
|
self.recognition.send_audio_frame(data)
|
||||||
|
```
|
||||||
|
|
||||||
|
或者在 WebSocket 消息处理中：
|
||||||
|
|
||||||
|
```python
|
||||||
|
async def voice_call(websocket: WebSocket):
|
||||||
|
# ...
|
||||||
|
while True:
|
||||||
|
msg = await websocket.receive()
|
||||||
|
if "bytes" in msg and msg["bytes"] is not None:
|
||||||
|
await session.feed_audio(msg["bytes"])
|
||||||
|
elif "text" in msg and msg["text"]:
|
||||||
|
text = msg["text"].strip()
|
||||||
|
if text == "end":
|
||||||
|
session.finalize_asr() # 触发最终识别
|
||||||
|
# ...
|
||||||
|
```
|
||||||
|
|
||||||
|
## 📋 完整的工作流程
|
||||||
|
|
||||||
|
### 正确的流程
|
||||||
|
|
||||||
|
```
|
||||||
|
1. 客户端录音完成
|
||||||
|
↓
|
||||||
|
2. 读取 PCM 文件（260KB）
|
||||||
|
↓
|
||||||
|
3. 分片发送（每片 8KB，间隔 50ms）
|
||||||
|
├─ 发送片段 1 (8KB)
|
||||||
|
├─ 延迟 50ms
|
||||||
|
├─ 发送片段 2 (8KB)
|
||||||
|
├─ 延迟 50ms
|
||||||
|
├─ ...
|
||||||
|
└─ 发送片段 32 (6KB)
|
||||||
|
↓
|
||||||
|
4. 发送 "end" 标记
|
||||||
|
↓
|
||||||
|
5. 服务器接收每个片段
|
||||||
|
├─ 片段 1 → recognition.send_audio_frame()
|
||||||
|
├─ 片段 2 → recognition.send_audio_frame()
|
||||||
|
├─ ...
|
||||||
|
└─ 片段 32 → recognition.send_audio_frame()
|
||||||
|
↓
|
||||||
|
6. 服务器收到 "end" 标记
|
||||||
|
↓
|
||||||
|
7. 调用 recognition.stop()
|
||||||
|
↓
|
||||||
|
8. ASR 完成识别，触发回调
|
||||||
|
↓
|
||||||
|
9. LLM 生成回复
|
||||||
|
↓
|
||||||
|
10. TTS 合成语音
|
||||||
|
↓
|
||||||
|
11. 返回音频给客户端
|
||||||
|
```
|
||||||
|
|
||||||
|
## ✅ 验证清单
|
||||||
|
|
||||||
|
测试时检查以下日志：
|
||||||
|
|
||||||
|
### 客户端日志
|
||||||
|
|
||||||
|
```
|
||||||
|
✅ 📦 开始分片发送，总大小: 260000 bytes，每片: 8192 bytes
|
||||||
|
✅ 📤 发送第 1 片，范围: 0-8192，大小: 8192 bytes
|
||||||
|
✅ ✅ 第 1 片发送成功
|
||||||
|
✅ 📤 发送第 2 片，范围: 8192-16384，大小: 8192 bytes
|
||||||
|
✅ ✅ 第 2 片发送成功
|
||||||
|
...
|
||||||
|
✅ ✅ 所有音频片段发送完成，共 32 片
|
||||||
|
✅ ✅ 发送结束标记
|
||||||
|
```
|
||||||
|
|
||||||
|
### 服务器日志
|
||||||
|
|
||||||
|
```
|
||||||
|
✅ ASR connection opened
|
||||||
|
✅ ASR event end=False sentence=...
|
||||||
|
✅ ASR event end=True sentence=...
|
||||||
|
✅ ASR complete
|
||||||
|
✅ LLM 生成回复
|
||||||
|
✅ TTS 合成语音
|
||||||
|
```
|
||||||
|
|
||||||
|
### 客户端收到响应
|
||||||
|
|
||||||
|
```
|
||||||
|
✅ 📋 收到控制消息, type: reply_text
|
||||||
|
✅ 🎵 收到音频数据流
|
||||||
|
✅ 📋 收到控制消息, type: reply_end
|
||||||
|
```
|
||||||
|
|
||||||
|
## 🎓 经验总结
|
||||||
|
|
||||||
|
### 关键教训
|
||||||
|
|
||||||
|
1. **RTFM（Read The F***ing Manual）**
|
||||||
|
- 官方文档明确说明了参数要求
|
||||||
|
- 必须仔细阅读文档
|
||||||
|
|
||||||
|
2. **理解模型特性**
|
||||||
|
- Paraformer-realtime-v2 是实时流式模型
|
||||||
|
- 必须按照流式方式喂数据
|
||||||
|
|
||||||
|
3. **参数范围很重要**
|
||||||
|
- 1KB~16KB 不是随便说的
|
||||||
|
- 超出范围会导致识别失败
|
||||||
|
|
||||||
|
### 最佳实践
|
||||||
|
|
||||||
|
1. **遵循官方建议**
|
||||||
|
- 每包 3200 字节（100ms 音频）
|
||||||
|
- 延迟 100ms
|
||||||
|
|
||||||
|
2. **添加结束标记**
|
||||||
|
- 告诉服务器数据发送完毕
|
||||||
|
- 触发最终处理
|
||||||
|
|
||||||
|
3. **完善日志**
|
||||||
|
- 记录每个步骤
|
||||||
|
- 便于问题排查
|
||||||
|
|
||||||
|
## 🔗 参考文档
|
||||||
|
|
||||||
|
- [Paraformer 实时语音识别 Python SDK](https://help.aliyun.com/zh/model-studio/paraformer-real-time-speech-recognition-python-sdk)
|
||||||
|
- [实时语音识别](https://help.aliyun.com/zh/model-studio/real-time-speech-recognition)
|
||||||
144
xuniYou/快速参考卡.md
Normal file
144
xuniYou/快速参考卡.md
Normal file
|
|
@ -0,0 +1,144 @@
|
||||||
|
# 语音通话快速参考卡 🎤
|
||||||
|
|
||||||
|
## 🚀 快速开始
|
||||||
|
|
||||||
|
### 1️⃣ 重启服务器（必须！）
|
||||||
|
```bash
|
||||||
|
pkill -f "uvicorn.*main:app"
|
||||||
|
cd /path/to/lover
|
||||||
|
uvicorn main:app --host 0.0.0.0 --port 30101 --reload
|
||||||
|
```
|
||||||
|
|
||||||
|
### 2️⃣ 重新编译客户端
|
||||||
|
在 HBuilderX 中运行项目到手机/模拟器
|
||||||
|
|
||||||
|
### 3️⃣ 测试
|
||||||
|
1. 打开 App → 语音通话
|
||||||
|
2. 按住"按住说话"
|
||||||
|
3. **说 3-5 秒**
|
||||||
|
4. 松开按钮
|
||||||
|
5. 等待响应
|
||||||
|
|
||||||
|
## ✅ 成功标志
|
||||||
|
|
||||||
|
```
|
||||||
|
✅ 发送中... → 识别中... → 收到文字 → 听到声音
|
||||||
|
⏱️ 总耗时 < 30 秒
|
||||||
|
❌ 没有 "idle timeout" 错误
|
||||||
|
```
|
||||||
|
|
||||||
|
## 📊 关键参数
|
||||||
|
|
||||||
|
| 参数 | 值 | 说明 |
|
||||||
|
|------|-----|------|
|
||||||
|
| 分片大小 | 3200 bytes | 官方推荐 |
|
||||||
|
| 发送间隔 | 100ms | 官方推荐 |
|
||||||
|
| 超时时间 | 120 秒 | 服务器配置 |
|
||||||
|
| 录音时长 | 3-5 秒 | 建议值 |
|
||||||
|
| 音频格式 | PCM 16kHz | 必须 |
|
||||||
|
|
||||||
|
## 🔍 日志检查
|
||||||
|
|
||||||
|
### 客户端关键日志
|
||||||
|
```
|
||||||
|
✅ 必须看到：
|
||||||
|
📦 开始分片发送（官方推荐参数）
|
||||||
|
📊 总大小: [> 96000] bytes
|
||||||
|
✅ 所有音频片段发送完成
|
||||||
|
✅ 结束标记发送成功
|
||||||
|
📋 收到控制消息, type: reply_text
|
||||||
|
🎵 收到音频数据流
|
||||||
|
📋 收到控制消息, type: reply_end
|
||||||
|
|
||||||
|
❌ 不应该看到：
|
||||||
|
{"type":"error","msg":"idle timeout"}
|
||||||
|
```
|
||||||
|
|
||||||
|
### 服务器关键日志
|
||||||
|
```
|
||||||
|
✅ 必须看到：
|
||||||
|
ASR connection opened
|
||||||
|
ASR event end=True sentence=[文字]
|
||||||
|
Handle sentence: [文字]
|
||||||
|
|
||||||
|
❌ 不应该看到：
|
||||||
|
idle timeout
|
||||||
|
ASR error
|
||||||
|
```
|
||||||
|
|
||||||
|
## 🐛 快速故障排查
|
||||||
|
|
||||||
|
### 问题：还是 "idle timeout"
|
||||||
|
```bash
|
||||||
|
# 1. 确认服务器已重启
|
||||||
|
ps aux | grep uvicorn
|
||||||
|
|
||||||
|
# 2. 确认配置生效
|
||||||
|
cat lover/.env | grep VOICE_CALL_IDLE_TIMEOUT
|
||||||
|
# 应该显示: VOICE_CALL_IDLE_TIMEOUT=120
|
||||||
|
|
||||||
|
# 3. 确认录音时长够长（至少 3 秒）
|
||||||
|
# 查看客户端日志中的 "总大小"
|
||||||
|
# 3 秒 = 96000 bytes
|
||||||
|
# 5 秒 = 160000 bytes
|
||||||
|
```
|
||||||
|
|
||||||
|
### 问题：没有任何响应
|
||||||
|
```bash
|
||||||
|
# 检查 WebSocket 连接
|
||||||
|
# 客户端日志应该显示: WebSocket onOpen
|
||||||
|
|
||||||
|
# 检查服务器运行
|
||||||
|
curl http://192.168.1.141:30101/docs
|
||||||
|
```
|
||||||
|
|
||||||
|
### 问题：ASR 无法识别
|
||||||
|
- 在安静环境测试
|
||||||
|
- 清晰发音
|
||||||
|
- 说话时长 3-5 秒
|
||||||
|
- 避免背景噪音
|
||||||
|
|
||||||
|
## 📚 详细文档
|
||||||
|
|
||||||
|
1. `优化总结.md` - 完整的优化说明
|
||||||
|
2. `测试检查清单.md` - 详细测试步骤
|
||||||
|
3. `语音通话完整流程图.md` - 可视化流程
|
||||||
|
4. `最新优化说明.md` - 技术细节
|
||||||
|
|
||||||
|
## 💡 重要提示
|
||||||
|
|
||||||
|
### ⚠️ 必须做的事
|
||||||
|
- [x] 修改 `lover/.env` 添加超时配置
|
||||||
|
- [ ] **重启服务器**（最重要！）
|
||||||
|
- [ ] 重新编译客户端
|
||||||
|
- [ ] 测试时说话 3-5 秒（不要太短）
|
||||||
|
|
||||||
|
### ✅ 优化要点
|
||||||
|
- 分片大小: 3200 bytes（官方推荐）
|
||||||
|
- 发送间隔: 100ms（官方推荐）
|
||||||
|
- 超时时间: 120 秒（足够处理）
|
||||||
|
- 录音时长: 3-5 秒（足够识别）
|
||||||
|
|
||||||
|
## 🎯 测试目标
|
||||||
|
|
||||||
|
一次成功的对话应该：
|
||||||
|
1. 录音 3-5 秒
|
||||||
|
2. 分片发送完成
|
||||||
|
3. ASR 识别成功
|
||||||
|
4. LLM 生成回复
|
||||||
|
5. TTS 合成语音
|
||||||
|
6. 播放音频
|
||||||
|
7. 总耗时 < 30 秒
|
||||||
|
8. 无错误
|
||||||
|
|
||||||
|
## 📞 需要帮助？
|
||||||
|
|
||||||
|
提供以下信息：
|
||||||
|
- 客户端日志（完整）
|
||||||
|
- 服务器日志
|
||||||
|
- 录音大小和时长
|
||||||
|
- 错误信息
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
**快速参考** | **版本**: 2026-02-28 | **状态**: ✅ 已优化
|
||||||
235
xuniYou/最新优化说明.md
Normal file
235
xuniYou/最新优化说明.md
Normal file
|
|
@ -0,0 +1,235 @@
|
||||||
|
# 语音通话最新优化说明
|
||||||
|
|
||||||
|
## 📅 优化时间
|
||||||
|
2026-02-28
|
||||||
|
|
||||||
|
## 🎯 优化目标
|
||||||
|
解决 "idle timeout" 问题，确保语音通话流程完整运行（ASR → LLM → TTS）
|
||||||
|
|
||||||
|
## ✅ 已完成的优化
|
||||||
|
|
||||||
|
### 1. 服务器端优化
|
||||||
|
|
||||||
|
#### 增加超时时间
|
||||||
|
- **文件**: `lover/.env`
|
||||||
|
- **修改**: 添加 `VOICE_CALL_IDLE_TIMEOUT=120`
|
||||||
|
- **说明**: 从默认的 60 秒增加到 120 秒，给 ASR + LLM + TTS 处理留出足够时间
|
||||||
|
- **重要**: 修改后需要重启 FastAPI 服务器才能生效
|
||||||
|
|
||||||
|
### 2. 客户端优化
|
||||||
|
|
||||||
|
#### 使用官方推荐参数
|
||||||
|
- **文件**: `xuniYou/pages/chat/phone.vue`
|
||||||
|
- **修改**: `sendAudioInChunks()` 方法
|
||||||
|
- **参数调整**:
|
||||||
|
- 每片大小: 8192 bytes → **3200 bytes**（官方推荐）
|
||||||
|
- 发送间隔: 50ms → **100ms**（官方推荐）
|
||||||
|
|
||||||
|
#### 为什么使用 3200 bytes？
|
||||||
|
|
||||||
|
根据官方文档和音频参数计算：
|
||||||
|
|
||||||
|
```
|
||||||
|
PCM 音频参数：
|
||||||
|
- 采样率: 16000 Hz
|
||||||
|
- 位深度: 16 bit = 2 bytes
|
||||||
|
- 声道数: 1（单声道）
|
||||||
|
|
||||||
|
每秒数据量 = 16000 × 2 × 1 = 32000 bytes
|
||||||
|
|
||||||
|
官方建议每包 100ms 音频：
|
||||||
|
100ms 数据量 = 32000 × 0.1 = 3200 bytes
|
||||||
|
```
|
||||||
|
|
||||||
|
这就是官方示例代码中使用 `f.read(3200)` 的原因！
|
||||||
|
|
||||||
|
## 📊 优化效果对比
|
||||||
|
|
||||||
|
### 优化前
|
||||||
|
```
|
||||||
|
每片: 8KB
|
||||||
|
间隔: 50ms
|
||||||
|
速率: 8192 / 0.05 = 163840 bytes/s = 160 KB/s
|
||||||
|
实际音频速率: 32000 bytes/s = 31.25 KB/s
|
||||||
|
速率比: 5.12 倍（发送太快）
|
||||||
|
```
|
||||||
|
|
||||||
|
### 优化后
|
||||||
|
```
|
||||||
|
每片: 3.2KB
|
||||||
|
间隔: 100ms
|
||||||
|
速率: 3200 / 0.1 = 32000 bytes/s = 31.25 KB/s
|
||||||
|
实际音频速率: 32000 bytes/s = 31.25 KB/s
|
||||||
|
速率比: 1 倍（完美匹配实时音频流）
|
||||||
|
```
|
||||||
|
|
||||||
|
## 🔧 如何测试
|
||||||
|
|
||||||
|
### 1. 重启服务器（必须）
|
||||||
|
|
||||||
|
```bash
|
||||||
|
# 在服务器上
|
||||||
|
cd /path/to/lover
|
||||||
|
|
||||||
|
# 停止旧进程
|
||||||
|
pkill -f "uvicorn.*main:app"
|
||||||
|
|
||||||
|
# 启动新进程
|
||||||
|
uvicorn main:app --host 0.0.0.0 --port 30101 --reload
|
||||||
|
```
|
||||||
|
|
||||||
|
### 2. 重新编译客户端
|
||||||
|
|
||||||
|
在 HBuilderX 中：
|
||||||
|
1. 选择运行 → 运行到手机或模拟器
|
||||||
|
2. 或者制作自定义调试基座
|
||||||
|
|
||||||
|
### 3. 测试步骤
|
||||||
|
|
||||||
|
1. 打开 App，进入语音通话页面
|
||||||
|
2. 按住"按住说话"按钮
|
||||||
|
3. **清晰地说 3-5 秒的话**（重要！之前测试只有 1 秒太短）
|
||||||
|
4. 松开按钮
|
||||||
|
5. 观察日志和响应
|
||||||
|
|
||||||
|
### 4. 预期日志
|
||||||
|
|
||||||
|
#### 客户端日志
|
||||||
|
```
|
||||||
|
📦 开始分片发送（官方推荐参数）
|
||||||
|
📊 总大小: 160000 bytes
|
||||||
|
📊 每片大小: 3200 bytes
|
||||||
|
📊 发送间隔: 100 ms
|
||||||
|
📊 预计发送时间: 5000 ms
|
||||||
|
📤 发送第 1 片，大小: 3200 bytes
|
||||||
|
✅ 第 1 片发送成功
|
||||||
|
...
|
||||||
|
✅ 所有音频片段发送完成，共 50 片
|
||||||
|
📊 实际发送时间: 5000 ms
|
||||||
|
📤 发送结束标记 "end"
|
||||||
|
✅ 结束标记发送成功，等待服务器处理...
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 服务器日志
|
||||||
|
```
|
||||||
|
ASR connection opened
|
||||||
|
ASR event end=False sentence=...
|
||||||
|
ASR event end=True sentence=你好，我想问一个问题
|
||||||
|
ASR complete
|
||||||
|
Handle sentence: 你好，我想问一个问题
|
||||||
|
[LLM 生成回复]
|
||||||
|
[TTS 合成语音]
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 客户端收到响应
|
||||||
|
```
|
||||||
|
📋 收到控制消息, type: reply_text
|
||||||
|
📋 完整消息: {"type":"reply_text","text":"你好呀，有什么问题尽管问我~"}
|
||||||
|
🎵 收到音频数据流, 当前缓存数量: 1
|
||||||
|
🎵 收到音频数据流, 当前缓存数量: 2
|
||||||
|
...
|
||||||
|
📋 收到控制消息, type: reply_end
|
||||||
|
[开始播放音频]
|
||||||
|
```
|
||||||
|
|
||||||
|
## ⚠️ 注意事项
|
||||||
|
|
||||||
|
### 1. 录音时长要求
|
||||||
|
- **最少 2-3 秒**：太短的音频 ASR 可能无法识别
|
||||||
|
- **建议 3-5 秒**：足够的语音内容，识别率更高
|
||||||
|
- **最多 10 秒**：避免单次录音过长
|
||||||
|
|
||||||
|
### 2. 录音环境
|
||||||
|
- 安静环境，减少背景噪音
|
||||||
|
- 清晰发音，不要含糊不清
|
||||||
|
- 正常语速，不要太快或太慢
|
||||||
|
|
||||||
|
### 3. 网络要求
|
||||||
|
- 稳定的网络连接
|
||||||
|
- WebSocket 保持连接
|
||||||
|
- 如果网络不稳定，会自动重连
|
||||||
|
|
||||||
|
## 🐛 问题排查
|
||||||
|
|
||||||
|
### 如果还是出现 "idle timeout"
|
||||||
|
|
||||||
|
#### 1. 检查服务器是否重启
|
||||||
|
```bash
|
||||||
|
# 查看进程
|
||||||
|
ps aux | grep uvicorn
|
||||||
|
|
||||||
|
# 查看日志
|
||||||
|
tail -f /path/to/lover/logs/app.log
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 2. 检查 .env 配置是否生效
|
||||||
|
```bash
|
||||||
|
# 在服务器上
|
||||||
|
cd /path/to/lover
|
||||||
|
cat .env | grep VOICE_CALL_IDLE_TIMEOUT
|
||||||
|
```
|
||||||
|
|
||||||
|
应该显示：
|
||||||
|
```
|
||||||
|
VOICE_CALL_IDLE_TIMEOUT=120
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 3. 检查录音时长
|
||||||
|
查看客户端日志中的 "总大小"：
|
||||||
|
```
|
||||||
|
📊 总大小: 160000 bytes
|
||||||
|
```
|
||||||
|
|
||||||
|
计算时长：
|
||||||
|
```
|
||||||
|
时长 = 总大小 / 32000
|
||||||
|
160000 / 32000 = 5 秒 ✅ 足够
|
||||||
|
|
||||||
|
如果只有 9000 bytes：
|
||||||
|
9000 / 32000 = 0.28 秒 ❌ 太短
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 4. 检查服务器日志
|
||||||
|
如果服务器日志中没有 "ASR event"，说明 ASR 没有收到数据或无法识别。
|
||||||
|
|
||||||
|
可能原因：
|
||||||
|
- 音频格式不对（应该是 PCM 16kHz 单声道）
|
||||||
|
- 音频太短
|
||||||
|
- 音频质量太差（噪音太大）
|
||||||
|
|
||||||
|
## 📚 参考文档
|
||||||
|
|
||||||
|
- [Paraformer 实时语音识别 Python SDK](https://help.aliyun.com/zh/model-studio/paraformer-real-time-speech-recognition-python-sdk)
|
||||||
|
- [实时语音识别](https://help.aliyun.com/zh/model-studio/real-time-speech-recognition)
|
||||||
|
- `xuniYou/官方文档分析和正确实现.md` - 详细的技术分析
|
||||||
|
- `xuniYou/问题定位总结.md` - 问题诊断过程
|
||||||
|
|
||||||
|
## 🎉 预期结果
|
||||||
|
|
||||||
|
优化后，语音通话应该能够：
|
||||||
|
|
||||||
|
1. ✅ 录音正常（PCM 格式，16kHz）
|
||||||
|
2. ✅ 分片发送（3200 bytes/片，100ms 间隔）
|
||||||
|
3. ✅ ASR 识别成功（收到识别结果）
|
||||||
|
4. ✅ LLM 生成回复（收到文本回复）
|
||||||
|
5. ✅ TTS 合成语音（收到音频数据）
|
||||||
|
6. ✅ 播放音频（听到 AI 的声音）
|
||||||
|
7. ✅ 不再出现 "idle timeout" 错误
|
||||||
|
|
||||||
|
## 💡 下一步优化建议
|
||||||
|
|
||||||
|
如果基本功能正常，可以考虑：
|
||||||
|
|
||||||
|
1. **实时流式录音**：使用 `onFrameRecorded` 实现真正的实时传输
|
||||||
|
2. **降低延迟**：优化 LLM 和 TTS 的响应速度
|
||||||
|
3. **打断功能**：允许用户在 AI 说话时打断
|
||||||
|
4. **多轮对话**：优化对话历史管理
|
||||||
|
5. **情感识别**：根据用户语气调整回复风格
|
||||||
|
|
||||||
|
## 📞 技术支持
|
||||||
|
|
||||||
|
如果遇到问题，请提供：
|
||||||
|
1. 客户端完整日志（从按下按钮到收到响应）
|
||||||
|
2. 服务器日志（ASR/LLM/TTS 相关）
|
||||||
|
3. 录音时长和文件大小
|
||||||
|
4. 网络状态和 WebSocket 连接状态
|
||||||
167
xuniYou/测试检查清单.md
Normal file
167
xuniYou/测试检查清单.md
Normal file
|
|
@ -0,0 +1,167 @@
|
||||||
|
# 语音通话测试检查清单
|
||||||
|
|
||||||
|
## ✅ 优化完成确认
|
||||||
|
|
||||||
|
- [x] 服务器 `.env` 文件已添加 `VOICE_CALL_IDLE_TIMEOUT=120`
|
||||||
|
- [x] 客户端分片参数已优化为官方推荐值（3200 bytes, 100ms）
|
||||||
|
- [ ] 服务器已重启（**必须执行**）
|
||||||
|
- [ ] 客户端已重新编译
|
||||||
|
|
||||||
|
## 🔧 服务器重启步骤
|
||||||
|
|
||||||
|
```bash
|
||||||
|
# 1. 停止旧进程
|
||||||
|
pkill -f "uvicorn.*main:app"
|
||||||
|
|
||||||
|
# 2. 确认进程已停止
|
||||||
|
ps aux | grep uvicorn
|
||||||
|
|
||||||
|
# 3. 启动新进程
|
||||||
|
cd /path/to/lover
|
||||||
|
uvicorn main:app --host 0.0.0.0 --port 30101 --reload
|
||||||
|
|
||||||
|
# 4. 确认启动成功
|
||||||
|
# 应该看到类似输出：
|
||||||
|
# INFO: Uvicorn running on http://0.0.0.0:30101
|
||||||
|
```
|
||||||
|
|
||||||
|
## 📱 客户端测试步骤
|
||||||
|
|
||||||
|
### 1. 准备工作
|
||||||
|
- [ ] 确保手机/模拟器已连接
|
||||||
|
- [ ] 确保网络连接正常
|
||||||
|
- [ ] 确保麦克风权限已授予
|
||||||
|
|
||||||
|
### 2. 测试流程
|
||||||
|
1. [ ] 打开 App
|
||||||
|
2. [ ] 进入语音通话页面
|
||||||
|
3. [ ] 检查 WebSocket 连接状态（应该显示已连接）
|
||||||
|
4. [ ] 按住"按住说话"按钮
|
||||||
|
5. [ ] **清晰地说 3-5 秒的话**（例如："你好，今天天气怎么样？"）
|
||||||
|
6. [ ] 松开按钮
|
||||||
|
7. [ ] 等待响应（应该在 10-20 秒内收到）
|
||||||
|
|
||||||
|
### 3. 预期结果
|
||||||
|
- [ ] 看到"发送中..."提示
|
||||||
|
- [ ] 看到"识别中..."提示
|
||||||
|
- [ ] 收到文字回复
|
||||||
|
- [ ] 听到语音回复
|
||||||
|
- [ ] 没有 "idle timeout" 错误
|
||||||
|
|
||||||
|
## 📊 日志检查
|
||||||
|
|
||||||
|
### 客户端日志关键信息
|
||||||
|
```
|
||||||
|
✅ 应该看到：
|
||||||
|
📦 开始分片发送（官方推荐参数）
|
||||||
|
📊 总大小: [大于 96000] bytes （3秒音频 = 96000 bytes）
|
||||||
|
📊 每片大小: 3200 bytes
|
||||||
|
📊 发送间隔: 100 ms
|
||||||
|
✅ 所有音频片段发送完成
|
||||||
|
✅ 结束标记发送成功
|
||||||
|
📋 收到控制消息, type: reply_text
|
||||||
|
🎵 收到音频数据流
|
||||||
|
📋 收到控制消息, type: reply_end
|
||||||
|
|
||||||
|
❌ 不应该看到：
|
||||||
|
❌ WebSocket 关闭, code: 1000
|
||||||
|
{"type":"error","msg":"idle timeout"}
|
||||||
|
```
|
||||||
|
|
||||||
|
### 服务器日志关键信息
|
||||||
|
```
|
||||||
|
✅ 应该看到：
|
||||||
|
ASR connection opened
|
||||||
|
ASR event end=True sentence=[识别的文字]
|
||||||
|
Handle sentence: [识别的文字]
|
||||||
|
[LLM 相关日志]
|
||||||
|
[TTS 相关日志]
|
||||||
|
|
||||||
|
❌ 不应该看到：
|
||||||
|
idle timeout
|
||||||
|
ASR error
|
||||||
|
```
|
||||||
|
|
||||||
|
## 🐛 常见问题
|
||||||
|
|
||||||
|
### 问题1：还是出现 "idle timeout"
|
||||||
|
**检查**：
|
||||||
|
- [ ] 服务器是否已重启？
|
||||||
|
- [ ] `.env` 配置是否正确？
|
||||||
|
- [ ] 录音时长是否足够（至少 3 秒）？
|
||||||
|
|
||||||
|
**解决**：
|
||||||
|
```bash
|
||||||
|
# 确认配置
|
||||||
|
cat lover/.env | grep VOICE_CALL_IDLE_TIMEOUT
|
||||||
|
|
||||||
|
# 应该显示：
|
||||||
|
VOICE_CALL_IDLE_TIMEOUT=120
|
||||||
|
|
||||||
|
# 如果没有，手动添加后重启服务器
|
||||||
|
```
|
||||||
|
|
||||||
|
### 问题2：没有收到任何响应
|
||||||
|
**检查**：
|
||||||
|
- [ ] WebSocket 是否连接？
|
||||||
|
- [ ] 网络是否正常？
|
||||||
|
- [ ] 服务器是否运行？
|
||||||
|
|
||||||
|
**解决**：
|
||||||
|
```bash
|
||||||
|
# 检查服务器状态
|
||||||
|
curl http://192.168.1.141:30101/docs
|
||||||
|
|
||||||
|
# 应该返回 FastAPI 文档页面
|
||||||
|
```
|
||||||
|
|
||||||
|
### 问题3：录音时长太短
|
||||||
|
**检查**：
|
||||||
|
```
|
||||||
|
客户端日志中的 "总大小"：
|
||||||
|
- 1 秒 = 32000 bytes ❌ 太短
|
||||||
|
- 3 秒 = 96000 bytes ✅ 合适
|
||||||
|
- 5 秒 = 160000 bytes ✅ 更好
|
||||||
|
```
|
||||||
|
|
||||||
|
**解决**：
|
||||||
|
- 说话时间延长到 3-5 秒
|
||||||
|
- 清晰发音，不要含糊
|
||||||
|
- 避免背景噪音
|
||||||
|
|
||||||
|
### 问题4：ASR 无法识别
|
||||||
|
**可能原因**：
|
||||||
|
- 音频质量差（噪音大）
|
||||||
|
- 说话不清晰
|
||||||
|
- 音频格式不对
|
||||||
|
|
||||||
|
**解决**：
|
||||||
|
- 在安静环境测试
|
||||||
|
- 清晰发音
|
||||||
|
- 确认录音格式为 PCM 16kHz 单声道
|
||||||
|
|
||||||
|
## 📞 需要帮助？
|
||||||
|
|
||||||
|
如果测试失败，请提供：
|
||||||
|
|
||||||
|
1. **客户端日志**（完整的，从按下按钮到收到响应）
|
||||||
|
2. **服务器日志**（查看 `tail -f logs/app.log`）
|
||||||
|
3. **录音信息**：
|
||||||
|
- 总大小（bytes）
|
||||||
|
- 时长（秒）
|
||||||
|
- 片数
|
||||||
|
4. **错误信息**（如果有）
|
||||||
|
|
||||||
|
## 🎉 测试成功标志
|
||||||
|
|
||||||
|
当你看到以下情况，说明测试成功：
|
||||||
|
|
||||||
|
1. ✅ 按住按钮，说话 3-5 秒
|
||||||
|
2. ✅ 松开按钮，看到"发送中..."
|
||||||
|
3. ✅ 看到"识别中..."
|
||||||
|
4. ✅ 收到文字回复（例如："你好呀，今天天气不错~"）
|
||||||
|
5. ✅ 听到语音回复（AI 的声音）
|
||||||
|
6. ✅ 整个过程在 20 秒内完成
|
||||||
|
7. ✅ 没有任何错误提示
|
||||||
|
|
||||||
|
恭喜！语音通话功能已正常工作！🎊
|
||||||
373
xuniYou/语音通话完整流程图.md
Normal file
373
xuniYou/语音通话完整流程图.md
Normal file
|
|
@ -0,0 +1,373 @@
|
||||||
|
# 语音通话完整流程图
|
||||||
|
|
||||||
|
## 📊 整体架构
|
||||||
|
|
||||||
|
```
|
||||||
|
┌─────────────┐ WebSocket ┌─────────────┐
|
||||||
|
│ │ ◄─────────────────────────► │ │
|
||||||
|
│ 客户端 │ │ 服务器端 │
|
||||||
|
│ (uni-app) │ │ (FastAPI) │
|
||||||
|
│ │ │ │
|
||||||
|
└─────────────┘ └─────────────┘
|
||||||
|
│ │
|
||||||
|
│ │
|
||||||
|
▼ ▼
|
||||||
|
┌─────────────┐ ┌─────────────────┐
|
||||||
|
│ 录音管理器 │ │ ASR (阿里云) │
|
||||||
|
│ recorderMgr │ │ Paraformer │
|
||||||
|
└─────────────┘ └─────────────────┘
|
||||||
|
│
|
||||||
|
▼
|
||||||
|
┌─────────────────┐
|
||||||
|
│ LLM (通义千问) │
|
||||||
|
│ Qwen-flash │
|
||||||
|
└─────────────────┘
|
||||||
|
│
|
||||||
|
▼
|
||||||
|
┌─────────────────┐
|
||||||
|
│ TTS (阿里云) │
|
||||||
|
│ CosyVoice-v2 │
|
||||||
|
└─────────────────┘
|
||||||
|
```
|
||||||
|
|
||||||
|
## 🔄 详细流程
|
||||||
|
|
||||||
|
### 阶段1：连接建立
|
||||||
|
|
||||||
|
```
|
||||||
|
客户端 服务器
|
||||||
|
│ │
|
||||||
|
├─ 1. 打开语音通话页面 │
|
||||||
|
│ │
|
||||||
|
├─ 2. 建立 WebSocket 连接 ──────────────►│
|
||||||
|
│ ws://192.168.1.141:30101/voice/call │
|
||||||
|
│ │
|
||||||
|
│ ├─ 3. 验证用户身份
|
||||||
|
│ │
|
||||||
|
│ ├─ 4. 创建会话 (VoiceCallSession)
|
||||||
|
│ │
|
||||||
|
│ ├─ 5. 启动 ASR (paraformer-realtime-v2)
|
||||||
|
│ │
|
||||||
|
│ ├─ 6. 启动后台任务
|
||||||
|
│ │ - LLM 处理循环
|
||||||
|
│ │ - TTS 处理循环
|
||||||
|
│ │ - 空闲检测
|
||||||
|
│ │ - 静默检测
|
||||||
|
│ │
|
||||||
|
│ ◄──────────────────────────────────── ├─ 7. 发送 ready 信号
|
||||||
|
│ {"type":"ready"} │
|
||||||
|
│ │
|
||||||
|
├─ 8. 显示"已连接" │
|
||||||
|
│ │
|
||||||
|
```
|
||||||
|
|
||||||
|
### 阶段2：用户说话（优化后的流程）
|
||||||
|
|
||||||
|
```
|
||||||
|
客户端 服务器
|
||||||
|
│ │
|
||||||
|
├─ 1. 用户按住"按住说话"按钮 │
|
||||||
|
│ isTalking = true │
|
||||||
|
│ │
|
||||||
|
├─ 2. 启动录音 │
|
||||||
|
│ format: 'pcm' │
|
||||||
|
│ sampleRate: 16000 │
|
||||||
|
│ numberOfChannels: 1 │
|
||||||
|
│ │
|
||||||
|
├─ 3. 用户说话 3-5 秒 │
|
||||||
|
│ "你好，今天天气怎么样？" │
|
||||||
|
│ │
|
||||||
|
├─ 4. 用户松开按钮 │
|
||||||
|
│ isTalking = false │
|
||||||
|
│ │
|
||||||
|
├─ 5. 停止录音 │
|
||||||
|
│ recorderManager.stop() │
|
||||||
|
│ │
|
||||||
|
├─ 6. 读取录音文件 │
|
||||||
|
│ tempFilePath → ArrayBuffer │
|
||||||
|
│ 大小: 160000 bytes (5秒) │
|
||||||
|
│ │
|
||||||
|
├─ 7. 开始分片发送 ─────────────────────►│
|
||||||
|
│ 【官方推荐参数】 │
|
||||||
|
│ 每片: 3200 bytes │
|
||||||
|
│ 间隔: 100ms │
|
||||||
|
│ │
|
||||||
|
├─ 片段 1 (3200 bytes) ─────────────────►├─ 接收片段 1
|
||||||
|
│ ├─ feed_audio(data)
|
||||||
|
│ ├─ recognition.send_audio_frame(data)
|
||||||
|
│ │
|
||||||
|
├─ 延迟 100ms │
|
||||||
|
│ │
|
||||||
|
├─ 片段 2 (3200 bytes) ─────────────────►├─ 接收片段 2
|
||||||
|
│ ├─ feed_audio(data)
|
||||||
|
│ ├─ recognition.send_audio_frame(data)
|
||||||
|
│ │
|
||||||
|
├─ 延迟 100ms │
|
||||||
|
│ │
|
||||||
|
├─ ... │
|
||||||
|
│ │
|
||||||
|
├─ 片段 50 (3200 bytes) ────────────────►├─ 接收片段 50
|
||||||
|
│ ├─ feed_audio(data)
|
||||||
|
│ ├─ recognition.send_audio_frame(data)
|
||||||
|
│ │
|
||||||
|
├─ 延迟 100ms │
|
||||||
|
│ │
|
||||||
|
├─ 发送 "end" 标记 ─────────────────────►├─ 接收 "end"
|
||||||
|
│ ├─ finalize_asr()
|
||||||
|
│ ├─ recognition.stop()
|
||||||
|
│ │
|
||||||
|
│ ├─ ASR 完成识别
|
||||||
|
│ │ 识别结果: "你好，今天天气怎么样？"
|
||||||
|
│ │
|
||||||
|
```
|
||||||
|
|
||||||
|
### 阶段3：ASR 识别
|
||||||
|
|
||||||
|
```
|
||||||
|
服务器端流程
|
||||||
|
│
|
||||||
|
├─ 1. ASR 接收音频片段
|
||||||
|
│ - 片段 1: 3200 bytes
|
||||||
|
│ - 片段 2: 3200 bytes
|
||||||
|
│ - ...
|
||||||
|
│ - 片段 50: 3200 bytes
|
||||||
|
│
|
||||||
|
├─ 2. 实时识别（边收边识别）
|
||||||
|
│ - 部分结果: "你好"
|
||||||
|
│ - 部分结果: "你好，今天"
|
||||||
|
│ - 部分结果: "你好，今天天气"
|
||||||
|
│
|
||||||
|
├─ 3. 收到 "end" 标记
|
||||||
|
│ - 调用 recognition.stop()
|
||||||
|
│
|
||||||
|
├─ 4. 返回最终结果
|
||||||
|
│ - is_sentence_end: true
|
||||||
|
│ - text: "你好，今天天气怎么样？"
|
||||||
|
│
|
||||||
|
├─ 5. 触发回调
|
||||||
|
│ - WSRecognitionCallback.on_event()
|
||||||
|
│ - session.handle_sentence(text)
|
||||||
|
│
|
||||||
|
├─ 6. 放入 LLM 队列
|
||||||
|
│ - asr_to_llm.put(text)
|
||||||
|
│
|
||||||
|
```
|
||||||
|
|
||||||
|
### 阶段4：LLM 生成回复
|
||||||
|
|
||||||
|
```
|
||||||
|
服务器端流程 客户端
|
||||||
|
│ │
|
||||||
|
├─ 1. 从队列获取识别文本 │
|
||||||
|
│ text = "你好，今天天气怎么样？" │
|
||||||
|
│ │
|
||||||
|
├─ 2. 构建对话历史 │
|
||||||
|
│ history = [ │
|
||||||
|
│ {role: "system", content: "..."},│
|
||||||
|
│ {role: "user", content: text} │
|
||||||
|
│ ] │
|
||||||
|
│ │
|
||||||
|
├─ 3. 调用 LLM (Qwen-flash) │
|
||||||
|
│ stream = chat_completion_stream() │
|
||||||
|
│ │
|
||||||
|
├─ 4. 流式接收 LLM 输出 │
|
||||||
|
│ chunk 1: "你" │
|
||||||
|
│ chunk 2: "好" │
|
||||||
|
│ chunk 3: "呀" │
|
||||||
|
│ chunk 4: "，" ◄─ 遇到标点 │
|
||||||
|
│ │
|
||||||
|
├─ 5. 发送文本给客户端 ─────────────────►├─ 收到 reply_text
|
||||||
|
│ {"type":"reply_text", │ 显示文字
|
||||||
|
│ "text":"你好呀，今天..."} │
|
||||||
|
│ │
|
||||||
|
├─ 6. 放入 TTS 队列 │
|
||||||
|
│ llm_to_tts.put("你好呀，") │
|
||||||
|
│ │
|
||||||
|
├─ 7. 继续接收 LLM 输出 │
|
||||||
|
│ chunk 5: "今" │
|
||||||
|
│ chunk 6: "天" │
|
||||||
|
│ ... │
|
||||||
|
│ │
|
||||||
|
├─ 8. LLM 完成 │
|
||||||
|
│ llm_to_tts.put(END_OF_TTS) │
|
||||||
|
│ │
|
||||||
|
```
|
||||||
|
|
||||||
|
### 阶段5：TTS 合成语音
|
||||||
|
|
||||||
|
```
|
||||||
|
服务器端流程 客户端
|
||||||
|
│ │
|
||||||
|
├─ 1. 从队列获取文本片段 │
|
||||||
|
│ text = "你好呀，" │
|
||||||
|
│ │
|
||||||
|
├─ 2. 清理文本 │
|
||||||
|
│ - 去除 Markdown 符号 │
|
||||||
|
│ - 去除动作描述 │
|
||||||
|
│ - 去除波浪线 │
|
||||||
|
│ │
|
||||||
|
├─ 3. 调用 TTS (CosyVoice-v2) │
|
||||||
|
│ model: "cosyvoice-v2" │
|
||||||
|
│ voice: "longxiaochun_v2" │
|
||||||
|
│ format: "mp3" │
|
||||||
|
│ │
|
||||||
|
├─ 4. 合成音频 │
|
||||||
|
│ audio_bytes = synthesize(text) │
|
||||||
|
│ │
|
||||||
|
├─ 5. 发送音频数据 ─────────────────────►├─ 收到音频流
|
||||||
|
│ websocket.send_bytes(audio_bytes) │ audioData.push(data)
|
||||||
|
│ │
|
||||||
|
├─ 6. 继续处理下一个片段 │
|
||||||
|
│ text = "今天天气不错~" │
|
||||||
|
│ │
|
||||||
|
├─ 7. 合成并发送 ───────────────────────►├─ 收到音频流
|
||||||
|
│ │ audioData.push(data)
|
||||||
|
│ │
|
||||||
|
├─ 8. 所有片段完成 │
|
||||||
|
│ │
|
||||||
|
├─ 9. 发送结束信号 ─────────────────────►├─ 收到 reply_end
|
||||||
|
│ {"type":"reply_end"} │
|
||||||
|
│ │
|
||||||
|
│ ├─ 合并音频数据
|
||||||
|
│ │ mergeAudioData()
|
||||||
|
│ │
|
||||||
|
│ ├─ 播放音频
|
||||||
|
│ │ audioContext.play()
|
||||||
|
│ │
|
||||||
|
│ ├─ 用户听到 AI 的声音
|
||||||
|
│ │ "你好呀，今天天气不错~"
|
||||||
|
│ │
|
||||||
|
```
|
||||||
|
|
||||||
|
## ⏱️ 时间线分析
|
||||||
|
|
||||||
|
### 优化前（会超时）
|
||||||
|
|
||||||
|
```
|
||||||
|
时间轴：
|
||||||
|
0s ─ 用户按住按钮
|
||||||
|
1s ─ 用户说话
|
||||||
|
2s ─ 用户松开按钮
|
||||||
|
2s ─ 一次性发送 260KB ❌
|
||||||
|
3s ─ 服务器收到大块数据
|
||||||
|
3s ─ ASR 无法处理 ❌
|
||||||
|
...
|
||||||
|
62s ─ 空闲超时 ❌
|
||||||
|
62s ─ 连接关闭
|
||||||
|
```
|
||||||
|
|
||||||
|
### 优化后（正常工作）
|
||||||
|
|
||||||
|
```
|
||||||
|
时间轴：
|
||||||
|
0s ─ 用户按住按钮
|
||||||
|
5s ─ 用户松开按钮（说了 5 秒）
|
||||||
|
5s ─ 开始分片发送
|
||||||
|
5.1s ─ 发送片段 1 (3200 bytes)
|
||||||
|
5.2s ─ 发送片段 2 (3200 bytes)
|
||||||
|
...
|
||||||
|
10s ─ 发送片段 50 (3200 bytes)
|
||||||
|
10s ─ 发送 "end" 标记
|
||||||
|
10s ─ ASR 完成识别 ✅
|
||||||
|
11s ─ LLM 开始生成
|
||||||
|
13s ─ LLM 完成，TTS 开始
|
||||||
|
15s ─ TTS 完成，发送音频
|
||||||
|
16s ─ 客户端播放音频 ✅
|
||||||
|
20s ─ 播放完成 ✅
|
||||||
|
|
||||||
|
总耗时: 20 秒
|
||||||
|
超时时间: 120 秒
|
||||||
|
状态: 正常 ✅
|
||||||
|
```
|
||||||
|
|
||||||
|
## 🔑 关键优化点
|
||||||
|
|
||||||
|
### 1. 分片大小
|
||||||
|
```
|
||||||
|
优化前: 8192 bytes (8KB)
|
||||||
|
优化后: 3200 bytes (3.2KB) ✅
|
||||||
|
原因: 匹配官方推荐，符合 100ms 音频时长
|
||||||
|
```
|
||||||
|
|
||||||
|
### 2. 发送间隔
|
||||||
|
```
|
||||||
|
优化前: 50ms
|
||||||
|
优化后: 100ms ✅
|
||||||
|
原因: 匹配官方推荐，模拟实时音频流
|
||||||
|
```
|
||||||
|
|
||||||
|
### 3. 超时时间
|
||||||
|
```
|
||||||
|
优化前: 60 秒
|
||||||
|
优化后: 120 秒 ✅
|
||||||
|
原因: 给 ASR + LLM + TTS 留出足够处理时间
|
||||||
|
```
|
||||||
|
|
||||||
|
### 4. 结束标记
|
||||||
|
```
|
||||||
|
优化前: 无
|
||||||
|
优化后: 发送 "end" 标记 ✅
|
||||||
|
原因: 告诉服务器音频发送完毕，触发最终识别
|
||||||
|
```
|
||||||
|
|
||||||
|
## 📈 性能指标
|
||||||
|
|
||||||
|
### 延迟分析
|
||||||
|
|
||||||
|
```
|
||||||
|
┌─────────────────┬──────────┬─────────┐
|
||||||
|
│ 环节 │ 耗时 │ 占比 │
|
||||||
|
├─────────────────┼──────────┼─────────┤
|
||||||
|
│ 用户说话 │ 5s │ 25% │
|
||||||
|
│ 分片发送 │ 5s │ 25% │
|
||||||
|
│ ASR 识别 │ 1s │ 5% │
|
||||||
|
│ LLM 生成 │ 3s │ 15% │
|
||||||
|
│ TTS 合成 │ 2s │ 10% │
|
||||||
|
│ 音频传输 │ 1s │ 5% │
|
||||||
|
│ 音频播放 │ 3s │ 15% │
|
||||||
|
├─────────────────┼──────────┼─────────┤
|
||||||
|
│ 总计 │ 20s │ 100% │
|
||||||
|
└─────────────────┴──────────┴─────────┘
|
||||||
|
```
|
||||||
|
|
||||||
|
### 网络流量
|
||||||
|
|
||||||
|
```
|
||||||
|
上行（客户端 → 服务器）:
|
||||||
|
- 音频数据: 160KB (5秒录音)
|
||||||
|
- 控制消息: < 1KB
|
||||||
|
- 总计: ~160KB
|
||||||
|
|
||||||
|
下行（服务器 → 客户端）:
|
||||||
|
- 音频数据: ~50KB (MP3 格式)
|
||||||
|
- 控制消息: < 1KB
|
||||||
|
- 总计: ~50KB
|
||||||
|
|
||||||
|
总流量: ~210KB / 次对话
|
||||||
|
```
|
||||||
|
|
||||||
|
## 🎯 成功标准
|
||||||
|
|
||||||
|
一次成功的语音通话应该满足：
|
||||||
|
|
||||||
|
1. ✅ 录音时长 ≥ 3 秒
|
||||||
|
2. ✅ 分片发送完成（50 片左右）
|
||||||
|
3. ✅ ASR 识别成功（收到识别文本）
|
||||||
|
4. ✅ LLM 生成成功（收到回复文本）
|
||||||
|
5. ✅ TTS 合成成功（收到音频数据）
|
||||||
|
6. ✅ 音频播放成功（听到声音）
|
||||||
|
7. ✅ 总耗时 < 30 秒
|
||||||
|
8. ✅ 无 "idle timeout" 错误
|
||||||
|
|
||||||
|
## 🚀 下一步优化方向
|
||||||
|
|
||||||
|
### 短期优化
|
||||||
|
1. 实现真正的实时流式录音（使用 `onFrameRecorded`）
|
||||||
|
2. 优化 LLM 响应速度（使用更快的模型）
|
||||||
|
3. 实现打断功能（用户可以打断 AI）
|
||||||
|
|
||||||
|
### 长期优化
|
||||||
|
1. 多轮对话优化（更好的上下文管理）
|
||||||
|
2. 情感识别（根据语气调整回复）
|
||||||
|
3. 个性化语音（用户自定义音色）
|
||||||
|
4. 降噪处理（提高识别准确率）
|
||||||
204
xuniYou/语音通话性能优化建议.md
Normal file
204
xuniYou/语音通话性能优化建议.md
Normal file
|
|
@ -0,0 +1,204 @@
|
||||||
|
# 语音通话性能优化建议
|
||||||
|
|
||||||
|
## 当前状态
|
||||||
|
|
||||||
|
✅ 功能已实现并正常工作
|
||||||
|
⚠️ 响应速度较慢
|
||||||
|
|
||||||
|
## 延迟分析
|
||||||
|
|
||||||
|
### 当前流程的时间消耗：
|
||||||
|
|
||||||
|
1. **录音时间**：用户说话的时间（2-5秒）
|
||||||
|
2. **文件处理**：停止录音 + 读取文件（~100ms）
|
||||||
|
3. **网络传输**：上传音频到服务器（~200-500ms，取决于文件大小和网络）
|
||||||
|
4. **服务器处理**：
|
||||||
|
- 语音识别（ASR）：~500-1000ms
|
||||||
|
- LLM 生成回复：~1000-3000ms
|
||||||
|
- 文本转语音（TTS）：~500-1000ms
|
||||||
|
- 总计：~2000-5000ms
|
||||||
|
5. **下载音频**：从服务器下载（~200-500ms）
|
||||||
|
6. **播放音频**：解码和播放（~100ms）
|
||||||
|
|
||||||
|
**总延迟：约 3-7 秒**
|
||||||
|
|
||||||
|
## 优化方案
|
||||||
|
|
||||||
|
### 方案1：服务器端优化（推荐）
|
||||||
|
|
||||||
|
#### 1.1 使用流式 ASR
|
||||||
|
```
|
||||||
|
边接收边识别，不等待完整音频
|
||||||
|
延迟降低：-1000ms
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 1.2 使用流式 TTS
|
||||||
|
```
|
||||||
|
边生成文本边合成语音
|
||||||
|
延迟降低：-500ms
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 1.3 优化 LLM 调用
|
||||||
|
```
|
||||||
|
使用更快的模型或流式输出
|
||||||
|
延迟降低：-1000ms
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 1.4 并行处理
|
||||||
|
```
|
||||||
|
ASR 完成后立即调用 LLM，同时准备 TTS
|
||||||
|
延迟降低：-500ms
|
||||||
|
```
|
||||||
|
|
||||||
|
**预期效果：总延迟降至 1-3 秒**
|
||||||
|
|
||||||
|
### 方案2：客户端优化
|
||||||
|
|
||||||
|
#### 2.1 减小音频文件大小
|
||||||
|
|
||||||
|
当前配置：
|
||||||
|
```javascript
|
||||||
|
format: 'mp3',
|
||||||
|
sampleRate: 16000,
|
||||||
|
encodeBitRate: 48000 // 较高
|
||||||
|
```
|
||||||
|
|
||||||
|
优化配置：
|
||||||
|
```javascript
|
||||||
|
format: 'mp3',
|
||||||
|
sampleRate: 16000,
|
||||||
|
encodeBitRate: 24000 // 降低比特率
|
||||||
|
```
|
||||||
|
|
||||||
|
**效果：文件减小 50%，上传更快**
|
||||||
|
|
||||||
|
#### 2.2 压缩音频
|
||||||
|
|
||||||
|
```javascript
|
||||||
|
// 在发送前压缩
|
||||||
|
const compressedData = compressAudio(fileRes.data)
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 2.3 预加载和缓存
|
||||||
|
|
||||||
|
```javascript
|
||||||
|
// 预先建立连接
|
||||||
|
// 缓存常用回复
|
||||||
|
```
|
||||||
|
|
||||||
|
### 方案3：使用实时流式传输
|
||||||
|
|
||||||
|
#### 3.1 客户端改造
|
||||||
|
|
||||||
|
需要使用原生插件或支持 `onFrameRecorded` 的方式：
|
||||||
|
|
||||||
|
```javascript
|
||||||
|
// 实时发送音频帧
|
||||||
|
recorderManager.onFrameRecorded((res) => {
|
||||||
|
socketTask.send({ data: res.frameBuffer })
|
||||||
|
})
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 3.2 服务器端改造
|
||||||
|
|
||||||
|
需要支持：
|
||||||
|
- 流式接收音频
|
||||||
|
- 实时 ASR
|
||||||
|
- 流式 LLM
|
||||||
|
- 流式 TTS
|
||||||
|
|
||||||
|
**效果：延迟降至 500ms-1s（类似 ChatGPT 语音）**
|
||||||
|
|
||||||
|
## 当前问题诊断
|
||||||
|
|
||||||
|
### 服务器返回 "idle timeout"
|
||||||
|
|
||||||
|
这说明服务器端有问题：
|
||||||
|
|
||||||
|
1. **检查服务器日志**
|
||||||
|
- 是否收到音频数据？
|
||||||
|
- 音频格式是否正确？
|
||||||
|
- ASR 服务是否正常？
|
||||||
|
- LLM 服务是否正常？
|
||||||
|
- TTS 服务是否正常？
|
||||||
|
|
||||||
|
2. **检查超时设置**
|
||||||
|
```python
|
||||||
|
# 服务器端可能需要增加超时时间
|
||||||
|
timeout = 30 # 秒
|
||||||
|
```
|
||||||
|
|
||||||
|
3. **检查音频格式**
|
||||||
|
- 服务器期望什么格式？
|
||||||
|
- 是否需要特定的采样率？
|
||||||
|
- 是否需要添加文件头？
|
||||||
|
|
||||||
|
## 快速改进建议
|
||||||
|
|
||||||
|
### 立即可做的优化：
|
||||||
|
|
||||||
|
1. **降低音频比特率**
|
||||||
|
```javascript
|
||||||
|
encodeBitRate: 24000 // 从 48000 降到 24000
|
||||||
|
```
|
||||||
|
|
||||||
|
2. **添加进度提示**
|
||||||
|
```javascript
|
||||||
|
uni.showLoading({ title: '识别中...' }) // 发送后
|
||||||
|
uni.showLoading({ title: '思考中...' }) // 识别完成后
|
||||||
|
uni.showLoading({ title: '生成语音...' }) // LLM 完成后
|
||||||
|
```
|
||||||
|
|
||||||
|
3. **优化用户体验**
|
||||||
|
- 显示波形动画
|
||||||
|
- 显示处理进度
|
||||||
|
- 添加音效反馈
|
||||||
|
|
||||||
|
### 需要后端配合的优化：
|
||||||
|
|
||||||
|
1. **返回处理进度**
|
||||||
|
```json
|
||||||
|
{"type": "progress", "stage": "asr", "percent": 50}
|
||||||
|
{"type": "progress", "stage": "llm", "percent": 70}
|
||||||
|
{"type": "progress", "stage": "tts", "percent": 90}
|
||||||
|
```
|
||||||
|
|
||||||
|
2. **使用流式返回**
|
||||||
|
```json
|
||||||
|
{"type": "text_chunk", "text": "你好"}
|
||||||
|
{"type": "text_chunk", "text": "，我"}
|
||||||
|
{"type": "text_chunk", "text": "是"}
|
||||||
|
```
|
||||||
|
|
||||||
|
3. **分段返回音频**
|
||||||
|
```json
|
||||||
|
{"type": "audio_chunk", "data": "..."}
|
||||||
|
{"type": "audio_chunk", "data": "..."}
|
||||||
|
{"type": "audio_end"}
|
||||||
|
```
|
||||||
|
|
||||||
|
## 性能对比
|
||||||
|
|
||||||
|
| 方案 | 延迟 | 实现难度 | 用户体验 |
|
||||||
|
|------|------|----------|----------|
|
||||||
|
| 当前方案 | 3-7s | 简单 | 一般 |
|
||||||
|
| 优化比特率 | 2-6s | 很简单 | 一般 |
|
||||||
|
| 服务器优化 | 1-3s | 中等 | 好 |
|
||||||
|
| 实时流式 | 0.5-1s | 困难 | 很好 |
|
||||||
|
|
||||||
|
## 建议的实施步骤
|
||||||
|
|
||||||
|
1. **第一步**：降低音频比特率（立即可做）
|
||||||
|
2. **第二步**：添加进度提示（立即可做）
|
||||||
|
3. **第三步**：联系后端，解决 "idle timeout" 问题
|
||||||
|
4. **第四步**：后端优化（并行处理、流式 ASR/TTS）
|
||||||
|
5. **第五步**：考虑实时流式传输（长期目标）
|
||||||
|
|
||||||
|
## 结论
|
||||||
|
|
||||||
|
当前的慢主要是因为：
|
||||||
|
1. 服务器端处理时间长（2-5秒）
|
||||||
|
2. 服务器返回了错误（idle timeout）
|
||||||
|
3. 没有使用流式处理
|
||||||
|
|
||||||
|
**优先解决服务器端的 "idle timeout" 问题，然后逐步优化。**
|
||||||
221
xuniYou/语音通话技术栈说明.md
Normal file
221
xuniYou/语音通话技术栈说明.md
Normal file
|
|
@ -0,0 +1,221 @@
|
||||||
|
# 语音通话技术栈说明
|
||||||
|
|
||||||
|
## 🤖 使用的大模型和服务
|
||||||
|
|
||||||
|
### 1. 语音识别（ASR）
|
||||||
|
|
||||||
|
**服务商**：阿里云 DashScope
|
||||||
|
**模型**：`paraformer-realtime-v2`
|
||||||
|
**配置**：
|
||||||
|
```python
|
||||||
|
VOICE_CALL_ASR_MODEL = "paraformer-realtime-v2"
|
||||||
|
VOICE_CALL_ASR_SAMPLE_RATE = 16000 # 16kHz 采样率
|
||||||
|
```
|
||||||
|
|
||||||
|
**特点**：
|
||||||
|
- 实时语音识别
|
||||||
|
- 支持流式输入
|
||||||
|
- 中文识别准确率高
|
||||||
|
- 低延迟
|
||||||
|
|
||||||
|
### 2. 大语言模型（LLM）
|
||||||
|
|
||||||
|
**服务商**：阿里云 DashScope（通义千问）
|
||||||
|
**默认模型**：`qwen-flash`
|
||||||
|
**配置**：
|
||||||
|
```python
|
||||||
|
LLM_MODEL = "gpt-3.5-turbo" # 默认配置
|
||||||
|
# 实际使用：qwen-flash（通义千问快速版）
|
||||||
|
LLM_TEMPERATURE = 0.8
|
||||||
|
LLM_MAX_TOKENS = 2000
|
||||||
|
```
|
||||||
|
|
||||||
|
**可选模型**：
|
||||||
|
- `qwen-flash` - 快速版，低延迟（推荐用于语音通话）
|
||||||
|
- `qwen-turbo` - 标准版
|
||||||
|
- `qwen-plus` - 增强版
|
||||||
|
- `qwen-max` - 旗舰版
|
||||||
|
|
||||||
|
**特点**：
|
||||||
|
- 支持流式输出
|
||||||
|
- 中文理解能力强
|
||||||
|
- 响应速度快
|
||||||
|
- 支持多轮对话
|
||||||
|
|
||||||
|
### 3. 语音合成（TTS）
|
||||||
|
|
||||||
|
**服务商**：阿里云 DashScope
|
||||||
|
**模型**：`cosyvoice-v2`
|
||||||
|
**默认音色**：`longxiaochun_v2`
|
||||||
|
**配置**：
|
||||||
|
```python
|
||||||
|
VOICE_CALL_TTS_MODEL = "cosyvoice-v2"
|
||||||
|
VOICE_CALL_TTS_VOICE = "longxiaochun_v2"
|
||||||
|
VOICE_CALL_TTS_FORMAT = "mp3" # 或 pcm
|
||||||
|
```
|
||||||
|
|
||||||
|
**支持的音色**：
|
||||||
|
- 可以在数据库 `voice_library` 表中配置
|
||||||
|
- 支持自定义音色克隆
|
||||||
|
|
||||||
|
**特点**：
|
||||||
|
- 高质量语音合成
|
||||||
|
- 支持多种音色
|
||||||
|
- 支持情感控制
|
||||||
|
- 低延迟
|
||||||
|
|
||||||
|
## 📊 完整的技术栈
|
||||||
|
|
||||||
|
### 后端框架
|
||||||
|
- **FastAPI** - Python 异步 Web 框架
|
||||||
|
- **SQLAlchemy** - ORM 数据库操作
|
||||||
|
- **MySQL** - 数据库
|
||||||
|
|
||||||
|
### AI 服务
|
||||||
|
- **阿里云 DashScope** - 统一的 AI 服务平台
|
||||||
|
- ASR：Paraformer 实时语音识别
|
||||||
|
- LLM：通义千问系列模型
|
||||||
|
- TTS：CosyVoice 语音合成
|
||||||
|
|
||||||
|
### 前端
|
||||||
|
- **uni-app** - 跨平台开发框架
|
||||||
|
- **Vue.js** - 前端框架
|
||||||
|
- **WebSocket** - 实时通信
|
||||||
|
|
||||||
|
## 🔄 语音通话流程
|
||||||
|
|
||||||
|
```
|
||||||
|
用户说话
|
||||||
|
↓
|
||||||
|
[客户端] 录音（PCM 16kHz）
|
||||||
|
↓
|
||||||
|
[WebSocket] 发送音频数据
|
||||||
|
↓
|
||||||
|
[服务器] ASR 识别（Paraformer）
|
||||||
|
↓
|
||||||
|
[服务器] LLM 生成回复（通义千问）
|
||||||
|
↓
|
||||||
|
[服务器] TTS 合成语音（CosyVoice）
|
||||||
|
↓
|
||||||
|
[WebSocket] 返回音频数据
|
||||||
|
↓
|
||||||
|
[客户端] 播放语音
|
||||||
|
```
|
||||||
|
|
||||||
|
## ⚙️ 配置说明
|
||||||
|
|
||||||
|
### 必需的环境变量
|
||||||
|
|
||||||
|
在 `lover/.env` 文件中配置：
|
||||||
|
|
||||||
|
```bash
|
||||||
|
# 阿里云 DashScope API Key（必需）
|
||||||
|
DASHSCOPE_API_KEY=sk-xxxxxxxxxxxxx
|
||||||
|
|
||||||
|
# LLM 模型配置
|
||||||
|
LLM_MODEL=qwen-flash
|
||||||
|
LLM_TEMPERATURE=0.8
|
||||||
|
LLM_MAX_TOKENS=2000
|
||||||
|
|
||||||
|
# 语音通话配置
|
||||||
|
VOICE_CALL_ASR_MODEL=paraformer-realtime-v2
|
||||||
|
VOICE_CALL_ASR_SAMPLE_RATE=16000
|
||||||
|
VOICE_CALL_TTS_MODEL=cosyvoice-v2
|
||||||
|
VOICE_CALL_TTS_VOICE=longxiaochun_v2
|
||||||
|
VOICE_CALL_TTS_FORMAT=mp3
|
||||||
|
VOICE_CALL_IDLE_TIMEOUT=60
|
||||||
|
VOICE_CALL_MAX_HISTORY=20
|
||||||
|
```
|
||||||
|
|
||||||
|
### 获取 API Key
|
||||||
|
|
||||||
|
1. 访问 [阿里云 DashScope 控制台](https://dashscope.console.aliyun.com/)
|
||||||
|
2. 注册/登录账号
|
||||||
|
3. 创建 API Key
|
||||||
|
4. 配置到 `.env` 文件
|
||||||
|
|
||||||
|
## 💰 成本估算
|
||||||
|
|
||||||
|
### 阿里云 DashScope 定价（参考）
|
||||||
|
|
||||||
|
1. **ASR（语音识别）**
|
||||||
|
- 约 ¥0.0004/秒
|
||||||
|
- 5 秒语音 ≈ ¥0.002
|
||||||
|
|
||||||
|
2. **LLM（通义千问 qwen-flash）**
|
||||||
|
- 约 ¥0.0004/1000 tokens
|
||||||
|
- 一次对话（200 tokens）≈ ¥0.00008
|
||||||
|
|
||||||
|
3. **TTS（语音合成）**
|
||||||
|
- 约 ¥0.002/100 字符
|
||||||
|
- 50 字回复 ≈ ¥0.001
|
||||||
|
|
||||||
|
**单次对话成本**：约 ¥0.003-0.005（不到 1 分钱）
|
||||||
|
|
||||||
|
## 🔧 性能优化建议
|
||||||
|
|
||||||
|
### 1. 使用更快的模型
|
||||||
|
```python
|
||||||
|
LLM_MODEL = "qwen-flash" # 最快
|
||||||
|
# 而不是 qwen-max（最慢但最准确）
|
||||||
|
```
|
||||||
|
|
||||||
|
### 2. 减少历史消息数量
|
||||||
|
```python
|
||||||
|
VOICE_CALL_MAX_HISTORY = 10 # 从 20 降到 10
|
||||||
|
```
|
||||||
|
|
||||||
|
### 3. 降低 LLM 输出长度
|
||||||
|
```python
|
||||||
|
LLM_MAX_TOKENS = 1000 # 从 2000 降到 1000
|
||||||
|
```
|
||||||
|
|
||||||
|
### 4. 使用流式输出
|
||||||
|
```python
|
||||||
|
# 已实现，无需修改
|
||||||
|
stream = chat_completion_stream(messages)
|
||||||
|
```
|
||||||
|
|
||||||
|
### 5. 优化 TTS 分段
|
||||||
|
```python
|
||||||
|
# 在 voice_call.py 中已优化
|
||||||
|
threshold = 8 if self.tts_first_chunk else 18
|
||||||
|
```
|
||||||
|
|
||||||
|
## 🆚 模型对比
|
||||||
|
|
||||||
|
| 模型 | 速度 | 质量 | 成本 | 推荐场景 |
|
||||||
|
|------|------|------|------|----------|
|
||||||
|
| qwen-flash | ⭐⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐⭐⭐ | 语音通话（推荐） |
|
||||||
|
| qwen-turbo | ⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐⭐ | 文字聊天 |
|
||||||
|
| qwen-plus | ⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐⭐ | 复杂任务 |
|
||||||
|
| qwen-max | ⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐ | 专业场景 |
|
||||||
|
|
||||||
|
## 📝 代码位置
|
||||||
|
|
||||||
|
- **LLM 封装**：`lover/llm.py`
|
||||||
|
- **TTS 封装**：`lover/tts.py`
|
||||||
|
- **语音通话路由**：`lover/routers/voice_call.py`
|
||||||
|
- **配置文件**：`lover/config.py`
|
||||||
|
- **环境变量**：`lover/.env`
|
||||||
|
|
||||||
|
## 🔗 相关文档
|
||||||
|
|
||||||
|
- [阿里云 DashScope 文档](https://help.aliyun.com/zh/dashscope/)
|
||||||
|
- [通义千问 API 文档](https://help.aliyun.com/zh/dashscope/developer-reference/api-details)
|
||||||
|
- [Paraformer ASR 文档](https://help.aliyun.com/zh/dashscope/developer-reference/paraformer-realtime-v2)
|
||||||
|
- [CosyVoice TTS 文档](https://help.aliyun.com/zh/dashscope/developer-reference/cosyvoice-v2)
|
||||||
|
|
||||||
|
## 🎯 总结
|
||||||
|
|
||||||
|
语音通话使用的是**阿里云 DashScope 全家桶**：
|
||||||
|
- ASR：Paraformer 实时语音识别
|
||||||
|
- LLM：通义千问 qwen-flash
|
||||||
|
- TTS：CosyVoice v2
|
||||||
|
|
||||||
|
这套方案的优势：
|
||||||
|
- ✅ 全中文支持
|
||||||
|
- ✅ 低延迟
|
||||||
|
- ✅ 高质量
|
||||||
|
- ✅ 成本低
|
||||||
|
- ✅ 易于集成
|
||||||
183
xuniYou/语音通话问题诊断.md
Normal file
183
xuniYou/语音通话问题诊断.md
Normal file
|
|
@ -0,0 +1,183 @@
|
||||||
|
# 语音通话问题诊断报告
|
||||||
|
|
||||||
|
## 当前状态总结
|
||||||
|
|
||||||
|
### ✅ 已经工作的部分
|
||||||
|
|
||||||
|
1. **录音功能** - 完全正常
|
||||||
|
- 按住按钮可以开始录音
|
||||||
|
- 松开按钮可以停止录音
|
||||||
|
- 生成 PCM 格式音频文件
|
||||||
|
|
||||||
|
2. **文件读取** - 完全正常
|
||||||
|
- 可以读取录音文件
|
||||||
|
- 文件大小正常（约 260KB）
|
||||||
|
|
||||||
|
3. **WebSocket 连接** - 初始正常
|
||||||
|
- 可以成功连接到服务器
|
||||||
|
- 状态为 1 (OPEN)
|
||||||
|
|
||||||
|
4. **文件发送** - 完全正常
|
||||||
|
- 可以成功发送音频数据到服务器
|
||||||
|
- 发送成功回调被触发
|
||||||
|
|
||||||
|
### ❌ 存在的问题
|
||||||
|
|
||||||
|
**核心问题：WebSocket 在发送音频后立即关闭（code: 1000）**
|
||||||
|
|
||||||
|
从日志可以看到：
|
||||||
|
```
|
||||||
|
✅ 录音文件发送成功
|
||||||
|
❌ WebSocket 关闭, code: 1000
|
||||||
|
```
|
||||||
|
|
||||||
|
## 问题分析
|
||||||
|
|
||||||
|
### 可能的原因
|
||||||
|
|
||||||
|
1. **服务器端主动关闭连接**
|
||||||
|
- 服务器收到音频后立即关闭了连接
|
||||||
|
- 可能是服务器端的错误处理逻辑
|
||||||
|
|
||||||
|
2. **音频格式不匹配**
|
||||||
|
- 发送的是 PCM 格式
|
||||||
|
- 服务器可能期望其他格式（如 MP3）
|
||||||
|
|
||||||
|
3. **数据大小问题**
|
||||||
|
- PCM 文件较大（260KB）
|
||||||
|
- 可能超过服务器的接收限制
|
||||||
|
|
||||||
|
4. **协议不匹配**
|
||||||
|
- 服务器可能期望特定的消息格式
|
||||||
|
- 可能需要包装成 JSON 或添加元数据
|
||||||
|
|
||||||
|
## 诊断步骤
|
||||||
|
|
||||||
|
### 第1步：检查服务器日志
|
||||||
|
|
||||||
|
查看服务器端的日志，确认：
|
||||||
|
- 是否收到了音频数据
|
||||||
|
- 收到数据后做了什么处理
|
||||||
|
- 为什么关闭了连接
|
||||||
|
|
||||||
|
### 第2步：检查音频格式
|
||||||
|
|
||||||
|
当前发送的是：
|
||||||
|
- 格式：PCM
|
||||||
|
- 采样率：16000Hz
|
||||||
|
- 声道：单声道
|
||||||
|
- 大小：约 260KB
|
||||||
|
|
||||||
|
服务器期望的格式是什么？
|
||||||
|
|
||||||
|
### 第3步：检查 WebSocket 协议
|
||||||
|
|
||||||
|
服务器端的 WebSocket 接口文档：
|
||||||
|
- 期望的消息格式是什么？
|
||||||
|
- 是否需要先发送元数据？
|
||||||
|
- 是否需要分片发送？
|
||||||
|
|
||||||
|
### 第4步：测试不同的音频格式
|
||||||
|
|
||||||
|
尝试发送 MP3 格式：
|
||||||
|
```javascript
|
||||||
|
format: 'mp3' // 而不是 'pcm'
|
||||||
|
```
|
||||||
|
|
||||||
|
MP3 文件更小，可能更容易被服务器接受。
|
||||||
|
|
||||||
|
## 建议的解决方案
|
||||||
|
|
||||||
|
### 方案1：修改音频格式为 MP3
|
||||||
|
|
||||||
|
```javascript
|
||||||
|
const recorderOptions = {
|
||||||
|
duration: 600000,
|
||||||
|
sampleRate: 16000,
|
||||||
|
numberOfChannels: 1,
|
||||||
|
encodeBitRate: 48000,
|
||||||
|
format: 'mp3', // 改为 mp3
|
||||||
|
audioSource: 'auto'
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
优点：
|
||||||
|
- 文件更小（约 20-30KB）
|
||||||
|
- 兼容性更好
|
||||||
|
- 传输更快
|
||||||
|
|
||||||
|
缺点：
|
||||||
|
- 有损压缩
|
||||||
|
- 可能影响识别准确度
|
||||||
|
|
||||||
|
### 方案2：添加消息包装
|
||||||
|
|
||||||
|
在发送音频前，先发送元数据：
|
||||||
|
|
||||||
|
```javascript
|
||||||
|
// 1. 先发送元数据
|
||||||
|
this.socketTask.send({
|
||||||
|
data: JSON.stringify({
|
||||||
|
type: 'audio_start',
|
||||||
|
format: 'pcm',
|
||||||
|
sampleRate: 16000,
|
||||||
|
channels: 1,
|
||||||
|
size: fileRes.data.byteLength
|
||||||
|
})
|
||||||
|
})
|
||||||
|
|
||||||
|
// 2. 再发送音频数据
|
||||||
|
this.socketTask.send({
|
||||||
|
data: fileRes.data
|
||||||
|
})
|
||||||
|
|
||||||
|
// 3. 发送结束标记
|
||||||
|
this.socketTask.send({
|
||||||
|
data: JSON.stringify({
|
||||||
|
type: 'audio_end'
|
||||||
|
})
|
||||||
|
})
|
||||||
|
```
|
||||||
|
|
||||||
|
### 方案3：分片发送
|
||||||
|
|
||||||
|
如果文件太大，分片发送：
|
||||||
|
|
||||||
|
```javascript
|
||||||
|
const chunkSize = 8192 // 8KB per chunk
|
||||||
|
for (let i = 0; i < fileRes.data.byteLength; i += chunkSize) {
|
||||||
|
const chunk = fileRes.data.slice(i, i + chunkSize)
|
||||||
|
this.socketTask.send({ data: chunk })
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
## 下一步行动
|
||||||
|
|
||||||
|
1. **查看服务器端代码** - 了解期望的数据格式
|
||||||
|
2. **查看服务器日志** - 确认是否收到数据
|
||||||
|
3. **测试 MP3 格式** - 看是否能解决问题
|
||||||
|
4. **联系后端开发** - 确认 WebSocket 协议规范
|
||||||
|
|
||||||
|
## 临时测试方案
|
||||||
|
|
||||||
|
为了快速验证，可以：
|
||||||
|
|
||||||
|
1. 使用 Postman 或其他工具测试 WebSocket 接口
|
||||||
|
2. 手动发送一个小的音频文件
|
||||||
|
3. 观察服务器的响应
|
||||||
|
|
||||||
|
## 当前代码状态
|
||||||
|
|
||||||
|
- ✅ 录音功能完整
|
||||||
|
- ✅ 文件发送功能完整
|
||||||
|
- ✅ 错误处理完善
|
||||||
|
- ✅ 日志详细
|
||||||
|
- ⚠️ 等待服务器端问题解决
|
||||||
|
|
||||||
|
## 结论
|
||||||
|
|
||||||
|
**客户端代码已经完成并正常工作。** 问题出在服务器端，需要：
|
||||||
|
|
||||||
|
1. 检查服务器为什么关闭连接
|
||||||
|
2. 确认服务器期望的数据格式
|
||||||
|
3. 调整客户端发送格式以匹配服务器要求
|
||||||
173
xuniYou/问题定位总结.md
Normal file
173
xuniYou/问题定位总结.md
Normal file
|
|
@ -0,0 +1,173 @@
|
||||||
|
# 问题定位总结
|
||||||
|
|
||||||
|
## 🎯 核心问题
|
||||||
|
|
||||||
|
**卡在 ASR（语音识别）环节，导致后续 LLM 和 TTS 都没有被触发。**
|
||||||
|
|
||||||
|
## 🔍 详细分析
|
||||||
|
|
||||||
|
### 问题流程
|
||||||
|
|
||||||
|
```
|
||||||
|
客户端 → 一次性发送 260KB PCM 文件
|
||||||
|
↓
|
||||||
|
服务器 → 接收到大块数据
|
||||||
|
↓
|
||||||
|
ASR → 无法处理（期望流式小块数据）❌
|
||||||
|
↓
|
||||||
|
没有识别结果
|
||||||
|
↓
|
||||||
|
LLM 不被触发 ❌
|
||||||
|
↓
|
||||||
|
TTS 不被触发 ❌
|
||||||
|
↓
|
||||||
|
60秒后 idle timeout
|
||||||
|
```
|
||||||
|
|
||||||
|
### 根本原因
|
||||||
|
|
||||||
|
**架构不匹配**：
|
||||||
|
|
||||||
|
1. **服务器设计**：
|
||||||
|
- 使用 `paraformer-realtime-v2`（实时 ASR）
|
||||||
|
- 期望流式接收音频数据
|
||||||
|
- 设计用于边说边识别
|
||||||
|
|
||||||
|
2. **客户端实现**：
|
||||||
|
- 录音完成后一次性发送整个文件
|
||||||
|
- 不是流式传输
|
||||||
|
- 类似"批处理"模式
|
||||||
|
|
||||||
|
这就像：
|
||||||
|
- 服务器是一个"实时翻译员"，期望你一句一句说
|
||||||
|
- 但客户端把整篇文章一次性扔给他
|
||||||
|
- 翻译员不知道怎么处理
|
||||||
|
|
||||||
|
## 📊 各环节状态
|
||||||
|
|
||||||
|
| 环节 | 状态 | 说明 |
|
||||||
|
|------|------|------|
|
||||||
|
| 客户端录音 | ✅ 正常 | PCM 格式，16kHz |
|
||||||
|
| 文件读取 | ✅ 正常 | 260KB |
|
||||||
|
| WebSocket 发送 | ✅ 正常 | 发送成功 |
|
||||||
|
| **ASR 识别** | ❌ **卡住** | 无法处理大块数据 |
|
||||||
|
| LLM 生成 | ⏸️ 未触发 | 因为 ASR 没有结果 |
|
||||||
|
| TTS 合成 | ⏸️ 未触发 | 因为 LLM 没有结果 |
|
||||||
|
| 返回音频 | ⏸️ 未触发 | 因为 TTS 没有结果 |
|
||||||
|
|
||||||
|
## 🔧 解决方案
|
||||||
|
|
||||||
|
### 已实现：分片发送
|
||||||
|
|
||||||
|
修改客户端，将大文件分成小块发送：
|
||||||
|
|
||||||
|
```javascript
|
||||||
|
// 每次发送 8KB
|
||||||
|
const chunkSize = 8192
|
||||||
|
|
||||||
|
// 模拟流式传输
|
||||||
|
for (let offset = 0; offset < totalSize; offset += chunkSize) {
|
||||||
|
const chunk = audioData.slice(offset, offset + chunkSize)
|
||||||
|
socketTask.send({ data: chunk })
|
||||||
|
await sleep(50) // 延迟 50ms
|
||||||
|
}
|
||||||
|
|
||||||
|
// 发送结束标记
|
||||||
|
socketTask.send({ data: 'end' })
|
||||||
|
```
|
||||||
|
|
||||||
|
### 工作原理
|
||||||
|
|
||||||
|
```
|
||||||
|
客户端 → 发送 8KB 片段 1
|
||||||
|
↓
|
||||||
|
服务器 → ASR 开始识别
|
||||||
|
↓
|
||||||
|
客户端 → 发送 8KB 片段 2
|
||||||
|
↓
|
||||||
|
服务器 → ASR 继续识别
|
||||||
|
↓
|
||||||
|
... (重复)
|
||||||
|
↓
|
||||||
|
客户端 → 发送 "end" 标记
|
||||||
|
↓
|
||||||
|
服务器 → ASR 完成识别
|
||||||
|
↓
|
||||||
|
服务器 → 触发 LLM 生成
|
||||||
|
↓
|
||||||
|
服务器 → 触发 TTS 合成
|
||||||
|
↓
|
||||||
|
服务器 → 返回音频
|
||||||
|
```
|
||||||
|
|
||||||
|
## 📈 预期效果
|
||||||
|
|
||||||
|
### 修改前
|
||||||
|
- ❌ ASR 无法识别
|
||||||
|
- ❌ 60 秒后超时
|
||||||
|
- ❌ 没有任何响应
|
||||||
|
|
||||||
|
### 修改后
|
||||||
|
- ✅ ASR 正常识别
|
||||||
|
- ✅ LLM 生成回复
|
||||||
|
- ✅ TTS 合成语音
|
||||||
|
- ✅ 返回音频播放
|
||||||
|
|
||||||
|
## 🧪 测试步骤
|
||||||
|
|
||||||
|
1. 重新编译项目
|
||||||
|
2. 进入语音通话页面
|
||||||
|
3. 按住"按住说话"按钮
|
||||||
|
4. 说话 2-3 秒
|
||||||
|
5. 松开按钮
|
||||||
|
6. 观察日志：
|
||||||
|
- 应该看到 "开始分片发送"
|
||||||
|
- 应该看到 "第 X 片发送成功"
|
||||||
|
- 应该看到 "发送结束标记"
|
||||||
|
- 应该收到服务器的识别结果
|
||||||
|
- 应该收到 LLM 的回复
|
||||||
|
- 应该收到 TTS 的音频
|
||||||
|
|
||||||
|
## 🎓 经验总结
|
||||||
|
|
||||||
|
### 教训
|
||||||
|
|
||||||
|
1. **架构匹配很重要**
|
||||||
|
- 实时 ASR 需要流式输入
|
||||||
|
- 不能用批处理方式
|
||||||
|
|
||||||
|
2. **日志很重要**
|
||||||
|
- 通过日志快速定位问题
|
||||||
|
- 每个环节都要有日志
|
||||||
|
|
||||||
|
3. **理解服务端设计**
|
||||||
|
- 要了解服务端期望什么
|
||||||
|
- 不能想当然
|
||||||
|
|
||||||
|
### 最佳实践
|
||||||
|
|
||||||
|
1. **使用流式传输**
|
||||||
|
- 对于实时 ASR，必须流式发送
|
||||||
|
- 分片大小：4-8KB
|
||||||
|
- 发送间隔：50-100ms
|
||||||
|
|
||||||
|
2. **添加结束标记**
|
||||||
|
- 告诉服务器数据发送完毕
|
||||||
|
- 触发最终处理
|
||||||
|
|
||||||
|
3. **完善错误处理**
|
||||||
|
- 每个环节都要有错误处理
|
||||||
|
- 超时要有提示
|
||||||
|
|
||||||
|
## 🔗 相关文档
|
||||||
|
|
||||||
|
- [Paraformer 实时 ASR 文档](https://help.aliyun.com/zh/dashscope/developer-reference/paraformer-realtime-v2)
|
||||||
|
- [WebSocket 流式传输最佳实践](https://developer.mozilla.org/zh-CN/docs/Web/API/WebSocket)
|
||||||
|
|
||||||
|
## ✅ 结论
|
||||||
|
|
||||||
|
问题已定位并解决：
|
||||||
|
- **问题**：ASR 无法处理大块数据
|
||||||
|
- **原因**：客户端一次性发送，服务器期望流式接收
|
||||||
|
- **解决**：客户端改为分片发送，模拟流式传输
|
||||||
|
- **状态**：已实现，待测试
|
||||||
Loading…
Reference in New Issue
Block a user