# 协议 failed / websocket_error 是否 synthesis 播报错误原文(联调=1,量产=0)
VC_ERROR_TTS_ENABLED = 1
+# 是否累积并打印 AI 回复文本(llm.delta):联调=1 可在日志看到回复;量产=0 省 recv 线程开销
+VC_LLM_DELTA_LOG = 0
+# V3 start.output_mode:audio=仅下发 TTS 音频(默认);both/text=服务端额外下发 llm.delta 文本,
+# 配合 VC_LLM_DELTA_LOG=1 可在日志看到 AI 回复文字。需云端 agent 支持文本输出方有效。
+VC_OUTPUT_MODE = "audio"
+# 服务端 tts.done 后立刻 clean-close WS 时,Close 前等待本地 PCM 放完尾音的最大时长(ms),
+# 防"对话播报一半就停";仅对正常收尾且仍在播放时生效
+VC_CLEAN_CLOSE_DRAIN_MS = 3000
# 长对话 L1:轮次间隙无 TTS 下行累计达此秒 Close(听/想/播/录、保活帧不计;最小 5)
VC_IDLE_AUTO_CLOSE_SEC = 20
# 协议 failed / websocket_error 是否 synthesis 播报错误原文(联调=1,量产=0)
VC_ERROR_TTS_ENABLED = 1
+# 是否累积并打印 AI 回复文本(llm.delta):联调=1 可在日志看到回复;量产=0 省 recv 线程开销
+VC_LLM_DELTA_LOG = 0
+# V3 start.output_mode:audio=仅下发 TTS 音频(默认);both/text=服务端额外下发 llm.delta 文本,
+# 配合 VC_LLM_DELTA_LOG=1 可在日志看到 AI 回复文字。需云端 agent 支持文本输出方有效。
+VC_OUTPUT_MODE = "audio"
# 服务端 tts.done 后立刻 clean-close WS 时,Close 前等待本地 PCM 放完尾音的最大时长(ms),
# 防"对话播报一半就停";仅对正常收尾且仍在播放时生效
VC_CLEAN_CLOSE_DRAIN_MS = 3000
self.mark_tts_rx_idle()
self.log("local.audio_played")
+ def on_local_no_speech_idle(self):
+ # 场景①:长对话开麦后本轮无人说话,停录回 idle(会话保持、不提交)。
+ # 必须把 turn 从 Listening 拉回 Idle:否则 _vc_long_idle_timer_armed() 因
+ # turn==Listening 恒为 False,L1 空闲自动关无法累计,会话只能干等云端
+ # IdleTimeout 报错并被 TTS 念出来。仅在未进入思考/播放链路时下拉,避免误伤。
+ if self.session == VCSessionState.Started:
+ if self.turn in (
+ VCTurnState.Listening,
+ VCTurnState.SpeechStreaming,
+ VCTurnState.SpeechEnded,
+ ):
+ self.turn = VCTurnState.Idle
+ self.reset_rx_phases()
+ self.log("local.no_speech_idle")
+
def on_local_play_start(self):
if self.session == VCSessionState.Started:
self.turn = VCTurnState.Playing
out_cfg, out_extra = _pick_v3_audio_cfg(outb.get("cfg") or {}, True)
in_cfg, out_cfg = _apply_v3_opus_format(in_cfg, out_cfg)
+ # 输出模态可配:VC_OUTPUT_MODE 缺省 audio(仅下发 TTS 音频)。
+ # 配成 both/text 时服务端才会下发 llm.delta 文本,端侧才能打印 AI 回复文字。
+ out_mode = str(cfg_attr("VC_OUTPUT_MODE", "audio") or "audio").lower().strip()
+ if out_mode not in ("audio", "text", "both"):
+ out_mode = "audio"
+
data = {
"device_id": payload.get("device_id") or "",
"session_mode": session_mode,
"input_mode": "audio",
- "output_mode": "audio",
+ "output_mode": out_mode,
"audio_config": {
"input": in_cfg,
"output": out_cfg,
return None
return s
+ def _vc_accum_llm_delta(self, raw):
+ """VC_LLM_DELTA_LOG=1 调试:累积 llm.delta 文本片段,llm.completed 时整段打印 AI 回复。"""
+ try:
+ d = vc_proto_normalize_server(ujson.loads(raw))
+ frag = (d.get("payload") or {}).get("content", "") or ""
+ if frag:
+ self._vc_llm_reply_buf = getattr(self, "_vc_llm_reply_buf", "") + frag
+ except Exception:
+ pass
+
def _vc_classify_llm_tts_kind(self, payload_dialog_id=""):
"""设计稿 llm tts:V3 下行常无 dialog_id,用轮次状态补判为 dialog。"""
if payload_dialog_id:
# recv 线程会被拖住 2~3s,导致其后的 tts.started 晚到、播放迟迟不开始。
# 这里在解析前用子串快速识别并跳过(idle 计时已在解析前刷新,安全)。
if self.is_VAD != 0 and ('"llm.delta"' in recv_data):
+ # VC_LLM_DELTA_LOG=1 调试:累积回复文本,llm.completed 整段打印
+ if cfg_bool("VC_LLM_DELTA_LOG", False):
+ self._vc_accum_llm_delta(recv_data)
continue
jsload_data = ujson.loads(recv_data)
try:
self._uplink_mark_end("vad.silence")
elif jsload_data["event"] == "llm.created" :#思考(LLM)
self._turn_has_llm_created = 1
+ self._vc_llm_reply_buf = ""
if (
self._vc_is_long_dialogue_mode()
and getattr(self, "VC_record_state_flag", 0) != 0
):
self._vc_expect_dialog_tts = 1
elif jsload_data["event"] == "llm.completed" :#llm完成(可能无 tts)
+ try:
+ _reply = getattr(self, "_vc_llm_reply_buf", "")
+ if _reply:
+ print("[VC][LLM] reply={}".format(_reply))
+ self._vc_llm_reply_buf = ""
+ except Exception:
+ pass
try:
self._llm_completed_ms = utime.ticks_ms()
except Exception:
if hasattr(self.fsm, "log"):
self.fsm.log("server.llm.completed")
elif jsload_data["event"] == "llm.delta" :#llm返回数据
+ if cfg_bool("VC_LLM_DELTA_LOG", False):
+ try:
+ _frag = (jsload_data.get("payload") or {}).get("content", "") or ""
+ if _frag:
+ self._vc_llm_reply_buf = getattr(self, "_vc_llm_reply_buf", "") + _frag
+ except Exception:
+ pass
if self.is_VAD == 0 and self.record_data_save_flag == 0:
if self.VC_record_state_flag == 1:#llm返回数据还没停止,就先停止
self.request_uplink_stop("llm.delta")
if getattr(self, "_vc_no_speech_idle", 0) == 1:
# 场景①:开麦后一直无有效语音,停录回 idle 省电(会话保持,不提交)
self._vc_publish_led("idle", "VC_Speech_End/no_speech")
+ # 同步把 FSM 拉回 Idle,使 L1 空闲自动关(close_timerout)能开始累计;
+ # 否则 turn 卡在 Listening,会话只能等云端 IdleTimeout 报错
+ try:
+ self.fsm.on_local_no_speech_idle()
+ except Exception:
+ pass
elif (
getattr(self, "_vc_session_started", 0) == 1
and getattr(self, "Close_flag", 0) == 0