BT_VOICE_FEATURES_ENABLED = False
+# Opus 编解码(需固件 CONFIG_OPUS=y)。默认关:与原 PCM 链路行为完全一致。
+# 开启后联动 RVC V3 start.audio_config:上行→input.format=opus,下行→output.format=opus。
+# 上下行可独立开:仅上行=省上行带宽;仅下行=省下行带宽。
+VC_OPUS_UPLINK_ENABLED = False # 上行:录音 PCM 分帧 opus 编码后发送
+VC_OPUS_DOWNLINK_ENABLED = True # 下行:服务端 opus 包解码为 PCM 后播放(联调中)
+# Opus 帧时长(ms):合法 2.5/5/10/20/40/60;16kHz 单声道。上行按此分帧(60ms=1920字节PCM)。
+VC_OPUS_FRAME_MS = 60
+
# =============================================================================
# 9. 本地指令与固定话术
# =============================================================================
self._c = opus.OpusCodec(encoder=encoder, decoder=decoder)\r
\r
def encode(self, pcm):\r
- if len(pcm) != FRAME_PCM_BYTES:\r
- raise ValueError("pcm must be %d bytes" % FRAME_PCM_BYTES)\r
+ # 帧长可变(2.5/5/10/20/40/60ms@16k):合法性由底层 opus_encode 校验\r
return self._c.encode(pcm)\r
\r
def decode(self, pkt):\r
BT_VOICE_FEATURES_ENABLED = False
+# Opus 编解码(需固件 CONFIG_OPUS=y)。默认关:与原 PCM 链路行为完全一致。
+# 开启后联动 RVC V3 start.audio_config:上行→input.format=opus,下行→output.format=opus。
+# 上下行可独立开:仅上行=省上行带宽;仅下行=省下行带宽。
+VC_OPUS_UPLINK_ENABLED = False # 上行:录音 PCM 分帧 opus 编码后发送
+VC_OPUS_DOWNLINK_ENABLED = True # 下行:服务端 opus 包解码为 PCM 后播放(联调中)
+# Opus 帧时长(ms):合法 2.5/5/10/20/40/60;16kHz 单声道。上行按此分帧(60ms=1920字节PCM)。
+VC_OPUS_FRAME_MS = 60
+
# =============================================================================
# 9. 本地指令与固定话术
# =============================================================================
\r
#define OPUS_CODEC_SR_HZ 16000\r
#define OPUS_CODEC_CHANNELS 1\r
-#define OPUS_CODEC_FRAME_PCM 320\r
-#define OPUS_CODEC_MAX_PKT 400\r
+#define OPUS_CODEC_FRAME_PCM 320 /* 默认 10ms 帧字节(兼容旧常量);实际帧长由调用方决定 */\r
+#define OPUS_CODEC_MAX_PKT 1275 /* opus 单帧最大字节 */\r
+#define OPUS_CODEC_MAX_FRAME 1920 /* 单次 decode 最大样本数(120ms@16k mono) */\r
\r
typedef struct _mp_obj_OpusCodec_t {\r
mp_obj_base_t base;\r
}\r
mp_buffer_info_t pcm;\r
mp_get_buffer_raise(pcm_in, &pcm, MP_BUFFER_READ);\r
- if (opus_codec_check_pcm_len(pcm.len) != 0) {\r
- mp_raise_ValueError(MP_ERROR_TEXT("pcm frame must be 320 bytes"));\r
+ if (pcm.len < 2 || (pcm.len & 1)) {\r
+ mp_raise_ValueError(MP_ERROR_TEXT("pcm must be non-empty S16LE"));\r
}\r
+ /* 帧长可变:2.5/5/10/20/40/60ms@16k(=40/80/160/320/640/960 样本),非法长度 opus_encode 返回 <0 */\r
uint8_t out[OPUS_CODEC_MAX_PKT];\r
- mp_int_t n = opus_encode(self->enc, (const opus_int16 *)pcm.buf, OPUS_CODEC_FRAME_PCM / 2,\r
+ mp_int_t n = opus_encode(self->enc, (const opus_int16 *)pcm.buf, (int)(pcm.len / 2),\r
out, OPUS_CODEC_MAX_PKT);\r
if (n < 0) {\r
mp_raise_msg_varg(&mp_type_OSError, MP_ERROR_TEXT("opus_encode %d"), (int)n);\r
if (pkt.len == 0 || pkt.len > OPUS_CODEC_MAX_PKT) {\r
mp_raise_ValueError(MP_ERROR_TEXT("invalid opus packet"));\r
}\r
- opus_int16 pcm[OPUS_CODEC_FRAME_PCM / 2];\r
+ /* 帧长可变:按包内信息解码,输出实际样本数(可为 60ms=960 样本) */\r
+ opus_int16 pcm[OPUS_CODEC_MAX_FRAME];\r
mp_int_t n = opus_decode(self->dec, pkt.buf, (opus_int32)pkt.len, pcm,\r
- OPUS_CODEC_FRAME_PCM / 2, 0);\r
+ OPUS_CODEC_MAX_FRAME, 0);\r
if (n < 0) {\r
mp_raise_msg_varg(&mp_type_OSError, MP_ERROR_TEXT("opus_decode %d"), (int)n);\r
}\r
- if (n != OPUS_CODEC_FRAME_PCM / 2) {\r
- mp_raise_msg(&mp_type_OSError, MP_ERROR_TEXT("opus_decode short frame"));\r
- }\r
- return mp_obj_new_bytes((const byte *)pcm, OPUS_CODEC_FRAME_PCM);\r
+ return mp_obj_new_bytes((const byte *)pcm, (mp_uint_t)n * 2);\r
}\r
STATIC MP_DEFINE_CONST_FUN_OBJ_2(opus_decode_obj, opus_codec_decode);\r
\r
return cfg, extras
+def _opus_switch_on(name):
+ v = cfg_attr(name, 0)
+ try:
+ return bool(int(v))
+ except Exception:
+ return bool(v)
+
+
+def _apply_v3_opus_format(in_cfg, out_cfg):
+ """按 VC_OPUS_* 开关锁定 V3 audio_config 的 format 与必填参数(16k/16bit/mono)。
+ 上行 input.format、下行 output.format 须与设备实际编解码一致。"""
+ if not isinstance(in_cfg, dict):
+ in_cfg = {}
+ if not isinstance(out_cfg, dict):
+ out_cfg = {}
+ in_cfg["format"] = "opus" if _opus_switch_on("VC_OPUS_UPLINK_ENABLED") else "pcm"
+ out_cfg["format"] = "opus" if _opus_switch_on("VC_OPUS_DOWNLINK_ENABLED") else "pcm"
+ for c in (in_cfg, out_cfg):
+ c.setdefault("sample_rate", 16000)
+ c.setdefault("bit_rate", 16)
+ c.setdefault("channel", 1)
+ return in_cfg, out_cfg
+
+
def _build_v3_welcome_options(dlg_cfg):
"""V3 start.welcome_options:与 V2.5 dialog_attributes.cfg.greeting 及配置对齐。
in_cfg, in_extra = _pick_v3_audio_cfg(inb.get("cfg") or {}, False)
out_cfg, out_extra = _pick_v3_audio_cfg(outb.get("cfg") or {}, True)
+ in_cfg, out_cfg = _apply_v3_opus_format(in_cfg, out_cfg)
data = {
"device_id": payload.get("device_id") or "",
self.AI_client_VC_send("ping")
if VC_HEARTBEAT_LOG:
print("VC: ping ping")
+ def _vc_opus_uplink_on(self):
+ return cfg_bool("VC_OPUS_UPLINK_ENABLED", False)
+
+ def _vc_opus_downlink_on(self):
+ return cfg_bool("VC_OPUS_DOWNLINK_ENABLED", False)
+
+ def _vc_opus_frame_bytes(self):
+ # 16kHz S16LE 单声道:字节 = 16000*ms/1000*2;默认 60ms=1920
+ try:
+ ms = int(cfg_attr("VC_OPUS_FRAME_MS", 60))
+ except Exception:
+ ms = 60
+ n = int(16000 * ms // 1000) * 2
+ return n if n >= 2 else 1920
+
+ def _vc_opus_up_codec(self):
+ # 直接用 C 注册模块 opus(必然可用),不依赖未冻结的 opus_codec.py
+ c = getattr(self, "_opus_up", None)
+ if c is None:
+ import opus
+ c = opus.OpusCodec(encoder=True, decoder=False)
+ self._opus_up = c
+ return c
+
+ def _vc_opus_down_codec(self):
+ c = getattr(self, "_opus_down", None)
+ if c is None:
+ import opus
+ c = opus.OpusCodec(encoder=False, decoder=True)
+ self._opus_down = c
+ return c
+
+ def _vc_opus_uplink_feed(self, pcm):
+ # 累积 PCM 按固定帧编码;不足一帧留待下次,避免帧长不齐导致编码失败
+ buf = getattr(self, "_opus_up_buf", None)
+ if buf is None:
+ buf = bytearray()
+ self._opus_up_buf = buf
+ buf.extend(pcm)
+ fb = self._vc_opus_frame_bytes()
+ try:
+ codec = self._vc_opus_up_codec()
+ except Exception as e:
+ usys.print_exception(e)
+ return
+ while len(buf) >= fb:
+ frame = bytes(buf[:fb])
+ del buf[:fb]
+ try:
+ pkt = codec.encode(frame)
+ except Exception as e:
+ usys.print_exception(e)
+ continue
+ l = len(pkt)
+ if l <= 0:
+ continue
+ if self.AI_client_VC_isconnect != 1 or self.AI_client_VC is None:
+ self._uplink_note_tx_fail(l, "opus_enqueue_ws_down")
+ return
+ self._uplink_mark_start(l)
+ self._uplink_bytes += l
+ self.AI_VC_send_data_queue.put([AI_client_VC_num, pkt])
+
def AI_client_VC_send(self,data_str):
+ # 上行 opus:PCM(bytes) 累积分帧编码后入队;开关关闭时完全走原 PCM 逻辑
+ if not isinstance(data_str, str) and self._vc_opus_uplink_on():
+ self._vc_opus_uplink_feed(data_str)
+ return
# V3:统一在发送队列前将 event/payload 转为 type/data
try:
if isinstance(data_str, str):
# 聆听灯只在“录音真正开始/停止”处更新(VC_Speech_Start/End)。
# 会话开始:允许上行;连续对话模式下直接进入“可发送音频”状态
self._vc_session_started = 1
+ # 新会话清空上行 opus 累积缓冲,避免上一会话残留半帧串入
+ self._opus_up_buf = bytearray()
# started 时不要强制清 Close_flag:
# - Close_flag==1:提示音/模式切换播完退出
# - Close_flag==0:正常对话流程
print("新的AI对话不允许以前的播放数据:")
break
+ # 下行 opus:每个二进制帧=一个 opus 包,解码为 PCM 再走原播放/保存路径
+ if not isinstance(recv_data, str) and self._vc_opus_downlink_on():
+ try:
+ _ilen = len(recv_data)
+ recv_data = self._vc_opus_down_codec().decode(recv_data)
+ self._opus_dn_cnt = getattr(self, "_opus_dn_cnt", 0) + 1
+ if self._opus_dn_cnt <= 5 or (self._opus_dn_cnt % 50) == 0:
+ print("[VC][opus_dn] #{} in={} out={}".format(
+ self._opus_dn_cnt, _ilen, len(recv_data)))
+ except Exception as e:
+ print("[VC][opus_dn] decode fail in={}".format(_ilen))
+ usys.print_exception(e)
+ continue
+
# if VC_AUDIO_FRAME_LOG:
# print("下发音频数据1:{}".format(len(recv_data)))