opus下行默认开启,可用。
authorsnickersun <snickersun@163.com>
Wed, 3 Jun 2026 08:19:56 +0000 (16:19 +0800)
committersnickersun <snickersun@163.com>
Wed, 3 Jun 2026 08:19:56 +0000 (16:19 +0800)
2.sdk/project/7PIN_1_5/sdk/services/microPython/ports/quectel/core/default_config.py
2.sdk/project/7PIN_1_5/sdk/services/microPython/ports/quectel/core/opus_codec.py
2.sdk/project/7PIN_1_5/sdk/services/microPython/ports/quectel/core/products/configs/k8v3/default_config.py
2.sdk/project/7PIN_1_5/sdk/services/microPython/ports/quectel/core/source/modopus.c
2.sdk/project/7PIN_1_5/sdk/services/microPython/ports/quectel/core/vc_proto.py
2.sdk/project/7PIN_1_5/sdk/services/microPython/ports/quectel/core/vc_session_io.py

index 89fb28c..f7ccfe7 100644 (file)
@@ -218,6 +218,14 @@ KEYWORDS_FROM_VOICE_TYPE = False
 
 BT_VOICE_FEATURES_ENABLED = False
 
+# Opus 编解码(需固件 CONFIG_OPUS=y)。默认关:与原 PCM 链路行为完全一致。
+# 开启后联动 RVC V3 start.audio_config:上行→input.format=opus,下行→output.format=opus。
+# 上下行可独立开:仅上行=省上行带宽;仅下行=省下行带宽。
+VC_OPUS_UPLINK_ENABLED = False     # 上行:录音 PCM 分帧 opus 编码后发送
+VC_OPUS_DOWNLINK_ENABLED = True    # 下行:服务端 opus 包解码为 PCM 后播放(联调中)
+# Opus 帧时长(ms):合法 2.5/5/10/20/40/60;16kHz 单声道。上行按此分帧(60ms=1920字节PCM)。
+VC_OPUS_FRAME_MS = 60
+
 # =============================================================================
 # 9. 本地指令与固定话术
 # =============================================================================
index c4a2228..75c5160 100644 (file)
@@ -18,8 +18,7 @@ class OpusCodec:
         self._c = opus.OpusCodec(encoder=encoder, decoder=decoder)\r
 \r
     def encode(self, pcm):\r
-        if len(pcm) != FRAME_PCM_BYTES:\r
-            raise ValueError("pcm must be %d bytes" % FRAME_PCM_BYTES)\r
+        # 帧长可变(2.5/5/10/20/40/60ms@16k):合法性由底层 opus_encode 校验\r
         return self._c.encode(pcm)\r
 \r
     def decode(self, pkt):\r
index 89fb28c..f7ccfe7 100644 (file)
@@ -218,6 +218,14 @@ KEYWORDS_FROM_VOICE_TYPE = False
 
 BT_VOICE_FEATURES_ENABLED = False
 
+# Opus 编解码(需固件 CONFIG_OPUS=y)。默认关:与原 PCM 链路行为完全一致。
+# 开启后联动 RVC V3 start.audio_config:上行→input.format=opus,下行→output.format=opus。
+# 上下行可独立开:仅上行=省上行带宽;仅下行=省下行带宽。
+VC_OPUS_UPLINK_ENABLED = False     # 上行:录音 PCM 分帧 opus 编码后发送
+VC_OPUS_DOWNLINK_ENABLED = True    # 下行:服务端 opus 包解码为 PCM 后播放(联调中)
+# Opus 帧时长(ms):合法 2.5/5/10/20/40/60;16kHz 单声道。上行按此分帧(60ms=1920字节PCM)。
+VC_OPUS_FRAME_MS = 60
+
 # =============================================================================
 # 9. 本地指令与固定话术
 # =============================================================================
index b05c2c2..8857bcf 100644 (file)
@@ -17,8 +17,9 @@
 \r
 #define OPUS_CODEC_SR_HZ     16000\r
 #define OPUS_CODEC_CHANNELS  1\r
-#define OPUS_CODEC_FRAME_PCM 320\r
-#define OPUS_CODEC_MAX_PKT   400\r
+#define OPUS_CODEC_FRAME_PCM 320      /* 默认 10ms 帧字节(兼容旧常量);实际帧长由调用方决定 */\r
+#define OPUS_CODEC_MAX_PKT   1275     /* opus 单帧最大字节 */\r
+#define OPUS_CODEC_MAX_FRAME 1920     /* 单次 decode 最大样本数(120ms@16k mono) */\r
 \r
 typedef struct _mp_obj_OpusCodec_t {\r
     mp_obj_base_t base;\r
@@ -91,11 +92,12 @@ STATIC mp_obj_t opus_codec_encode(mp_obj_t self_in, mp_obj_t pcm_in)
     }\r
     mp_buffer_info_t pcm;\r
     mp_get_buffer_raise(pcm_in, &pcm, MP_BUFFER_READ);\r
-    if (opus_codec_check_pcm_len(pcm.len) != 0) {\r
-        mp_raise_ValueError(MP_ERROR_TEXT("pcm frame must be 320 bytes"));\r
+    if (pcm.len < 2 || (pcm.len & 1)) {\r
+        mp_raise_ValueError(MP_ERROR_TEXT("pcm must be non-empty S16LE"));\r
     }\r
+    /* 帧长可变:2.5/5/10/20/40/60ms@16k(=40/80/160/320/640/960 样本),非法长度 opus_encode 返回 <0 */\r
     uint8_t out[OPUS_CODEC_MAX_PKT];\r
-    mp_int_t n = opus_encode(self->enc, (const opus_int16 *)pcm.buf, OPUS_CODEC_FRAME_PCM / 2,\r
+    mp_int_t n = opus_encode(self->enc, (const opus_int16 *)pcm.buf, (int)(pcm.len / 2),\r
                              out, OPUS_CODEC_MAX_PKT);\r
     if (n < 0) {\r
         mp_raise_msg_varg(&mp_type_OSError, MP_ERROR_TEXT("opus_encode %d"), (int)n);\r
@@ -115,16 +117,14 @@ STATIC mp_obj_t opus_codec_decode(mp_obj_t self_in, mp_obj_t pkt_in)
     if (pkt.len == 0 || pkt.len > OPUS_CODEC_MAX_PKT) {\r
         mp_raise_ValueError(MP_ERROR_TEXT("invalid opus packet"));\r
     }\r
-    opus_int16 pcm[OPUS_CODEC_FRAME_PCM / 2];\r
+    /* 帧长可变:按包内信息解码,输出实际样本数(可为 60ms=960 样本) */\r
+    opus_int16 pcm[OPUS_CODEC_MAX_FRAME];\r
     mp_int_t n = opus_decode(self->dec, pkt.buf, (opus_int32)pkt.len, pcm,\r
-                             OPUS_CODEC_FRAME_PCM / 2, 0);\r
+                             OPUS_CODEC_MAX_FRAME, 0);\r
     if (n < 0) {\r
         mp_raise_msg_varg(&mp_type_OSError, MP_ERROR_TEXT("opus_decode %d"), (int)n);\r
     }\r
-    if (n != OPUS_CODEC_FRAME_PCM / 2) {\r
-        mp_raise_msg(&mp_type_OSError, MP_ERROR_TEXT("opus_decode short frame"));\r
-    }\r
-    return mp_obj_new_bytes((const byte *)pcm, OPUS_CODEC_FRAME_PCM);\r
+    return mp_obj_new_bytes((const byte *)pcm, (mp_uint_t)n * 2);\r
 }\r
 STATIC MP_DEFINE_CONST_FUN_OBJ_2(opus_decode_obj, opus_codec_decode);\r
 \r
index b306c74..5a85b2d 100644 (file)
@@ -111,6 +111,30 @@ def _pick_v3_audio_cfg(src, is_output=False):
     return cfg, extras
 
 
+def _opus_switch_on(name):
+    v = cfg_attr(name, 0)
+    try:
+        return bool(int(v))
+    except Exception:
+        return bool(v)
+
+
+def _apply_v3_opus_format(in_cfg, out_cfg):
+    """按 VC_OPUS_* 开关锁定 V3 audio_config 的 format 与必填参数(16k/16bit/mono)。
+    上行 input.format、下行 output.format 须与设备实际编解码一致。"""
+    if not isinstance(in_cfg, dict):
+        in_cfg = {}
+    if not isinstance(out_cfg, dict):
+        out_cfg = {}
+    in_cfg["format"] = "opus" if _opus_switch_on("VC_OPUS_UPLINK_ENABLED") else "pcm"
+    out_cfg["format"] = "opus" if _opus_switch_on("VC_OPUS_DOWNLINK_ENABLED") else "pcm"
+    for c in (in_cfg, out_cfg):
+        c.setdefault("sample_rate", 16000)
+        c.setdefault("bit_rate", 16)
+        c.setdefault("channel", 1)
+    return in_cfg, out_cfg
+
+
 def _build_v3_welcome_options(dlg_cfg):
     """V3 start.welcome_options:与 V2.5 dialog_attributes.cfg.greeting 及配置对齐。
 
@@ -160,6 +184,7 @@ def _convert_start_payload_v25_to_v3(payload):
 
     in_cfg, in_extra = _pick_v3_audio_cfg(inb.get("cfg") or {}, False)
     out_cfg, out_extra = _pick_v3_audio_cfg(outb.get("cfg") or {}, True)
+    in_cfg, out_cfg = _apply_v3_opus_format(in_cfg, out_cfg)
 
     data = {
         "device_id": payload.get("device_id") or "",
index 6ab472f..c94f42f 100644 (file)
@@ -390,7 +390,74 @@ class VCSessionIoMixin:
             self.AI_client_VC_send("ping")
             if VC_HEARTBEAT_LOG:
                 print("VC: ping ping")
+    def _vc_opus_uplink_on(self):
+        return cfg_bool("VC_OPUS_UPLINK_ENABLED", False)
+
+    def _vc_opus_downlink_on(self):
+        return cfg_bool("VC_OPUS_DOWNLINK_ENABLED", False)
+
+    def _vc_opus_frame_bytes(self):
+        # 16kHz S16LE 单声道:字节 = 16000*ms/1000*2;默认 60ms=1920
+        try:
+            ms = int(cfg_attr("VC_OPUS_FRAME_MS", 60))
+        except Exception:
+            ms = 60
+        n = int(16000 * ms // 1000) * 2
+        return n if n >= 2 else 1920
+
+    def _vc_opus_up_codec(self):
+        # 直接用 C 注册模块 opus(必然可用),不依赖未冻结的 opus_codec.py
+        c = getattr(self, "_opus_up", None)
+        if c is None:
+            import opus
+            c = opus.OpusCodec(encoder=True, decoder=False)
+            self._opus_up = c
+        return c
+
+    def _vc_opus_down_codec(self):
+        c = getattr(self, "_opus_down", None)
+        if c is None:
+            import opus
+            c = opus.OpusCodec(encoder=False, decoder=True)
+            self._opus_down = c
+        return c
+
+    def _vc_opus_uplink_feed(self, pcm):
+        # 累积 PCM 按固定帧编码;不足一帧留待下次,避免帧长不齐导致编码失败
+        buf = getattr(self, "_opus_up_buf", None)
+        if buf is None:
+            buf = bytearray()
+            self._opus_up_buf = buf
+        buf.extend(pcm)
+        fb = self._vc_opus_frame_bytes()
+        try:
+            codec = self._vc_opus_up_codec()
+        except Exception as e:
+            usys.print_exception(e)
+            return
+        while len(buf) >= fb:
+            frame = bytes(buf[:fb])
+            del buf[:fb]
+            try:
+                pkt = codec.encode(frame)
+            except Exception as e:
+                usys.print_exception(e)
+                continue
+            l = len(pkt)
+            if l <= 0:
+                continue
+            if self.AI_client_VC_isconnect != 1 or self.AI_client_VC is None:
+                self._uplink_note_tx_fail(l, "opus_enqueue_ws_down")
+                return
+            self._uplink_mark_start(l)
+            self._uplink_bytes += l
+            self.AI_VC_send_data_queue.put([AI_client_VC_num, pkt])
+
     def AI_client_VC_send(self,data_str):
+        # 上行 opus:PCM(bytes) 累积分帧编码后入队;开关关闭时完全走原 PCM 逻辑
+        if not isinstance(data_str, str) and self._vc_opus_uplink_on():
+            self._vc_opus_uplink_feed(data_str)
+            return
         # V3:统一在发送队列前将 event/payload 转为 type/data
         try:
             if isinstance(data_str, str):
@@ -652,6 +719,8 @@ class VCSessionIoMixin:
                             # 聆听灯只在“录音真正开始/停止”处更新(VC_Speech_Start/End)。
                             # 会话开始:允许上行;连续对话模式下直接进入“可发送音频”状态
                             self._vc_session_started = 1
+                            # 新会话清空上行 opus 累积缓冲,避免上一会话残留半帧串入
+                            self._opus_up_buf = bytearray()
                             # started 时不要强制清 Close_flag:
                             # - Close_flag==1:提示音/模式切换播完退出
                             # - Close_flag==0:正常对话流程
@@ -1110,6 +1179,20 @@ class VCSessionIoMixin:
                             print("新的AI对话不允许以前的播放数据:")
                             break
 
+                        # 下行 opus:每个二进制帧=一个 opus 包,解码为 PCM 再走原播放/保存路径
+                        if not isinstance(recv_data, str) and self._vc_opus_downlink_on():
+                            try:
+                                _ilen = len(recv_data)
+                                recv_data = self._vc_opus_down_codec().decode(recv_data)
+                                self._opus_dn_cnt = getattr(self, "_opus_dn_cnt", 0) + 1
+                                if self._opus_dn_cnt <= 5 or (self._opus_dn_cnt % 50) == 0:
+                                    print("[VC][opus_dn] #{} in={} out={}".format(
+                                        self._opus_dn_cnt, _ilen, len(recv_data)))
+                            except Exception as e:
+                                print("[VC][opus_dn] decode fail in={}".format(_ilen))
+                                usys.print_exception(e)
+                                continue
+
                         # if VC_AUDIO_FRAME_LOG:
                         #     print("下发音频数据1:{}".format(len(recv_data)))