$npx -y skills add MatrixReligio/ProductVideoCreator --skill voiceover使用 edge-tts 生成多语言配音(中文/英文)。当需要为视频生成语音旁白、基于时间线同步配音时使用。支持语速调整、多种声音选择和配音验证。
| 1 | # 配音生成技能 |
| 2 | |
| 3 | ## 技术选型 |
| 4 | |
| 5 | | 方案 | 优点 | 缺点 | |
| 6 | |------|------|------| |
| 7 | | edge-tts | 免费、音质好、多语言支持 | 需要网络 | |
| 8 | | Azure TTS | 更多声音选择、更稳定 | 需要付费 | |
| 9 | |
| 10 | **推荐**: edge-tts |
| 11 | |
| 12 | ## 声音选择 |
| 13 | |
| 14 | ### 中文声音列表 (zh-CN) |
| 15 | |
| 16 | | 声音 ID | 性别 | 风格 | 适用场景 | |
| 17 | |---------|------|------|----------| |
| 18 | | zh-CN-XiaoxiaoNeural | 女 | 温暖亲切 | 产品介绍、教程 | |
| 19 | | zh-CN-YunxiNeural | 男 | 专业稳重 | 企业宣传、正式场合 | |
| 20 | | zh-CN-YunjianNeural | 男 | 激情活力 | 科技发布、激励视频 | |
| 21 | | zh-CN-XiaoyiNeural | 女 | 年轻活泼 | 创意内容、轻松主题 | |
| 22 | | zh-CN-YunyangNeural | 男 | 新闻播报 | 资讯类、严肃主题 | |
| 23 | |
| 24 | ### 英文声音列表 (en-US) |
| 25 | |
| 26 | | 声音 ID | 性别 | 风格 | 适用场景 | |
| 27 | |---------|------|------|----------| |
| 28 | | en-US-GuyNeural | 男 | 专业稳重 | 企业宣传、产品介绍 | |
| 29 | | en-US-JennyNeural | 女 | 温暖友好 | 教程、客户服务 | |
| 30 | | en-US-AriaNeural | 女 | 清晰专业 | 新闻、正式场合 | |
| 31 | | en-US-DavisNeural | 男 | 年轻活力 | 科技内容、创意视频 | |
| 32 | | en-US-JasonNeural | 男 | 激情活力 | 发布会、激励视频 | |
| 33 | | en-US-SaraNeural | 女 | 年轻活泼 | 社交媒体、轻松主题 | |
| 34 | |
| 35 | ### 声音选择建议 |
| 36 | |
| 37 | **中文视频:** |
| 38 | |
| 39 | | 视频类型 | 推荐声音 | |
| 40 | |----------|----------| |
| 41 | | 产品演示 | XiaoxiaoNeural (女) | |
| 42 | | 公司介绍 | YunxiNeural (男) 或 XiaoxiaoNeural | |
| 43 | | 科技历程 | **YunjianNeural (男)** - 有激情感 | |
| 44 | | 教程类 | XiaoxiaoNeural (女) | |
| 45 | | 发布会风格 | YunjianNeural (男) | |
| 46 | |
| 47 | **英文视频:** |
| 48 | |
| 49 | | 视频类型 | 推荐声音 | |
| 50 | |----------|----------| |
| 51 | | 产品演示 | GuyNeural (男) 或 JennyNeural (女) | |
| 52 | | 公司介绍 | GuyNeural (男) 或 AriaNeural (女) | |
| 53 | | 科技历程 | **JasonNeural (男)** - 有激情感 | |
| 54 | | 教程类 | JennyNeural (女) | |
| 55 | | 发布会风格 | JasonNeural (男) 或 DavisNeural (男) | |
| 56 | |
| 57 | ## 时间线计算 |
| 58 | |
| 59 | ### 核心公式 |
| 60 | |
| 61 | ```python |
| 62 | # 最终视频时间 = 录屏事件时间 + 偏移量 |
| 63 | DEMO_START = OPENING_DURATION + FEATURES_DURATION |
| 64 | final_time = recording_time + DEMO_START |
| 65 | ``` |
| 66 | |
| 67 | ### 图文视频时间线 |
| 68 | |
| 69 | 对于图文展示型视频,时间线由分镜直接定义: |
| 70 | |
| 71 | ```python |
| 72 | # 场景时间配置 |
| 73 | SCENES = { |
| 74 | "opening": {"start": 0, "duration": 8}, |
| 75 | "scene_1": {"start": 8, "duration": 14}, |
| 76 | "scene_2": {"start": 22, "duration": 16}, |
| 77 | # ... |
| 78 | } |
| 79 | |
| 80 | # 配音定义 - 直接基于场景时间 |
| 81 | VOICEOVER_SEGMENTS = [ |
| 82 | (0.5, 7.5, "片头配音..."), # 场景 opening 内 |
| 83 | (8.5, 21.5, "场景1配音..."), # 场景 scene_1 内 |
| 84 | (22.5, 37.5, "场景2配音..."), # 场景 scene_2 内 |
| 85 | ] |
| 86 | ``` |
| 87 | |
| 88 | ## 配音验证机制 (重要) |
| 89 | |
| 90 | ### 自动化验证函数 |
| 91 | |
| 92 | ```python |
| 93 | def validate_voiceover(segments, total_duration): |
| 94 | """ |
| 95 | 验证配音时间线 |
| 96 | 返回: (是否通过, 问题列表) |
| 97 | """ |
| 98 | issues = [] |
| 99 | |
| 100 | for i, seg in enumerate(segments): |
| 101 | # 检查1: 配音是否超出场景时长 |
| 102 | actual_end = seg["start_time"] + seg["actual_duration"] |
| 103 | if seg["actual_duration"] > seg["target_duration"] + 0.5: |
| 104 | issues.append({ |
| 105 | "type": "duration_exceeded", |
| 106 | "segment": i, |
| 107 | "message": f"片段{i}: 实际({seg['actual_duration']:.1f}s) > 目标({seg['target_duration']:.1f}s)", |
| 108 | "severity": "warning" |
| 109 | }) |
| 110 | |
| 111 | # 检查2: 配音是否与下一段重叠 |
| 112 | if i < len(segments) - 1: |
| 113 | next_start = segments[i+1]["start_time"] |
| 114 | if actual_end > next_start: |
| 115 | issues.append({ |
| 116 | "type": "overlap", |
| 117 | "segment": i, |
| 118 | "message": f"片段{i}和{i+1}重叠: {actual_end:.1f}s > {next_start:.1f}s", |
| 119 | "severity": "error" |
| 120 | }) |
| 121 | |
| 122 | # 检查3: 最后一段是否超出视频时长 |
| 123 | last_seg = segments[-1] |
| 124 | last_end = last_seg["start_time"] + last_seg["actual_duration"] |
| 125 | if last_end > total_duration + 1: |
| 126 | issues.append({ |
| 127 | "type": "exceeds_video", |
| 128 | "message": f"配音结束({last_end:.1f}s) > 视频时长({total_duration}s)", |
| 129 | "severity": "error" |
| 130 | }) |
| 131 | |
| 132 | # 检查4: 空白间隙 |
| 133 | for i in range(len(segments) - 1): |
| 134 | current_end = segments[i]["start_time"] + segments[i]["actual_duration"] |
| 135 | next_start = segments[i+1]["start_time"] |
| 136 | gap = next_start - current_end |
| 137 | if gap > 3: |
| 138 | issues.append({ |
| 139 | "type": "large_gap", |
| 140 | "segment": i, |
| 141 | "message": f"片段{i}和{i+1}之间有{gap:.1f}s空白", |
| 142 | "severity": "warning" |
| 143 | }) |
| 144 | |
| 145 | passed = not any(issue["severity"] == "error" for issue in issues) |
| 146 | return passed, issues |
| 147 | ``` |
| 148 | |
| 149 | ### 验证报告输出 |
| 150 | |
| 151 | ```python |
| 152 | def print_validation_report(segments, total_duration): |
| 153 | """打印配音验证报告""" |
| 154 | passed, issues = validate_voiceover(segments, total_duration) |
| 155 | |
| 156 | print("╔" + "═" * 58 + "╗") |
| 157 | print("║" + "配音验证报告".center(54) + "║") |
| 158 | print("╠" + "═" * 58 + "╣") |
| 159 | print("║ 片段 │ 开始 │ 目标时长 │ 实际时长 │ 状态 ║") |
| 160 | print("╠" + "═" * 58 + "╣") |
| 161 | |
| 162 | for i, seg in enumerate(segments): |
| 163 | status = "✅ OK" if seg["actual_duration"] <= seg["target_duration"] + 0.5 else "⚠️ 超时" |
| 164 | print(f"║ {i:2d} │ {seg['start_time']:5.1f}s │ {seg['target_duration']:5.1f}s │ {seg['actual_duration']:5.1f}s │ {status:10s} ║") |
| 165 | |
| 166 | print("╠" + "═" * 58 + "╣") |
| 167 | |
| 168 | if passed: |
| 169 | print("║ ✅ 验证通过 ║") |
| 170 | else: |
| 171 | print("║ ❌ 验证失败,请检查以下问题: ║") |
| 172 | for issue in issues: |
| 173 | if issue["severity"] == "error": |
| 174 | print(f"║ ❌ {issue['message'][:50]:50s} ║") |
| 175 | |
| 176 | print("╚" + "═" * 58 + "╝") |
| 177 | |
| 178 | return passed |
| 179 | ``` |
| 180 | |
| 181 | ## 完整配音脚本模板 (V2 - 多语言版) |
| 182 | |
| 183 | ```python |
| 184 | #!/usr/bin/env python3 |
| 185 | """ |
| 186 | 配 |