$npx -y skills add azuma520/youtube-to-notebooklm --skill whisper-transcribeTranscribe audio/video to accurate subtitles using Whisper AI, with optional translation and delivery. Supports YouTube URLs and local audio/video files. Use when: (1) a YouTube video has no subtitles, (2) auto-generated captions are inaccurate, (3) the user wants high-quality tr
| 1 | # whisper-transcribe |
| 2 | |
| 3 | 用 Whisper AI 將音頻/影片轉錄為高準確度字幕(SRT),可選翻譯和投遞。 |
| 4 | |
| 5 | ## 何時使用 |
| 6 | |
| 7 | - yt-search 回報影片**沒有字幕** |
| 8 | - YouTube 自動字幕**品質差**(用戶抱怨不準) |
| 9 | - 用戶需要**非 YouTube 來源**的轉錄(本地音頻、會議錄音等) |
| 10 | - 用戶要求**翻譯字幕** |
| 11 | - 用戶想把字幕**寄到信箱或上傳雲端** |
| 12 | |
| 13 | ## 前置條件 |
| 14 | |
| 15 | - `yt-dlp` + `ffmpeg`(下載音頻) |
| 16 | - **本地模式**:`pip install faster-whisper`(需 GPU 或可用 CPU) |
| 17 | - **雲端模式**:`pip install groq` + `GROQ_API_KEY` |
| 18 | |
| 19 | 詳細安裝見 [references/setup.md](references/setup.md)。 |
| 20 | |
| 21 | ## 核心流程:轉錄 |
| 22 | |
| 23 | ### 從 YouTube URL |
| 24 | |
| 25 | ```bash |
| 26 | python <skill-path>/scripts/transcribe.py "https://youtube.com/watch?v=xxx" \ |
| 27 | -o "$TEMP/transcripts" \ |
| 28 | --model large-v3 \ |
| 29 | --device cuda |
| 30 | ``` |
| 31 | |
| 32 | ### 從本地檔案 |
| 33 | |
| 34 | ```bash |
| 35 | python <skill-path>/scripts/transcribe.py ./recording.mp3 \ |
| 36 | -o "$TEMP/transcripts" \ |
| 37 | --model large-v3 |
| 38 | ``` |
| 39 | |
| 40 | ### 使用 Groq 雲端(無 GPU) |
| 41 | |
| 42 | ```bash |
| 43 | python <skill-path>/scripts/transcribe.py "URL_or_FILE" \ |
| 44 | -o "$TEMP/transcripts" \ |
| 45 | --backend groq |
| 46 | ``` |
| 47 | |
| 48 | 輸出:`{video_id}.srt`(帶時間碼)+ `{video_id}.txt`(純文字)。 |
| 49 | |
| 50 | ### 參數選擇指引 |
| 51 | |
| 52 | | 情境 | 建議參數 | |
| 53 | |------|---------| |
| 54 | | 一般英文影片 | `--model large-v3`(預設) | |
| 55 | | 中文/日文內容 | `--model large-v3 --language zh` 或 `ja` | |
| 56 | | 快速預覽 | `--model small --device cpu` | |
| 57 | | 無 GPU | `--backend groq` | |
| 58 | | 長影片(> 2 小時) | 本地模式,避免 API 超時 | |
| 59 | |
| 60 | 不指定 `--language` 時會自動偵測。但已知語言時指定會提高準確度。 |
| 61 | |
| 62 | ## 可選:翻譯字幕 |
| 63 | |
| 64 | 轉錄完成後,用戶想翻譯: |
| 65 | |
| 66 | ```bash |
| 67 | python <skill-path>/scripts/translate_srt.py "$TEMP/transcripts/VIDEO_ID.srt" \ |
| 68 | --target zh-tw \ |
| 69 | --engine deepl \ |
| 70 | -o "$TEMP/transcripts/VIDEO_ID_zh.srt" |
| 71 | ``` |
| 72 | |
| 73 | **翻譯引擎選擇**: |
| 74 | |
| 75 | | 引擎 | 品質 | 速度 | 成本 | 設定 | |
| 76 | |------|------|------|------|------| |
| 77 | | `deepl` | 最佳 | 快 | 免費 50 萬字/月 | `DEEPL_API_KEY` | |
| 78 | | `openai` | 很好(上下文感知) | 中 | 按量計費 | `OPENAI_API_KEY` | |
| 79 | |
| 80 | 也可以讓 Agent 直接讀取 TXT 檔後在對話中翻譯,不需要額外 API — 適合短內容或用戶想邊看邊討論。 |
| 81 | |
| 82 | ## 可選:投遞 |
| 83 | |
| 84 | ### 寄到 Gmail |
| 85 | |
| 86 | Agent 使用可用的 email 工具(Claude Code 有 Gmail MCP): |
| 87 | |
| 88 | 1. 讀取轉錄/翻譯後的檔案 |
| 89 | 2. 建立草稿或直接發送,附上 SRT/TXT 檔案 |
| 90 | 3. 主旨建議:`[Transcript] {影片標題}` |
| 91 | |
| 92 | ### 上傳到 Google Drive |
| 93 | |
| 94 | ```bash |
| 95 | rclone copy "$TEMP/transcripts/VIDEO_ID.srt" gdrive:/Transcripts/ |
| 96 | rclone copy "$TEMP/transcripts/VIDEO_ID.txt" gdrive:/Transcripts/ |
| 97 | ``` |
| 98 | |
| 99 | 需要先設定 rclone(見 [references/setup.md](references/setup.md))。 |
| 100 | |
| 101 | 如果用戶沒有 rclone,也可以用 Google Drive API 或手動告知檔案路徑讓用戶自己上傳。 |
| 102 | |
| 103 | ## 與其他 Skill 的串接 |
| 104 | |
| 105 | ### ← 從 yt-search 接手 |
| 106 | |
| 107 | yt-search 用 `--list-subs` 發現沒有字幕,或用戶表示自動字幕不準時: |
| 108 | |
| 109 | 1. 告知用戶:「這部影片沒有(好的)字幕,要用 Whisper 轉錄嗎?」 |
| 110 | 2. 用戶同意後,用影片 URL 執行轉錄 |
| 111 | 3. 輸出 SRT + TXT |
| 112 | |
| 113 | ### → 推送到 anything-to-notebooklm |
| 114 | |
| 115 | 轉錄完成後,用戶想推進 NotebookLM: |
| 116 | |
| 117 | 1. 用 TXT 檔做 `notebooklm source add "$TEMP/transcripts/VIDEO_ID.txt" --wait` |
| 118 | 2. 或直接用影片 URL(NotebookLM 原生支援 YouTube) |
| 119 | |
| 120 | TXT 檔的優勢:經過 Whisper 轉錄,品質遠高於 NotebookLM 自己抓的 YouTube 自動字幕。 |
| 121 | |
| 122 | ## 完整工作流範例 |
| 123 | |
| 124 | ``` |
| 125 | 用戶:「幫我找 AI agent 的教學影片」 |
| 126 | → yt-search 搜尋,列出 20 部 |
| 127 | |
| 128 | 用戶:「第 3 部看起來不錯,幫我抓字幕」 |
| 129 | → yt-search 回報:這部影片沒有字幕 |
| 130 | |
| 131 | 用戶:「那用 Whisper 轉錄」 |
| 132 | → whisper-transcribe 下載音頻 + 轉錄 |
| 133 | → 產出 SRT + TXT |
| 134 | |
| 135 | 用戶:「翻譯成繁中,然後寄到我信箱」 |
| 136 | → translate_srt.py 翻譯 |
| 137 | → Gmail 寄出 |
| 138 | |
| 139 | 用戶:「也幫我推到 NotebookLM 生成播客」 |
| 140 | → anything-to-notebooklm source add TXT |
| 141 | → generate audio |
| 142 | ``` |
| 143 | |
| 144 | ## 清理暫存 |
| 145 | |
| 146 | ```bash |
| 147 | rm -rf "$TEMP/transcripts/" |
| 148 | ``` |
| 149 | |
| 150 | ## 注意事項 |
| 151 | |
| 152 | - 首次使用會下載模型(large-v3 約 3GB),之後從快取載入 |
| 153 | - GPU 記憶體不足時自動降級:先試 `large-v3`,不行換 `medium` 或 `small` |
| 154 | - Windows 加 `PYTHONUTF8=1` 前綴 |
| 155 | - 長音頻(> 3 小時)建議用本地模式,雲端 API 可能超時或超額 |