Repository navigation
Expand file tree
/
Copy pathconfig.yaml
More file actions
246 lines (226 loc) · 13.4 KB
/
Copy pathconfig.yaml
File metadata and controls
246 lines (226 loc) · 13.4 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
# Midea — local-GPU video studio configuration
# 目標硬體:單張 24–48GB NVIDIA GPU + 大容量系統記憶體(建議 ≥128GB)。
# 重量級模型以「獨佔 GPU 租約」輪流載入,輕量模型可共存。
workspace: ${MIDEA_WORKSPACE:-./projects} # 每個專案一個資料夾(checkpoint、素材、成片)
mode: local # local = 真實模型;mock = 無 GPU 的乾跑(測試/展示用)
gpu:
device: 0
vram_gb: ${MIDEA_VRAM_GB:-48} # 你的顯卡 VRAM(24 或 48)
reserve_gb: 1.5 # 給驅動/桌面保留
swap_policy: lru # 需要 VRAM 時,依最久未用順序停止服務
idle_unload_s: 600 # 服務閒置多久自動卸載
power_watts: 450 # 用於估算電費
electricity_per_kwh: 4.5 # 電價(TWD/kWh)
currency: TWD
# ---- 本地模型服務 --------------------------------------------------------
# 每個服務 = 一個可啟動/停止的子行程 + 健康檢查 URL。
# Midea 只在需要時啟動,用完依 swap_policy 釋放 VRAM。
services:
qwen: # 腳本、分鏡、審稿(Qwen3.8-Flash-Next)
kind: llm
model: Qwen3.8-Flash-Next
# 預設接到已在跑的 OpenAI 相容端點(例如 Strata / llama-server / vLLM)。
# 未設定 QWEN_BASE_URL 時,Midea 會用下方 start 指令自行啟動 llama-server。
base_url: ${QWEN_BASE_URL:-http://127.0.0.1:8780/v1}
health: ${QWEN_HEALTH:-http://127.0.0.1:8780/health}
api_model: ${QWEN_API_MODEL:-qwen} # /v1/models 回報的模型 id
vision: ${QWEN_VISION:-true} # 端點不支援圖片時設 false(參考影片 / 抽影格審核改用文字證據)
external: ${QWEN_EXTERNAL:-false} # true = 由別人管理的常駐服務,Midea 只連線、不啟停
bill: ${QWEN_BILL:-true} # 外部常駐服務設 false,不計入本片 GPU 成本
vram_gb: ${QWEN_VRAM_GB:-22} # 外部服務設 0(其顯存由「其他程式占用」偵測)
exclusive: false
start: >-
${LLAMA_SERVER:-llama-server} ${QWEN_MODEL_ARG:--hf unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q4_K_XL}
--host 127.0.0.1 --port 8780 -c 65536 -ngl 999 --n-cpu-moe 40
--jinja --chat-template-kwargs '{"reasoning_effort":"low"}'
--temp 0.7 --top-p 0.8 --top-k 20 --presence-penalty 1.5
sampling: {temperature: 0.7, top_p: 0.8, top_k: 20, presence_penalty: 1.5}
startup_timeout_s: 900
h3: # 影片生成(T2V / I2V / 首尾幀 / 參考圖),含原生音訊
kind: video
model: MiniMax-H3 (FL2VA pruned INT8)
base_url: http://127.0.0.1:8781
health: http://127.0.0.1:8781/system_stats
vram_gb: ${H3_VRAM_GB:-40} # INT8 pruned + INT8 text encoder,--lowvram 分段載入
min_vram_gb: ${H3_MIN_VRAM_GB:-20} # 共用 GPU 時至少需要的可用顯存(權重由系統記憶體串流)
exclusive: true # 需要整張卡;其他服務會先被卸載
start: >-
${COMFY_PYTHON:-python} main.py --listen 127.0.0.1 --port 8781 --lowvram --reserve-vram 1.5
cwd: ${MIDEA_STACK:-~}/ComfyUI
# 內建 API graph(對應官方 ComfyUI H3 範本),模型檔名如下;若要自訂節點圖,
# 在 workflows: 指定匯出的 API workflow(含 {{PLACEHOLDER}}),會優先使用。
models:
fl2va: minimax_h3_fl2va_pruned_int8_convrot.safetensors # T2V / I2V / 首尾幀
ref2va: minimax_h3_ref2va_pruned_int8_convrot.safetensors # 參考圖 → 影片
text_encoder: qwen3vl_32b_minimax_h3_int8_convrot.safetensors # Ampere 用 INT8(NVFP4 需 Blackwell)
video_vae: minimax_h3_video_vae_fp16.safetensors
audio_vae: minimax_h3_audio_vae_fp32.safetensors
lora_fl2v: minimax_h3_fl2v_turbo_8step_v1.0_comfyui_bf16.safetensors # 8 步 turbo
lora_r2v: minimax_h3_ref2v_turbo_4step_v0.1_comfyui_bf16.safetensors # 4 步 turbo
workflows: {} # 例:{t2v: workflows/h3_t2v_api.json}
defaults: {megapixels: ${H3_MEGAPIXELS:-0.6}, fps: 24, steps: 8, r2v_steps: 4, max_seconds: 15}
startup_timeout_s: 600
# 注意:MiniMax H3 Community License 不涵蓋美國/歐盟/英國/南韓,商用年營收 ≥ 2,000 萬美元需另行授權。
voxcpm: # 旁白 TTS、聲音設計、聲音複製(48kHz)
kind: tts
model: openbmb/VoxCPM2
base_url: http://127.0.0.1:8782
health: http://127.0.0.1:8782/health
vram_gb: 8
exclusive: false
start: ${AUDIO_PYTHON:-python} -m midea.servers.voxcpm_server --port 8782
defaults: {cfg_value: 2.0, inference_timesteps: 10, voice: "(warm, clear documentary narrator)"}
startup_timeout_s: 300
acestep: # 背景音樂(含/不含人聲,10s–10min),MIT 授權
kind: music
model: ACE-Step 1.5 (acestep-v15-turbo)
base_url: http://127.0.0.1:8783
health: http://127.0.0.1:8783/health
vram_gb: 16 # 實測:turbo DiT + 5Hz LM 1.7B(vLLM 預留)約 16GB
exclusive: false
start: ACESTEP_API_HOST=127.0.0.1 ACESTEP_API_PORT=8783 ${UV:-uv} run acestep-api
cwd: ${MIDEA_STACK:-~}/ACE-Step-1.5
defaults: {inference_steps: 8, audio_format: wav, batch_size: 1}
startup_timeout_s: 300
foley: # 影片→音效(依畫面自動配 Foley,48kHz)
kind: sfx_v2a
model: tencent/HunyuanVideo-Foley (XL)
base_url: http://127.0.0.1:8784
health: http://127.0.0.1:8784/health
vram_gb: 20
exclusive: false
start: ${FOLEY_PYTHON:-python} -m midea.servers.foley_server --port 8784 --repo ${MIDEA_STACK:-~}/HunyuanVideo-Foley --weights ${MIDEA_STACK:-~}/models/HunyuanVideo-Foley --config ./configs/hunyuanvideo-foley-xl.yaml --extra="--model_size xl --enable_offload"
startup_timeout_s: 600
sfx: # 文字→音效(轉場 whoosh、環境音、UI 音)
kind: sfx_t2a
model: stable-audio-open-1.0 (fallback AudioLDM2)
base_url: http://127.0.0.1:8785
health: http://127.0.0.1:8785/health
vram_gb: 6
exclusive: false
start: ${SFX_PYTHON:-python} -m midea.servers.sfx_server --port 8785
startup_timeout_s: 300
whisper: # 字幕對齊 / 參考影片轉錄(faster-whisper large-v3)
kind: asr
model: large-v3
in_process: true
vram_gb: 4
# ---- 虛擬演員定妝照(Z-Image-Turbo,Apache-2.0;與 H3 共用同一個 ComfyUI) ----------
image:
service: h3 # 透過哪個 ComfyUI 服務執行(租約 / 計費同 H3)
model: Z-Image-Turbo
unet: z_image_turbo_bf16.safetensors # models/diffusion_models
text_encoder: qwen_3_4b.safetensors # models/text_encoders
vae: ae.safetensors # models/vae
steps: 8
shift: 3
image_edit: # Qwen-Image-Edit-2511(Apache-2.0):三視圖、換穿商品、廣告分鏡
service: h3
model: Qwen-Image-Edit-2511
unet: qwen_image_edit_2511_int8_convrot.safetensors # Ampere 用 INT8 convrot
text_encoder: qwen_2.5_vl_7b_fp8_scaled.safetensors
vae: qwen_image_vae.safetensors
lora: Qwen-Image-Edit-2511-Lightning-4steps-V1.0-bf16.safetensors
steps: 4
cfg: 1.0
shift: 3.1
verify: # 定妝照自動驗收(RTMW 全身 133 點姿態,CPU);門檻可依實測調整
mode: balanced
ankle_min: 0.5 # 腳踝信心值下限(看不到腳時約 0.2–0.3)
feet_min: 0.45 # 腳趾 / 腳跟平均信心值下限
bottom_max: 0.97 # 腳底位置(畫面高度比例)上限:鞋子下方要留白
bottom_target: 0.93 # 腳太貼底時,延伸攝影棚地面讓鞋底落在此高度
face_min: 0.6 # 正面 / 大頭照的臉部點平均信心值下限
front_shoulder_min: 0.45 # 正面全身:肩寬 / 軀幹高
side_shoulder_max: 0.35 # 側面全身:肩寬 / 軀幹高上限(實測正面約 1.0、正側面約 0.27)
back_facing_min: 0.05 # 背面:左右肩、左右髖在畫面上須左右對調(背對鏡頭),對調幅度下限
three_quarter_yaw_min: 0.15
headshot_yaw_max: 0.2
jump_threshold: 30 # 說話影片:相隔 1 秒的畫面差異上限(說話/揮手約 4–22,H3 自插的溶接跳切約 35–50)
actors:
refs_per_actor: 3 # 每位演員給 H3 Ref2VA 幾張參考照(正面大頭照、正面全身、側面全身)
max_per_shot: 3 # 單一鏡頭最多幾位演員(H3 參考圖上限 9 張)
view_attempts: 3 # 定妝照驗收不合格時最多生成幾次
intro_attempts: 3 # 說話影片驗收不合格時最多拍幾次
intro_cer_max: 0.15 # 台詞字錯率上限(Whisper;中文以讀音比對;漏掉自我介紹的名字約 18%)
intro_line_max_s: 6.5 # 自我介紹台詞上限秒數(太長時 H3 對嘴會在中段含糊重複)
voice_similarity_min: ${VOICE_SIM_MIN:-0.5} # 與標準聲音的聲紋相似度下限(ECAPA cosine)
lipsync: ${ACTORS_LIPSYNC:-true} # 實驗:允許演員在畫面中親口說台詞(以 VoxCPM2 台詞音訊為 H3 <Audio 1> 參考)
# ---- 開放/免費素材庫 ------------------------------------------------------
stock:
sources: [archive_org, nasa, wikimedia, pexels, pixabay]
license_allow: [public-domain, cc0, cc-by, cc-by-sa, pexels, pixabay, nasa]
min_height: 720
cache_dir: ./.cache/stock
# ---- 成本與審核 ----------------------------------------------------------
budget:
mode: warn # observe | warn | cap
total_cap: 300 # 以 currency 計(本地電費 + 任何付費 API)
approval_threshold: 20 # 單一動作超過此金額需人工核准
# 各 pipeline 的核准節點定義在 pipeline_defs/*.yaml;在此列出要「略過」的節點
gates_disabled: [] # 例如 [proposal, script] 讓 AI 自動通過前期企劃
auto_approve_below: 0 # 預估花費低於此值時自動通過 assets 關卡(0 = 永遠人工核准)
qa:
loudness_lufs: -14 # 社群平台;廣播用 -23
true_peak_db: -1.0
lra_max: 11
black_frame_ratio_max: 0.02
freeze_max_s: 2.5
subtitle_max_cps: 17 # 每秒字數上限(中文建議 7–9 字/秒,見 qa.subtitle_max_cps_cjk)
subtitle_max_cps_cjk: 9
subtitle_max_chars_line: 42
subtitle_max_chars_line_cjk: 18
subtitle_sync_tolerance_ms: 250
render:
mock_half_res: true # mock 模式以半解析度快速渲染
default_aspect: "16:9"
fps: 24
crf: 18
preset: medium
video_codec: libx264
audio_codec: aac
audio_bitrate: 192k
pix_fmt: yuv420p
server:
host: 127.0.0.1
port: 7788
# ---- 公開網站 midea.cafeca.io(midea site)--------------------------------------
site:
host: 127.0.0.1 # 由 HTTPS 反向代理轉到這裡;CAFECA 登入只接受與 origin 完全相同的網域
port: ${MIDEA_SITE_PORT:-10030}
origin: ${MIDEA_SITE_ORIGIN:-https://midea.cafeca.io}
data_dir: ${MIDEA_SITE_DATA:-} # 空白 = <workspace>/_site(site.db、節目表、主題)
catalog_ttl_s: 120
ai_titles: false # true = 每週排程時請 Qwen 為主打時段命名(失敗時沿用規則產生的名稱)
rerun_min_votes: 3 # 時段結束投票至少幾票才算「觀眾想再看」
highlight_min: 5 # 一個 5 秒區間至少幾個即時反應才標成精華
wish_threshold: 30 # 許願卡 +1 達幾人送管理者核准製作
wish_merge_similarity: 0.6 # 許願文字相似度達多少就合併成同一張卡
admins: [] # 管理者的 CAFECA 帳戶地址;也可以用 `midea site admin <代號>` 指定
news: # 每日報導(/news):AI 讀新聞、GitHub、論文,每天寫 5 篇,每篇一張 SVG 圖
enabled: true
daily_at: "06:00" # 台北時間;寫好直接上架,管理者可在 /studio「報導」下架
per_day: 5
sequel_threshold: 20 # 「想看續作」達幾人,隔天優先寫續作
weekly_weekday: 0 # 0 = 週一:用上週的報導做兩部影片(編輯選、觀眾選)
weekly_at: "06:30"
weekly_autostart: true # 建立專案後直接開始製作(關卡仍需管理者通過)
reporter: yen_lin # 播報的虛擬記者
cover_retry_s: 1800 # 封面沒畫成(GPU 被其他行程佔用)時,每 30 分鐘再試
cover_retry_days: 7 # 只補最近 7 天的封面
video_pipeline: "" # 空白 = 自動判斷
arxiv_categories: [cs.CV, cs.CL, cs.AI, cs.LG]
feeds: # RSS / Atom
- https://hnrss.org/frontpage?points=200
- https://techcrunch.com/category/artificial-intelligence/feed/
- https://www.theverge.com/rss/ai-artificial-intelligence/index.xml
- https://feeds.arstechnica.com/arstechnica/technology-lab
- https://www.technologyreview.com/feed/
- https://technews.tw/feed/
- https://www.ithome.com.tw/rss
studio: # /studio 製作後台(每個 CAFECA 身分一個)
max_actors: 3 # 每人最多幾位專屬演員
max_active_projects: 1 # 每人同時製作中的影片數(GPU 共用)
max_upload_mb: 500
cafeca:
wallet: https://cafeca.io # 其餘(chain、rpc、合約)讀 /.well-known/cafeca-configuration