Как вручную установить модели для дипфейка анимации лица и губ

Если автоматическая установка моделей по каким-либо причинам вам не подходит, вы всегда можете скачать и установить их вручную.

1. Переход в нужную директорию:
   Перейдите в директорию ~/.wunjo на Unix-подобных системах или %USERPROFILE%/.wunjo на Windows. Доступ к этой директории можно также получить из приложения, нажав на значок папки в левой части экрана.

   

2. Работа с директорией deepfake:
   В этой директории хранятся модели для deepfake. Она также содержит файл с ссылками для скачивания моделей.

   

3. Содержание директории:
   Директория checkpoints:

   

Вы можете заметить, что разархивированы только два архива: BFM_Fitting.zip и hub.zip. Остальные модели являются файлами.

Внутри BFM_Fitting вы найдете следующие модели:

Внутри hub/checkpoints вы найдете две модели:

Посмотрим на директорию gfpgan/weights, которая отвечает за улучшение качества лица, либо фона.

Стоит заметить, что для Windows необходимо будет дать права на чтение моделей, который находят в checkpoints и в gfpgan, например: icacls "%USERPROFILE%/.wunjo/deepfake/путь_до_модели" /grant:r "Users":(R,W). Вы можете увидеть объяснение директорий в видео по установки на Windows.

4. Откуда скачать модели для анимации лица: Вы можете найти ссылки на скачивание моделей в .wunjo/deepfake/deepfake.json.

Посмотрим, что внутри:

{
  "checkpoints": {
    "auido2exp_00300-model.pth": "https://github.com/Winfredy/SadTalker/releases/download/v0.0.2/auido2exp_00300-model.pth",
    "auido2pose_00140-model.pth": "https://github.com/Winfredy/SadTalker/releases/download/v0.0.2/auido2pose_00140-model.pth",
    "epoch_20.pth": "https://github.com/Winfredy/SadTalker/releases/download/v0.0.2/epoch_20.pth",
    "facevid2vid_00189-model.pth.tar": "https://github.com/Winfredy/SadTalker/releases/download/v0.0.2/facevid2vid_00189-model.pth.tar",
    "shape_predictor_68_face_landmarks.dat": "https://github.com/Winfredy/SadTalker/releases/download/v0.0.2/shape_predictor_68_face_landmarks.dat",
    "wav2lip.pth": "https://github.com/Winfredy/SadTalker/releases/download/v0.0.2/wav2lip.pth",
    "mapping_00229-model.pth.tar": "https://github.com/Winfredy/SadTalker/releases/download/v0.0.2/mapping_00229-model.pth.tar",
    "mapping_00109-model.pth.tar": "https://github.com/Winfredy/SadTalker/releases/download/v0.0.2/mapping_00109-model.pth.tar",
    "BFM_Fitting.zip": "https://github.com/Winfredy/SadTalker/releases/download/v0.0.2/BFM_Fitting.zip",
    "hub.zip": "https://github.com/Winfredy/SadTalker/releases/download/v0.0.2/hub.zip",
    "s3fd.pth": "https://www.adrianbulat.com/downloads/python-fan/s3fd-619a316812.pth"
  },
  "gfpgan": {
    "alignment_WFLW_4HG.pth": "https://github.com/xinntao/facexlib/releases/download/v0.1.0/alignment_WFLW_4HG.pth",
    "detection_Resnet50_Final.pth": "https://github.com/xinntao/facexlib/releases/download/v0.1.0/detection_Resnet50_Final.pth",
    "GFPGANv1.4.pth": "https://github.com/TencentARC/GFPGAN/releases/download/v1.3.0/GFPGANv1.4.pth",
    "parsing_parsenet.pth": "https://github.com/xinntao/facexlib/releases/download/v0.2.2/parsing_parsenet.pth",
    "RestoreFormer.pth": "https://github.com/TencentARC/GFPGAN/releases/download/v1.3.4/RestoreFormer.pth",
    "codeformer.pth": "https://github.com/sczhou/CodeFormer/releases/download/v0.1.0/codeformer.pth",
    "RealESRGAN_x2plus.pth": "https://github.com/xinntao/Real-ESRGAN/releases/download/v0.2.1/RealESRGAN_x2plus.pth"
  }
}

Как вы видите, модели под checkpoints скачиваются в директорию checkpoints. Модели под gfpgan скачиваются в директорию gfpgan.

Теперь вы знаете, как вручную установить модели для дипфейка анимации лица и губ.