-
-prompt: “a photo of a \
-
-fine tuning 전
-:::
-
-:::{figure-md}
-
-
-fine tuning 후
-:::
-
-- 상황1을 보면 multiple diseases class 정보를 담은 unique identifier \
-
-fine tuning 전
-:::
-
-:::{figure-md}
-
-
-fine tuning 후
-:::
-
-- 상황2를 보면 photo라는 prompt만 사용하였는데도 생성한 이미지들에 multiple diseases class의 특징들이 나타납니다.
-- dreambooth에서는 language drift를 prior preservation loss를 사용해서 해결하였으므로 같은 방법을 사용했습니다. 상황2를 해결하기 위해 training prompt에서 “photo”를 제외하고 최대한 단순한 prompt “\
-
-multiple diseases class 이미지 생성 결과, prompt: “\
-
-leaf 생성 결과, prompt: “leaf”
-:::
-
-- 재훈련 결과, fine tuning 이후에도 기존 stable diffusion model로 “leaf”를 생성하였을 때와 비슷한 이미지가 생성됩니다.
-
-:::{figure-md}
-
-
-photo 생성 결과, prompt: “photo”
-:::
-
-- “photo”의 경우에는 여전히 multiple diseases class의 영향을 받은 것같은 이미지들이 생성됩니다. photo의 경우에는 여러 대상들과 사용되는 일반적인 특성을 가지고있어서 그런 것이라는 생각이 들었고, 이를 체크해보기 위해 특정한 대상들과 photo와 비슷한 용도로 사용되는 다른 prompt들로 이미지들을 생성보았습니다.
-- 특정한 대상 세가지로는 cat, sea, pirate을 사용했고, photo와 비슷하게 사용되는 텍스트 세가지는 illustration, animation, wallpaper를 사용했습니다. (이미지는 글 마지막 부분의 appendix에 있습니다.)
-- 이미지 생성 결과, 특정한 대상을 지칭하는 텍스트의 경우 대상의 특징이 잘 드러나는 이미지가 생성되었지만, 여러 대상과 함께 쓰이는 텍스트의 경우 잎사귀의 특징을 가지는 이미지들이 일부 생성되었습니다.
-
-
-## 4. 성능 비교
-- fine tuning한 stable diffusion model로 multiple diseases class의 이미지를 400장 생성하여 classifier를 다시 훈련했습니다.
-
-baseline
-- 전체 accuracy는 97.7%, class별 accuracy는 healthy: 99.6%, multiple diseases: 73.6%, rust: 99.2%, scab: 98.1%
-
-:::{figure-md}
-
-
-result_base
-:::
-
-생성한 이미지를 추가 데이터로 활용한 경우
-- 전체 accuracy는 97.9%, class별 accuracy는 healthy: 98.1%, multiple diseases: 84.6%, rust: 98.2%, scab: 99.3%
-
-:::{figure-md}
-
-
-result_now
-:::
-
-- kaggle에서 제공하는 test set에 적용했을 때는 baseline이 94.6%, stable diffusion으로 생성한 이미지들을 사용한 경우가 93.7%여서 baseline보다 좋은 성능을 얻지는 못 했습니다.
-
-## 5. Discussion
-
-- stable diffusion 훈련 중간중간에 일정 step마다 이미지를 생성하게해서 훈련에 대한 모니터링이 있으면 좋겠다는 생각을 했습니다.
-- stable diffusion 훈련시 hyperparameter tuning을 좀 더 철저하게 해야겠다는 생각을 했습니다.
-- stable diffusion으로 생성한 이미지가 실제로 multiple diseases class 조건을 만족하는지 검수할 방안이 필요합니다.
-- multiple diseases 내에서도 카테고리를 나눌 수 있다면 나눠서 각각에 대한 stable diffusion model을 fine tuning할 수도 있을 것입니다.
-- 다른 diffusion model fine tuning 방법을 활용해볼 수도 있을 것입니다.
-- submission score에서 baseline을 이기지 못 했지만 text-to-image model을 이용한 synthetic data의 가능성을 볼 수 있었다고 생각합니다.
-
-## 6. Appendix
-
-- 앞에서 언급한 prompt에 대한 이미지 생성 예시입니다. 일부 이미지는 NSFW로 판단되어 검은색으로 나왔습니다.
-
-:::{figure-md}
-
-
-cat 생성 결과, prompt: “cat”
-:::
-
-:::{figure-md}
-
-
-sea 생성 결과, prompt: “sea”
-:::
-
-:::{figure-md}
-
-
-pirate 생성 결과, prompt: “pirate”
-:::
-
-:::{figure-md}
-
-
-illustration 생성 결과, prompt: “illustration”
-:::
-
-:::{figure-md}
-
-
-animation 생성 결과, prompt: “animation”
-:::
-
-:::{figure-md}
-
-
-wallpaper 생성 결과, prompt: “wallpaper”
-:::
+``` {admonition} Information
+- **Title:** Synthetic Data with Stable Diffusion for Foliar Disease Classification
+
+- **Author:** Jisu Kim
+
+- **Last updated on Jul. 05, 2023**
+```
+
+# Synthetic Data with Stable Diffusion for Foliar Disease Classification
+
+## 1. 개요
+
+- 사과 나무의 잎에 생기는 질병을 이미지로 판별하는 Kaggle competition ([링크](https://www.kaggle.com/competitions/plant-pathology-2020-fgvc7))에서 아이디어를 얻어서 진행한 프로젝트입니다.
+- 해당 competition은 사과나무 잎에 걸린 질병에 따라 잎 이미지를 4개의 class로 분류하는 task입니다.
+
+:::{figure-md}
+
+
+4 classes of leaves
+:::
+- competition을 설명한 article ([링크](https://bsapubs.onlinelibrary.wiley.com/doi/10.1002/aps3.11390))에서 전체적인 accuracy는 97%이지만 multiple diseases class의 경우 accuracy가 51%에 불과했다고 언급합니다.
+- multiple diseases class의 이미지 개수가 다른 class에 비해 적은 점에 주목했고, stable diffusion을 사용하여 해당 클래스의 데이터 개수를 늘려서 classifier 학습에 사용하면 더 좋은 성능의 classifier를 얻을 수 있을 것으로 기대했습니다.
+
+
+## 2. Baseline 구축
+
+- 문제 상황을 재현하기 위해 기존 데이터로 image classifier를 학습하여 baseline으로 잡았습니다.
+- 모델은 pretrained된 ResNet18에 linear layer를 붙여서 사용했습니다.
+- 전체 accuracy는 97.7%, class별 accuracy는 healthy: 99.6%, multiple diseases: 73.6%, rust: 99.2%, scab: 98.1%
+- multiple diseases class는 이미지 개수 91개로 다른 클래스들에 비해서 개수가 적습니다.
+- class별 data imbalance가 성능을 낮추는 원인일 것이라 가정하고 stable diffusion으로 multiple diseases class의 data를 추가로 생성해보기로 했습니다.
+- multiple diseases class 예시
+
+:::{figure-md}
+
+
+4 classes of leaves
+:::
+
+## 3. Stable diffusion fine tuning
+
+- pretraned stable diffusion의 경우 multiple diseases class에 대한 정보가 없어서 이미지를 생성할 경우 아래와 같이 관련없는 이미지가 생성됩니다.
+
+:::{figure-md}
+
+
+prompt: “a photo of leaves with multiple diseases
+:::
+
+- 따라서 stable diffusion model ([링크](https://huggingface.co/runwayml/stable-diffusion-v1-5))에 해당 class에 대한 정보를 넣어주기 위해 dreambooth ([링크](https://arxiv.org/abs/2208.12242))를 사용하여 stable diffusion을 fine tuning했습니다.
+- training에 사용한 prompt는 “a photo of a \
+
+prompt: “a photo of a \
+
+fine tuning 전
+:::
+
+:::{figure-md}
+
+
+fine tuning 후
+:::
+
+- 상황1을 보면 multiple diseases class 정보를 담은 unique identifier \
+
+fine tuning 전
+:::
+
+:::{figure-md}
+
+
+fine tuning 후
+:::
+
+- 상황2를 보면 photo라는 prompt만 사용하였는데도 생성한 이미지들에 multiple diseases class의 특징들이 나타납니다.
+- dreambooth에서는 language drift를 prior preservation loss를 사용해서 해결하였으므로 같은 방법을 사용했습니다. 상황2를 해결하기 위해 training prompt에서 “photo”를 제외하고 최대한 단순한 prompt “\
+
+multiple diseases class 이미지 생성 결과, prompt: “\
+
+leaf 생성 결과, prompt: “leaf”
+:::
+
+- 재훈련 결과, fine tuning 이후에도 기존 stable diffusion model로 “leaf”를 생성하였을 때와 비슷한 이미지가 생성됩니다.
+
+:::{figure-md}
+
+
+photo 생성 결과, prompt: “photo”
+:::
+
+- “photo”의 경우에는 여전히 multiple diseases class의 영향을 받은 것같은 이미지들이 생성됩니다. photo의 경우에는 여러 대상들과 사용되는 일반적인 특성을 가지고있어서 그런 것이라는 생각이 들었고, 이를 체크해보기 위해 특정한 대상들과 photo와 비슷한 용도로 사용되는 다른 prompt들로 이미지들을 생성보았습니다.
+- 특정한 대상 세가지로는 cat, sea, pirate을 사용했고, photo와 비슷하게 사용되는 텍스트 세가지는 illustration, animation, wallpaper를 사용했습니다. (이미지는 글 마지막 부분의 appendix에 있습니다.)
+- 이미지 생성 결과, 특정한 대상을 지칭하는 텍스트의 경우 대상의 특징이 잘 드러나는 이미지가 생성되었지만, 여러 대상과 함께 쓰이는 텍스트의 경우 잎사귀의 특징을 가지는 이미지들이 일부 생성되었습니다.
+
+
+## 4. 성능 비교
+- fine tuning한 stable diffusion model로 multiple diseases class의 이미지를 400장 생성하여 classifier를 다시 훈련했습니다.
+
+baseline
+- 전체 accuracy는 97.7%, class별 accuracy는 healthy: 99.6%, multiple diseases: 73.6%, rust: 99.2%, scab: 98.1%
+
+:::{figure-md}
+
+
+result_base
+:::
+
+생성한 이미지를 추가 데이터로 활용한 경우
+- 전체 accuracy는 97.9%, class별 accuracy는 healthy: 98.1%, multiple diseases: 84.6%, rust: 98.2%, scab: 99.3%
+
+:::{figure-md}
+
+
+result_now
+:::
+
+- kaggle에서 제공하는 test set에 적용했을 때는 baseline이 94.6%, stable diffusion으로 생성한 이미지들을 사용한 경우가 93.7%여서 baseline보다 좋은 성능을 얻지는 못 했습니다.
+
+## 5. Discussion
+
+- stable diffusion 훈련 중간중간에 일정 step마다 이미지를 생성하게해서 훈련에 대한 모니터링이 있으면 좋겠다는 생각을 했습니다.
+- stable diffusion 훈련시 hyperparameter tuning을 좀 더 철저하게 해야겠다는 생각을 했습니다.
+- stable diffusion으로 생성한 이미지가 실제로 multiple diseases class 조건을 만족하는지 검수할 방안이 필요합니다.
+- multiple diseases 내에서도 카테고리를 나눌 수 있다면 나눠서 각각에 대한 stable diffusion model을 fine tuning할 수도 있을 것입니다.
+- 다른 diffusion model fine tuning 방법을 활용해볼 수도 있을 것입니다.
+- submission score에서 baseline을 이기지 못 했지만 text-to-image model을 이용한 synthetic data의 가능성을 볼 수 있었다고 생각합니다.
+
+## 6. Appendix
+
+- 앞에서 언급한 prompt에 대한 이미지 생성 예시입니다. 일부 이미지는 NSFW로 판단되어 검은색으로 나왔습니다.
+
+:::{figure-md}
+
+
+cat 생성 결과, prompt: “cat”
+:::
+
+:::{figure-md}
+
+
+sea 생성 결과, prompt: “sea”
+:::
+
+:::{figure-md}
+
+
+pirate 생성 결과, prompt: “pirate”
+:::
+
+:::{figure-md}
+
+
+illustration 생성 결과, prompt: “illustration”
+:::
+
+:::{figure-md}
+
+
+animation 생성 결과, prompt: “animation”
+:::
+
+:::{figure-md}
+
+
+wallpaper 생성 결과, prompt: “wallpaper”
+:::
diff --git a/_sources/docs/experiments/swjo_exp.md b/_sources/docs/experiments/swjo_exp.md
index e272a78b..8699276b 100755
--- a/_sources/docs/experiments/swjo_exp.md
+++ b/_sources/docs/experiments/swjo_exp.md
@@ -1,293 +1,293 @@
-``` {admonition} Information
-- **Title:** Training DreamBooth on Naver Webtoon Face Dataset
-
-- **Author:** Sangwoo Jo
-
-- **Last updated on Jul. 09, 2023**
-```
-
-# Training DreamBooth on Naver Webtoon Face Dataset
-
-## Introduction
-
-이번 포스팅에서는 DreamBooth 를 직접 학습해보고 실험한 결과들을 공유할려고 합니다.
-
-우선적으로 학습데이터는 [https://github.com/bryandlee/naver-webtoon-data](https://github.com/bryandlee/naver-webtoon-data) 에 공개된 YOLOv5 모델 및 Waifu2x 후처리 기법을 활용하여 프리드로우에 등장하는 인물 사진들을 수집했습니다. 논문에서는 3-5 장으로 fine-tuning 이 가능하다고 제시되어있지만, 인물 사진 같은 경우 더 많은 데이터로 학습하면 성능이 더 좋아져서 15-20 장의 이미지로 학습하였습니다. 학습한 이미지들 예시입니다.
-
-:::{figure-md}
-
-
-Training Data
-:::
-
-DreamBooth 를 실험하면서 대표적으로 instance prompt, guidance scale, negative prompt, 그리고 마지막으로 prior preservation loss 를 반영하는 정도를 조절하는 prior_loss_weight 를 바꿔가면서 학습해보았습니다. 사전학습된 text-to-image 모델로 처음에는 *hakurei/waifu-diffusion* 모델을 시도해봤지만 결과가 만족스럽지 못해 *runwayml/stable-diffusion-v1-5* 모델로 fine-tuning 작업을 진행했습니다.
-
-## Ablation Studies
-
-### Prior Preservation Loss
-
-Prior Preservation Loss 를 제외한 동일한 configuration 으로 모델 학습한 결과입니다.
-
-```
-# with prior-preservation loss
-MODEL_NAME = “runwayml/stable-diffusion-v1-5”
-instance_prompt = "A photo of sks girl"
-class_prompt = "A photo of a girl"
-
-python3 train_dreambooth.py \
- --pretrained_model_name_or_path=$MODEL_NAME \
- --pretrained_vae_name_or_path="stabilityai/sd-vae-ft-mse" \
- --output_dir=$OUTPUT_DIR \
- --revision="fp16" \
- --with_prior_preservation --prior_loss_weight=1.0 \
- --seed=1337 \
- --resolution=512 \
- --train_batch_size=1 \
- --train_text_encoder \
- --mixed_precision="fp16" \
- --use_8bit_adam \
- --gradient_accumulation_steps=1 --gradient_checkpointing \
- --learning_rate=1e-6 \
- --lr_scheduler="constant" \
- --lr_warmup_steps=0 \
- --num_class_images=200 \
- --sample_batch_size=4 \
- --max_train_steps=800 \
- --save_interval=100 \
- --save_sample_prompt="A photo of sks girl" \
- --concepts_list="concepts_list.json"
-```
-
-```
-# w/o prior-preservation loss
-MODEL_NAME = “runwayml/stable-diffusion-v1-5”
-instance_prompt = "A photo of sks girl"
-class_prompt = "A photo of a girl"
-
-python3 train_dreambooth.py \
- --pretrained_model_name_or_path=$MODEL_NAME \
- --pretrained_vae_name_or_path="stabilityai/sd-vae-ft-mse" \
- --output_dir=$OUTPUT_DIR \
- --revision="fp16" \
- --with_prior_preservation --prior_loss_weight=0.0 \
- --seed=1337 \
- --resolution=512 \
- --train_batch_size=1 \
- --train_text_encoder \
- --mixed_precision="fp16" \
- --use_8bit_adam \
- --gradient_accumulation_steps=1 --gradient_checkpointing \
- --learning_rate=1e-6 \
- --lr_scheduler="constant" \
- --lr_warmup_steps=0 \
- --num_class_images=200 \
- --sample_batch_size=4 \
- --max_train_steps=800 \
- --save_interval=100 \
- --save_sample_prompt="A photo of sks girl" \
- --concepts_list="concepts_list.json"
-```
-
-아래 그림처럼 동일한 inference prompt 를 입력했을 때, prior preservation loss 를 제외함으로써 input images 에 더 가까운 웹툰 사진들을 생성할 수 있었습니다. 또한, 핑크색 머리를 한 이민지 캐릭터를 어느 정도 잘 생성하는 부분도 확인할 수 있습니다.
-
-- **Inference Prompt: "A photo of *sks* girl with pink hair” (with prior-preservation loss)**
-
-:::{figure-md}
-
-
-With Prior Preservation Loss
-:::
-
-- **Inference Prompt: " A photo of *sks* girl with pink hair” (w/o prior-preservation loss)**
-
-:::{figure-md}
-
-
-Without Prior Preservation Loss
-:::
-
-### Negative Prompt
-
-Negative Prompt 에 대한 Ablation Study 도 진행했습니다. 캐릭터의 부자연스러운 부분이나 저해상도 이미지들을 생성하는 경우들이 종종 발생했는데, negative prompt 를 통해 더 좋은 퀄리티의 웹툰 캐릭터를 생성할 수 있었습니다.
-
-- **Inference Prompt: " A photo of *sks* girl with pink hair” (w/o negative prompt)**
-
-:::{figure-md}
-
-
-Without Negative Prompt
-:::
-
-- **Inference Prompt: " A photo of *sks* girl with pink hair”**
-
- **+** **Negative Prompt: “ugly, disfigured, deformed, low resolution”**
-
-:::{figure-md}
-
-
-With Negative Prompt
-:::
-
-### Instance Prompt / Guidance Scale
-
-DreamBooth 논문에서 제시한 instance prompt 외에 “A photo of a girl in the style of *sks*” 라는 prompt 로 학습을 시도해보기도 했습니다. *sks* 라는 unique identifier 에 특정 여자 캐릭터에 대한 정보뿐만 아니라 프리드로우 그림체 자체를 담아내기 위한 목적이였습니다.
-
-```
-# different instance prompt with prior-preservation loss
-MODEL_NAME = “runwayml/stable-diffusion-v1-5”
-instance_prompt = "A photo of a girl in the style of sks"
-class_prompt = "A photo of a girl"
-
-python3 train_dreambooth.py \
- --pretrained_model_name_or_path=$MODEL_NAME \
- --pretrained_vae_name_or_path="stabilityai/sd-vae-ft-mse" \
- --output_dir=$OUTPUT_DIR \
- --revision="fp16" \
- --with_prior_preservation --prior_loss_weight=1.0 \
- --seed=1337 \
- --resolution=512 \
- --train_batch_size=1 \
- --train_text_encoder \
- --mixed_precision="fp16" \
- --use_8bit_adam \
- --gradient_accumulation_steps=1 --gradient_checkpointing \
- --learning_rate=1e-6 \
- --lr_scheduler="constant" \
- --lr_warmup_steps=0 \
- --num_class_images=200 \
- --sample_batch_size=4 \
- --max_train_steps=800 \
- --save_interval=100 \
- --save_sample_prompt="A photo of sks girl" \
- --concepts_list="concepts_list.json"
-```
-
-```
-# different instance prompt w/o prior-preservation loss
-MODEL_NAME = “runwayml/stable-diffusion-v1-5”
-instance_prompt = "A photo of a girl in the style of sks"
-class_prompt = "A photo of a girl"
-
-python3 train_dreambooth.py \
- --pretrained_model_name_or_path=$MODEL_NAME \
- --pretrained_vae_name_or_path="stabilityai/sd-vae-ft-mse" \
- --output_dir=$OUTPUT_DIR \
- --revision="fp16" \
- --with_prior_preservation --prior_loss_weight=0.0 \
- --seed=1337 \
- --resolution=512 \
- --train_batch_size=1 \
- --train_text_encoder \
- --mixed_precision="fp16" \
- --use_8bit_adam \
- --gradient_accumulation_steps=1 --gradient_checkpointing \
- --learning_rate=1e-6 \
- --lr_scheduler="constant" \
- --lr_warmup_steps=0 \
- --num_class_images=200 \
- --sample_batch_size=4 \
- --max_train_steps=800 \
- --save_interval=100 \
- --save_sample_prompt="A photo of sks girl" \
- --concepts_list="concepts_list.json"
-```
-
-Inference 시, 프리드로우의 그림체가 반영된 남자가 생성되도록 prompt 를 “A photo of a boy in the style of *sks*” 로 입력했을때의 결과입니다. DreamBooth 혹은 사전학습된 text-to-image 모델을 프리드로우 작가님의 웹툰 장면들로 전체적으로 학습하게 된다면 더 다양한 inference 결과들을 볼 수 있을 것 같습니다.
-
-- **Inference Prompt: “A photo of a boy in the style of *sks*” (num_inference_steps = 24 / with prior-preservation loss)**
-
- **+** **Negative Prompt: “ugly, disfigured, deformed, low resolution”**
-
-:::{figure-md}
-
-
-Instance Prompt
-:::
-
-Inference step 을 늘려가면서 추론된 인물 이미지의 퀄리티가 상승하는 부분도 확인할 수 있었습니다. 또한, guidance scale 에 대한 실험도 진행했는데 guidance scale 이 작을수록 prompt 와 무관한 random 한 이미지들을 생성하게 됩니다. 최종적으로 num_inference steps 와 guidance scale 의 값은 각각 100 과 7.5 로 설정하였습니다.
-
-- **Inference Prompt: “A photo of a boy in the style of *sks*” (num_inference_steps=100 / with prior-preservation loss)**
-
-:::{figure-md}
-
-
-Increasing Number of Inference Steps
-:::
-
-- **Inference Prompt: “A photo of a boy in the style of *sks*” (num_inference_steps = 100 / with prior-preservation loss)**
-
- **+** **Negative Prompt: “ugly, disfigured, deformed, low resolution”**
-
-:::{figure-md}
-
-
-Increasing Number of Inference Steps / Negative Prompt
-:::
-
-- **Inference Prompt: “A photo of a boy in the style of *sks*” (num_inference_steps = 100 / with prior-preservation loss)**
-
- **+** **Negative Prompt: “ugly, disfigured, deformed, low resolution”**
-
- **+ guidance_scale = 4**
-
-:::{figure-md}
-
-
-Guidance Scale
-:::
-
-동일한 inference prompt 로 prior-preservation loss 를 제외해본 결과, 생성된 남자의 머리카락이 더 길어지고 더 여성스러운 생김새를 가지는 놀라운 사실도 발견했습니다.
-
-- **Inference Prompt: “A photo of a boy in the style of *sks*” (num_inference_steps = 100 / w/o prior-preservation loss)**
-
- **+** **Negative Prompt: “ugly, disfigured, deformed, low resolution”**
-
-:::{figure-md}
-
-
-Without Prior Preservation Loss
-:::
-
-## Appendix
-
-그 외 다양한 inference prompt 에 따른 재미있는 실험결과들을 공유합니다. 아직 손의 모양을 text-to-image 모델이 생성하지 못하는 부분도 재차 확인할 수 있었습니다.
-
-- **Inference Prompt: “A photo of a boy climbing up the mountain in the style of *sks*” (num_inference_steps = 100 / w/o prior-preservation loss)**
-
- **+** **Negative Prompt: “ugly, disfigured, deformed, low resolution”**
-
-:::{figure-md}
-
-
-Appendix 1
-:::
-
-- **Inference Prompt: “A painting of a boy in the style of *sks*” (num_inference_steps = 100 / w/o prior-preservation loss)**
-
- **+** **Negative Prompt: “ugly, disfigured, deformed, low resolution”**
-
-:::{figure-md}
-
-
-Appendix 2
-:::
-
-- **Inference Prompt: “A hand drawing of a boy in the style of *sks*” (num_inference_steps = 100 / w/o prior-preservation loss)**
-
- **+** **Negative Prompt: “ugly, disfigured, deformed, low resolution”**
-
-:::{figure-md}
-
-
-Appendix 3
-:::
-
-마지막으로 하단의 좌측과 우측 사진은 각각 “A photo of *sks* girl” 그리고 “A photo of a girl in the style of *sks*” 이라는 prompt 로 DreamBooth 모델을 각각 학습한 후, 나비를 생성하라는 동일한 prompt 로 추론해본 결과입니다. *sks* 가 수식하는 명사가 girl 이 아닌 style 이도록 prompt 를 수정함으로써, butterfly 사진을 생성할때 조금이나마 더 프리드로우 웹툰의 그림체를 반영할 수 있었던 부분도 확인할 수 있었습니다.
-
-- **Inference Prompt: “A photo of a butterfly in the style of *sks*” (num_inference_steps = 100 / with prior-preservation loss)**
-
-:::{figure-md}
-
-
-Appendix 4
-:::
+``` {admonition} Information
+- **Title:** Training DreamBooth on Naver Webtoon Face Dataset
+
+- **Author:** Sangwoo Jo
+
+- **Last updated on Jul. 09, 2023**
+```
+
+# Training DreamBooth on Naver Webtoon Face Dataset
+
+## Introduction
+
+이번 포스팅에서는 DreamBooth 를 직접 학습해보고 실험한 결과들을 공유할려고 합니다.
+
+우선적으로 학습데이터는 [https://github.com/bryandlee/naver-webtoon-data](https://github.com/bryandlee/naver-webtoon-data) 에 공개된 YOLOv5 모델 및 Waifu2x 후처리 기법을 활용하여 프리드로우에 등장하는 인물 사진들을 수집했습니다. 논문에서는 3-5 장으로 fine-tuning 이 가능하다고 제시되어있지만, 인물 사진 같은 경우 더 많은 데이터로 학습하면 성능이 더 좋아져서 15-20 장의 이미지로 학습하였습니다. 학습한 이미지들 예시입니다.
+
+:::{figure-md}
+
+
+Training Data
+:::
+
+DreamBooth 를 실험하면서 대표적으로 instance prompt, guidance scale, negative prompt, 그리고 마지막으로 prior preservation loss 를 반영하는 정도를 조절하는 prior_loss_weight 를 바꿔가면서 학습해보았습니다. 사전학습된 text-to-image 모델로 처음에는 *hakurei/waifu-diffusion* 모델을 시도해봤지만 결과가 만족스럽지 못해 *runwayml/stable-diffusion-v1-5* 모델로 fine-tuning 작업을 진행했습니다.
+
+## Ablation Studies
+
+### Prior Preservation Loss
+
+Prior Preservation Loss 를 제외한 동일한 configuration 으로 모델 학습한 결과입니다.
+
+```
+# with prior-preservation loss
+MODEL_NAME = “runwayml/stable-diffusion-v1-5”
+instance_prompt = "A photo of sks girl"
+class_prompt = "A photo of a girl"
+
+python3 train_dreambooth.py \
+ --pretrained_model_name_or_path=$MODEL_NAME \
+ --pretrained_vae_name_or_path="stabilityai/sd-vae-ft-mse" \
+ --output_dir=$OUTPUT_DIR \
+ --revision="fp16" \
+ --with_prior_preservation --prior_loss_weight=1.0 \
+ --seed=1337 \
+ --resolution=512 \
+ --train_batch_size=1 \
+ --train_text_encoder \
+ --mixed_precision="fp16" \
+ --use_8bit_adam \
+ --gradient_accumulation_steps=1 --gradient_checkpointing \
+ --learning_rate=1e-6 \
+ --lr_scheduler="constant" \
+ --lr_warmup_steps=0 \
+ --num_class_images=200 \
+ --sample_batch_size=4 \
+ --max_train_steps=800 \
+ --save_interval=100 \
+ --save_sample_prompt="A photo of sks girl" \
+ --concepts_list="concepts_list.json"
+```
+
+```
+# w/o prior-preservation loss
+MODEL_NAME = “runwayml/stable-diffusion-v1-5”
+instance_prompt = "A photo of sks girl"
+class_prompt = "A photo of a girl"
+
+python3 train_dreambooth.py \
+ --pretrained_model_name_or_path=$MODEL_NAME \
+ --pretrained_vae_name_or_path="stabilityai/sd-vae-ft-mse" \
+ --output_dir=$OUTPUT_DIR \
+ --revision="fp16" \
+ --with_prior_preservation --prior_loss_weight=0.0 \
+ --seed=1337 \
+ --resolution=512 \
+ --train_batch_size=1 \
+ --train_text_encoder \
+ --mixed_precision="fp16" \
+ --use_8bit_adam \
+ --gradient_accumulation_steps=1 --gradient_checkpointing \
+ --learning_rate=1e-6 \
+ --lr_scheduler="constant" \
+ --lr_warmup_steps=0 \
+ --num_class_images=200 \
+ --sample_batch_size=4 \
+ --max_train_steps=800 \
+ --save_interval=100 \
+ --save_sample_prompt="A photo of sks girl" \
+ --concepts_list="concepts_list.json"
+```
+
+아래 그림처럼 동일한 inference prompt 를 입력했을 때, prior preservation loss 를 제외함으로써 input images 에 더 가까운 웹툰 사진들을 생성할 수 있었습니다. 또한, 핑크색 머리를 한 이민지 캐릭터를 어느 정도 잘 생성하는 부분도 확인할 수 있습니다.
+
+- **Inference Prompt: "A photo of *sks* girl with pink hair” (with prior-preservation loss)**
+
+:::{figure-md}
+
+
+With Prior Preservation Loss
+:::
+
+- **Inference Prompt: " A photo of *sks* girl with pink hair” (w/o prior-preservation loss)**
+
+:::{figure-md}
+
+
+Without Prior Preservation Loss
+:::
+
+### Negative Prompt
+
+Negative Prompt 에 대한 Ablation Study 도 진행했습니다. 캐릭터의 부자연스러운 부분이나 저해상도 이미지들을 생성하는 경우들이 종종 발생했는데, negative prompt 를 통해 더 좋은 퀄리티의 웹툰 캐릭터를 생성할 수 있었습니다.
+
+- **Inference Prompt: " A photo of *sks* girl with pink hair” (w/o negative prompt)**
+
+:::{figure-md}
+
+
+Without Negative Prompt
+:::
+
+- **Inference Prompt: " A photo of *sks* girl with pink hair”**
+
+ **+** **Negative Prompt: “ugly, disfigured, deformed, low resolution”**
+
+:::{figure-md}
+
+
+With Negative Prompt
+:::
+
+### Instance Prompt / Guidance Scale
+
+DreamBooth 논문에서 제시한 instance prompt 외에 “A photo of a girl in the style of *sks*” 라는 prompt 로 학습을 시도해보기도 했습니다. *sks* 라는 unique identifier 에 특정 여자 캐릭터에 대한 정보뿐만 아니라 프리드로우 그림체 자체를 담아내기 위한 목적이였습니다.
+
+```
+# different instance prompt with prior-preservation loss
+MODEL_NAME = “runwayml/stable-diffusion-v1-5”
+instance_prompt = "A photo of a girl in the style of sks"
+class_prompt = "A photo of a girl"
+
+python3 train_dreambooth.py \
+ --pretrained_model_name_or_path=$MODEL_NAME \
+ --pretrained_vae_name_or_path="stabilityai/sd-vae-ft-mse" \
+ --output_dir=$OUTPUT_DIR \
+ --revision="fp16" \
+ --with_prior_preservation --prior_loss_weight=1.0 \
+ --seed=1337 \
+ --resolution=512 \
+ --train_batch_size=1 \
+ --train_text_encoder \
+ --mixed_precision="fp16" \
+ --use_8bit_adam \
+ --gradient_accumulation_steps=1 --gradient_checkpointing \
+ --learning_rate=1e-6 \
+ --lr_scheduler="constant" \
+ --lr_warmup_steps=0 \
+ --num_class_images=200 \
+ --sample_batch_size=4 \
+ --max_train_steps=800 \
+ --save_interval=100 \
+ --save_sample_prompt="A photo of sks girl" \
+ --concepts_list="concepts_list.json"
+```
+
+```
+# different instance prompt w/o prior-preservation loss
+MODEL_NAME = “runwayml/stable-diffusion-v1-5”
+instance_prompt = "A photo of a girl in the style of sks"
+class_prompt = "A photo of a girl"
+
+python3 train_dreambooth.py \
+ --pretrained_model_name_or_path=$MODEL_NAME \
+ --pretrained_vae_name_or_path="stabilityai/sd-vae-ft-mse" \
+ --output_dir=$OUTPUT_DIR \
+ --revision="fp16" \
+ --with_prior_preservation --prior_loss_weight=0.0 \
+ --seed=1337 \
+ --resolution=512 \
+ --train_batch_size=1 \
+ --train_text_encoder \
+ --mixed_precision="fp16" \
+ --use_8bit_adam \
+ --gradient_accumulation_steps=1 --gradient_checkpointing \
+ --learning_rate=1e-6 \
+ --lr_scheduler="constant" \
+ --lr_warmup_steps=0 \
+ --num_class_images=200 \
+ --sample_batch_size=4 \
+ --max_train_steps=800 \
+ --save_interval=100 \
+ --save_sample_prompt="A photo of sks girl" \
+ --concepts_list="concepts_list.json"
+```
+
+Inference 시, 프리드로우의 그림체가 반영된 남자가 생성되도록 prompt 를 “A photo of a boy in the style of *sks*” 로 입력했을때의 결과입니다. DreamBooth 혹은 사전학습된 text-to-image 모델을 프리드로우 작가님의 웹툰 장면들로 전체적으로 학습하게 된다면 더 다양한 inference 결과들을 볼 수 있을 것 같습니다.
+
+- **Inference Prompt: “A photo of a boy in the style of *sks*” (num_inference_steps = 24 / with prior-preservation loss)**
+
+ **+** **Negative Prompt: “ugly, disfigured, deformed, low resolution”**
+
+:::{figure-md}
+
+
+Instance Prompt
+:::
+
+Inference step 을 늘려가면서 추론된 인물 이미지의 퀄리티가 상승하는 부분도 확인할 수 있었습니다. 또한, guidance scale 에 대한 실험도 진행했는데 guidance scale 이 작을수록 prompt 와 무관한 random 한 이미지들을 생성하게 됩니다. 최종적으로 num_inference steps 와 guidance scale 의 값은 각각 100 과 7.5 로 설정하였습니다.
+
+- **Inference Prompt: “A photo of a boy in the style of *sks*” (num_inference_steps=100 / with prior-preservation loss)**
+
+:::{figure-md}
+
+
+Increasing Number of Inference Steps
+:::
+
+- **Inference Prompt: “A photo of a boy in the style of *sks*” (num_inference_steps = 100 / with prior-preservation loss)**
+
+ **+** **Negative Prompt: “ugly, disfigured, deformed, low resolution”**
+
+:::{figure-md}
+
+
+Increasing Number of Inference Steps / Negative Prompt
+:::
+
+- **Inference Prompt: “A photo of a boy in the style of *sks*” (num_inference_steps = 100 / with prior-preservation loss)**
+
+ **+** **Negative Prompt: “ugly, disfigured, deformed, low resolution”**
+
+ **+ guidance_scale = 4**
+
+:::{figure-md}
+
+
+Guidance Scale
+:::
+
+동일한 inference prompt 로 prior-preservation loss 를 제외해본 결과, 생성된 남자의 머리카락이 더 길어지고 더 여성스러운 생김새를 가지는 놀라운 사실도 발견했습니다.
+
+- **Inference Prompt: “A photo of a boy in the style of *sks*” (num_inference_steps = 100 / w/o prior-preservation loss)**
+
+ **+** **Negative Prompt: “ugly, disfigured, deformed, low resolution”**
+
+:::{figure-md}
+
+
+Without Prior Preservation Loss
+:::
+
+## Appendix
+
+그 외 다양한 inference prompt 에 따른 재미있는 실험결과들을 공유합니다. 아직 손의 모양을 text-to-image 모델이 생성하지 못하는 부분도 재차 확인할 수 있었습니다.
+
+- **Inference Prompt: “A photo of a boy climbing up the mountain in the style of *sks*” (num_inference_steps = 100 / w/o prior-preservation loss)**
+
+ **+** **Negative Prompt: “ugly, disfigured, deformed, low resolution”**
+
+:::{figure-md}
+
+
+Appendix 1
+:::
+
+- **Inference Prompt: “A painting of a boy in the style of *sks*” (num_inference_steps = 100 / w/o prior-preservation loss)**
+
+ **+** **Negative Prompt: “ugly, disfigured, deformed, low resolution”**
+
+:::{figure-md}
+
+
+Appendix 2
+:::
+
+- **Inference Prompt: “A hand drawing of a boy in the style of *sks*” (num_inference_steps = 100 / w/o prior-preservation loss)**
+
+ **+** **Negative Prompt: “ugly, disfigured, deformed, low resolution”**
+
+:::{figure-md}
+
+
+Appendix 3
+:::
+
+마지막으로 하단의 좌측과 우측 사진은 각각 “A photo of *sks* girl” 그리고 “A photo of a girl in the style of *sks*” 이라는 prompt 로 DreamBooth 모델을 각각 학습한 후, 나비를 생성하라는 동일한 prompt 로 추론해본 결과입니다. *sks* 가 수식하는 명사가 girl 이 아닌 style 이도록 prompt 를 수정함으로써, butterfly 사진을 생성할때 조금이나마 더 프리드로우 웹툰의 그림체를 반영할 수 있었던 부분도 확인할 수 있었습니다.
+
+- **Inference Prompt: “A photo of a butterfly in the style of *sks*” (num_inference_steps = 100 / with prior-preservation loss)**
+
+:::{figure-md}
+
+
+Appendix 4
+:::
diff --git a/_sources/docs/markdown-example.md b/_sources/docs/markdown-example.md
index 573e35f9..ed5b4329 100755
--- a/_sources/docs/markdown-example.md
+++ b/_sources/docs/markdown-example.md
@@ -1,53 +1,53 @@
-Jupyter Book은 markdown 문서를 지원합니다.
-
-아래와 같은 예시 코드를 입력하면 markdown 문법이 적용됩니다.
-
-```
-# This is an h1 tag
-## This is an h2 tag
-###### This is an h6 tag
-
-*This text will be italic*
-_This will also be italic_
-
-**This text will be bold**
-__This will also be bold__
-
-_You **can** combine them_
-
-* Item 1
-* Item 2
- * Item 2a
- * Item 2b
-
-1. Item 1
-1. Item 2
-1. Item 3
- 1. Item 3a
- 1. Item 3b
-```
-
-입력 결과
-
-# This is an h1 tag
-## This is an h2 tag
-###### This is an h6 tag
-
-*This text will be italic*
-_This will also be italic_
-
-**This text will be bold**
-__This will also be bold__
-
-_You **can** combine them_
-
-* Item 1
-* Item 2
- * Item 2a
- * Item 2b
-
-1. Item 1
-1. Item 2
-1. Item 3
- 1. Item 3a
+Jupyter Book은 markdown 문서를 지원합니다.
+
+아래와 같은 예시 코드를 입력하면 markdown 문법이 적용됩니다.
+
+```
+# This is an h1 tag
+## This is an h2 tag
+###### This is an h6 tag
+
+*This text will be italic*
+_This will also be italic_
+
+**This text will be bold**
+__This will also be bold__
+
+_You **can** combine them_
+
+* Item 1
+* Item 2
+ * Item 2a
+ * Item 2b
+
+1. Item 1
+1. Item 2
+1. Item 3
+ 1. Item 3a
+ 1. Item 3b
+```
+
+입력 결과
+
+# This is an h1 tag
+## This is an h2 tag
+###### This is an h6 tag
+
+*This text will be italic*
+_This will also be italic_
+
+**This text will be bold**
+__This will also be bold__
+
+_You **can** combine them_
+
+* Item 1
+* Item 2
+ * Item 2a
+ * Item 2b
+
+1. Item 1
+1. Item 2
+1. Item 3
+ 1. Item 3a
1. Item 3b
\ No newline at end of file
diff --git a/_sources/docs/notebook-example.ipynb b/_sources/docs/notebook-example.ipynb
index e2da265e..0f6326c3 100755
--- a/_sources/docs/notebook-example.ipynb
+++ b/_sources/docs/notebook-example.ipynb
@@ -1,80 +1,80 @@
-{
- "cells": [
- {
- "cell_type": "markdown",
- "metadata": {},
- "source": [
- "# .ipynb 파일 활용"
- ]
- },
- {
- "cell_type": "markdown",
- "metadata": {},
- "source": [
- "Jupyter Book에선 .ipynb파일 또한 지원합니다. 아래와 같이 코드를 입력하고, 그에 대응하는 출력물을 함께 웹페이지로 구성 가능합니다. "
- ]
- },
- {
- "cell_type": "code",
- "execution_count": 4,
- "metadata": {},
- "outputs": [
- {
- "data": {
- "text/plain": [
- "["
- ]
- },
- "metadata": {
- "needs_background": "light"
- },
- "output_type": "display_data"
- }
- ],
- "source": [
- "import matplotlib.pyplot as plt\n",
- "\n",
- "plt.plot([3,1,2,1,3])"
- ]
- },
- {
- "cell_type": "markdown",
- "metadata": {},
- "source": [
- "[공식 홈페이지](https://jupyterbook.org/interactive/interactive.html#plotly)를 참고하여 interactive한 시각화도 가능합니다. "
- ]
- }
- ],
- "metadata": {
- "kernelspec": {
- "display_name": "Python 3",
- "language": "python",
- "name": "python3"
- },
- "language_info": {
- "codemirror_mode": {
- "name": "ipython",
- "version": 3
- },
- "file_extension": ".py",
- "mimetype": "text/x-python",
- "name": "python",
- "nbconvert_exporter": "python",
- "pygments_lexer": "ipython3",
- "version": "3.8.5"
- }
- },
- "nbformat": 4,
- "nbformat_minor": 4
-}
+{
+ "cells": [
+ {
+ "cell_type": "markdown",
+ "metadata": {},
+ "source": [
+ "# .ipynb 파일 활용"
+ ]
+ },
+ {
+ "cell_type": "markdown",
+ "metadata": {},
+ "source": [
+ "Jupyter Book에선 .ipynb파일 또한 지원합니다. 아래와 같이 코드를 입력하고, 그에 대응하는 출력물을 함께 웹페이지로 구성 가능합니다. "
+ ]
+ },
+ {
+ "cell_type": "code",
+ "execution_count": 4,
+ "metadata": {},
+ "outputs": [
+ {
+ "data": {
+ "text/plain": [
+ "[]"
+ ]
+ },
+ "execution_count": 4,
+ "metadata": {},
+ "output_type": "execute_result"
+ },
+ {
+ "data": {
+ "image/png": "iVBORw0KGgoAAAANSUhEUgAAAXoAAAD4CAYAAADiry33AAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjMuMywgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/Il7ecAAAACXBIWXMAAAsTAAALEwEAmpwYAAA0BklEQVR4nO3deXxU9b3/8dcnG2EJCZCQkGSQfYdsE8SlrhURN1RIUOxtfw/786LYau2ibW/trV67X9u6X3/V29sLKkFAUXEtVMWNTELCvsk2WSBhSVhDtu/vj5nQNEzIJMzMmeXzfDzmwXDOmTmfHJhPzpzzPe8jxhiUUkqFryirC1BKKeVf2uiVUirMaaNXSqkwp41eKaXCnDZ6pZQKczFWF+BJcnKyGTZsmNVlKKVUyCgpKTlojEnxNC8oG/2wYcNwOBxWl6GUUiFDRPZ2Nk8P3SilVJjTRq+UUmFOG71SSoU5bfRKKRXmtNErpVSY67LRi0i8iKwVkXIR2SQiv/CwTC8RWSwiO0XkSxEZ1m7ej93Tt4nItT6uXymlVBe82aM/DVxljMkCsoEZIjKtwzJ3AUeMMaOAPwC/ARCRCcBcYCIwA3hWRKJ9VLtSSikvdNnojctx919j3Y+O2cY3A//jfv4acLWIiHv6q8aY08aY3cBOYKpPKu+goamFFz7+is++OuiPt1dKKb9avbWGl9bsprG51efv7dUxehGJFpEyoAb4wBjzZYdFMgAngDGmGagHBrWf7lbhnuZpHXeLiENEHLW1td36IQBiooQ/f7Kbl9bs7vZrlVLKas9/9BV//XwPsdHi8/f2qtEbY1qMMdlAJjBVRCb5uhBjzAvGGLsxxp6S4vEq3nOKiY7itrxMVm+rpeZog6/LU0opv9lz8ARf7j7MHLsN18EQ3+rWqBtjTB2wGtfx9vYqARuAiMQAicCh9tPdMt3T/GJOXiYtrYalpX5bhVJK+dySEidRArflZvrl/b0ZdZMiIknu572Ba4CtHRZbAXzT/Xw2sMq47lG4ApjrHpUzHBgNrPVR7WcZkdKPqcMGssThRG+RqJQKBS2thtdKKrhi7GDSEuP9sg5v9uiHAKtFZD1QjOsY/Vsi8qiI3ORe5kVgkIjsBB4EHgYwxmwCioDNwLvAAmNMi69/iPbm2DPZdfAEjr1H/LkapZTyiY+313Lg6GkK7P7Zmwcv0iuNMeuBHA/TH2n3vAGY08nrHwceP48au+X6KUP49xWbKCp2kj9sYKBWq5RSPVLkcDKobxxXjUv12zrC7srYPnEx3JiVztsbqjl+utnqcpRSqlOHjp/mwy0HuCUng7gY/7XjsGv0AAX5Nk42tvD2+iqrS1FKqU4tX1dJU4uhIN/W9cLnISwbfY4tiVGD+7G42Nn1wkopZQFjDEUOJ9m2JMakJvh1XWHZ6EWEQruN0n117Kw5ZnU5Sil1ljJnHdsPHKfQz3vzEKaNHuCW3AxiooQiR4XVpSil1FmKHBX0jo3mhilD/L6usG30yf16cfX4wSwrraCpxffZEUop1VMnG5t5s7yKmZOHkBAf6/f1hW2jByiw2zh4vJFVW2usLkUppc54Z8N+jp9u9uvY+fbCutFfPiaFwQm9KNKTskqpILLY4WR4cl+mDg/MtT5h3ehjoqOYnZfJ6m01HNCgM6VUENh98ARrdx9mjj3TLwFmnoR1oweYY7fRamBpqZ6UVUpZb4nDvwFmnoR9o2/7erTEUaFBZ0opSzW3tLK0tIIrxw4mtb9/Asw8CftGD66TsrsPnqB4jwadKaWs8/EOV4DZHLv/x863FxGNfubkNPr1iqHIoSdllVLWKSquILlfHFePHxzQ9UZEo3cFnQ3h7fXVHGtosrocpVQEOtguwCw2OrCtNyIaPbgO35xqauGt9dVWl6KUikDLSytpbjUUBPiwDURQo8+2JTF6cD89fKOUCri2ALOcoUmM9nOAmSfe3ErQJiKrRWSziGwSkfs9LPNDESlzPzaKSIuIDHTP2yMiG9zzHP74IbwhIhTm21i3r44dBzToTCkVOOucdeyoOU6hBXvz4N0efTPwfWPMBGAasEBEJrRfwBjzO2NMtjEmG/gx8JEx5nC7Ra50z7f7qvCemJXTFnSme/VKqcBZ4nDSOzaa6wMQYOZJl43eGFNtjCl1Pz8GbAEyzvGS24FXfFOebyX368XXx6eyrLSSxmYNOlNK+Z8rwKya66cEJsDMk24doxeRYbjuH/tlJ/P7ADOApe0mG+B9ESkRkbvP8d53i4hDRBy1tbXdKatbCvIzOXRCg86UUoGx8kyAmTWHbaAbjV5E+uFq4A8YY452stiNwKcdDttcaozJBa7DddjnMk8vNMa8YIyxG2PsKSkp3pbVbZeNTiG1fy89fKOUCoiiYicjkvuSP2yAZTV41ehFJBZXk19kjFl2jkXn0uGwjTGm0v1nDbAcmNqzUn2jLejs7xp0ppTys121x1m75zBz7LaABZh54s2oGwFeBLYYY544x3KJwOXAG+2m9RWRhLbnwHRg4/kWfb7m5LmCzl4r0aAzpZT/LCmpIDpKuC33XKc1/c+bPfpLgG8AV7UbQjlTROaLyPx2y90CvG+MOdFuWiqwRkTKgbXA28aYd31WfQ8NS+7LhcMHssTh1KAzpZRfNLe0srSkgivHpjA4gAFmnsR0tYAxZg3Q5XcOY8xfgL90mLYLyOphbX5VYLfx/SXlrN19mAtHDLK6HKVUmPloey01xwIfYOZJxFwZ29HMyUPo1yuGxXpSVinlB4uLnST3i+OqcYENMPMkYht977hobsxKZ+UGDTpTSvlW7bHTrNpaw625mQEPMPPE+gosVJhvo6GplTfLNehMKeU7y9dVuAPMAncXqXOJ6EaflZnImFQNOlNK+Y4rwKyC3KFJjBoc+AAzTyK60YsIBXYbZc46tmvQmVLKB0r31bGz5jiF+dafhG0T0Y0ecN8EQCgq1r16pdT5W+Jw0icumuunpFtdyhkR3+gHtQWdrdOgM6XU+Tlxupk3y6u43j2qL1hEfKMHKMi3cfhEI6u2HrC6FKVUCFu5oZoTjS1BddgGtNEDrqCztP7xLNbDN0qp81DkcDIipS95F1gXYOaJNnogOkqYnZfJR9tr2V+vQWdKqe7bVXuc4j1HKLA4wMwTbfRuc+yZtBpYWqpBZ0qp7ityuALMbrU4wMwTbfRuFwzqy7QRAylyOGlt1aAzpZT3mltaWVpawZVjBzM4wdoAM0+00bdTYLex99BJ1u453PXCSinl9vdttdQeOx00V8J2pI2+nesmDSGhV4yOqVdKdctih5Pkfr24MggCzDzRRt9O77hobsxOZ+XGao5q0JlSygs1xxpYtbWG23IzgiLAzJPgrMpChfa2oLMqq0tRSoWA5aWVtLSaoMid74w3txK0ichqEdksIptE5H4Py1whIvXt7kD1SLt5M0Rkm4jsFJGHff0D+NqUzETGpiZQ5NDRN0qpc3MFmDnJu2AAowb3s7qcTnmzR98MfN8YMwGYBiwQkQkelvvEGJPtfjwKICLRwDPAdcAE4PZOXhs0RISCfBvlzjq27degM6VU50r3HeGr2hMUBvHePHjR6I0x1caYUvfzY8AWwNuBolOBncaYXcaYRuBV4OaeFhsoZ4LONL5YKXUORcUV9ImLZuaUIVaXck7dOkYvIsOAHOBLD7MvEpFyEXlHRCa6p2UA7btlBZ38khCRu0XEISKO2tra7pTlcwP7xnHNhFSWa9CZUqoTJ04389b6Km6YElwBZp543ehFpB+wFHjAGHO0w+xS4AJjTBbwFPB6dwsxxrxgjLEbY+wpKSndfbnPFdhdQWd/26JBZ0qps70dpAFmnnjV6EUkFleTX2SMWdZxvjHmqDHmuPv5SiBWRJKBSqD9Vsh0Twt6XxudwpDEeL15uFLKo6JiV4BZ7tDgCjDzxJtRNwK8CGwxxjzRyTJp7uUQkanu9z0EFAOjRWS4iMQBc4EVviren9qCzj7eXkt1/Smry1FKBZGdNcdx7D1CYRAGmHnizR79JcA3gKvaDZ+cKSLzRWS+e5nZwEYRKQeeBOYal2bgPuA9XCdxi4wxm/zwc/jFnDybK+isRIdaKqX+YUmJk+go4ZYgDDDzpMszCMaYNcA5f2UZY54Gnu5k3kpgZY+qs9jQQX24aMQgihwV3HvFKKKigv83t1LKv5paWllaUslV44IzwMwTvTK2CwX5mew7fJIvd2vQmVLKFWB28PhpCoJ87Hx72ui7cN2kISTEx+iYeqUUAIuLnaQk9OLKsdaPDvSWNvouxMdGc1NWOis3aNCZUpGu5lgDq7fVcGtuBjFBGmDmSehUaqHCfBunm1tZUaZBZ0pFsmXuALNQOmwD2ui9MjkjkXFpCSzRwzdKRay2ADP7BQMYmRK8AWaeaKP3gohQYLdRXlHP1v0dLwpWSkWCkr1H2FV7goIQuBK2I230XprVFnRWrGPqlYpERQ4nfeOiuX5ycAeYeaKN3ksD+8YxfUIay9dVcLq5xepylFIBdPx0M2+tr+aGKen0DfIAM0+00XdDQb6NIyeb+HBzjdWlKKUC6O31VZxsbAnJwzagjb5bLh2VTHpivI6pVyrCFDkqGJnSl9yhSVaX0iPa6LvhTNDZjlqq6jToTKlIsLPmGCV7j1CYHxoBZp5oo++m2Xk2jAadKRUxljgqiIkSbsnJtLqUHtNG301DB/Xh4pGDKCpx0tpqrC5HKeVHTS2tLC2t4Kpxg0lJ6GV1OT2mjb4HCuw2nIdP8cXuQ1aXopTyo9Vbazh4vDHkroTtSBt9D8yYlOYKOivWk7JKhbMihyvA7IoQCjDzxJs7TNlEZLWIbBaRTSJyv4dl5onIehHZICKfiUhWu3l73NPLRMTh6x/ACvGx0dycnc47G/dTf0qDzpQKRzVHG1i9rZbbcjNDKsDME2+qbwa+b4yZAEwDFojIhA7L7AYuN8ZMBh4DXugw/0pjTLYxxn7eFQeJQvtQV9BZuQadKRWOlp4JMAvdk7Btumz0xphqY0yp+/kxXLcEzOiwzGfGmCPuv36B6ybgYW1SRn8NOlMqTBljWOJwkj9sACNCLMDMk259HxGRYUAO8OU5FrsLeKfd3w3wvoiUiMjd53jvu0XEISKO2tra7pRlCRGhMN/G+op6tlRr0JlS4cSx9wi7Dp4I+ZOwbbxu9CLSD1gKPGCM8djZRORKXI3+oXaTLzXG5ALX4Trsc5mn1xpjXjDG2I0x9pSU0DjxMSs7g7joKL1SVqkwU1TsDjCbEnoBZp541ehFJBZXk19kjFnWyTJTgD8DNxtjzow7NMZUuv+sAZYDU8+36GAxoG8c10xMZfm6Sg06UypMHD/dzNsbqrkxK50+caEXYOaJN6NuBHgR2GKMeaKTZYYCy4BvGGO2t5veV0QS2p4D04GNvig8WBTabdSdbOKDzQesLkUp5QNvlYd2gJkn3vy6ugT4BrBBRMrc034CDAUwxjwPPAIMAp51Z0E0u0fYpALL3dNigJeNMe/68gew2iVngs4quGFKutXlKKXOU5HDyajB/cixJVldis902eiNMWuAcyb5GGO+DXzbw/RdQNbZrwgf0VHCbLuNp1btoLLuFBlJva0uSSnVQztrjlG6r46fzhwfsgFmnoT2VQBBYk5epgadKRUGitoCzHIzul44hGij9wHbwD5cMmoQRQ4NOlMqVDW1tLKstIKrxw8muV/oBph5oo3eRwrsNiqOnOKLXRp0plQoWhUmAWaeaKP3kWsnptE/PobFOqZeqZBUVOxkcEIvLh8TGtfxdIc2eh9xBZ1luILOTmrQmVKh5MDRBlZvq+G2vNAPMPMk/H4iCxXm22hsbmVFeaXVpSilumFpaQWthrA8bAPa6H1qYnp/xg/pT5FDR98oFSpcAWYVTB02kOHJfa0uxy+00fuQiFBoz2RDZT2bqzToTKlQULznCLsPngirK2E70kbvY7NyNOhMqVCyuNhJv14xzJycZnUpfqON3seS+sQx3R101tCkQWdKBbNjDU2s3FDNjVlDwibAzBNt9H5QmG+j/pQGnSkV7N5aX82pppawPQnbRhu9H1wyMpmMpN56+EapIFfkcDJ6cD+ywyjAzBNt9H4QFSXMzstkzc6DVBw5aXU5SikPdhw4xrp9dRTm28IqwMwTbfR+MjvPddvcpSU6pl6pYFTkcBITJczKCa8AM0+00fuJbWAfLhmZzJISDTpTKtg0NreyrLSSr49PDbsAM0+00fvRHHsmFUdO8bkGnSkVVFZtreHQiUYK8jOtLiUgvLmVoE1EVovIZhHZJCL3e1hGRORJEdkpIutFJLfdvG+KyA7345u+/gGC2Zmgs2I9KatUMClyOEnt34vLRodfgJkn3uzRNwPfN8ZMAKYBC0RkQodlrgNGux93A88BiMhA4OfAhbhuCv5zERngo9qDXnxsNLNyMnh3kwadKRUsDhxt4O/bargtNzwDzDzp8qc0xlQbY0rdz48BW4COZy9uBv5qXL4AkkRkCHAt8IEx5rAx5gjwATDDpz9BkCuwu4LO3tCgs5C3uHgfr6/Tf8dQ91pJeAeYedKtS8FEZBiQA3zZYVYG0P74RIV7WmfTPb333bi+DTB06NDulBXUJmUkMjG9P4uLnfzLRcOsLkf10AebD/DQ0g1ECaQk9OKSUclWl6R6wBVg5mTq8IEMC9MAM0+8/t4iIv2ApcADxhifJ3YZY14wxtiNMfaUlPA6blZgt7Gp6igbK+utLkX1wN5DJ3iwqIxJGf0ZmdKP776yjv31DVaXpXpg7e7D7Dl0ksII2psHLxu9iMTiavKLjDHLPCxSCbTfcpnuaZ1Njyg3Z6cTFxPFEr1SNuQ0NLVwz8JSokR4bl4ez92Zy6mmFu57uZSmllary1PdtNjRFmA2xOpSAsqbUTcCvAhsMcY80cliK4B/cY++mQbUG2OqgfeA6SIywH0Sdrp7WkRJ6hPHtRPTeL2sSoPOQszP39jE5uqj/KEwC9vAPowanMBvbpuCY+8Rfv3OVqvLU93wjwCzdHrHRVtdTkB5s0d/CfAN4CoRKXM/ZorIfBGZ715mJbAL2An8P+BeAGPMYeAxoNj9eNQ9LeIU2l1BZ+9r0FnIKCp2stjhZMGVI7lqXOqZ6TdmpfOti4fx4prdrNxQbWGFqjveLK+moamVwjDOne9MlydjjTFrgHMGQRhjDLCgk3kvAS/1qLowcvHIQWQk9WaJw8lNWelWl6O6sKmqnp+9sZGLRw7iwWvGnjX/JzPHU15Rxw+XlDM2LYGRKf0sqFJ1R5HDyZjUfmRlJlpdSsBFxiDSIBAVJcyxa9BZKKg/1cQ9C0tJ6hPLk7fnEB119n5OXEwUz9yRS6/YaO5ZWMLJxmYLKlXe2n7gGGXOOgrs4R9g5ok2+gBqCzp7rUTvKRusjDH8YEk5VXWneOaO3HPmoKQn9eZPc7PZUXOcny7fiOuLrQpGRcVOYqOFWyIgwMwTbfQBlDmgD5eOSmaJo0KDzoLUf328iw82H+Dh68ZhHzawy+W/NjqFB64ew/J1lSz6cl8AKlTd1djcyrJ1rgCzQREQYOaJNvoAm2O3UVl3is++0qCzYPPFrkP89t2tzJycxl2XDvf6dd+5ahSXj0nh0Tc3s76izn8Fqh5ZtfUAh080RtSVsB1pow+w6RNSSewdy2IdUx9Uao42cN/L6xg2qC+/uW1Kt47jRkUJfyzMJiWhF/csLOXIiUY/Vqq6a3Gxk7T+8Vw2JrwuxOwObfQBFh8bzazsdN7btJ+6k9oQgkFzSyv3vbKOE6ebee7OPBLiY7v9HgP6xvHsvFxqj53me0VlemguSOyvb+Cj7bXclpfh8aR6pNBGb4GCfHfQWVmV1aUo4HfvbWPt7sP88tZJjE1L6PH7ZNmS+NmNE/j7tlqeWb3ThxWqnlpaGnkBZp5oo7fAxPREJmX015z6IPDepv3818e7mHfhUG7JOf+bUNx54VBmZafzxIfbWbPjoA8qVD3V2moocjiZNmIgFwyKnAAzT7TRW6TAbmNztQadWWnPwRP8oKicKZmJPHJjx1ss9IyI8MtbJzN6cD++++o6qutP+eR9Vfet3XOYvYdORvzePGijt8zNWRnExURRpCdlLdHQ1MI9i0qJihLXhU8xvss+6RMXw3N35nG6qYUFi0ppbNbwMysUFTtJ6BXDdZMiK8DME230FknsE8uMiWm8vq5Sg84s8LPXN7Kl+ih/LMzGNrCPz99/ZEo/fjs7i9J9dfzqnS0+f391bkcbmli5sZobsyMvwMwTbfQWKsy3cbShmfc27be6lIiyuHgfS0oq+M5Vo7hy3GC/ref6KUP4P5cM478/3cNb6/XEeyC9WV7lCjDTwzaANnpLXTRiEJkDerPEoZEIgbKxsp6fvbGJS0cl88DXx/h9fT++bjy5Q5N46LX17Kw57vf1KZciRwVjUxOYEoEBZp5oo7dQVJQwJ8/Gmp0HcR7WoDN/qz/ZxD2LShjYJ44/zc0OyLjquJgonpn3j/CzE6c1/Mzftu0/RrmzjoL8yAww80QbvcVm2zMR0aAzf2ttNXx/SRnVdQ08My83oJknQxJ78+TcHHbWHucnyzdo+JmfFTkiO8DME230FstI6s2lo5J5raSCFr2a0m+e//grPtxSw0+vH0/eBQMCvv5LRyfz4NfH8EZZFQu/2Bvw9UeKxuZWlq+r5JoJqQzsG2d1OUHDm1sJviQiNSKysZP5P2x356mNItIiIgPd8/aIyAb3PIeviw8XBe6gs0936gU2/vDZVwf5/XvbuH7KEL518TDL6lhw5SiuHJvCo29tpsxZZ1kd4ezDLa4Aszl6EvafeLNH/xdgRmczjTG/M8ZkG2OygR8DH3W4XeCV7vn286o0jE2fmEpSn1gdU+8HB4428N1X1jE8ufthZb4WFSX8oTCbwQnxLFik4Wf+UORwB5iNjtwAM0+6bPTGmI8Bb+/zejvwynlVFIF6xUQzKzuD9zcd0A+/DzW1tHLfy6WcON3Cc3fm0a9Xl3fO9LukPnE8d6cr/OyBxRp+5kvV9af4eHsts/MyIzrAzBOfHaMXkT649vyXtptsgPdFpERE7u7i9XeLiENEHLW1tb4qK2QU2G00trTyRlml1aWEjd++u5XiPUf49W2TGZPa87AyX5uSmcTPb5rAR9treWqVhp/5ytISDTDrjC9Pxt4IfNrhsM2lxphc4DpggYhc1tmLjTEvGGPsxhh7Skrkfe2akN6fyRmJLHZU6KgMH3h3YzX/75PdfGPaBdycHXyjL+6YOpRbczL449+28/H2yNux8TVXgFkFF40YxNBBvr/SOdT5stHPpcNhG2NMpfvPGmA5MNWH6ws7BfZMtlQfZVPVUatLCWm7D57gh0vWk2VL4t9uGG91OR6JCI/fMpkxgxO4/9V1VNVp+Nn5+HL3YfYdPklB/vknkIYjnzR6EUkELgfeaDetr4gktD0HpgMeR+4ol5uyM+gVE6XxxefhVGML9ywsITpaeOaOHJ+Glfla77honrszl6YWw70afnZeihxOEuI1wKwz3gyvfAX4HBgrIhUicpeIzBeR+e0WuwV43xhzot20VGCNiJQDa4G3jTHv+rL4cJPYO5YZk9J4o0yDznrCGMO/vb6RbQeO8cfCbDIHBP9X+BEp/fjt7CmUOev45UoNP+uJow1NrNxQzU1Z6cTHBu8vdit1OQzBGHO7F8v8BdcwzPbTdgFZPS0sUhXabbxRVsV7m/YH5bHlYPZqsZOlpRV89+rRXDHWf2FlvjZz8hDuunQ4L67ZTe4FA7gpK93qkkLKirIqTje3UpivJ2E7o1fGBplpIwZhG9hbx9R308bKen6+YhNfG53M/VePtrqcbnv4unHYLxjAw0vXs7PmmNXlhJQlDifj0hKYnKEBZp3RRh9k2oLOPt15SIPOvFR3spH5C0tI7hvHn+bmhOQY6tjoKJ6+I5c+cdHMX1iq4Wde2rr/KOUV9RTYNcDsXLTRB6Hb8lxBZ0t0r75Lra2GB4vKOXDUFVYWyvkmaYnxPDk3h121x3l4mYafeWNxsSvAbJYGmJ2TNvoglJHUm6+NTtGgMy8899FXrNpaw79dP4GcoYEPK/O1i0cl8/3pY3mzvIq/fq7hZ+dyurmF19dVMn1CWkj/gg8EbfRBqsCeSVV9A2s06KxTn+48yH++v40bs9L5l4susLocn7nn8pFcPW4w//H2Zkr3HbG6nKD14eYajpxsYo5dx853RRt9kLpmQioDNOisU/vrXWFlI1L68etbJ4fV8dmoKOGJgmzSEuO5b1EphzX/yKMih5P0xHi+pgFmXdJGH6R6xUQzKyeDDzTo7CxtYWWnmlp4/s5c+gZBWJmvJfaJ5bl5eRw80cj9r67TQ3gdVNWd4uMdGmDmLW30Qawt6Ox1DTr7J79+ZyuOvUf49W1TGDU4eMLKfG1SRiK/uGkin+w4yJN/22F1OUFlaUkFxsDsPB077w1t9EFs/JD+TMlMZHGxU0dguK3cUM2La3bzzYsuiIgLi+bm27gtN5MnV+3g79tqrC4nKLS2GopKnFw8UgPMvKWNPsjNsdvYuv8YGys16GxX7XF+9Np6sm1J/PT6CVaXExAiwn/MmsTY1AQeWFxGpYaf8cXuQzgPn9I44m7QRh/kbspKdwWdOfZZXYqlTjY2c8/CUmKjhWfm5RIXEzn/dV3hZ3m0uMPPTjdHdg5SUbErwGzGpDSrSwkZkfNpCVGJvWO5blIab5RVRWzQmTGGf1u+ke01x/jT3BwyknpbXVLADU/uy+/mTKHcWcfjb0du+Fn9qSbe2bifm7M1wKw7tNGHgIJ8G8camnl3436rS7HEy2v3sWxdJQ9cPYbLxkTuULoZk4bwf782nL9+vjdi70S2otwdYGYfanUpIUUbfQiYNtwVdBaJOfXrK+r4xYrNXD4mhe9cNcrqciz3oxnjyB82gIeXbmDHgcgLPysqdgWYTcrob3UpIUUbfQiIihIK8mx8vusQ+w5FTtBZ3clG7llYSkpCL/5YmE2Ujpc+E37Wt1cM8xeWcDyCws82Vx1lQ2U9hfkaYNZd3tx45CURqRERj3eHEpErRKReRMrcj0fazZshIttEZKeIPOzLwiPNmaCzksjYq29tNTywuIyaY66wsgGaZXJGav94nro9h90HT/DQ0vURM/S2yOEkLjqKWXqfhm7zZo/+L8CMLpb5xBiT7X48CiAi0cAzuG4MPgG4XUQiY0ycH6Qn9eayCAo6e2b1Tv6+rZZHbphAti3J6nKCzkUjB/GDa8fy9vpq/vLZHqvL8bvTzS28XlbJNRNT9Zd+D3TZ6I0xHwOHe/DeU4GdxphdxphG4FXg5h68j3IrsNuorm/gkx21VpfiV2t2HOSJD7dzc3Y6d04Ln7AyX5t/2Ui+Pj6Vx9/eQsne8A4/+2DzAepONunY+R7y1TH6i0SkXETeEZGJ7mkZQPvjDBXuaR6JyN0i4hARR21teDeynvr6hMEM6BPLEkeF1aX4TXX9Kb776jpGpfTjV2EWVuZrUVHCfxZkkZ7Um/teLuXQ8dNWl+Q3RY4K0hPjuXRUstWlhCRfNPpS4AJjTBbwFPB6T97EGPOCMcZujLGnpETuELpz6RUTzS05mby/eX9YJho2NreyYFEpp5taeO7OPPrEhV9Yma8l9o7l2Xm5HDrRyP2vloXlYb3KulN8sqOW2XabBpj10Hk3emPMUWPMcffzlUCsiCQDlUD771mZ7mnqPBTkZ9LUYnh9Xfhtyl+9s4XSfXX8ZvYURg3uZ3U5IWNSRiKP3TyRNTsP8qcPt1tdjs+1BZjNydPc+Z4670YvImni/n4tIlPd73kIKAZGi8hwEYkD5gIrznd9kW5cWn+yMhMpcoRX0Nlb66v470/38K2Lh3HDlPAPK/O1wvyhzMnL5MlVO1kdRuFnra2GIoeTS0YNwjZQA8x6ypvhla8AnwNjRaRCRO4SkfkiMt+9yGxgo4iUA08Cc41LM3Af8B6wBSgyxmzyz48RWdqCzjZU1ltdik/srDnOQ6+tJ3doEj+ZOd7qckLWY7MmMX5If763uIyKI+FxvcUXuw5RcUQDzM6XN6NubjfGDDHGxBpjMo0xLxpjnjfGPO+e/7QxZqIxJssYM80Y81m71640xowxxow0xjzuzx8kktyU7Q46C4MrZU82NnPvohJ6xUZHXFiZr8XHRvPcvNywCj9b7HDSPz6GaydqgNn50E9VCOofH8vMyUNYUVbFqcbQ/TAbY/jJsg3sqDnOk3NzGJIYeWFlvjYsuS+/L8hifUU9j7212epyzkv9ybYAswwNMDtP2uhDVIHdxrHTzby7qdrqUnps4Zf7eL2sige/PoZLR+uwOV+5dmIa/3rZCBZ+sS+kT9qvKK+ksbmVwnw9bHO+tNGHqAuHD2TowD4he/im3FnHY29u5sqxKSy4UsPKfO2H145l6vCB/HjZBraHaPjZYoeT8UP6MzFdA8zOlzb6EBUVJRTYM/li12H2HjphdTndcuREI/cucoWV/UHDyvwiJjqKp2/PCdnws01V9WysPEqhPVMvmvMBbfQh7La8TKKEkLpSti2srPbYaZ67M5ekPppb4i+D+8fz9B057D10kodeC63wsyWOCuKio7hZA8x8Qht9CBuS2JvLxoRW0NlTq3by0fZaHrlxAlMyk6wuJ+xNGzGIH107lrc3VPPSp3usLscrDU0tLF9XyXQNMPMZbfQhrsBuY//RBj4OgaCzj7fX8se/beeWnAzmXah3CAqUuy8bwfQJqfxq5RYce3qSTxhYH2w+QP0pDTDzJW30Ie7r41MZ2DeOJY7gPilbVXeK+19dx+jB/Xj8lkl63DWARITfzckiY0BvFrxcysEgDz8rcjjJSOqtAWY+pI0+xMXFRHFLTgYfbD4QtOmFjc2t3LuolKYWo2FlFknsHctz8/KoO9nE/a+uC9pDfRVHTrJm50Fm52XqSXof0kYfBgrsNlfQWVmV1aV49MuVWyhz1vHb2VMYmaJhZVaZkN6fx2ZN4tOdh/jDB8EZfra0xDXuf7YGmPmUNvowMDYtgSxbEkXFwRd0tqK8ir98toe7Lh3OzMlDrC4n4hXYbRTabTy9eierth6wupx/0tpqWFLi5JKRyRpg5mPa6MNEgT2TbQeOUV4RPEFnO2uO8fDS9dgvGMDD142zuhzl9oubJzJhSH++t7gc5+HgCT/77CtXgNkcu+7N+5o2+jBxY1Y68bFRFAXJSdkTp5uZv7CUPnHRPH1HLrHR+l8tWMTHRvP8nXm0Glf4WUNTcOQlFWmAmd/opy9M9I+PZeakIbwZBEFnxhh+vGwDu2pdYWVpifGW1qPONnRQH54oyGZDZT2PBkH4Wf3JJt7dtJ9ZORpg5g/a6MNIQb4r6OydjdYGnf3vF3tZUV7F96eP5WIdIhe0rpmQyvzLR/Lyl/tYVmrt1dVvuAPMdOy8f2ijDyMXDh/IBYOsDTpbt+8Ij721mavHDeaey0daVofyzg+mj2HaiIH8ZPkGtu4/alkdi4udTBjSn0kZiZbVEM68ucPUSyJSIyIbO5k/T0TWi8gGEflMRLLazdvjnl4mIg5fFq7OJiIU2G18ufswew4GPujs8IlGFiwqJbV/PE8UaFhZKIiJjuLJ23PoHx/LPQtLOdbQFPAaNlbWs6nqqMYR+5E3e/R/AWacY/5u4HJjzGTgMeCFDvOvNMZkG2PsPStRdcdtue6gs5LA7tW3uMPKDh5v5Ll5eST2iQ3o+lXPDU6I5+k7ctl3+CQ/siD8bInDSVxMFDdn672C/cWbWwl+DHQakGGM+cwYc8T91y8AHRtlobTEeC63IOjsqVU7+Hh7Lf9+00QmZ+rX71AzdfhAHp4xjnc27ufFNbsDtt6GphZeL6vi2olpmmTqR74+Rn8X8E67vxvgfREpEZG7z/VCEblbRBwi4qitDf6ArmBWmG/jwNHTfLw9MNvx79tq+NPfdnBrbga3T9Wv36Hq218bzoyJafzqna0UByj87H13gFmhnoT1K581ehG5Elejf6jd5EuNMbnAdcACEbmss9cbY14wxtiNMfaUlBRflRWRrhqXyqC+cQEZU19Zd4oHFpcxNjWBx2dN1rCyECYi/HbOFGwDerNgUSm1x/yfnbTEHWB28chBfl9XJPNJoxeRKcCfgZuNMYfaphtjKt1/1gDLgam+WJ86t7agsw+3+Dfo7HRzC/cuKqXFHVbWO07HP4e6/vGxPHdnHkcbmvjuK+tobmn127raAszm2DXAzN/Ou9GLyFBgGfANY8z2dtP7ikhC23NgOuBx5I7yvYJ8V9DZcj/eHPrxt7dQ7qzjd3OmMDy5r9/WowJr/JD+/MesyXy+6xBP+DH8rO3OaBpg5n/eDK98BfgcGCsiFSJyl4jMF5H57kUeAQYBz3YYRpkKrBGRcmAt8LYx5l0//AzKgzGpCWTbkljsp6CzN8oq+evne/m/XxvOjEkaVhZuZudlcvtUG8/+/Ss+3Oz78LPWVsNrJRVcOiqZzAEaYOZvXQaDG2Nu72L+t4Fve5i+C8g6+xUqUArsNn6yfANlzjpyhg7w2fvuOHCMh5duIH/YAH40Q8PKwtXPb5zIhsp6Hiwq463vfI2hg3zXkD/96iCVdad4SMPuAkKvjA1jN2YNcQed+e7y9uOnm5m/sIS+vWI0rCzMxcdG89y8PADufbnEp+FnRY4KEnvHMn1Cqs/eU3VOP6VhLCE+lpmTh/BmeRUnG5vP+/2MMTy8dD27D57gqdtzSO2vYWXhzjawD38ozGZj5VF+8eYmn7xn3clG3tu0n1nZ6RpgFiDa6MNcod3G8dPNvLNh/3m/1/98toe31lfzg2vHcpEOh4sYV49P5d4rRvLKWievlZz/t8M3yqpcAWYaeRAw2ujD3NThAxk2qA+Lz3NMfem+Izy+cgtfHz+Y+ZdpWFmkefCaMVw0YhA/Xb6BLdXnF362uNjJxPT+TEzXK6gDRRt9mBMR5thtrN19mN09DDo7dPw0CxaVkpYYz3/O0bCySNQWfpbYO5Z7FpZwtIfhZxsr69lcrQFmgaaNPgKcCTrrwV59W1jZoRMaVhbpUhJ68ey8XCqOnOJHS3oWflbUFmCWleGHClVntNFHgLTEeK4YO5ilpRXdvtLxT3/bwSc7DvLoTRM1K1xhHzaQh68bx7ub9vPnT7oXftbQ1MLr6yqZMTFNdxgCTBt9hCiwu4POdngfdLZ6Ww1PrdrBnLxM/aqtzrjr0uHMnJzGr9/dytrd3oefvbdpP0cbmvX/kgW00UeIq8YNdgWdFXs3aqLiyEm+t7iMcWn9eWzWJA0rU2eICL+5bQoXDOzDgpdLqTnW4NXrljgqyBzQm4tG6IitQNNGHyHiYqK4NdcVdHawi6Czfworm5erY53VWRLiY3n2zlyONTTxnZe7Dj9zHnYHmOXZ9GS+BbTRR5ACu43mVsPy0nMHnT321mbWV9Tz+4IshmlYmerEuLT+/PKWyXy5+zC/f//c4WdLSioQgdl2DTCzgjb6CDI6NYGcoUkUOToPOnt9XSULv9jHv142gmsnpgW4QhVqbs3N5I4Lh/L8R1/xQSfhZy2thtccTi4dlUxGUu8AV6hAG33EKbDb2FFznHXOurPmbT9wjB8v28DU4QP54bVjA1+cCkmP3DCByRmJPFhUxt5DZ1+r8enOg1TVN1Cgd5GyjDb6CHPDlCH0jo0+a0z9P4WV3Z5DjIaVKS/Fx0bz7LxcokS4Z2HpWeFnRQ4nSX1imT5RA8ysop/mCPOPoLPqM0Fnxhgeem09ew+d5Ok7chisYWWqm1zhZ1lsrj7Kz9/4R/jZkRONvL/pALOyM+gVoyf1raKNPgIV5ruCzla6g87++9M9vL2hmh9eO5ZpOvRN9dBV41K578pRLHY4z9yv+I2yShpbWvWwjcW8avQi8pKI1IiIx1sBisuTIrJTRNaLSG67ed8UkR3uxzd9VbjqufxhAxie3JeiYiclew/zy5VbuGZCKv962QirS1Mh7nvXjOGSUYP42esb2VRVz2JHBZMy+jMhvb/VpUU0b/fo/wLMOMf864DR7sfdwHMAIjIQ+DlwIa4bg/9cRHx3qyPVI66gs0zW7jnMv/5vCRkDevP7OVl6UZQ6b9FRwp/m5jCgTxzffGktW6qPUqh785bzqtEbYz4GznWt883AX43LF0CSiAwBrgU+MMYcNsYcAT7g3L8wVIC0BZ0da2jm2Xm5JPbW7BHlG8n9evHMvFzqTjYRFxPFTRpgZrku7xnrpQyg/TCOCve0zqafRUTuxvVtgKFDh/qoLNWZ1P7x/MesyaQnxWsuuPK5vAsG8My8XI43NGuAWRDwVaM/b8aYF4AXAOx2e/fzT1W33XGh/kJV/qMX3AUPX426qQTaH4jLdE/rbLpSSqkA8VWjXwH8i3v0zTSg3hhTDbwHTBeRAe6TsNPd05RSSgWIV4duROQV4AogWUQqcI2kiQUwxjwPrARmAjuBk8D/cc87LCKPAcXut3rUGON9gLVSSqnz5lWjN8bc3sV8AyzoZN5LwEvdL00ppZQv6JWxSikV5rTRK6VUmNNGr5RSYU4bvVJKhTnp7E5DVhKRWmBvD1+eDBz0YTm+onV1j9bVPVpX94RjXRcYY1I8zQjKRn8+RMRhjLFbXUdHWlf3aF3do3V1T6TVpYdulFIqzGmjV0qpMBeOjf4FqwvohNbVPVpX92hd3RNRdYXdMXqllFL/LBz36JVSSrWjjV4ppcJcyDZ6EZkhItvcNyR/2MP8XiKy2D3/SxEZFiR1fUtEakWkzP34dgBq6vHN3S2u6woRqW+3rR4JUF02EVktIptFZJOI3O9hmYBvMy/rCvg2E5F4EVkrIuXuun7hYZmAfx69rCvgn8d2644WkXUi8paHeb7dXsaYkHsA0cBXwAggDigHJnRY5l7geffzucDiIKnrW8DTAd5elwG5wMZO5s8E3gEEmAZ8GSR1XQG8ZcH/ryFArvt5ArDdw79jwLeZl3UFfJu5t0E/9/NY4EtgWodlrPg8elNXwD+P7db9IPCyp38vX2+vUN2jnwrsNMbsMsY0Aq/iukF5ezcD/+N+/hpwtYhIENQVcKbnN3e3ui5LGGOqjTGl7ufHgC2cfa/jgG8zL+sKOPc2OO7+a6z70XGUR8A/j17WZQkRyQSuB/7cySI+3V6h2ui9uen4mWWMMc1APTAoCOoCuM39df81EbF5mB9oXt/E3QIXub96vyMiEwO9cvdX5hxce4PtWbrNzlEXWLDN3IchyoAa4ANjTKfbK4CfR2/qAms+j38EfgS0djLfp9srVBt9KHsTGGaMmQJ8wD9+a6uzleLK78gCngJeD+TKRaQfsBR4wBhzNJDrPpcu6rJkmxljWowx2bjuCz1VRCYFYr1d8aKugH8eReQGoMYYU+LvdbUJ1UbvzU3HzywjIjFAInDI6rqMMYeMMafdf/0zkOfnmrwRlDdxN8YcbfvqbYxZCcSKSHIg1i0isbia6SJjzDIPi1iyzbqqy8pt5l5nHbAamNFhlhWfxy7rsujzeAlwk4jswXV49yoRWdhhGZ9ur1Bt9MXAaBEZLiJxuE5WrOiwzArgm+7ns4FVxn1mw8q6OhzHvQnXcVardXZzd0uJSFrbcUkRmYrr/6vfm4N7nS8CW4wxT3SyWMC3mTd1WbHNRCRFRJLcz3sD1wBbOywW8M+jN3VZ8Xk0xvzYGJNpjBmGq0esMsbc2WExn24vr+4ZG2yMMc0ich/wHq6RLi8ZYzaJyKOAwxizAtcH4n9FZCeuE35zg6Su74rITUCzu65v+bsu6eHN3YOgrtnAPSLSDJwC5gbglzW49ri+AWxwH98F+AkwtF1tVmwzb+qyYpsNAf5HRKJx/WIpMsa8ZfXn0cu6Av557Iw/t5dGICilVJgL1UM3SimlvKSNXimlwpw2eqWUCnPa6JVSKsxpo1dKqTCnjV4ppcKcNnqllApz/x/DWDiRyii/5AAAAABJRU5ErkJggg==\n",
+ "text/plain": [
+ "
"
+ ]
+ },
+ "metadata": {
+ "needs_background": "light"
+ },
+ "output_type": "display_data"
+ }
+ ],
+ "source": [
+ "import matplotlib.pyplot as plt\n",
+ "\n",
+ "plt.plot([3,1,2,1,3])"
+ ]
+ },
+ {
+ "cell_type": "markdown",
+ "metadata": {},
+ "source": [
+ "[공식 홈페이지](https://jupyterbook.org/interactive/interactive.html#plotly)를 참고하여 interactive한 시각화도 가능합니다. "
+ ]
+ }
+ ],
+ "metadata": {
+ "kernelspec": {
+ "display_name": "Python 3",
+ "language": "python",
+ "name": "python3"
+ },
+ "language_info": {
+ "codemirror_mode": {
+ "name": "ipython",
+ "version": 3
+ },
+ "file_extension": ".py",
+ "mimetype": "text/x-python",
+ "name": "python",
+ "nbconvert_exporter": "python",
+ "pygments_lexer": "ipython3",
+ "version": "3.8.5"
+ }
+ },
+ "nbformat": 4,
+ "nbformat_minor": 4
+}
diff --git a/_sources/docs/review/3DGS.md b/_sources/docs/review/3DGS.md
index 69cef7be..9801fc64 100755
--- a/_sources/docs/review/3DGS.md
+++ b/_sources/docs/review/3DGS.md
@@ -1,184 +1,184 @@
-```{admonition} Information
-- **Title:** 3D Gaussian Splatting for Real-Time Radiance Field Rendering
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2308.04079](https://arxiv.org/abs/2308.04079)
- - Project: [https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/](https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/)
-
-- **Author:** Hyunsoo Kim
-
-- **Last updated on June. 12, 2024**
-```
-
-# 3D Gaussian Splatting for Real-Time Radiance Field Rendering
-
-NeRF 기반 방식들은 높은 품질의 새로운 장면 합성이 가능하지만, 시간이 많이 걸려 실시간 렌더링에는 한계가 있다. 다른 방식들은 시간은 빠르지만 품질이 떨어진다. 이를 해결하기 위해, 논문은 3D Gaussian Splatting을 제안합니다. 이 방법은 Mip-NeRF360과 유사한 성능을 제공하면서도 InstantNGP만큼 빠르게 학습할 수 있다.
-
-3D Gaussian Splatting은 다음 세 가지로 구성된다다:
-
-- Structure-from-Motion(SfM)에서 얻은 희소 점 구름을 초기값으로 3D 가우시안을 도입
-- 3D 위치, 불투명도, 이방성 공분산, 구형 고조파(SH) 계수의 최적화
-- 타일 기반 래스터화에서 영감을 받은 빠른 GPU 정렬 알고리즘을 통한 실시간 렌더링
-
-이 방법은 이전의 implicit radiance field 접근법들과 동등하거나 더 나은 품질을 제공하며, 이전의 가장 빠른 방식과 유사한 학습 속도와 품질을 보여주어 고수준의 새로운 뷰 합성에 대해 처음으로 실시간 렌더링을 제공한다.
-
-
-
-## Overview
-:::{figure-md}
-
-
-Main process of 3D Gaussian Splatting
-:::
-
-:::{figure-md}
-
-
-Peusdo Algorithm of 3D Gaussian Splatting
-:::
-
-
-
-
-## Differentiable 3D Gaussian Splatting
-
-이 논문은 normal(표면 법선)이 없는 Structure-from-Motion(SfM) 포인트들의 sparse한 셋을 initial point로 하여, 고품질의 novel view synthesis를 가능하게 하는 scene representation을 최적화하는 것을 목표로 한다.
-
-빠른 렌더링을 위해 unstructured하고 explicit한 primitive를 필요로 하며, 이를 위해 미분 가능하고 2D splats로 쉽게 project되는 3D Gaussian을 선택했다.
-
-:::{figure-md}
-
-
-3D Gaussian Splatting Equation 4
-:::
-
-3D Gaussian은 포인트(mean) μ를 중심으로 하고, 3D 공분산 행렬 Σ로 정의한다. 렌더링을 위해 3D Gaussian을 2D로 project해야 하며, 이는 viewing transformation W에 따라 카메라 좌표계에서의 공분산 행렬 Σ'로 나타낼 수 있다. 최적화를 위해, Σ는 positive semi-definite 행렬이어야 하며, 이 때문에 최적화가 어렵다고 한다.
-
-:::{figure-md}
-
-
-3D Gaussian Splatting Equation 5
-:::
-
-따라서 논문에서는 더 직관적이고 최적화에 적합한 representation을 선택한다. 3D Gaussian의 공분산 행렬 Σ는 타원체의 구성을 설명하는 것과 유사하며, 이를 위해 scaling matrix S와 rotation matrix R을 사용한다.
-
-scaling은 3D vector s로, rotation은 quaternion q로 표현하며, 이들은 각각의 행렬로 변환될 수 있다. 학습 동안 Auto grad(자동 미분)의 오버헤드를 피하기 위해 모든 파라미터에 대한 gradient를 명시적으로 유도한다.
-
-:::{figure-md}
-
-
-3D Gaussian Splatting Equation 6
-:::
-
-최적화에 적합한 anisotropic covariance representation은 장면의 다양한 geometry에 적응하도록 3D Gaussian을 최적화한다.
-
-
-## Optimization with Adaptive Density Control of 3D Gaussians
-
-- **Optimization**
-- **Adaptive Control of Gaussians**
-
-이 논문의 핵심 접근법은 free-view synthesis를 위해 장면을 정확하게 표현하는 3D Gaussian의 밀집된 세트를 만드는 최적화 단계다. 여기에는 position 𝑝, 투명도 𝛼, 공분산 Σ뿐만 아니라, scene의 view-dependent appearance를 정확하게 위한 각 Gaussian의 색상 c를 표현하는 SH coefficients까지 포함된다.
-
-
-## Optimization
-- 3D를 2D로 project할 때 발생할 수 있는 모호함을 피하기 위해, optimization 과정에서 geometry가 더 생성되거나, 삭제되거나 혹은 이동할 수 있어야 함
- - 공분산 파라미터의 퀄리티는 큰 homogeneous area들을 적은 수의 큰 anisotropic Gaussian들로 캡처될 수 있기 때문에 representation의 compactness에 중요
-
-- 논문은 SGD를 사용하고 일부 연산은 CUDA 커널을 사용합니다. 특히 빠른 rasterization은 최적화의 효율성에 중요합니다.
- - 이는 최적화의 주요 computation bottleneck이기 때문
-
-- 투명도 𝛼에 대해서는 sigmoid function을, 공분산의 scale에 대해서는 exponential activation 함수를 사용
- - initial 공분산 행렬은 가장 가까운 세 점까지의 거리의 평균을 축으로 하는 isotropic Gaussian으로 추정
- - position에 대해서만 exponential decay 스케줄링을 사용
-
-Loss function은 D-SSIM과 L1 loss를 사용하며, D-SSIM loss는 이미지의 왜곡(distortion)을 잘 반영하고 미분 가능하여 evaluation metric뿐만 아니라 loss로도 사용 가능.
-
-참고로 SSIM은 이미지의 밝기, 대조, 구조를 고려하여 두 이미지 간의 유사성을 측정하는 메트릭이다.
-
-
-:::{figure-md}
-
-
-D-SSIM equation
-:::
-
-
-:::{figure-md}
-
-
-SSIM equation
-:::
-
-## Adaptive Control of Gaussians
-또한 Structure-from-Motion(SfM)으로 얻은 초기 희소 점들을 시작으로, scene을 더 잘 표현하기 위해 unit volume 내 Gaussian들의 수와 밀도를 점진적으로 최적화하는 방식을 제안한다.
-- 매 100번의 반복(iter)마다 Gaussian을 추가하고, 투명도 𝛼가 일정 값보다 작은 Gaussian을 제거
-
-Adaptive Control of Gaussians는 빈 공간을 채우고, missing geometric feature이 있는 region과 하나의 Gaussian이 너무 넓은 region을 커버하는 region에 집중합니다.
-
-이러한 지역은 모두 큰 view-space positional gradient를 가지며, 최적화를 통해 Gaussian을 이동시킵니다.
-- Under-reconstruction: 동일한 크기의 Gaussian을 복제하고 위치 기울기 방향으로 이동.
-- Over-reconstruction: Gaussian을 두 개로 나누고, 위치는 기존 Gaussian의 PDF를 샘플링해서 초기화.
-
-최적화 과정에서 입력 카메라에 가까운 Gaussian density의 부적절한 증가를 방지하기 위해, 3000번의 반복마다 투명도 α를 0에 가깝게 설정한다.
-
-:::{figure-md}
-
-
-Adaptive Control of Gaussians
-:::
-
-
-## Fast Diffenrentiable Rasterization for Gaussians
-본 논문의 목표는 대략적인 α-blending을 가능하게 하고 이전 연구에 존재하던 gradient를 얻을 수 있는 splat들의 수에 대한 강한 제약을 피하는 빠른 전체적인 렌더링과 빠른 sorting을 가지는 것이다.
-
-이러한 목표를 달성하기 위해 본 논문은 tile-based rasterization for Gaussian splats를 제안한다.
-
-tile-based rasterization은 아래와 같은 흐름으로 진행된다.
-
-- Screen을 16*16으로 나누고 view frustum과 각 타일에 대해 3D Gaussian들을 cull함
- - view frustum외에 있는 것들을 제거하는 절차
- - 16*16으로 나눈 이유는 각 타일마다 다른 GPU thread에서 계산해서 빠르게 계산하기 위함
-- guard band를 이용해 극단적인 위치(너무 가깝거나 먼)에 있는 gaussian들 또한 제거
- - 이들의 projected 2D covariance를 계산하는 것은 불안정적
-- 그런 뒤, gaussian들 마다 속한 tile과 depth에 따라 key를 부여
-- 이를 GPU Radix sort를 이용해 정렬
-- 각 타일마다 front-to-back으로 color와 α값을 accumulate해서 픽셀 값을 구함
-
-## Results and Evaluation
-- Results and Evaluation
- 데이터셋에 따라 결과는 다르지만 SOTA이상의 퀄리티를 내면서 좋은 Training time과 FPS를 보인다.
-
-:::{figure-md}
-
-
-3D Gaussian Splatting experiments table
-:::
-
-
-:::{figure-md}
-
-
-3D Gaussian Splatting experiments result
-:::
-
-
-- Ablations
-:::{figure-md}
-
-
-3D Gaussian Splatting ablation test image
-:::
-
-:::{figure-md}
-
-
-3D Gaussian Splatting result image
-:::
-
-## Limitations
-- 이전의 방식들과 유사하게 잘 관측되지 않은 장면은 artifact들이 존재
-- 이전의 방식들과 유사하게 늘어지고 얼룩진 artifact를 생성할 수 있음
-- 최적화에서 거대한 Gaussian이 만들어지면 popping artifacts 가끔 발생
-- 최적화에서 regularization을 적용하지 않음
+```{admonition} Information
+- **Title:** 3D Gaussian Splatting for Real-Time Radiance Field Rendering
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2308.04079](https://arxiv.org/abs/2308.04079)
+ - Project: [https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/](https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/)
+
+- **Author:** Hyunsoo Kim
+
+- **Last updated on June. 12, 2024**
+```
+
+# 3D Gaussian Splatting for Real-Time Radiance Field Rendering
+
+NeRF 기반 방식들은 높은 품질의 새로운 장면 합성이 가능하지만, 시간이 많이 걸려 실시간 렌더링에는 한계가 있다. 다른 방식들은 시간은 빠르지만 품질이 떨어진다. 이를 해결하기 위해, 논문은 3D Gaussian Splatting을 제안합니다. 이 방법은 Mip-NeRF360과 유사한 성능을 제공하면서도 InstantNGP만큼 빠르게 학습할 수 있다.
+
+3D Gaussian Splatting은 다음 세 가지로 구성된다다:
+
+- Structure-from-Motion(SfM)에서 얻은 희소 점 구름을 초기값으로 3D 가우시안을 도입
+- 3D 위치, 불투명도, 이방성 공분산, 구형 고조파(SH) 계수의 최적화
+- 타일 기반 래스터화에서 영감을 받은 빠른 GPU 정렬 알고리즘을 통한 실시간 렌더링
+
+이 방법은 이전의 implicit radiance field 접근법들과 동등하거나 더 나은 품질을 제공하며, 이전의 가장 빠른 방식과 유사한 학습 속도와 품질을 보여주어 고수준의 새로운 뷰 합성에 대해 처음으로 실시간 렌더링을 제공한다.
+
+
+
+## Overview
+:::{figure-md}
+
+
+Main process of 3D Gaussian Splatting
+:::
+
+:::{figure-md}
+
+
+Peusdo Algorithm of 3D Gaussian Splatting
+:::
+
+
+
+
+## Differentiable 3D Gaussian Splatting
+
+이 논문은 normal(표면 법선)이 없는 Structure-from-Motion(SfM) 포인트들의 sparse한 셋을 initial point로 하여, 고품질의 novel view synthesis를 가능하게 하는 scene representation을 최적화하는 것을 목표로 한다.
+
+빠른 렌더링을 위해 unstructured하고 explicit한 primitive를 필요로 하며, 이를 위해 미분 가능하고 2D splats로 쉽게 project되는 3D Gaussian을 선택했다.
+
+:::{figure-md}
+
+
+3D Gaussian Splatting Equation 4
+:::
+
+3D Gaussian은 포인트(mean) μ를 중심으로 하고, 3D 공분산 행렬 Σ로 정의한다. 렌더링을 위해 3D Gaussian을 2D로 project해야 하며, 이는 viewing transformation W에 따라 카메라 좌표계에서의 공분산 행렬 Σ'로 나타낼 수 있다. 최적화를 위해, Σ는 positive semi-definite 행렬이어야 하며, 이 때문에 최적화가 어렵다고 한다.
+
+:::{figure-md}
+
+
+3D Gaussian Splatting Equation 5
+:::
+
+따라서 논문에서는 더 직관적이고 최적화에 적합한 representation을 선택한다. 3D Gaussian의 공분산 행렬 Σ는 타원체의 구성을 설명하는 것과 유사하며, 이를 위해 scaling matrix S와 rotation matrix R을 사용한다.
+
+scaling은 3D vector s로, rotation은 quaternion q로 표현하며, 이들은 각각의 행렬로 변환될 수 있다. 학습 동안 Auto grad(자동 미분)의 오버헤드를 피하기 위해 모든 파라미터에 대한 gradient를 명시적으로 유도한다.
+
+:::{figure-md}
+
+
+3D Gaussian Splatting Equation 6
+:::
+
+최적화에 적합한 anisotropic covariance representation은 장면의 다양한 geometry에 적응하도록 3D Gaussian을 최적화한다.
+
+
+## Optimization with Adaptive Density Control of 3D Gaussians
+
+- **Optimization**
+- **Adaptive Control of Gaussians**
+
+이 논문의 핵심 접근법은 free-view synthesis를 위해 장면을 정확하게 표현하는 3D Gaussian의 밀집된 세트를 만드는 최적화 단계다. 여기에는 position 𝑝, 투명도 𝛼, 공분산 Σ뿐만 아니라, scene의 view-dependent appearance를 정확하게 위한 각 Gaussian의 색상 c를 표현하는 SH coefficients까지 포함된다.
+
+
+## Optimization
+- 3D를 2D로 project할 때 발생할 수 있는 모호함을 피하기 위해, optimization 과정에서 geometry가 더 생성되거나, 삭제되거나 혹은 이동할 수 있어야 함
+ - 공분산 파라미터의 퀄리티는 큰 homogeneous area들을 적은 수의 큰 anisotropic Gaussian들로 캡처될 수 있기 때문에 representation의 compactness에 중요
+
+- 논문은 SGD를 사용하고 일부 연산은 CUDA 커널을 사용합니다. 특히 빠른 rasterization은 최적화의 효율성에 중요합니다.
+ - 이는 최적화의 주요 computation bottleneck이기 때문
+
+- 투명도 𝛼에 대해서는 sigmoid function을, 공분산의 scale에 대해서는 exponential activation 함수를 사용
+ - initial 공분산 행렬은 가장 가까운 세 점까지의 거리의 평균을 축으로 하는 isotropic Gaussian으로 추정
+ - position에 대해서만 exponential decay 스케줄링을 사용
+
+Loss function은 D-SSIM과 L1 loss를 사용하며, D-SSIM loss는 이미지의 왜곡(distortion)을 잘 반영하고 미분 가능하여 evaluation metric뿐만 아니라 loss로도 사용 가능.
+
+참고로 SSIM은 이미지의 밝기, 대조, 구조를 고려하여 두 이미지 간의 유사성을 측정하는 메트릭이다.
+
+
+:::{figure-md}
+
+
+D-SSIM equation
+:::
+
+
+:::{figure-md}
+
+
+SSIM equation
+:::
+
+## Adaptive Control of Gaussians
+또한 Structure-from-Motion(SfM)으로 얻은 초기 희소 점들을 시작으로, scene을 더 잘 표현하기 위해 unit volume 내 Gaussian들의 수와 밀도를 점진적으로 최적화하는 방식을 제안한다.
+- 매 100번의 반복(iter)마다 Gaussian을 추가하고, 투명도 𝛼가 일정 값보다 작은 Gaussian을 제거
+
+Adaptive Control of Gaussians는 빈 공간을 채우고, missing geometric feature이 있는 region과 하나의 Gaussian이 너무 넓은 region을 커버하는 region에 집중합니다.
+
+이러한 지역은 모두 큰 view-space positional gradient를 가지며, 최적화를 통해 Gaussian을 이동시킵니다.
+- Under-reconstruction: 동일한 크기의 Gaussian을 복제하고 위치 기울기 방향으로 이동.
+- Over-reconstruction: Gaussian을 두 개로 나누고, 위치는 기존 Gaussian의 PDF를 샘플링해서 초기화.
+
+최적화 과정에서 입력 카메라에 가까운 Gaussian density의 부적절한 증가를 방지하기 위해, 3000번의 반복마다 투명도 α를 0에 가깝게 설정한다.
+
+:::{figure-md}
+
+
+Adaptive Control of Gaussians
+:::
+
+
+## Fast Diffenrentiable Rasterization for Gaussians
+본 논문의 목표는 대략적인 α-blending을 가능하게 하고 이전 연구에 존재하던 gradient를 얻을 수 있는 splat들의 수에 대한 강한 제약을 피하는 빠른 전체적인 렌더링과 빠른 sorting을 가지는 것이다.
+
+이러한 목표를 달성하기 위해 본 논문은 tile-based rasterization for Gaussian splats를 제안한다.
+
+tile-based rasterization은 아래와 같은 흐름으로 진행된다.
+
+- Screen을 16*16으로 나누고 view frustum과 각 타일에 대해 3D Gaussian들을 cull함
+ - view frustum외에 있는 것들을 제거하는 절차
+ - 16*16으로 나눈 이유는 각 타일마다 다른 GPU thread에서 계산해서 빠르게 계산하기 위함
+- guard band를 이용해 극단적인 위치(너무 가깝거나 먼)에 있는 gaussian들 또한 제거
+ - 이들의 projected 2D covariance를 계산하는 것은 불안정적
+- 그런 뒤, gaussian들 마다 속한 tile과 depth에 따라 key를 부여
+- 이를 GPU Radix sort를 이용해 정렬
+- 각 타일마다 front-to-back으로 color와 α값을 accumulate해서 픽셀 값을 구함
+
+## Results and Evaluation
+- Results and Evaluation
+ 데이터셋에 따라 결과는 다르지만 SOTA이상의 퀄리티를 내면서 좋은 Training time과 FPS를 보인다.
+
+:::{figure-md}
+
+
+3D Gaussian Splatting experiments table
+:::
+
+
+:::{figure-md}
+
+
+3D Gaussian Splatting experiments result
+:::
+
+
+- Ablations
+:::{figure-md}
+
+
+3D Gaussian Splatting ablation test image
+:::
+
+:::{figure-md}
+
+
+3D Gaussian Splatting result image
+:::
+
+## Limitations
+- 이전의 방식들과 유사하게 잘 관측되지 않은 장면은 artifact들이 존재
+- 이전의 방식들과 유사하게 늘어지고 얼룩진 artifact를 생성할 수 있음
+- 최적화에서 거대한 Gaussian이 만들어지면 popping artifacts 가끔 발생
+- 최적화에서 regularization을 적용하지 않음
- NeRF-based 기법들보다 memory consumption이 상당히 높음
\ No newline at end of file
diff --git a/_sources/docs/review/A_Study_on_the_Evaluation_of_Generative_Models.md b/_sources/docs/review/A_Study_on_the_Evaluation_of_Generative_Models.md
index 28ed11e0..101a1b17 100755
--- a/_sources/docs/review/A_Study_on_the_Evaluation_of_Generative_Models.md
+++ b/_sources/docs/review/A_Study_on_the_Evaluation_of_Generative_Models.md
@@ -1,230 +1,230 @@
-# A Study on the Evaluation of Generative Models
-
-## 학습 자료
-
-A Study on the Evaluation of Generative Models
-
-[https://arxiv.org/pdf/2206.10935.pdf](https://arxiv.org/pdf/2206.10935.pdf)
-
----
-
-## 0. Abstract
-
-- GAN, Diffusion등 생성 모델의 놀라운 발전이 이어지고있다.
-- 다만 이러한 생성모델을 평가하는 척도(metric)의 선정은 아직 어려운 문제로 남아있다.
-- 그나마 Inception Score(IS)나, FID Score를 통해 모델을 평가하고있지만 이 metric들도 완전하지 않음
-- 이 논문을 통해
- - 생성 평가의 지표에 대해 한번더 고찰하고
- - 현존하는 Metric에 대한 방향을 제시
-
-## 1. Introduction
-
-- 최근 GAN, Diffusion 등 Implicit generative model들이 뛰어난 성능을 보여줌
-- 하지만 다른 task(classification, segmentation 등)와는 다르게 생성 모델의 metric을 정하는것은 challenging ( classification ; P&R, F1 score / segmentation ; IOU(Intersection Over Union)
-- 그나마 이미지의 featue map이나 classfier score를 사용하는 FiD, Inception score가 잘 쓰이는 추세
-- 위 metric의 단점
- 1. real 이미지 분포의 space에서 해당 수치가 정말 유의미한 연관이 있는지 증명되지 않음
- 2. pretrained model의 거대한 train set이 specific 이미지의 feature에 얼마나 좋은 성능을 미치는지 알수 없음(inception net ; imagenet / ddpm ; face)
-- Human study의 직관적인 방식도 있지만 time과 cost를 매우 필요로한다는 점과 model의 Diversity는 측정하기 어렵다는 단점
- - e.g ) 하나의 좋은 이미지만 생성해도 좋은 score를 받을 수 있음
-- 이 논문에서는
- 1. Image-GPT 모델을 통해 high quality의 new synthetic dataset을 생성
- 2. 여러 모델을 위의 데이터로 학습하고 FiD, IS등 다양한 metric을 측정
- 3. 이를 실제 KL Divergence, Reverse KL Divergence 값과 비교해서 metric의 유효성을 검증
- 4. FID, IS등 다양한 metric의 base model로 쓰이는 Inception-V3과 CLIP 의 비교를 통해 Inception-V3 모델의 적합성을 검증
-
-## 2. BackGround
-
-### 2.1. KL-Divergence(Kullback-Leibler divergence)
-
-- 두 확률분포의 유사도를 측정하는 지표
-
-$$
-KL(P || Q) = \sum_{x} P(x) \log\left(\frac{P(x)}{Q(x)}\right)
-$$
-
-- 특징
- - lower is better
- - KL ≥ 0, (KL(p, q) = 0, if p ==q)
- - KL(p, q) ≠ KL(q, p) // not symmetric
- - Reverse Kullback-Leibler Divergence(RKL) = KL(q, p)
- - 대부분 P가 True distribution, Q가 estimated distribution
-
-### 2.2. Inception Score(IS)
-
-- 생성된 이미지의 Fidelity와 Diversity를 측정
- - fidelity : 특정 Label의 이미지를 얼마나 잘 예측하는지
- - diversity : 다양한 class의 이미지들을 얼마나 고르게 생성해내는지
-
- :::{figure-md}
- 
-
- Image 1
- :::
-
-
-$$
-\text{IS}(G) = \exp\left(\mathbb{E}_x \left[D_{\text{KL}}(P(y|x) \, || \, P(y))\right]\right)
-$$
-
-- 특징
- - $P(y|x)$ ; 모델의 Fidelity, $P(y)$; 모델의 Diversity
- - higher is better
-
-### 2.3. FiD(Fréchet Inception Distance)
-
-- real 이미지와 generated 이미지의 Feature vector를 추출 후 평균과 공분산을 통해 계산(Frechet distance)하는 평가지표
-
-$$
-FID = \lVert \mu_x - \mu_g \rVert^2 + \text{Tr}(\Sigma_x + \Sigma_g - 2(\Sigma_x\Sigma_g)^{1/2})
-$$
-
-- 특징
- - Inception-V3의 마지막 pooling layer의 feature map을 사용
- - Lower is better
- - $\mu_x - \mu_g$; 이미지의 Quality를 측정
- - $\text{Tr}(\Sigma_x + \Sigma_g - 2(\Sigma_x\Sigma_g)^{1/2}$; 모델의 Diversity를 측정
-
-### 2.4. Kernel Inception Distance
-
-- FiD에서 Frechet distance를 사용하는 대신 kernel trick을 사용해 확률 분포의 유사도를 계산
-- 특징
- - 적은 데이터셋의 평가에 효과적임
- - FiD metric보다 속도가 오래걸림 (FiD : O(n), KiD : O(n^2))
-
-### 2.5. FID∞ & IS∞
-
-- [해당 논문](https://arxiv.org/pdf/1911.07023.pdf)에서 FiD와 IS metric에 bias가 있음을 증명하고 dataset의 sampling 기법을 변경(gaussian random sampling → sobol sequence sampling)하여 unbiased 한 metric을 제안
-
- :::{figure-md}
- 
-
- Image 2
- :::
-
-
-### 2.5. Clean FiD
-
-- Inception-v3에 이미지를 통과하기위해 image resize 과정이 포함되는데 이는 score값에 영향을 줄수 있어 best percformance의 metric을 측정하기 위한 all in one process를 제안
-
-## 3. Synthetic dataset as a benchmark
-
-:::{figure-md}
-
-
-Image 3
-:::
-
-- imagenet의 데이터를 ImageGPT를 통해 재생성(a.k.a. NotImageNet)
- - imageGPT
- - vision 분야에 transformer(in gpt-2)를 사용 + labeling dataset이 필요없는 자기지도 학습 방식
-
- :::{figure-md}
- 
-
- Image 4
- :::
-
- - imagenet challenge에서도 상당한 score를 보임
-- 이를 생성모델에 통과한 $P_{2}(\hat{x})$과 $P_{1}(\hat{x})$ 두 분포를 비교
-- 한계
- - explicit model에만 적용 가능하고 implicit model에는 적용할 수 없음
- - explicit model : 생성되는 데이터의 분포를 명시적으로 모델링하여 학습하고 주로 Gaussian Noise로부터 이미지를 생성 (VAE …)
- - implicit model : 데이터의 생성 과정에 대해 학습하고 주로 주어진 데이터 분포로부터 샘플링하여 학습 (GAN …)
-
-## 4. Comparison between evaluation metrics
-
-**4.1. Volatility**
-
-:::{figure-md}
-
-
-Image 5
-:::
-
-- KL, RKL은 적은 양의 Epoch(15-20) 후에 바로 수렴하는 방면 FID와 IS는 큰 변동성을 보임
-- 모델의 Capacity가 증가할수록 KL과 RKL의 수치가 개선되는 것을 확인
-- FID나 IS가 KL, RKL의 그래프와 매우 다른 형태를 띄는것을 확인(특히 IS)
-
-:::{figure-md}
-
-
-Image 6
-:::
-
-- FID나 (negative)IS가 KL과는 높은 colleration을 보이지만 RKL과는 높지 않은 colleration을 보인다.
-- 모델의 Capacity에 따라 KL, RKL의 수치 변화는 크지 않은 데 반해 FID나 IS는 굉장히 큰 수치의 변화를 보여준다.
-
-**4.1. Ranking Colleration**
-
-- 여러 모델에 대해 metric 별로 순위를 매겨 순위의 유사도를 비교
-- Kendall’s τ
- - ranking이 매겨진 수열 사이의 유사도를 측정
-
- ```python
- from scipy import stats
- >>> h = [1, 2, 3, 4, 5]
- >>> w = [1, 2, 3, 4, 5]
- >>> z = [3, 4, 1, 2, 5]
- >>> stats.kendalltau(h, w)
- SignificanceResult(statistic=0.9999999999999999, pvalue=0.016666666666666666)
- >>> stats.kendalltau(h, w)
- SignificanceResult(statistic=0.19999999999999998, pvalue=0.8166666666666667)
- ```
-
-- Result
- :::{figure-md}
- 
-
- Image 7
- :::
-
- - KL - RKL의 유사도는 매우 높음(0.889)
- - KL과의 유사도를 비교해보면 FID infinity > FID > IS
- - CleanFID-KID(0.96)을 제외한 나머지 metric간 유사도는 굉장히 낮음
- - Inception network 기반의 metric 중에서는 FID infinity이 가장 높고, IS와 IS infinity score가 가장 낮음
-
-## 5. Is Inception all we need?
-
-- FID, Inception Score 등 대부분의 metric이 이미지의 feature 혹은 score 측정을 위해 inception-v3를 사용하는데 과연 적절한가?
-- 가정
- - FID, FID infinity는 feature space가 gaussian distribution을 따른다는 가정하에 측정되는 score
-- 실험
- 1. 따라서 생성 모델을 통해 10K의 이미지를 생성하고
- 2. 원본의 20K의 이미지를 sampling
- 3. 각각의 이미지를 Inception network와 CLIP network를 통해 feature vector를 추출
- 4. Gaussian model에 feature vector를 fitting
- 5. 이때 gaussian model을 기반으로 각 샘플의 확률값을 계산한다.
-- 결과
-
- :::{figure-md}
- 
-
- Image 8
- :::
-
- - 확률 값이 낮은 tail 부분의 feature vector의 원본 이미지들을 퀄리티가 낮아야함
- - 실제로 tail 부분의 확률을 갖는 이미지들을 확인해보면 CLIP을 보면 확실히 퀄리티가 떨어지는 반면 Inception의 이미지들은 좋은 퀄리티를 보이고 있음 → Gaussian 분포의 가정에 위배
-
-**5.2 Normality test for latent representation**
-
-- 위의 feature vector들을 1 Dimension에 투영시켜 normal distribution을 따르는 지 확인한다.
-- 실험
- 1. Inception, CLIP을 통해 feature vector를 추출한다.
- 2. linear transformation 연산을 통해 각각 1-D로 투영시킨다.
- 3. 각각의 p-value를 구한다.
- 1. p-value : 어떠한 사건이 우연히 일어날 확률
- 2. if p-value < 0.05 ; 우연히 발생할 확률이 거의 없다. 인과관계가 있다.
- 3. if p-value > 0.05 ; 우연히 발생할 확률이 크다. 인과관계가 없다.
- 4. gaussian normal distribution은 random을 기반으로하기때문에 인과관계가 작아야한다. 즉, p-value가 커야한다.
-- 결과
-
- :::{figure-md}
- 
-
- Image 9
- :::
-
- - 모든 test dataset에 대해 CLIP의 p-value값은 0.05를 넘어 random성을 유지하지만, Inception은 0.05보다 낮은 값을 보여 random성을 유지하지 못한다.
- - 따라서, Inception net을 통한 metric 측정보다 CLIP을 통한 metric 측정을 제안한다.
-
+# A Study on the Evaluation of Generative Models
+
+## 학습 자료
+
+A Study on the Evaluation of Generative Models
+
+[https://arxiv.org/pdf/2206.10935.pdf](https://arxiv.org/pdf/2206.10935.pdf)
+
+---
+
+## 0. Abstract
+
+- GAN, Diffusion등 생성 모델의 놀라운 발전이 이어지고있다.
+- 다만 이러한 생성모델을 평가하는 척도(metric)의 선정은 아직 어려운 문제로 남아있다.
+- 그나마 Inception Score(IS)나, FID Score를 통해 모델을 평가하고있지만 이 metric들도 완전하지 않음
+- 이 논문을 통해
+ - 생성 평가의 지표에 대해 한번더 고찰하고
+ - 현존하는 Metric에 대한 방향을 제시
+
+## 1. Introduction
+
+- 최근 GAN, Diffusion 등 Implicit generative model들이 뛰어난 성능을 보여줌
+- 하지만 다른 task(classification, segmentation 등)와는 다르게 생성 모델의 metric을 정하는것은 challenging ( classification ; P&R, F1 score / segmentation ; IOU(Intersection Over Union)
+- 그나마 이미지의 featue map이나 classfier score를 사용하는 FiD, Inception score가 잘 쓰이는 추세
+- 위 metric의 단점
+ 1. real 이미지 분포의 space에서 해당 수치가 정말 유의미한 연관이 있는지 증명되지 않음
+ 2. pretrained model의 거대한 train set이 specific 이미지의 feature에 얼마나 좋은 성능을 미치는지 알수 없음(inception net ; imagenet / ddpm ; face)
+- Human study의 직관적인 방식도 있지만 time과 cost를 매우 필요로한다는 점과 model의 Diversity는 측정하기 어렵다는 단점
+ - e.g ) 하나의 좋은 이미지만 생성해도 좋은 score를 받을 수 있음
+- 이 논문에서는
+ 1. Image-GPT 모델을 통해 high quality의 new synthetic dataset을 생성
+ 2. 여러 모델을 위의 데이터로 학습하고 FiD, IS등 다양한 metric을 측정
+ 3. 이를 실제 KL Divergence, Reverse KL Divergence 값과 비교해서 metric의 유효성을 검증
+ 4. FID, IS등 다양한 metric의 base model로 쓰이는 Inception-V3과 CLIP 의 비교를 통해 Inception-V3 모델의 적합성을 검증
+
+## 2. BackGround
+
+### 2.1. KL-Divergence(Kullback-Leibler divergence)
+
+- 두 확률분포의 유사도를 측정하는 지표
+
+$$
+KL(P || Q) = \sum_{x} P(x) \log\left(\frac{P(x)}{Q(x)}\right)
+$$
+
+- 특징
+ - lower is better
+ - KL ≥ 0, (KL(p, q) = 0, if p ==q)
+ - KL(p, q) ≠ KL(q, p) // not symmetric
+ - Reverse Kullback-Leibler Divergence(RKL) = KL(q, p)
+ - 대부분 P가 True distribution, Q가 estimated distribution
+
+### 2.2. Inception Score(IS)
+
+- 생성된 이미지의 Fidelity와 Diversity를 측정
+ - fidelity : 특정 Label의 이미지를 얼마나 잘 예측하는지
+ - diversity : 다양한 class의 이미지들을 얼마나 고르게 생성해내는지
+
+ :::{figure-md}
+
+
+ Image 1
+ :::
+
+
+$$
+\text{IS}(G) = \exp\left(\mathbb{E}_x \left[D_{\text{KL}}(P(y|x) \, || \, P(y))\right]\right)
+$$
+
+- 특징
+ - $P(y|x)$ ; 모델의 Fidelity, $P(y)$; 모델의 Diversity
+ - higher is better
+
+### 2.3. FiD(Fréchet Inception Distance)
+
+- real 이미지와 generated 이미지의 Feature vector를 추출 후 평균과 공분산을 통해 계산(Frechet distance)하는 평가지표
+
+$$
+FID = \lVert \mu_x - \mu_g \rVert^2 + \text{Tr}(\Sigma_x + \Sigma_g - 2(\Sigma_x\Sigma_g)^{1/2})
+$$
+
+- 특징
+ - Inception-V3의 마지막 pooling layer의 feature map을 사용
+ - Lower is better
+ - $\mu_x - \mu_g$; 이미지의 Quality를 측정
+ - $\text{Tr}(\Sigma_x + \Sigma_g - 2(\Sigma_x\Sigma_g)^{1/2}$; 모델의 Diversity를 측정
+
+### 2.4. Kernel Inception Distance
+
+- FiD에서 Frechet distance를 사용하는 대신 kernel trick을 사용해 확률 분포의 유사도를 계산
+- 특징
+ - 적은 데이터셋의 평가에 효과적임
+ - FiD metric보다 속도가 오래걸림 (FiD : O(n), KiD : O(n^2))
+
+### 2.5. FID∞ & IS∞
+
+- [해당 논문](https://arxiv.org/pdf/1911.07023.pdf)에서 FiD와 IS metric에 bias가 있음을 증명하고 dataset의 sampling 기법을 변경(gaussian random sampling → sobol sequence sampling)하여 unbiased 한 metric을 제안
+
+ :::{figure-md}
+
+
+ Image 2
+ :::
+
+
+### 2.5. Clean FiD
+
+- Inception-v3에 이미지를 통과하기위해 image resize 과정이 포함되는데 이는 score값에 영향을 줄수 있어 best percformance의 metric을 측정하기 위한 all in one process를 제안
+
+## 3. Synthetic dataset as a benchmark
+
+:::{figure-md}
+
+
+Image 3
+:::
+
+- imagenet의 데이터를 ImageGPT를 통해 재생성(a.k.a. NotImageNet)
+ - imageGPT
+ - vision 분야에 transformer(in gpt-2)를 사용 + labeling dataset이 필요없는 자기지도 학습 방식
+
+ :::{figure-md}
+
+
+ Image 4
+ :::
+
+ - imagenet challenge에서도 상당한 score를 보임
+- 이를 생성모델에 통과한 $P_{2}(\hat{x})$과 $P_{1}(\hat{x})$ 두 분포를 비교
+- 한계
+ - explicit model에만 적용 가능하고 implicit model에는 적용할 수 없음
+ - explicit model : 생성되는 데이터의 분포를 명시적으로 모델링하여 학습하고 주로 Gaussian Noise로부터 이미지를 생성 (VAE …)
+ - implicit model : 데이터의 생성 과정에 대해 학습하고 주로 주어진 데이터 분포로부터 샘플링하여 학습 (GAN …)
+
+## 4. Comparison between evaluation metrics
+
+**4.1. Volatility**
+
+:::{figure-md}
+
+
+Image 5
+:::
+
+- KL, RKL은 적은 양의 Epoch(15-20) 후에 바로 수렴하는 방면 FID와 IS는 큰 변동성을 보임
+- 모델의 Capacity가 증가할수록 KL과 RKL의 수치가 개선되는 것을 확인
+- FID나 IS가 KL, RKL의 그래프와 매우 다른 형태를 띄는것을 확인(특히 IS)
+
+:::{figure-md}
+
+
+Image 6
+:::
+
+- FID나 (negative)IS가 KL과는 높은 colleration을 보이지만 RKL과는 높지 않은 colleration을 보인다.
+- 모델의 Capacity에 따라 KL, RKL의 수치 변화는 크지 않은 데 반해 FID나 IS는 굉장히 큰 수치의 변화를 보여준다.
+
+**4.1. Ranking Colleration**
+
+- 여러 모델에 대해 metric 별로 순위를 매겨 순위의 유사도를 비교
+- Kendall’s τ
+ - ranking이 매겨진 수열 사이의 유사도를 측정
+
+ ```python
+ from scipy import stats
+ >>> h = [1, 2, 3, 4, 5]
+ >>> w = [1, 2, 3, 4, 5]
+ >>> z = [3, 4, 1, 2, 5]
+ >>> stats.kendalltau(h, w)
+ SignificanceResult(statistic=0.9999999999999999, pvalue=0.016666666666666666)
+ >>> stats.kendalltau(h, w)
+ SignificanceResult(statistic=0.19999999999999998, pvalue=0.8166666666666667)
+ ```
+
+- Result
+ :::{figure-md}
+
+
+ Image 7
+ :::
+
+ - KL - RKL의 유사도는 매우 높음(0.889)
+ - KL과의 유사도를 비교해보면 FID infinity > FID > IS
+ - CleanFID-KID(0.96)을 제외한 나머지 metric간 유사도는 굉장히 낮음
+ - Inception network 기반의 metric 중에서는 FID infinity이 가장 높고, IS와 IS infinity score가 가장 낮음
+
+## 5. Is Inception all we need?
+
+- FID, Inception Score 등 대부분의 metric이 이미지의 feature 혹은 score 측정을 위해 inception-v3를 사용하는데 과연 적절한가?
+- 가정
+ - FID, FID infinity는 feature space가 gaussian distribution을 따른다는 가정하에 측정되는 score
+- 실험
+ 1. 따라서 생성 모델을 통해 10K의 이미지를 생성하고
+ 2. 원본의 20K의 이미지를 sampling
+ 3. 각각의 이미지를 Inception network와 CLIP network를 통해 feature vector를 추출
+ 4. Gaussian model에 feature vector를 fitting
+ 5. 이때 gaussian model을 기반으로 각 샘플의 확률값을 계산한다.
+- 결과
+
+ :::{figure-md}
+
+
+ Image 8
+ :::
+
+ - 확률 값이 낮은 tail 부분의 feature vector의 원본 이미지들을 퀄리티가 낮아야함
+ - 실제로 tail 부분의 확률을 갖는 이미지들을 확인해보면 CLIP을 보면 확실히 퀄리티가 떨어지는 반면 Inception의 이미지들은 좋은 퀄리티를 보이고 있음 → Gaussian 분포의 가정에 위배
+
+**5.2 Normality test for latent representation**
+
+- 위의 feature vector들을 1 Dimension에 투영시켜 normal distribution을 따르는 지 확인한다.
+- 실험
+ 1. Inception, CLIP을 통해 feature vector를 추출한다.
+ 2. linear transformation 연산을 통해 각각 1-D로 투영시킨다.
+ 3. 각각의 p-value를 구한다.
+ 1. p-value : 어떠한 사건이 우연히 일어날 확률
+ 2. if p-value < 0.05 ; 우연히 발생할 확률이 거의 없다. 인과관계가 있다.
+ 3. if p-value > 0.05 ; 우연히 발생할 확률이 크다. 인과관계가 없다.
+ 4. gaussian normal distribution은 random을 기반으로하기때문에 인과관계가 작아야한다. 즉, p-value가 커야한다.
+- 결과
+
+ :::{figure-md}
+
+
+ Image 9
+ :::
+
+ - 모든 test dataset에 대해 CLIP의 p-value값은 0.05를 넘어 random성을 유지하지만, Inception은 0.05보다 낮은 값을 보여 random성을 유지하지 못한다.
+ - 따라서, Inception net을 통한 metric 측정보다 CLIP을 통한 metric 측정을 제안한다.
+
diff --git a/_sources/docs/review/AnimateDiff.md b/_sources/docs/review/AnimateDiff.md
index f8289d10..ee5de4c4 100755
--- a/_sources/docs/review/AnimateDiff.md
+++ b/_sources/docs/review/AnimateDiff.md
@@ -1,399 +1,399 @@
-``` {admonition} Information
-- **Title:** AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning (ICLR 2024)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2307.04725](https://arxiv.org/abs/2307.04725)
- - Code: [https://github.com/guoyww/AnimateDiff?tab=readme-ov-file](https://github.com/guoyww/AnimateDiff?tab=readme-ov-file)
- - Project Page : [https://animatediff.github.io](https://animatediff.github.io)
-
-- **Author:** Kyeongmin Yu
-
-- **Last updated on June. 11, 2024**
-```
-
-# AnimateDiff
-
->📌 논문의 의의\
->In this paper, we present **AnimateDiff**, a practical framework for animating personalized T2I models without requiring model-specific tuning.\
->**AnimateDiff = public personalized T2I models + domain adapter & plug-and-play Motion Module + MotionLoRA**
-
-## 0. Abstract
-
-T2I diffusion model과 DreamBooth나 LoRA와 같은 개인화 기술이 발전함에 따라 사람들은 적절한 비용을 지불하여 고화질의 원하는 이미지를 얻을 수 있게 되었다. 하지만, 기존 고화질 이미지 생성 모델(personalized T2I)에 움직임을 추가하거나 애니메이션을 생성하도록 하는 것은 여전히 어렵다. **본 논문에서는 추가적인 훈련(model-specific tuning)없이 기존 고화질 이미지 생성모델에 움직임을 추가하는 실용적인 프레임 워크를 제안한다.** **본 논문에서 제안하는 프레임 워크의 핵심은 plug-and-play motion module을 활용하는 것으로 이 motion module을 한번 학습하면, 어떤 이미지 생성 모델과도 융합할 수 있다.** 본 논문에서 제안하는 학습 방법을 이용하면 motion module은 real-world 비디오로 부터 효과적으로 motion prior를 학습할 수 있다. 한번 학습된 motion module은 이미지 생성 모델에 덧붙여 애니메이션 생성 모델로 사용할 수 있다. 또한 AnimateDiff를 위한 간단한 파인튜닝 방식인 MotionLoRA를 제안한다. 이는 사전 학습된 motion module이 저비용으로 새로운 움직임 패턴을 학습할 수 있게 해준다. (ex. 촬영 기법) AnimateDiff와 MotionLoRA를 공개된 이미지 생성 모델에 부착하여 실험했으며 이를 통해 본 논문의 방식이 이미지 퀄리티와 다양한 움직임을 보전하면서도 자연스러운 애니메이션 클립을 생성할 수 있음을 보였다.
-
-:::{figure-md}
-
-
-inference pipeline
-:::
-
-- **Core Framework**
- - public T2I models
- - personalized T2Is from the same base T2I (SD1.5)
- - can download finetuned T2I from [civitai](https://civitai.com/) or hugging face
- - domain adapter
- - LoRA기반 domain adapter를 base T2I 모델에 더해 video dataset을 학습할때 발생할수 있는 domain gap을 줄였다.
- - 여기서 말하는 domain gap이란 video의 각 프레임을 나누어 이미지로 봤을때 발생할 수 있는 motion blur, compression artifacts, watermarks등을 말한다.
- - training strategy of a plug-and-play motion module
- - learns transferable motion priors from real-world videothrough proposed training strategy
- - 한번 학습하고 나면 다른 T2I모델과 결합해 animation generator로 사용할 수 있다.
- - MotionLoRA
- - adapt the pre-trained motion module to specific motion patterns
-
-## 1. Introduction
-
- 텍스트 프롬프트를 입력하여 이미지를 생성하는 디퓨전 모델(T2I diffusion models)의 발전으로 많은 예술가와 아마추어들이 시각 컨텐츠를 보다 쉽게 생성할 수 있게 되었다. 기존 T2I 모델의 생성능력(creativity)를 자극하기 위해 DreamBooth와 LoRA와 같은 가벼운 개인화 방식들이 제안되었다. 이러한 방식들은 작은 데이터셋과 적당한 하드웨어에서도 customized finetuning을 할 수 있게 해준다. 그로인해 사용자들이 적은 비용으로도 base T2I model을 새로운 domain에 적용하거나 시각적 퀄리티를 높일 수 있게 되었다. 그 결과 AI 아티스트와 아마추어 커뮤니티 에서 상당량의 personalized models을 Civitai나 Hugging Face와 같은 플랫폼에 개시했다. 이러한 모델들이 상당히 좋은 수준의 이미지를 생성할 수 있지만, 정적인 이미지만 생성할 수 있다는 한계가 있다. 반면, 애니메이션을 생성하는 기술이 영화나 카툰과 같은 실산업에서 더 요구된다. 본 연구에서는 고화질 T2I 모델을 파인튜닝 없이 곧바로 애니메이션 생성 모델로 변환하는 것을 목표로 한다. 파인 튜닝을 위한 데이터 수집과 컴퓨팅 자원의 필요는 아마추어 사용자에게 걸림돌이 된다.
-
-**본 논문에서는 AnimateDiff를 제안하는데 이는 personalized T2I model의 능력을 보전하면서 애니메이션을 생성하는 문제를 해결할 수 있는 효과적인 파이프라인이다.** AnimateDiff의 핵심은 비디오 데이터셋(WebVid-10M)으로부터 타당한 motion 정보를 plug-and-play motion module이 학습하는 것이다. motion module의 학습은 세가지 단계로 구성된다.
-
-1. **domain adapter 파인튜닝**
-
- visual distribution of the target video dataset(이미지 품질차이, 동영상 워터마크, 압축으로 인한 artifacts)에 대한 부분은 이 모듈이 학습함으로써 이후 motion관련 모듈들이 motion에만 집중할 수 있도록 한다.
-
-2. **새로운 motion module**
-
- 비디오를 입력받을수 있게 inflate시킨 base T2I 모델에 domain adapter를 더한 모델에 모션 모델링을 위한 모션 모듈을 추가한다. 이 모듈을 학습할때는 domain adapter와 base model을 freeze한다. 이렇게 하면 motion module이 움직임에 대한 부분을 전반적으로 학습하여 모듈별 학습이 가능해진다. (다른 그림체를 원할경우 base T2I+domain adapter를 바꾸면 됨)
-
-3. **(optional) MotionLoRA 학습**
-
- MotionLoRA의 경우 특정 motion을 적은 수의 reference videos와 학습횟수로 학습하는 것을 목표로하는 모듈이다. 이름과 같이 Low-Rank Adaptation (LoRA) (Hu et al., 2021)를 이용하는데 새로운 motion pattern을 적은수(50개)의 reference video만으로 학습시킬수 있다. 또한 차지하는 메모리도 적어 추가학습이나 모델을 공유,배포하는데에도 유리하다.
-
-:::{figure-md}
-
-
-training pipeline
-:::
-
-
-## 2. Related Work
-
-### 2.1 Text-to-image diffusion models
-
-- Diffusion models
- - GLIDE ([Nichol et al., 2021](https://arxiv.org/abs/2112.10741)) 는 text condition을 통해 이미지를 생성하는 방법을 소개하고, classifier guidance를 조절하여 더 나은 이미지 결과물을 얻는 방법을 설명했다.
- - **G**uided **L**anguage to **I**mage **D**iffusion for Generation and **E**diting
- - DALL-E2 (Ramesh et al., 2022)는 CLIP을 이용하여 text-image 일관성을 향상시켰다.
- - Imagen (Saharia et al., 2022)은 LLM과 cascade 구조를 이용하여 photorealistic한 결과물을 얻고자 했다.
- - **Stable Diffusion (Rombach et al., 2022)**은 auto-encoder의 latent space에서 diffusion 과정을 수행함으로써 효율을 높였다. (3.1 참고)
- - eDiff-I ([Balaji et al., 2022](https://www.google.com/search?client=safari&rls=en&q=e+diff+i&ie=UTF-8&oe=UTF-8)) 디퓨전 모델들을 앙상블 학습시켜 generation(denoising) 단계별로 적절한 디퓨전 모델로 denoise를 수행하고자 했다.
-
-:::{figure-md}
-
-
-CLIP:Contrastive language-image pre-training
-:::
-
-:::{figure-md}
-
-
-Imagen
-:::
-
-:::{figure-md}
-
-
-eDiff-I
-:::
-
-
-### 2.2 Personalizing T2I models
-
-사전학습된 T2I 모델을 활용하기 위해 효율적인 개인화(personalization)방법에 대한 연구가 뜨겁다. 여기서 개인화란 reference images를 통해 (새로운) concepts나 style을 사전학습된 모델에 추가하는 것을 말한다. (손을 잘그리는 모델, 눈을 잘그리는 모델, 특정 그림체를 학습한 모델 등) 이를 위한 가장 단순한 방법은 전체 모델을 fine-tuning 시키는 것이다. 이를 통해 전체적인 퀄리티가 높아질 수도 있지만, 기존 학습데이터를 잊는 catastrophic forgetting이 발생할 수도 있다는 문제가 있다. 이러한 문제는 특히 reference image 데이터가 적을때 발생한다.
-
-- DreamBooth ([Ruiz et al., 2023](https://dreambooth.github.io)) 은 매우 적은 이미지를 사용하면서도 preservation loss를 추가하여 전체 모델을 fine-tuning 시켰다.
-- Textural Inversion (Gal et al., 2022) 은 새로운 concept 마다 token embedding을 최적화 하였다.
-- **Low-Rank Adaptation (LoRA) ([Hu et al., 2021](https://github.com/microsoft/LoRA))** 은 LoRA layer를 추가하여 이에 대해서만 fine-tuning을 수행했다. (Sec 3.2 참고)
-- 그외의 encoder-based approaches ([Gal et al., 2023](https://tuning-encoder.github.io); [Jia et al., 2023](https://arxiv.org/abs/2304.02642))
-
-### 2.3 Animating personalized T2Is
-
-personalized T2I를 애니메이션화 시키는 연구가 많지는 않지만 아래의 연구들과 관련있다.
-
-- Text2Cinemagraph [(Mahapatra et al., 2023)](https://text2cinemagraph.github.io/website/) 는 flow prediction을 통해 cinematography를 생성하고자 했다.
-- Align-Your-Latent [(Blattmann et al., 2023)](https://www.notion.so/AnimateDiff-17444a06eda84e14abaca781b4f71344?pvs=21) 는 general video generator내의 frozen image layers가 personalizing이 가능함을 확인했다.
-- video generation models **← 결과 비교시 사용**
- - **Tune-a-Video** [(Wu et al., 2023)](https://github.com/showlab/Tune-A-Video) ****는 단일 비디오로 적은 수의 파라미터만 파인튜닝하는 방식을 제안했다. (SD+temporal attn 구조를 가지고 있음)
- - **Text2Video-Zero** [(Khachatryan et al., 2023)](https://github.com/Picsart-AI-Research/Text2Video-Zero) 는 사전학습한 T2I모델을 활용하여 추가적인 학습과정 없이 애니메이션화 할 수 있는 방법을 제안했다. 이는 사전에 정의된 affine matrix를 사용하여 latent wrapping을 하는 방식이다.
- - pretrained T2I + temporal structures 관련 연구들이 많다.
-
- (Esser et al., 2023; Zhou et al., 2022a; Singer et al., 2022; Ho et al., 2022b,a; Ruan et al., 2023; Luo et al., 2023; Yin et al., 2023b,a; Wang et al., 2023b; Hong et al., 2022; Luo et al., 2023)
-
-
-## 3. Preliminary
-
-#### 3.1 Stable Diffusion
-
-Stable Diffusion ([Rombach et al., 2022](https://github.com/CompVis/stable-diffusion)), the base T2I model used in our work
-
-- open-sourced, well-developed community, many high-quality personalized T2I models for eval
-- 사전 학습된 encoder($\mathcal E$)와 decoder($\mathcal D$)를 이용하여 latent space상에서 diffusion process를 수행
-- 인코딩된 이미지 $z_0=\mathcal E(x_0)$ 의 경우 아래의 forward diffusion 과정을 통해 $z_t$ 변환됨
-- Forward diffusion for $t=1,2,…,T$
-
- $$
- z_t=\sqrt{\bar \alpha_t}z_0+\sqrt{1-\bar\alpha}\epsilon,\space \epsilon \sim \mathcal N(0,I) \tag{1}
- $$
-
- - pre-defined $\barα_t$ determines the noise strength at step $t$
- - The denoising network $ϵ_θ(·)$ learns to reverse this process by predicting the added noise, encouraged by an MSE loss
-- MSE loss
-
- $$
- \mathcal L=\Bbb E_{\mathcal E(x_0),y,\epsilon \sim \mathcal N(0,I),t}\big [\| \epsilon-\epsilon_\theta(z_t,t,\tau_\theta(y))\|_2^2\big] \tag{2}
- $$
-
- - $y$ is the text prompt corresponding to $x_0$
- - $τ_θ(·)$ is a text encoder mapping the prompt to a vector sequence.
- - In SD, $ϵ_θ(·)$ is implemented as a UNet (down*4, middle, up*4 blocks; ResNet, spatial self-attn, cross-attn)
-
-#### 3.2 Low-Rank Adaptation(LoRA)
-
-Low-Rank Adaptation(LoRA) ([Hu et al., 2021](https://arxiv.org/pdf/2106.09685.pdf)), which helps understand the domain adapter (Sec. 4.1) and MotionLoRA (Sec. 4.3) in AnimateDiff
-
-- language model에서 처음 등장한 개념으로 거대 모델의 fine-tuning을 빠르게 수행하기 위해 제안된 개념이다.
-- LoRA는 모델의 전체 파라미터를 fine-tuning하지 않고, rank-decomposition 행렬 쌍을 추가하여 새롭게 추가된 weight만 최적화 시키는 것이다.
-- 기존 파라미터는 고정함으로써 finetuning시 발생할 수 있는 catastrophic forgetting([Kirkpatrick et al., 2017](https://www.notion.so/AnimateDiff-17444a06eda84e14abaca781b4f71344?pvs=21))을 예방할 수 있다.
-- The new model weight with LoRA
-
- $$
- \mathcal W'=\mathcal W+\vartriangle\mathcal W=\mathcal W+AB^T \tag{3}
- $$
-
- - $A ∈ R ^{m×r}$ , $B ∈ R ^{n×r}$ are a pair of rank-decomposition matrices, $r$ is a hyper-parameter, which is referred to as the rank of LoRA layers
- - attention layer에서만 사용할수 있는 것은 아니지만 실제로는 주로 attention layer에서 사용된다. LoRA를 통해 fine-tuning시 cost 와 storage 절약할 수 있다.
-
-## 4. AnimateDiff
-
-> ➕ **Architecture Overall**\
-> 본 논문에서 제안하는 모델의 핵심은 비디오 데이터를 통해 transferable model prior를 학습하는 것이다. 이렇게 학습한 motion module을 personalized T2I 모델에 곧바로 적용할 수 있다. \
-> 왼쪽 그림의 하늘색 모델이 **motion module**이고, 초록색 영역이 optional **MotionLoRA**이다. AnimateDiff를 T2I모델에 삽입하여 animation generator로 사용할 수 있다. \
-> 이를 위한 AnimateDiff에는 **학습해야 하는 3개의 모듈**이 있다.
-> - **domain adapter**
- - base T2I pre-training data와 our video training data간의 간극을 줄여주기 위한 것으로 학습과정에만 사용된다.
-> - **motion module** \
- - motion prior를 학습하기 위한 모듈
-> - **MotionLoRA**(optional)\
- - pretrained motion module을 새로운 움직임 패턴(카메라 워크)으로 조정하기 위한것
-
-:::{figure-md}
-
-
-inference pipeline
-:::
-
-> ➕ **Training Steps**\
-> 본 논문에서 제안하는 각 모듈은 따로따로 학습시키며 각각을 학습시킬때 나머지 영역은 freeze 시킨다. 학습시 사용하는 objective function은 SD과 거의 같다.
-> - Training step 1. Domain Adapter
-> - Training step 2. Motion Module
-> - Training step 3. Optional motionLoRA
-
-:::{figure-md}
-
-
-training pipeline
-:::
-
-### 4.1 Alleviate Negative Effects from Training Data with Domain Adapter
-
-비디오 데이터셋은 이미지 데이터셋에 비해 수집하기 어렵다. 동영상 데이터셋 WebVid (Bain et al., 2021)과 이미지 데이터셋 LAION-Aestetic (Schuhmann et al., 2022)를 비교해보면, 품질차이도 큼을 알 수 있다.
-
-각 비디오 프레임을 개별 이미지로 다루게 되면 motion blur, compression artifacts, watermark등을 포함하고 있을 수도 있다. 따라서 T2I 모델을 훈련할 때 사용한 이미지 데이터셋에 비해 motion prior를 학습하기 위해 사용한 동영상 데이터 셋의 품질은 무시할 수 없을 만큼의 차이가 있다. 이 때문에 직접적으로 비디오 데이터셋을 이용하여 애니메이션 생성 모델을 학습할 경우, 생성한 애니메이션의 품질이 제한 될 수 있다.
-
-동영상 데이터의 낮은 품질로 인해 해당 특성을 motion module이 학습하는 것을 피하고 base T2I의 지식을 보전하기 위해, 네트워크를 분리하여 각 도메인(영상/이미지)의 정보에 맞게 피팅하는 방식(domain adapter)을 제안한다. inference 시에는 domain adapter를 제거하였으며 앞서 언급한 domain gap에 의한 부정적 영향을 제거하는데 효과적이라는 것을 보여준다. domain adapter layer는 LoRA를 활용했으며, self-, cross-attention layer들을 base T2I model에 Fig. 3과 같이 추가하였다. 아래 query projection을 예로 살펴보면,
-
-:::{figure-md}
-
-
-LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
-:::
-
-
-$$
-Q=\mathcal W^Qz+\text{AdapterLayer}(z)=\mathcal W^Qz+\alpha \cdot AB^Tz \tag{4}
-$$
-
-$Q$ 는 query, $z$ 는 internal feature, $\alpha$ 는 상수로 inference time에 domain adapter의 영향력을 조절한다. (기본값은 1 / domain adapter의 효과를 완전히 제거하고 싶다면 $\alpha$를 0으로) 나머지 모델의 파라미터는 freeze하고 domain adapter의 파라미터들만 비디오 데이터셋으로 부터 랜덤하게 샘플한 static frame들을 이용하여 최적화했다. 이때 objective function은 Eq. (2)를 사용했다. (아직까지는 이미지 생성 모델)
-
-### 4.2 Learn Motion Priors with Motion Module
-
-motion dynamics를 사전학습된 T2I 모델과 공유하는 dimension상의 시간축으로 모델링 하기 위해 2가지 단계가 필요하다.
-
-1. 2d diffusion model을 3d 비디오 데이터에 맞게 확장시켜야 한다. (**Network Inflation**)
-2. 시간축상으로 효율적인 정보의 흐름을 만들기 위해 sub-module이 필요하다. (**Sub-module Design**)
-
-**Network Inflation**
-
-사전학습된 T2I 모델의 이미지 레이어는 고품질의 그림 사전지식(content prior)을 포착할수 있다. 이 지식을 활용(유지)하기 위해서 동일 모델로 video를 다루고자 할 때는 기존 이미지 레이어는 독립적으로 내버려두고, network를 확장시키는 방향이 선호된다. 이를 위해 기존 연구 (Ho et al., 2022b; Wu et al., 2023; Blattmann et al., 2023)를 참고하여, 5d tensor $x\in \Bbb R^{b\times c \times f\times h\times w}$ 를 입력으로 받도록 모델을 수정했다. $b$는 batch, $f$는 frame을 뜻한다. 내부 feature map이 이미지 레이어를 지나갈때는 시간 축을 의미하는 $f$는 $b$축으로 reshaping을 통해 무시한다.
-
-(5d tensor → 4d tensor $x \in \Bbb R^{bf\times c \times h\times w}$ → (기존 이미지 레이머) → 4d tensor → 5d tensor)
-
-이를 통해 각 프레임을 개별 이미지 처럼 독립적으로 처리할 수 있다. 반면에 새롭게 추가된 motion module은 공간축($h,w$)을 reshaping하여 무시한다. (5d tensor → 3d tensor $x \in \Bbb R^{bhw\times c \times f}$ → (motion module) → 3d tensor → 5d tensor)
-
-**Module Design**
-
-최근 비디오 생성 연구들은 temporal modeling의 다양한 방식을 탐구하고 있다. AnimateDiff에서는 Transformer 구조를 차용하여 시간축상에서 동작하도록 작은 수정을 거쳐 motion module을 design했다. (이하 temporal Transformer) 실험을 통해 해당 구조가 motion prior를 모델링하는데 적합하다는 것을 발견했다. Fig.3을 보면 temporal Transformer가 시간축에서 동작하는 여러 self-attn block으로 이루어진것을 볼수 있다. 또한 sinusoidal position encoding을 통해 애니메이션상의 각 프레임의 시간적 위치정보를 나타내고자 했다. 앞서 언급한 대로 motion module의 입력크기는 feature map을 reshaping하여 조절하였다. ($x \in \Bbb R^{bhw\times c \times f}$) feature map을 시간축으로 다시 펼치고자 할때는 다음과 같은 길이 $f$, 크기 $z_1, ...,z_f;z_i \in \Bbb R^{(b\times h\times w)\times c}$의 vector sequence로 다룰수 있다. 해당 크기의 벡터가 self-attn block을 통과하면 다음과 같다.
-
-$$
-z_{\text{out}}=\text{Attention}(Q,K,V)=\text{Softmax}(QK^T/\sqrt{c})\cdot V \tag{5}
-$$
-
-$Q=W^Qz, K=W^Kz, V=W^Vz$ 이며, 각각 분리된 세 projection을 의미한다. attention mechanism을 통해 현 프레임의 생성에 다른 프레임으로 부터 추출된 정보를 반영하는 것이 가능하다. 결과적으로 각 프레임을 개별적으로 생성하는 것이 아닌, T2I 모델을 확장하여 motion module을 추가한 AnimateDiff가 시간에 따른 visual content의 변화를 잘 포착하기 위해 학습하여 motion dynamics를 이용해 animation clip을 제작하도록 한다. self-attn block전에 sinusoidal position encoding을 잊어서는 안된다. 하지만 motion module 자체가 frame의 순서를 알고 있는 것은 아니다.
-
-추가적인 모듈을 넣음으로 인해 발생할수 있는 문제들을 피하기 위해 temporal Transformer의 레이어의 파라미터는 0으로 초기화 하였으며 residual connection을 추가하여 훈련 시작시에 motion module이 identity mapping으로 동작하도록 했다.
-
-### 4.3 Adapt to New Motion Patterns with MotionLoRA
-
-전반적인 motion 지식을 motion module이 사전학습하더라도 새로운 동작 패턴에 대한 적용에 대한 문제는 발생한다.
-ex. zooming, panning, rolling.
-
-높은 사전학습을 위한 비용을 감당할 수 없어 motion module을 특정 액션에 맞춰 튜닝하고자 하는 사용자를 위해 적은 참고 비디오(reference video)나 적은 훈련 횟수로도 효율적으로 모델을 적용할 수 있도록 하는 것이 중요하다. 이를 위해 AnimateDiff에 MotionLoRA를 마지막으로 적용했다. Motion Module의 구조와 제한된 참고 비디오를 고려하여, self-attn layers에 LoRA layers를 inflated model에 추가하여 motion personalization을 위한 효율적인 파인튜닝 방법을 제안한다.
-
-몇 종의 촬영 방식으로 실험을 진행하였으며 rule-based augmentation을 통해 reference videos를 얻었다. 예를 들어 zooming 비디오를 얻기 위해 시간에 따라 비디오 프레임을 점차 줄이거나(zoom-in) 늘려가며(zoom-out) augmentation을 진행했다. AnimateDiff의 MotionLoRA는 20~50개 정도의 적은 참고 비디오, 2000번의 훈련횟수로 파인튜닝했을때도 괜찮은 결과를 보였다. low-rank property로 인해 MotionLoRA 또한 composition capability를 가지고 있다. 학습된 MotionLoRA 모델 각각이 inference time상의 motion effect를 융합하기위해 협력(combine)할 수 있음을 말한다.
-
-### 4.4 AnimateDiff in Practice
-
-#### Training
-
-Fig. 3을 보면 AnimateDiff에는 학습 가능한 모듈이 3개 있다. 각 모듈의 objective는 약간씩 다르다. domain adapter는 SD의 MSE loss인 Eq. 2 objective function을 통해 학습한다. 애니메이션을 만드는 역할을 하는 motion module과 motion LoRA의 경우 video data에 대한 차원을 더 많이 수용하기 위해 약간 수정된 objective를 사용한다. video data batch ( $x_0^{1:f}\in \Bbb R^{b\times c \times f \times h \times w}$)는 사전학습된 SD의 auto-encoder를 사용해 각 프레임 별로 latent code $z_0^{1:f}$로 인코딩된다. 이 latent code는 Eq. 1 과 같이 정의된 diffusion schedule에 따라 노이즈가 추가(forward process)된다.
-
-$$
-z_t^{1:f}=\sqrt{\bar \alpha_t}z_0^{1:f}+\sqrt{1-\bar\alpha_t}\epsilon^{1:f} \tag{6}
-$$
-
-모델의 입력은 노이즈가 추가된 latent codes와 이 쌍이되는 text prompts이며, 모델은 forward process에서 추가된 노이즈를 예측한다. AnimateDiff의 motion module을 위한 최종 training objective는 아래와 같다.
-
-$$
-\mathcal L=\Bbb E_{\mathcal E(x_0^{1:f}),y,\epsilon^{1:f}\sim\mathcal N(0,I),t}\Big[\|\epsilon-\epsilon_\theta(z_t^{1:f},T,\tau_\theta(y))\|^2_2\Big] \tag{7}
-$$
-
-각 모듈들(domain adapter, motion module, MotionLoRA)을 학습할때, 학습 타겟을 제외한 영역은 freeze 시킨뒤 학습했다.
-
-#### Inference
-
-inference시에는 personalized T2I model는 앞서 설명한대로 inflate되며 motion module과 (optional) MotionLoRA를 더해 애니메이션을 생성한다.
-
-domain adapter의 경우 inference시 그냥 배제하지 않고 personalized T2I model에 injection하였으며 domain adapter의 영향력은 Eq. 4의 $\alpha$를 이용해 조절했다. Sec 5.3의 Ablation study에서 $\alpha$의 값에 따른 결과의 차이를 확인할 수 있다. 마지막으로 animation frames은 reverse diffusion process와 이를 통해 얻은 latent codes를 디코딩 함으로써 얻을수 있다.
-
-## 5. Experiments
-
-SD 1.5에 AnimateDiff를 적용하여 실험을 진행했다. 또한 motion module을 학습할때는 WebVid 10M 데이터셋을 사용하였다. (자세한 사항은 supplementary material 확인해주세요)
-
-### 5.1 Qualitative Results
-:::{figure-md}
-
-
-qualitative results
-:::
-
-### 5.2 Quantitative Comparison
-:::{figure-md}
-
-
-quantitative results
-:::
-
-- User Study
-
- text, domain, smooth 3개 지표에 대한 개별 등수를 조사했다. Average User Ranking(AUR) 방법을 사용하여 높은 점수를 가지면 높은 품질을 의미하는 preference metric을 사용했다.
-
-
-- CLIP metric
-
- related paper에서 언급했던 이미지와 텍스트쌍을 동시에 학습한 CLIP 모델을 활용한 평가지표이다. 사전학습된 CLIP 모델을 사용하여 generated frames와 reference 사이 CLIP score를 계산한 것이다.
-
- +) CLIP score는 CLIP encoder를 통과한 벡터들 사이 코사인 유사도를 계산하는 방식
-
- - Text
- - 각 프레임 임베딩과 주어진 텍스트 임베딩 사이 코사인 유사도
- - Domain
- - 원본 애니메이션이 없으므로 reference image와 생성된 영상 사이 CLIP score를 구함.
- - Smooth
- - 연속된 프레임 쌍의 이미지 임베딩의 코사인 유사도
-
-
-### 5.3 Ablation Study
-
-#### Domain Adapter
-
-:::{figure-md}
-
-
-scaler를 0으로 하면 domain adapter에 의한 효과를 제거한 것과 같다. 위의 그림은 모델이 생성한 animation clip의 첫번째 프레임이다.
-:::
-
-domain adapter에 의한 효과를 제거했을때 전체적인 이미지 퀄리티가 높아 보이는데, 이는 domain adapter가 video dataset의 특성이라고 할 수 있는 watermark나 모션 블러 등을 학습했기 때문이다. 즉, domain adapter가 전체 학습과정에 도움이 되었음을 보여준다.
-
-#### Motion module design
-
-AnimateDiff의 temporal Transformer구조와 전체 convolution인 구조의 모델과 비교했다. 두 방식 모두 비디오 생성 분야에서 자주 사용된다.
-
-temporal Transformer의 temporal attention부분을 1D temporal convolution으로 교체하여 두 모델의 파라미터가 유사하게 놓여있음을 확인했다. convolution motion module은 모든 프레임을 동일하게 놓았지만 Transformer 구조와 비교하여 움직임을 제대로 반영하지 못했다.
-
-#### Efficiency of MotionLoRA
-
-parameter efficiency와 data efficiency 측면에서 MotionLoRA의 효율성을 시험해보았다. 이를 위해 parameter 개수와 data 개수를 조절해가며 여러 MotionLoRA를 학습시켰다.
-
-:::{figure-md}
-
-
-Efficiency of MotionLoRA
-:::
-
-- Parameter efficiency
- - 효율적인 모델학습을 위해도 모델의 배포를 위해서도 중요한 부분이다.
- - AnimateDiff는 비교적 파라미터 개수가 적들때에도 괜찮은 애니메이션을 만들수 있다. 그림의 실험에서는 zoom-in 카메라 움직임을 새롭게 학습하는 능력을 본것이다.
-- Data efficiency
- - 특정 motion pattern을 위한 reference video 데이터를 수집하기 어렵기 때문에 모델을 실제로 적용하기 위해 중요한 부분이다.
- - 데이터의 개수가 적을때에도 학습하고자 하는 움직임은 학습할 수 있었으나 데이터의 개수가 극도로 적을 경우(N=5) 생성된 애니메이션 품질의 급격한 저하가 있었다.
-
-### 5.4 Controllable Generation
-
-:::{figure-md}
-
-
-Controllability of AnimateDiff
-:::
-
-visual content와 motion prior의 개별 학습을 통해 AnimateDiff가 existing content를 조절할 수 있도록 했다. 이 특성을 확인하기 위해 AnimateDiff를 ControlNet과 결합하여 영상 생성시 depth를 통해 조절할 수 있도록 했다.
-
-DDIM inversion을 통해 다듬어진 latent sequences를 얻고 이를 비디오 생성에 사용하는 최신 비디오 수정 연구들과 비교하여 AnimateDiff는 randomly sampled noise를 이용하여 애니메이션을 생성한다.
-
-## 6. Conclusion
-
-본 논문에서는 애니메이션 생성을 위한 practical pipeline인 AnimateDiff를 제안한다. AnimateDiff를 통해 personalized text-to-image model을 바로 애니메이션 생성에 사용할 수 있다. 이를 위해 본 논문에서는 세가지 module을 디자인하였으며 이를 통해 AnimateDiff는 motion prior를 학습하고, visual quality를 유지할 수 있으며, MotionLoRA를 통해 가벼운 finetuning을 통해 원하는 motion으로 애니메이션을 생성할 수 있다.
-
-motion module은 한번 학습되면 다른 이미지를 animate시키고자 할때 사용할 수 있다. 다양한 실험 결과를 통해 AnimateDiff와 MotionLoRA의 효율성과 생성능력을 검증했다. 또 content-controllability측면에서도 추가적인 학습없이 본 논문의 방식을 사용할 수 있음을 보였다.
-
-AnimateDiff는 취향의 그림체, 캐릭터의 움직임, 카메라 워크에 맞게 이미지를 애니메이션화 시킬 수있는 효율적인 베이스 라인으로써 다양한 방면의 application에 큰 잠재력을 가지고 있다.
-
-## 7. 실습
-아래 이미지들을 클릭하면 gif를 보실 수 있습니다.
-
-:::{figure-md}
-
-
-side-view-photo-of-17-year-old-girl-in-a-japanese-school\
-gpt로 생성한 그림을 input으로 사용함
-:::
-
-:::{figure-md}
-
-
-side-view-photo-of-man-in-black-padded-jumper\
-직접 촬영한 사진을 input으로 사용함\
-입력한 사진의 인물의 인종이 유지되지 않았는데 학습데이터 셋의 불균형 때문으로 사료됨
-:::
-
-:::{figure-md}
-
-
-image-of-a-man-with-blonde-hair-and-blue-eyes\
-gpt로 생성한 그림을 input으로 사용함
-:::
-
-> 📌 실습 후 느낀점
-> - WebVid 10M이 애니메이션화에 적합한 데이터셋인지 잘 모르겠다.
-> - 다양한 metric을 평가에 사용하지 않은 점이 아쉽다.
-> - 특정 애니메이션 클립을 생성하고 싶다면 실질적으로 학습해야 하는 부분은 motionLoRA정도라 사용이 편리하다.
-> - reproduction이 매우 용이하다.
+``` {admonition} Information
+- **Title:** AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning (ICLR 2024)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2307.04725](https://arxiv.org/abs/2307.04725)
+ - Code: [https://github.com/guoyww/AnimateDiff?tab=readme-ov-file](https://github.com/guoyww/AnimateDiff?tab=readme-ov-file)
+ - Project Page : [https://animatediff.github.io](https://animatediff.github.io)
+
+- **Author:** Kyeongmin Yu
+
+- **Last updated on June. 11, 2024**
+```
+
+# AnimateDiff
+
+>📌 논문의 의의\
+>In this paper, we present **AnimateDiff**, a practical framework for animating personalized T2I models without requiring model-specific tuning.\
+>**AnimateDiff = public personalized T2I models + domain adapter & plug-and-play Motion Module + MotionLoRA**
+
+## 0. Abstract
+
+T2I diffusion model과 DreamBooth나 LoRA와 같은 개인화 기술이 발전함에 따라 사람들은 적절한 비용을 지불하여 고화질의 원하는 이미지를 얻을 수 있게 되었다. 하지만, 기존 고화질 이미지 생성 모델(personalized T2I)에 움직임을 추가하거나 애니메이션을 생성하도록 하는 것은 여전히 어렵다. **본 논문에서는 추가적인 훈련(model-specific tuning)없이 기존 고화질 이미지 생성모델에 움직임을 추가하는 실용적인 프레임 워크를 제안한다.** **본 논문에서 제안하는 프레임 워크의 핵심은 plug-and-play motion module을 활용하는 것으로 이 motion module을 한번 학습하면, 어떤 이미지 생성 모델과도 융합할 수 있다.** 본 논문에서 제안하는 학습 방법을 이용하면 motion module은 real-world 비디오로 부터 효과적으로 motion prior를 학습할 수 있다. 한번 학습된 motion module은 이미지 생성 모델에 덧붙여 애니메이션 생성 모델로 사용할 수 있다. 또한 AnimateDiff를 위한 간단한 파인튜닝 방식인 MotionLoRA를 제안한다. 이는 사전 학습된 motion module이 저비용으로 새로운 움직임 패턴을 학습할 수 있게 해준다. (ex. 촬영 기법) AnimateDiff와 MotionLoRA를 공개된 이미지 생성 모델에 부착하여 실험했으며 이를 통해 본 논문의 방식이 이미지 퀄리티와 다양한 움직임을 보전하면서도 자연스러운 애니메이션 클립을 생성할 수 있음을 보였다.
+
+:::{figure-md}
+
+
+inference pipeline
+:::
+
+- **Core Framework**
+ - public T2I models
+ - personalized T2Is from the same base T2I (SD1.5)
+ - can download finetuned T2I from [civitai](https://civitai.com/) or hugging face
+ - domain adapter
+ - LoRA기반 domain adapter를 base T2I 모델에 더해 video dataset을 학습할때 발생할수 있는 domain gap을 줄였다.
+ - 여기서 말하는 domain gap이란 video의 각 프레임을 나누어 이미지로 봤을때 발생할 수 있는 motion blur, compression artifacts, watermarks등을 말한다.
+ - training strategy of a plug-and-play motion module
+ - learns transferable motion priors from real-world videothrough proposed training strategy
+ - 한번 학습하고 나면 다른 T2I모델과 결합해 animation generator로 사용할 수 있다.
+ - MotionLoRA
+ - adapt the pre-trained motion module to specific motion patterns
+
+## 1. Introduction
+
+ 텍스트 프롬프트를 입력하여 이미지를 생성하는 디퓨전 모델(T2I diffusion models)의 발전으로 많은 예술가와 아마추어들이 시각 컨텐츠를 보다 쉽게 생성할 수 있게 되었다. 기존 T2I 모델의 생성능력(creativity)를 자극하기 위해 DreamBooth와 LoRA와 같은 가벼운 개인화 방식들이 제안되었다. 이러한 방식들은 작은 데이터셋과 적당한 하드웨어에서도 customized finetuning을 할 수 있게 해준다. 그로인해 사용자들이 적은 비용으로도 base T2I model을 새로운 domain에 적용하거나 시각적 퀄리티를 높일 수 있게 되었다. 그 결과 AI 아티스트와 아마추어 커뮤니티 에서 상당량의 personalized models을 Civitai나 Hugging Face와 같은 플랫폼에 개시했다. 이러한 모델들이 상당히 좋은 수준의 이미지를 생성할 수 있지만, 정적인 이미지만 생성할 수 있다는 한계가 있다. 반면, 애니메이션을 생성하는 기술이 영화나 카툰과 같은 실산업에서 더 요구된다. 본 연구에서는 고화질 T2I 모델을 파인튜닝 없이 곧바로 애니메이션 생성 모델로 변환하는 것을 목표로 한다. 파인 튜닝을 위한 데이터 수집과 컴퓨팅 자원의 필요는 아마추어 사용자에게 걸림돌이 된다.
+
+**본 논문에서는 AnimateDiff를 제안하는데 이는 personalized T2I model의 능력을 보전하면서 애니메이션을 생성하는 문제를 해결할 수 있는 효과적인 파이프라인이다.** AnimateDiff의 핵심은 비디오 데이터셋(WebVid-10M)으로부터 타당한 motion 정보를 plug-and-play motion module이 학습하는 것이다. motion module의 학습은 세가지 단계로 구성된다.
+
+1. **domain adapter 파인튜닝**
+
+ visual distribution of the target video dataset(이미지 품질차이, 동영상 워터마크, 압축으로 인한 artifacts)에 대한 부분은 이 모듈이 학습함으로써 이후 motion관련 모듈들이 motion에만 집중할 수 있도록 한다.
+
+2. **새로운 motion module**
+
+ 비디오를 입력받을수 있게 inflate시킨 base T2I 모델에 domain adapter를 더한 모델에 모션 모델링을 위한 모션 모듈을 추가한다. 이 모듈을 학습할때는 domain adapter와 base model을 freeze한다. 이렇게 하면 motion module이 움직임에 대한 부분을 전반적으로 학습하여 모듈별 학습이 가능해진다. (다른 그림체를 원할경우 base T2I+domain adapter를 바꾸면 됨)
+
+3. **(optional) MotionLoRA 학습**
+
+ MotionLoRA의 경우 특정 motion을 적은 수의 reference videos와 학습횟수로 학습하는 것을 목표로하는 모듈이다. 이름과 같이 Low-Rank Adaptation (LoRA) (Hu et al., 2021)를 이용하는데 새로운 motion pattern을 적은수(50개)의 reference video만으로 학습시킬수 있다. 또한 차지하는 메모리도 적어 추가학습이나 모델을 공유,배포하는데에도 유리하다.
+
+:::{figure-md}
+
+
+training pipeline
+:::
+
+
+## 2. Related Work
+
+### 2.1 Text-to-image diffusion models
+
+- Diffusion models
+ - GLIDE ([Nichol et al., 2021](https://arxiv.org/abs/2112.10741)) 는 text condition을 통해 이미지를 생성하는 방법을 소개하고, classifier guidance를 조절하여 더 나은 이미지 결과물을 얻는 방법을 설명했다.
+ - **G**uided **L**anguage to **I**mage **D**iffusion for Generation and **E**diting
+ - DALL-E2 (Ramesh et al., 2022)는 CLIP을 이용하여 text-image 일관성을 향상시켰다.
+ - Imagen (Saharia et al., 2022)은 LLM과 cascade 구조를 이용하여 photorealistic한 결과물을 얻고자 했다.
+ - **Stable Diffusion (Rombach et al., 2022)**은 auto-encoder의 latent space에서 diffusion 과정을 수행함으로써 효율을 높였다. (3.1 참고)
+ - eDiff-I ([Balaji et al., 2022](https://www.google.com/search?client=safari&rls=en&q=e+diff+i&ie=UTF-8&oe=UTF-8)) 디퓨전 모델들을 앙상블 학습시켜 generation(denoising) 단계별로 적절한 디퓨전 모델로 denoise를 수행하고자 했다.
+
+:::{figure-md}
+
+
+CLIP:Contrastive language-image pre-training
+:::
+
+:::{figure-md}
+
+
+Imagen
+:::
+
+:::{figure-md}
+
+
+eDiff-I
+:::
+
+
+### 2.2 Personalizing T2I models
+
+사전학습된 T2I 모델을 활용하기 위해 효율적인 개인화(personalization)방법에 대한 연구가 뜨겁다. 여기서 개인화란 reference images를 통해 (새로운) concepts나 style을 사전학습된 모델에 추가하는 것을 말한다. (손을 잘그리는 모델, 눈을 잘그리는 모델, 특정 그림체를 학습한 모델 등) 이를 위한 가장 단순한 방법은 전체 모델을 fine-tuning 시키는 것이다. 이를 통해 전체적인 퀄리티가 높아질 수도 있지만, 기존 학습데이터를 잊는 catastrophic forgetting이 발생할 수도 있다는 문제가 있다. 이러한 문제는 특히 reference image 데이터가 적을때 발생한다.
+
+- DreamBooth ([Ruiz et al., 2023](https://dreambooth.github.io)) 은 매우 적은 이미지를 사용하면서도 preservation loss를 추가하여 전체 모델을 fine-tuning 시켰다.
+- Textural Inversion (Gal et al., 2022) 은 새로운 concept 마다 token embedding을 최적화 하였다.
+- **Low-Rank Adaptation (LoRA) ([Hu et al., 2021](https://github.com/microsoft/LoRA))** 은 LoRA layer를 추가하여 이에 대해서만 fine-tuning을 수행했다. (Sec 3.2 참고)
+- 그외의 encoder-based approaches ([Gal et al., 2023](https://tuning-encoder.github.io); [Jia et al., 2023](https://arxiv.org/abs/2304.02642))
+
+### 2.3 Animating personalized T2Is
+
+personalized T2I를 애니메이션화 시키는 연구가 많지는 않지만 아래의 연구들과 관련있다.
+
+- Text2Cinemagraph [(Mahapatra et al., 2023)](https://text2cinemagraph.github.io/website/) 는 flow prediction을 통해 cinematography를 생성하고자 했다.
+- Align-Your-Latent [(Blattmann et al., 2023)](https://www.notion.so/AnimateDiff-17444a06eda84e14abaca781b4f71344?pvs=21) 는 general video generator내의 frozen image layers가 personalizing이 가능함을 확인했다.
+- video generation models **← 결과 비교시 사용**
+ - **Tune-a-Video** [(Wu et al., 2023)](https://github.com/showlab/Tune-A-Video) ****는 단일 비디오로 적은 수의 파라미터만 파인튜닝하는 방식을 제안했다. (SD+temporal attn 구조를 가지고 있음)
+ - **Text2Video-Zero** [(Khachatryan et al., 2023)](https://github.com/Picsart-AI-Research/Text2Video-Zero) 는 사전학습한 T2I모델을 활용하여 추가적인 학습과정 없이 애니메이션화 할 수 있는 방법을 제안했다. 이는 사전에 정의된 affine matrix를 사용하여 latent wrapping을 하는 방식이다.
+ - pretrained T2I + temporal structures 관련 연구들이 많다.
+
+ (Esser et al., 2023; Zhou et al., 2022a; Singer et al., 2022; Ho et al., 2022b,a; Ruan et al., 2023; Luo et al., 2023; Yin et al., 2023b,a; Wang et al., 2023b; Hong et al., 2022; Luo et al., 2023)
+
+
+## 3. Preliminary
+
+#### 3.1 Stable Diffusion
+
+Stable Diffusion ([Rombach et al., 2022](https://github.com/CompVis/stable-diffusion)), the base T2I model used in our work
+
+- open-sourced, well-developed community, many high-quality personalized T2I models for eval
+- 사전 학습된 encoder($\mathcal E$)와 decoder($\mathcal D$)를 이용하여 latent space상에서 diffusion process를 수행
+- 인코딩된 이미지 $z_0=\mathcal E(x_0)$ 의 경우 아래의 forward diffusion 과정을 통해 $z_t$ 변환됨
+- Forward diffusion for $t=1,2,…,T$
+
+ $$
+ z_t=\sqrt{\bar \alpha_t}z_0+\sqrt{1-\bar\alpha}\epsilon,\space \epsilon \sim \mathcal N(0,I) \tag{1}
+ $$
+
+ - pre-defined $\barα_t$ determines the noise strength at step $t$
+ - The denoising network $ϵ_θ(·)$ learns to reverse this process by predicting the added noise, encouraged by an MSE loss
+- MSE loss
+
+ $$
+ \mathcal L=\Bbb E_{\mathcal E(x_0),y,\epsilon \sim \mathcal N(0,I),t}\big [\| \epsilon-\epsilon_\theta(z_t,t,\tau_\theta(y))\|_2^2\big] \tag{2}
+ $$
+
+ - $y$ is the text prompt corresponding to $x_0$
+ - $τ_θ(·)$ is a text encoder mapping the prompt to a vector sequence.
+ - In SD, $ϵ_θ(·)$ is implemented as a UNet (down*4, middle, up*4 blocks; ResNet, spatial self-attn, cross-attn)
+
+#### 3.2 Low-Rank Adaptation(LoRA)
+
+Low-Rank Adaptation(LoRA) ([Hu et al., 2021](https://arxiv.org/pdf/2106.09685.pdf)), which helps understand the domain adapter (Sec. 4.1) and MotionLoRA (Sec. 4.3) in AnimateDiff
+
+- language model에서 처음 등장한 개념으로 거대 모델의 fine-tuning을 빠르게 수행하기 위해 제안된 개념이다.
+- LoRA는 모델의 전체 파라미터를 fine-tuning하지 않고, rank-decomposition 행렬 쌍을 추가하여 새롭게 추가된 weight만 최적화 시키는 것이다.
+- 기존 파라미터는 고정함으로써 finetuning시 발생할 수 있는 catastrophic forgetting([Kirkpatrick et al., 2017](https://www.notion.so/AnimateDiff-17444a06eda84e14abaca781b4f71344?pvs=21))을 예방할 수 있다.
+- The new model weight with LoRA
+
+ $$
+ \mathcal W'=\mathcal W+\vartriangle\mathcal W=\mathcal W+AB^T \tag{3}
+ $$
+
+ - $A ∈ R ^{m×r}$ , $B ∈ R ^{n×r}$ are a pair of rank-decomposition matrices, $r$ is a hyper-parameter, which is referred to as the rank of LoRA layers
+ - attention layer에서만 사용할수 있는 것은 아니지만 실제로는 주로 attention layer에서 사용된다. LoRA를 통해 fine-tuning시 cost 와 storage 절약할 수 있다.
+
+## 4. AnimateDiff
+
+> ➕ **Architecture Overall**\
+> 본 논문에서 제안하는 모델의 핵심은 비디오 데이터를 통해 transferable model prior를 학습하는 것이다. 이렇게 학습한 motion module을 personalized T2I 모델에 곧바로 적용할 수 있다. \
+> 왼쪽 그림의 하늘색 모델이 **motion module**이고, 초록색 영역이 optional **MotionLoRA**이다. AnimateDiff를 T2I모델에 삽입하여 animation generator로 사용할 수 있다. \
+> 이를 위한 AnimateDiff에는 **학습해야 하는 3개의 모듈**이 있다.
+> - **domain adapter**
+ - base T2I pre-training data와 our video training data간의 간극을 줄여주기 위한 것으로 학습과정에만 사용된다.
+> - **motion module** \
+ - motion prior를 학습하기 위한 모듈
+> - **MotionLoRA**(optional)\
+ - pretrained motion module을 새로운 움직임 패턴(카메라 워크)으로 조정하기 위한것
+
+:::{figure-md}
+
+
+inference pipeline
+:::
+
+> ➕ **Training Steps**\
+> 본 논문에서 제안하는 각 모듈은 따로따로 학습시키며 각각을 학습시킬때 나머지 영역은 freeze 시킨다. 학습시 사용하는 objective function은 SD과 거의 같다.
+> - Training step 1. Domain Adapter
+> - Training step 2. Motion Module
+> - Training step 3. Optional motionLoRA
+
+:::{figure-md}
+
+
+training pipeline
+:::
+
+### 4.1 Alleviate Negative Effects from Training Data with Domain Adapter
+
+비디오 데이터셋은 이미지 데이터셋에 비해 수집하기 어렵다. 동영상 데이터셋 WebVid (Bain et al., 2021)과 이미지 데이터셋 LAION-Aestetic (Schuhmann et al., 2022)를 비교해보면, 품질차이도 큼을 알 수 있다.
+
+각 비디오 프레임을 개별 이미지로 다루게 되면 motion blur, compression artifacts, watermark등을 포함하고 있을 수도 있다. 따라서 T2I 모델을 훈련할 때 사용한 이미지 데이터셋에 비해 motion prior를 학습하기 위해 사용한 동영상 데이터 셋의 품질은 무시할 수 없을 만큼의 차이가 있다. 이 때문에 직접적으로 비디오 데이터셋을 이용하여 애니메이션 생성 모델을 학습할 경우, 생성한 애니메이션의 품질이 제한 될 수 있다.
+
+동영상 데이터의 낮은 품질로 인해 해당 특성을 motion module이 학습하는 것을 피하고 base T2I의 지식을 보전하기 위해, 네트워크를 분리하여 각 도메인(영상/이미지)의 정보에 맞게 피팅하는 방식(domain adapter)을 제안한다. inference 시에는 domain adapter를 제거하였으며 앞서 언급한 domain gap에 의한 부정적 영향을 제거하는데 효과적이라는 것을 보여준다. domain adapter layer는 LoRA를 활용했으며, self-, cross-attention layer들을 base T2I model에 Fig. 3과 같이 추가하였다. 아래 query projection을 예로 살펴보면,
+
+:::{figure-md}
+
+
+LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
+:::
+
+
+$$
+Q=\mathcal W^Qz+\text{AdapterLayer}(z)=\mathcal W^Qz+\alpha \cdot AB^Tz \tag{4}
+$$
+
+$Q$ 는 query, $z$ 는 internal feature, $\alpha$ 는 상수로 inference time에 domain adapter의 영향력을 조절한다. (기본값은 1 / domain adapter의 효과를 완전히 제거하고 싶다면 $\alpha$를 0으로) 나머지 모델의 파라미터는 freeze하고 domain adapter의 파라미터들만 비디오 데이터셋으로 부터 랜덤하게 샘플한 static frame들을 이용하여 최적화했다. 이때 objective function은 Eq. (2)를 사용했다. (아직까지는 이미지 생성 모델)
+
+### 4.2 Learn Motion Priors with Motion Module
+
+motion dynamics를 사전학습된 T2I 모델과 공유하는 dimension상의 시간축으로 모델링 하기 위해 2가지 단계가 필요하다.
+
+1. 2d diffusion model을 3d 비디오 데이터에 맞게 확장시켜야 한다. (**Network Inflation**)
+2. 시간축상으로 효율적인 정보의 흐름을 만들기 위해 sub-module이 필요하다. (**Sub-module Design**)
+
+**Network Inflation**
+
+사전학습된 T2I 모델의 이미지 레이어는 고품질의 그림 사전지식(content prior)을 포착할수 있다. 이 지식을 활용(유지)하기 위해서 동일 모델로 video를 다루고자 할 때는 기존 이미지 레이어는 독립적으로 내버려두고, network를 확장시키는 방향이 선호된다. 이를 위해 기존 연구 (Ho et al., 2022b; Wu et al., 2023; Blattmann et al., 2023)를 참고하여, 5d tensor $x\in \Bbb R^{b\times c \times f\times h\times w}$ 를 입력으로 받도록 모델을 수정했다. $b$는 batch, $f$는 frame을 뜻한다. 내부 feature map이 이미지 레이어를 지나갈때는 시간 축을 의미하는 $f$는 $b$축으로 reshaping을 통해 무시한다.
+
+(5d tensor → 4d tensor $x \in \Bbb R^{bf\times c \times h\times w}$ → (기존 이미지 레이머) → 4d tensor → 5d tensor)
+
+이를 통해 각 프레임을 개별 이미지 처럼 독립적으로 처리할 수 있다. 반면에 새롭게 추가된 motion module은 공간축($h,w$)을 reshaping하여 무시한다. (5d tensor → 3d tensor $x \in \Bbb R^{bhw\times c \times f}$ → (motion module) → 3d tensor → 5d tensor)
+
+**Module Design**
+
+최근 비디오 생성 연구들은 temporal modeling의 다양한 방식을 탐구하고 있다. AnimateDiff에서는 Transformer 구조를 차용하여 시간축상에서 동작하도록 작은 수정을 거쳐 motion module을 design했다. (이하 temporal Transformer) 실험을 통해 해당 구조가 motion prior를 모델링하는데 적합하다는 것을 발견했다. Fig.3을 보면 temporal Transformer가 시간축에서 동작하는 여러 self-attn block으로 이루어진것을 볼수 있다. 또한 sinusoidal position encoding을 통해 애니메이션상의 각 프레임의 시간적 위치정보를 나타내고자 했다. 앞서 언급한 대로 motion module의 입력크기는 feature map을 reshaping하여 조절하였다. ($x \in \Bbb R^{bhw\times c \times f}$) feature map을 시간축으로 다시 펼치고자 할때는 다음과 같은 길이 $f$, 크기 $z_1, ...,z_f;z_i \in \Bbb R^{(b\times h\times w)\times c}$의 vector sequence로 다룰수 있다. 해당 크기의 벡터가 self-attn block을 통과하면 다음과 같다.
+
+$$
+z_{\text{out}}=\text{Attention}(Q,K,V)=\text{Softmax}(QK^T/\sqrt{c})\cdot V \tag{5}
+$$
+
+$Q=W^Qz, K=W^Kz, V=W^Vz$ 이며, 각각 분리된 세 projection을 의미한다. attention mechanism을 통해 현 프레임의 생성에 다른 프레임으로 부터 추출된 정보를 반영하는 것이 가능하다. 결과적으로 각 프레임을 개별적으로 생성하는 것이 아닌, T2I 모델을 확장하여 motion module을 추가한 AnimateDiff가 시간에 따른 visual content의 변화를 잘 포착하기 위해 학습하여 motion dynamics를 이용해 animation clip을 제작하도록 한다. self-attn block전에 sinusoidal position encoding을 잊어서는 안된다. 하지만 motion module 자체가 frame의 순서를 알고 있는 것은 아니다.
+
+추가적인 모듈을 넣음으로 인해 발생할수 있는 문제들을 피하기 위해 temporal Transformer의 레이어의 파라미터는 0으로 초기화 하였으며 residual connection을 추가하여 훈련 시작시에 motion module이 identity mapping으로 동작하도록 했다.
+
+### 4.3 Adapt to New Motion Patterns with MotionLoRA
+
+전반적인 motion 지식을 motion module이 사전학습하더라도 새로운 동작 패턴에 대한 적용에 대한 문제는 발생한다.
+ex. zooming, panning, rolling.
+
+높은 사전학습을 위한 비용을 감당할 수 없어 motion module을 특정 액션에 맞춰 튜닝하고자 하는 사용자를 위해 적은 참고 비디오(reference video)나 적은 훈련 횟수로도 효율적으로 모델을 적용할 수 있도록 하는 것이 중요하다. 이를 위해 AnimateDiff에 MotionLoRA를 마지막으로 적용했다. Motion Module의 구조와 제한된 참고 비디오를 고려하여, self-attn layers에 LoRA layers를 inflated model에 추가하여 motion personalization을 위한 효율적인 파인튜닝 방법을 제안한다.
+
+몇 종의 촬영 방식으로 실험을 진행하였으며 rule-based augmentation을 통해 reference videos를 얻었다. 예를 들어 zooming 비디오를 얻기 위해 시간에 따라 비디오 프레임을 점차 줄이거나(zoom-in) 늘려가며(zoom-out) augmentation을 진행했다. AnimateDiff의 MotionLoRA는 20~50개 정도의 적은 참고 비디오, 2000번의 훈련횟수로 파인튜닝했을때도 괜찮은 결과를 보였다. low-rank property로 인해 MotionLoRA 또한 composition capability를 가지고 있다. 학습된 MotionLoRA 모델 각각이 inference time상의 motion effect를 융합하기위해 협력(combine)할 수 있음을 말한다.
+
+### 4.4 AnimateDiff in Practice
+
+#### Training
+
+Fig. 3을 보면 AnimateDiff에는 학습 가능한 모듈이 3개 있다. 각 모듈의 objective는 약간씩 다르다. domain adapter는 SD의 MSE loss인 Eq. 2 objective function을 통해 학습한다. 애니메이션을 만드는 역할을 하는 motion module과 motion LoRA의 경우 video data에 대한 차원을 더 많이 수용하기 위해 약간 수정된 objective를 사용한다. video data batch ( $x_0^{1:f}\in \Bbb R^{b\times c \times f \times h \times w}$)는 사전학습된 SD의 auto-encoder를 사용해 각 프레임 별로 latent code $z_0^{1:f}$로 인코딩된다. 이 latent code는 Eq. 1 과 같이 정의된 diffusion schedule에 따라 노이즈가 추가(forward process)된다.
+
+$$
+z_t^{1:f}=\sqrt{\bar \alpha_t}z_0^{1:f}+\sqrt{1-\bar\alpha_t}\epsilon^{1:f} \tag{6}
+$$
+
+모델의 입력은 노이즈가 추가된 latent codes와 이 쌍이되는 text prompts이며, 모델은 forward process에서 추가된 노이즈를 예측한다. AnimateDiff의 motion module을 위한 최종 training objective는 아래와 같다.
+
+$$
+\mathcal L=\Bbb E_{\mathcal E(x_0^{1:f}),y,\epsilon^{1:f}\sim\mathcal N(0,I),t}\Big[\|\epsilon-\epsilon_\theta(z_t^{1:f},T,\tau_\theta(y))\|^2_2\Big] \tag{7}
+$$
+
+각 모듈들(domain adapter, motion module, MotionLoRA)을 학습할때, 학습 타겟을 제외한 영역은 freeze 시킨뒤 학습했다.
+
+#### Inference
+
+inference시에는 personalized T2I model는 앞서 설명한대로 inflate되며 motion module과 (optional) MotionLoRA를 더해 애니메이션을 생성한다.
+
+domain adapter의 경우 inference시 그냥 배제하지 않고 personalized T2I model에 injection하였으며 domain adapter의 영향력은 Eq. 4의 $\alpha$를 이용해 조절했다. Sec 5.3의 Ablation study에서 $\alpha$의 값에 따른 결과의 차이를 확인할 수 있다. 마지막으로 animation frames은 reverse diffusion process와 이를 통해 얻은 latent codes를 디코딩 함으로써 얻을수 있다.
+
+## 5. Experiments
+
+SD 1.5에 AnimateDiff를 적용하여 실험을 진행했다. 또한 motion module을 학습할때는 WebVid 10M 데이터셋을 사용하였다. (자세한 사항은 supplementary material 확인해주세요)
+
+### 5.1 Qualitative Results
+:::{figure-md}
+
+
+qualitative results
+:::
+
+### 5.2 Quantitative Comparison
+:::{figure-md}
+
+
+quantitative results
+:::
+
+- User Study
+
+ text, domain, smooth 3개 지표에 대한 개별 등수를 조사했다. Average User Ranking(AUR) 방법을 사용하여 높은 점수를 가지면 높은 품질을 의미하는 preference metric을 사용했다.
+
+
+- CLIP metric
+
+ related paper에서 언급했던 이미지와 텍스트쌍을 동시에 학습한 CLIP 모델을 활용한 평가지표이다. 사전학습된 CLIP 모델을 사용하여 generated frames와 reference 사이 CLIP score를 계산한 것이다.
+
+ +) CLIP score는 CLIP encoder를 통과한 벡터들 사이 코사인 유사도를 계산하는 방식
+
+ - Text
+ - 각 프레임 임베딩과 주어진 텍스트 임베딩 사이 코사인 유사도
+ - Domain
+ - 원본 애니메이션이 없으므로 reference image와 생성된 영상 사이 CLIP score를 구함.
+ - Smooth
+ - 연속된 프레임 쌍의 이미지 임베딩의 코사인 유사도
+
+
+### 5.3 Ablation Study
+
+#### Domain Adapter
+
+:::{figure-md}
+
+
+scaler를 0으로 하면 domain adapter에 의한 효과를 제거한 것과 같다. 위의 그림은 모델이 생성한 animation clip의 첫번째 프레임이다.
+:::
+
+domain adapter에 의한 효과를 제거했을때 전체적인 이미지 퀄리티가 높아 보이는데, 이는 domain adapter가 video dataset의 특성이라고 할 수 있는 watermark나 모션 블러 등을 학습했기 때문이다. 즉, domain adapter가 전체 학습과정에 도움이 되었음을 보여준다.
+
+#### Motion module design
+
+AnimateDiff의 temporal Transformer구조와 전체 convolution인 구조의 모델과 비교했다. 두 방식 모두 비디오 생성 분야에서 자주 사용된다.
+
+temporal Transformer의 temporal attention부분을 1D temporal convolution으로 교체하여 두 모델의 파라미터가 유사하게 놓여있음을 확인했다. convolution motion module은 모든 프레임을 동일하게 놓았지만 Transformer 구조와 비교하여 움직임을 제대로 반영하지 못했다.
+
+#### Efficiency of MotionLoRA
+
+parameter efficiency와 data efficiency 측면에서 MotionLoRA의 효율성을 시험해보았다. 이를 위해 parameter 개수와 data 개수를 조절해가며 여러 MotionLoRA를 학습시켰다.
+
+:::{figure-md}
+
+
+Efficiency of MotionLoRA
+:::
+
+- Parameter efficiency
+ - 효율적인 모델학습을 위해도 모델의 배포를 위해서도 중요한 부분이다.
+ - AnimateDiff는 비교적 파라미터 개수가 적들때에도 괜찮은 애니메이션을 만들수 있다. 그림의 실험에서는 zoom-in 카메라 움직임을 새롭게 학습하는 능력을 본것이다.
+- Data efficiency
+ - 특정 motion pattern을 위한 reference video 데이터를 수집하기 어렵기 때문에 모델을 실제로 적용하기 위해 중요한 부분이다.
+ - 데이터의 개수가 적을때에도 학습하고자 하는 움직임은 학습할 수 있었으나 데이터의 개수가 극도로 적을 경우(N=5) 생성된 애니메이션 품질의 급격한 저하가 있었다.
+
+### 5.4 Controllable Generation
+
+:::{figure-md}
+
+
+Controllability of AnimateDiff
+:::
+
+visual content와 motion prior의 개별 학습을 통해 AnimateDiff가 existing content를 조절할 수 있도록 했다. 이 특성을 확인하기 위해 AnimateDiff를 ControlNet과 결합하여 영상 생성시 depth를 통해 조절할 수 있도록 했다.
+
+DDIM inversion을 통해 다듬어진 latent sequences를 얻고 이를 비디오 생성에 사용하는 최신 비디오 수정 연구들과 비교하여 AnimateDiff는 randomly sampled noise를 이용하여 애니메이션을 생성한다.
+
+## 6. Conclusion
+
+본 논문에서는 애니메이션 생성을 위한 practical pipeline인 AnimateDiff를 제안한다. AnimateDiff를 통해 personalized text-to-image model을 바로 애니메이션 생성에 사용할 수 있다. 이를 위해 본 논문에서는 세가지 module을 디자인하였으며 이를 통해 AnimateDiff는 motion prior를 학습하고, visual quality를 유지할 수 있으며, MotionLoRA를 통해 가벼운 finetuning을 통해 원하는 motion으로 애니메이션을 생성할 수 있다.
+
+motion module은 한번 학습되면 다른 이미지를 animate시키고자 할때 사용할 수 있다. 다양한 실험 결과를 통해 AnimateDiff와 MotionLoRA의 효율성과 생성능력을 검증했다. 또 content-controllability측면에서도 추가적인 학습없이 본 논문의 방식을 사용할 수 있음을 보였다.
+
+AnimateDiff는 취향의 그림체, 캐릭터의 움직임, 카메라 워크에 맞게 이미지를 애니메이션화 시킬 수있는 효율적인 베이스 라인으로써 다양한 방면의 application에 큰 잠재력을 가지고 있다.
+
+## 7. 실습
+아래 이미지들을 클릭하면 gif를 보실 수 있습니다.
+
+:::{figure-md}
+
+
+side-view-photo-of-17-year-old-girl-in-a-japanese-school\
+gpt로 생성한 그림을 input으로 사용함
+:::
+
+:::{figure-md}
+
+
+side-view-photo-of-man-in-black-padded-jumper\
+직접 촬영한 사진을 input으로 사용함\
+입력한 사진의 인물의 인종이 유지되지 않았는데 학습데이터 셋의 불균형 때문으로 사료됨
+:::
+
+:::{figure-md}
+
+
+image-of-a-man-with-blonde-hair-and-blue-eyes\
+gpt로 생성한 그림을 input으로 사용함
+:::
+
+> 📌 실습 후 느낀점
+> - WebVid 10M이 애니메이션화에 적합한 데이터셋인지 잘 모르겠다.
+> - 다양한 metric을 평가에 사용하지 않은 점이 아쉽다.
+> - 특정 애니메이션 클립을 생성하고 싶다면 실질적으로 학습해야 하는 부분은 motionLoRA정도라 사용이 편리하다.
+> - reproduction이 매우 용이하다.
> - AnimateDiff를 제대로 활용하기 위해서는 personalized T2I가 제일 중요한 부분이라고 할수 있는데, 원하는 스타일의 pretrained T2I 모델을 구하는 것이 어렵다. 그림체가 잘 맞지 않으면 애니메이션 클립 초반에 급격히 변화하는 부분이 자주 생긴다.
\ No newline at end of file
diff --git a/_sources/docs/review/Animate_Anyone.md b/_sources/docs/review/Animate_Anyone.md
index f4034b84..86cdd74a 100755
--- a/_sources/docs/review/Animate_Anyone.md
+++ b/_sources/docs/review/Animate_Anyone.md
@@ -1,330 +1,330 @@
-``` {admonition} Information
-- **Title:** Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2311.17117](https://arxiv.org/abs/2311.17117)
- - Code:
- - [Official](https://github.com/HumanAIGC/AnimateAnyone)
- - [NonOfficial](https://github.com/guoqincode/Open-AnimateAnyone)
- - Project Page : [https://humanaigc.github.io/animate-anyone/](https://humanaigc.github.io/animate-anyone/)
-
-- **Author:** Geonhak Song
-
-- **Last updated on {March. 13, 2024}**
-```
-
-# Animate Anyone
-
-:::{figure-md}
-
-
-Animate Anyone Example Figure
-:::
-
-## Abstract
-
-- Diffusion 모델들이 visual generation 연구에 주류가 되었지만, image-to-video 영역에서는 어려움이 있다. 특히, character animation에서 캐릭터의 상세 정보의 일관성을 유지하는 것은 큰 문제이다.
-- reference image의 복잡한 appearance 특징의 일관성을 유지하기 위해서 spatial attention feature과 통합할 **ReferenceNet** 설계
-- controllability와 continuity을 위해서 효과적인 **pose guider** 도입.
-- 비디오 프레임간 부드러운 전이를 위해 효과적인 effective **temporal modeling** 도입
-- 이를 통해 어떠한 임의의 캐릭터에 대해서도 animate할 수 있고 우월성을 보임
-
-## 1. Introduction
-
-**Character Animation History**
-
-- Character Animation은 source character 이미지로부터 사실적인 비디오를 animate하는 작업으로 GAN을 시작으로 많은 연구가 진행되어왔다.
-- 그러나 생성된 이미지 또는 비디오는 local distortion, blurred details, semantic inconsistency, temporal instability 문제가 있어 널리 사용되기에는 어려움이 있어왔다.
-
-**Diffusion 기반 image-to-video 예시**
-
-- 최근 diffusion model의 우수성에 따라 image-to-video task에 diffusion model을 활용하려는 연구들이 보였다.
-- DreamPose (23.04)
- - Stable Diffusion을 확장한 fashion image-to-video 합성을 가능하는데 초점을 맞췄다.
- - 본 모델은 CLIP과 VAE feature를 통합한 adpatar module를 제안했다.
- - 그러나 consistent 결과를 위해서 input sample에 대해 추가 finetuning이 필요하고 운용 효율이 떨어진다.
-- DisCO (23.07)
- - Stable Diffusion을 수정하여 human dance generation 진행
- - CLIP과 ControlNet을 활용한 통합 모델 구축
- - 그러나 character detail 보존에 어려움을 겪고 frame간 jittering issue 존재
-
-**Character Animation 관점에서의 Text-to-image generation 한계**
-
-- text-to-image generation & video generation에 시각적 품질과 다양성에 큰 진전이 있어왔지만, 복잡한 detail을 잘 살리는 것이 어렵고 정확도 측면에서도 부정확한 부분이 있다.
-- 더욱이, 실질적 character 움직임을 다룰 때, 일관성 측면에서 안정적이고 연속적인 영상을 만들어내는 것이 어렵다.
-- 현재는 일반성과 일관성을 동시에 만족하는 character animation 방법을 찾을 수 없어 본 논문에서 Animate Anyone 방법을 제안한다.
-
-**Animate Anyone 모델 구조 요약**
-
-- appearance consistency를 위한 **ReferenceNet** 도입.
- - spatial attention를 사용하는 UNet으로 ReferenceNet feature과 통합
- - 이는 모델로 하여금 일관된 feature space에서 reference image의 관계성을 종합적으로 학습하게 함
-- pose controllability를 위한 **lightweight pose guider** 도입.
- - 효과적인 pose control signal을 denoising 절차에 통합함.
-- temporal stability를 위한 **temporal layer** 도입
- - 연속적이고 부드러운 temporal motion process와 동시에 고해상도 detail quality 보존을 위한 frame간 관계성 학습
-
-**제안 모델의 결과**
-
-- 5K character video clip 인터넷 데이터 세트로 훈련
-- 장점 1) character appearance의 spatial & temporal consistency을 효과적으로 유지
-- 장점 2) temporal jitter & flickering과 같은 문제 없는 높은 신뢰도의 비디오 생성
-- 장점 3) 어떠한 character image에도 animation video 생성 가능
-- benchmark에 대한 결과 또한 우수성 증명
-
-## 2. Related Works
-
-### 2.1 Diffusion Model for Image Generation
-
-T2I model
-
-1) LDM : latent space에서의 denoising 진행.
-
-2) ControlNet, T2I-Adapter : pose, mask, edge, depth와 같은 추가 조건부 생성을 위한 추가 encoding layer 사용
-
-IP-Adapter : image prompt 기반의 content 결과 생성
-
-ObjectStitch, Paint-by-Example : CLIP을 활용한 image editing 방법
-
-TryonDiffusion : virtual apparel try on을 위한 parallel u-net 구조 도입
-
-### 2.2 Diffusion Model for Video Generation
-
-T2V Model : T2I 모델 기반 inter-frame attention modeling을 통한 연구가 많이 이뤄짐.
-
-Video LDM : temporal layer를 삽입한 T2I 모델 기반 video generation model
-
-AnimateDiff : personalized T2I model을 활용한 motion module을 많은 video data로 학습시킨 모델
-
-→ Animate Anyone에서는 본 temporal modeling에 영향을 받아 해당 방법론 사용
-
-I2V Model
-
-VideoComposer : conditional control
-
-AnimateDiff : image latent과 random noise 간 weight mixing
-
-VideoCrafter : CLIP의 textual & visual feature를 통합하여 cross-attention에 주입
-
-그러나 해당 방법들 모두 안정적인 사람 video 생성에는 어려움이 존재.
-
-### 2.3 Diffusion Model for Human Image Animation
-
-Image Animation
-
-PIDM, LFDM, LEO,
-
-DreamPose, DisCo
-
-## 3. Methods
-
-목표 : character animation을 위한 pose-guided image-to-video 합성
-
-### 3.1 Preliminary: Stable Diffusion
-
-:::{figure-md}
-
-
-Eq (1) Stable Diffusion Objective
-:::
-
-$\epsilon_\theta$ : UNet func
-
-$c$ : conditional embedding
-
-$z$ : image latent
-
-$t$ : timestep
-
-$z_t$ : noise latent
-
-CLIP ViT-L/14 text encoder
-
-denoising UNet : 4 downsample layers , 1 middle layer, 4 upsample layers.
-
-각 Res-Trans block별 2D convolution, self-attention, cross-attention로 구성
-
-### 3.2 Network Architecture
-
-**Overview**
-
-:::{figure-md}
-
-
-Figure 2 Animate Anyone Overview
-:::
-
-3가지 중요 요소 통합
-
-1) ReferenceNet : reference image로부터 character의 appearance features encoding
-
-2) Pose Guider : 제어가능한 character movements를 위한 motion control signal encoding
-
-3) Temporal layer : character motion 연속성을 위한 temporal relationship encoding
-
-**ReferenceNet**
-
-- text보다 image가 더 low-level detailed feature를 통한 일관성 유지 정보를 내포함.
-- 이에 따라 최근 CLIP image encoder가 text encoder보다 많이 사용되었지만, detail consistency에는 역부족
- - 이유 1: CLIP image encoder는 224x224의 저해상도 이미지들로 구성되어 중요한 세부정보 손실이 있을 수 있다.
- - 이유 2: CLIP은 text에 더욱 부합하게 훈련되어 high-level feature matching에 강조되고 이에 따라 feature encoding에 있어 detail feature에 부족함이 존재
-
-- 이에 따라 reference image feature extraction network인 ReferenceNet 고안 (이때 temporal layer 제외)
-- ReferenceNet은 SD로 초기화하고 각각 독립적으로 update 수행하고 UNet과 통합
-- self-attention layer를 spatial attention layer로 변경
-- Feature map : $x_1 \in \mathcal{R}^{t \times h \times w \times c }$ (UNet ), $x_2 \in \mathcal{R}^{h \times w \times c }$ (ReferenceNet) 이 주어졌을 때, $x_2$를 t번 곱해 w축에 따라 $x_1$과 concat
-- self-attention을 수행하고 feature map의 반을 결과로 뽑음.
-- 2가지 장점
- - 1) 사전 학습된 image feature model SD를 사용함에 따라 **초기값이 잘 정의**된 것 사용가능.
- - 2) UNet과 ReferenceNet의 초기값이 공유되고 동일한 네트워크 구조를 가짐에 따라 UNet은 (동일한 feature space에 상관관계가 있는) ReferenceNet feature 중 선별적으로 feature 학습이 가능
-- CLIP image encoder를 cross-attention에 도입
- - reference image의 semantic feature를 제공함에 따라 신속한 전체 네트워크 훈련 초기값 설정 가능.
-
-- ControlNet은 target image와 공간적으로 align된 정보를 활용 → 부적합
-- 본 방법에서는 reference image와 target image가 공간적으로는 관계되어있지만, align되지 않음.
-
-- 타 diffusion 기반 video generation에서는 모든 video frame에 대해 denoising을 진행
-- ReferenceNet은 feature 추출할 때 한 번만 필요
-- 효과 : inference 단계에서 계산량이 증가하지 않는다.
-
-**Pose Guider**
-
-- ControlNet은 robust한 conditional 생성을 입증해왔지만, 추가 Fine-tuning이 필요했었다.
-- 저자들은 추가적인 계산량 증가를 막기위해 추가적인 control network를 통합하지 않고 lightweight Pose Guider 도입
-- noise latent와 동일 해상도를 가지는 pose 이미지 align을 위해 four convolution layers (4×4 kernels, 2×2 strides, using 16,32,64,128 channels) 사용
-- Gaussian weights 초기화, final projection layer에서 zero convolution 도입.
-
-**Temporal Layer**
-
-- 이미 많은 곳에서 T2I 모델에 temporal layer를 통합했을 때 frame간 temporal dependency가 가능함을 보임.
-- 본 방법에서는 U-Net 내 Res-Trans block 안에 있는 spatial-attention과 cross-attention 진행 후에 temporal layer 추가
-- 순서 1) reshape : $x \in \mathcal{R}^{b \times t \times h \times w \times c }$ → $x \in \mathcal{R}^{(b \times h \times w) \times t \times c }$
-- 순서 2) temporal attention 수행 → residual connection
-- 효과 : appearance details에 대한 temporal smoothness & continuity
-
-### 3.3 Training Strategy
-
-- 훈련 두 단계
-- 첫 번째 단계
- - temporal layer를 제외한 single-frame noise를 입력으로 받는 모델 학습
- - ReferenceNet & Pose Guider
- - reference 이미지는 전체 비디오 클립에서 랜덤으로 선택
- - 초기 weight는 사전학습된 SD weight
- - Pose Guider는 마지막 projection layer를 제외한 모든 layer gaussian weight 초기화
- - VAE Encoder, Decoder, CLIP image encoder 는 그대로
-- 두 번째 단계
- - 첫 번째 단계에서 훈련한 모델 속 temporal layer만 훈련
- - temporal layer 초기값 : AnimateDiff pretrained weight
- - 입력 : 24frame video clip
-
-## 4. Experiments
-
-### 4.1 Implementations
-
-- Data : 5K character video clips (2-10 seconds long) 인터넷에서 다운로드
-- Pose Estimation Model : DWPose(Distillation for Whole-body Pose estimator) (23.07) [https://github.com/IDEA-Research/DWPose](https://github.com/IDEA-Research/DWPose)
-(the student’s head with only 20% training time as a plug-and-play training strategy)
-- GPU : 4 NVIDIA A100 GPUs
-- 첫 번째 훈련 단계 : 768×768 해상도 video frame sampled, resized, and center-cropped 30,000 steps, batch size 64.
-- 두 번째 훈련 단계 : temporal layer 10,000 steps 24-frame video sequences, batch size 4.
-- learning rates : 1e-5.
-- Inference 단계 : reference image의 캐릭터 skeleton의 길이에 근사하기 위해서 유도된 pose skeleton의 길이 rescale
-- DDIM sampler, 20 steps
-- 긴 영상 생성을 위해 temporal aggregation method 채택
-- Evaluation : benchmark dataset 2개(UBC fashion video dataset, Tik-Tok dataset) 사용
-
-### 4.2 Qualitative Results
-
-:::{figure-md}
-
-
-Figure 3 Qualitative Results
-:::
-
-- 전신이 나오는 임의의 characters, 절반 길이의 portraits, cartoon characters, humanoid characters에 대해 animation
-- reference image와 유사한 temporal consistency를 보이는 사실적인 결과 생성
-
-### 4.3 Comparisons
-
-- SSIM, PSNR, LPIPS, FVD(Fréchet ***Video*** Distance)
-
-**Fashion Video Synthesis**
-
-:::{figure-md}
-
-
-Table 1 Quantitative Comparison for fashion video synthesis
-:::
-
-- Quantitative comparison - Table 1
- - UBC fashion video dataset
- (500 training & 100 testing videos로 구성, 각 video 약 500 frames)
-
-:::{figure-md}
-
-
-Figure 4 Qualitative comparison for fashion video synthesis
-:::
-
-- DreamPose & BDMM은 옷의 일관성을 잃어버리는 문제. 색과 섬세한 구조적 요소에 대한 error 발생
-- 반면, 제안 방법은 옷의 세부 내용까지 일관성있게 보존됨.
-
-**Human Dance Generation**
-
-:::{figure-md}
-
-
-Table 2 Quantitative comparison for human dance generation
-:::
-
-- Quantitative comparison - Table 2
- - TikTok dataset
- (340 training & 100 testing single human dancing videos (10-15s))
-
-:::{figure-md}
-
-
-Figure 5 Qualitative comparison between DisCo and Animate Anyone method
-:::
-
-- DisCo에서는 인물 foreground mask를 위해 SAM 활용하는 pipeline 활용
-- 그러나 본 방법에서는 masking 없이 모델 자체가 subject motion으로부터 전경과 배경의 구분 가능
-- 복잡한 dance sequence에서도 시각적으로 연속적인 motion을 보여줌. robustness
-
-**General Image-to-Video Methods**
-
-:::{figure-md}
-
-
-Figure 6 Qualitative comparison with image-to-video methods
-:::
-
-- 비교 모델 : AnimateDiff & Gen-2
-- reference image에 대한 외관 신뢰도만 비교
-- image-to-video 방법은 얼굴이 일관되게 유지되는 문제에 봉착된 상황 속에서 다른 모델 대비 제안 모델이 긴 시간동안 apperance consistency 유지
-
-### 4.4 Ablation study
-
-:::{figure-md}
-
-
-Figure 7 Ablation study of different design
-:::
-
-:::{figure-md}
-
-
-Table 3 Quantitative comparison for ablation study
-:::
-
-- ReferenceNet design 효과성 증명을 위한 Ablation study
- - (1) CLIP image encoder만 사용
- - (2) 초기 finetuning SD 이후 reference image 기반 ControlNet training
- - (3) 위 2 방법론 통합
-- 결론 : ReferenceNet를 사용하는 것이 모든 방법 대비 가장 좋았다.
-
-## 5. Limitations
-
-- 1) 손의 안정적인 움직임을 보이는 것에 어려움을 보임. 가끔 왜곡, motion blur 발생
-- 2) 제공하는 이미지는 한 측면만 보이기 때문에 보이지 않은 부분에 대해서는 ill-posed problem으로 불안정
+``` {admonition} Information
+- **Title:** Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2311.17117](https://arxiv.org/abs/2311.17117)
+ - Code:
+ - [Official](https://github.com/HumanAIGC/AnimateAnyone)
+ - [NonOfficial](https://github.com/guoqincode/Open-AnimateAnyone)
+ - Project Page : [https://humanaigc.github.io/animate-anyone/](https://humanaigc.github.io/animate-anyone/)
+
+- **Author:** Geonhak Song
+
+- **Last updated on {March. 13, 2024}**
+```
+
+# Animate Anyone
+
+:::{figure-md}
+
+
+Animate Anyone Example Figure
+:::
+
+## Abstract
+
+- Diffusion 모델들이 visual generation 연구에 주류가 되었지만, image-to-video 영역에서는 어려움이 있다. 특히, character animation에서 캐릭터의 상세 정보의 일관성을 유지하는 것은 큰 문제이다.
+- reference image의 복잡한 appearance 특징의 일관성을 유지하기 위해서 spatial attention feature과 통합할 **ReferenceNet** 설계
+- controllability와 continuity을 위해서 효과적인 **pose guider** 도입.
+- 비디오 프레임간 부드러운 전이를 위해 효과적인 effective **temporal modeling** 도입
+- 이를 통해 어떠한 임의의 캐릭터에 대해서도 animate할 수 있고 우월성을 보임
+
+## 1. Introduction
+
+**Character Animation History**
+
+- Character Animation은 source character 이미지로부터 사실적인 비디오를 animate하는 작업으로 GAN을 시작으로 많은 연구가 진행되어왔다.
+- 그러나 생성된 이미지 또는 비디오는 local distortion, blurred details, semantic inconsistency, temporal instability 문제가 있어 널리 사용되기에는 어려움이 있어왔다.
+
+**Diffusion 기반 image-to-video 예시**
+
+- 최근 diffusion model의 우수성에 따라 image-to-video task에 diffusion model을 활용하려는 연구들이 보였다.
+- DreamPose (23.04)
+ - Stable Diffusion을 확장한 fashion image-to-video 합성을 가능하는데 초점을 맞췄다.
+ - 본 모델은 CLIP과 VAE feature를 통합한 adpatar module를 제안했다.
+ - 그러나 consistent 결과를 위해서 input sample에 대해 추가 finetuning이 필요하고 운용 효율이 떨어진다.
+- DisCO (23.07)
+ - Stable Diffusion을 수정하여 human dance generation 진행
+ - CLIP과 ControlNet을 활용한 통합 모델 구축
+ - 그러나 character detail 보존에 어려움을 겪고 frame간 jittering issue 존재
+
+**Character Animation 관점에서의 Text-to-image generation 한계**
+
+- text-to-image generation & video generation에 시각적 품질과 다양성에 큰 진전이 있어왔지만, 복잡한 detail을 잘 살리는 것이 어렵고 정확도 측면에서도 부정확한 부분이 있다.
+- 더욱이, 실질적 character 움직임을 다룰 때, 일관성 측면에서 안정적이고 연속적인 영상을 만들어내는 것이 어렵다.
+- 현재는 일반성과 일관성을 동시에 만족하는 character animation 방법을 찾을 수 없어 본 논문에서 Animate Anyone 방법을 제안한다.
+
+**Animate Anyone 모델 구조 요약**
+
+- appearance consistency를 위한 **ReferenceNet** 도입.
+ - spatial attention를 사용하는 UNet으로 ReferenceNet feature과 통합
+ - 이는 모델로 하여금 일관된 feature space에서 reference image의 관계성을 종합적으로 학습하게 함
+- pose controllability를 위한 **lightweight pose guider** 도입.
+ - 효과적인 pose control signal을 denoising 절차에 통합함.
+- temporal stability를 위한 **temporal layer** 도입
+ - 연속적이고 부드러운 temporal motion process와 동시에 고해상도 detail quality 보존을 위한 frame간 관계성 학습
+
+**제안 모델의 결과**
+
+- 5K character video clip 인터넷 데이터 세트로 훈련
+- 장점 1) character appearance의 spatial & temporal consistency을 효과적으로 유지
+- 장점 2) temporal jitter & flickering과 같은 문제 없는 높은 신뢰도의 비디오 생성
+- 장점 3) 어떠한 character image에도 animation video 생성 가능
+- benchmark에 대한 결과 또한 우수성 증명
+
+## 2. Related Works
+
+### 2.1 Diffusion Model for Image Generation
+
+T2I model
+
+1) LDM : latent space에서의 denoising 진행.
+
+2) ControlNet, T2I-Adapter : pose, mask, edge, depth와 같은 추가 조건부 생성을 위한 추가 encoding layer 사용
+
+IP-Adapter : image prompt 기반의 content 결과 생성
+
+ObjectStitch, Paint-by-Example : CLIP을 활용한 image editing 방법
+
+TryonDiffusion : virtual apparel try on을 위한 parallel u-net 구조 도입
+
+### 2.2 Diffusion Model for Video Generation
+
+T2V Model : T2I 모델 기반 inter-frame attention modeling을 통한 연구가 많이 이뤄짐.
+
+Video LDM : temporal layer를 삽입한 T2I 모델 기반 video generation model
+
+AnimateDiff : personalized T2I model을 활용한 motion module을 많은 video data로 학습시킨 모델
+
+→ Animate Anyone에서는 본 temporal modeling에 영향을 받아 해당 방법론 사용
+
+I2V Model
+
+VideoComposer : conditional control
+
+AnimateDiff : image latent과 random noise 간 weight mixing
+
+VideoCrafter : CLIP의 textual & visual feature를 통합하여 cross-attention에 주입
+
+그러나 해당 방법들 모두 안정적인 사람 video 생성에는 어려움이 존재.
+
+### 2.3 Diffusion Model for Human Image Animation
+
+Image Animation
+
+PIDM, LFDM, LEO,
+
+DreamPose, DisCo
+
+## 3. Methods
+
+목표 : character animation을 위한 pose-guided image-to-video 합성
+
+### 3.1 Preliminary: Stable Diffusion
+
+:::{figure-md}
+
+
+Eq (1) Stable Diffusion Objective
+:::
+
+$\epsilon_\theta$ : UNet func
+
+$c$ : conditional embedding
+
+$z$ : image latent
+
+$t$ : timestep
+
+$z_t$ : noise latent
+
+CLIP ViT-L/14 text encoder
+
+denoising UNet : 4 downsample layers , 1 middle layer, 4 upsample layers.
+
+각 Res-Trans block별 2D convolution, self-attention, cross-attention로 구성
+
+### 3.2 Network Architecture
+
+**Overview**
+
+:::{figure-md}
+
+
+Figure 2 Animate Anyone Overview
+:::
+
+3가지 중요 요소 통합
+
+1) ReferenceNet : reference image로부터 character의 appearance features encoding
+
+2) Pose Guider : 제어가능한 character movements를 위한 motion control signal encoding
+
+3) Temporal layer : character motion 연속성을 위한 temporal relationship encoding
+
+**ReferenceNet**
+
+- text보다 image가 더 low-level detailed feature를 통한 일관성 유지 정보를 내포함.
+- 이에 따라 최근 CLIP image encoder가 text encoder보다 많이 사용되었지만, detail consistency에는 역부족
+ - 이유 1: CLIP image encoder는 224x224의 저해상도 이미지들로 구성되어 중요한 세부정보 손실이 있을 수 있다.
+ - 이유 2: CLIP은 text에 더욱 부합하게 훈련되어 high-level feature matching에 강조되고 이에 따라 feature encoding에 있어 detail feature에 부족함이 존재
+
+- 이에 따라 reference image feature extraction network인 ReferenceNet 고안 (이때 temporal layer 제외)
+- ReferenceNet은 SD로 초기화하고 각각 독립적으로 update 수행하고 UNet과 통합
+- self-attention layer를 spatial attention layer로 변경
+- Feature map : $x_1 \in \mathcal{R}^{t \times h \times w \times c }$ (UNet ), $x_2 \in \mathcal{R}^{h \times w \times c }$ (ReferenceNet) 이 주어졌을 때, $x_2$를 t번 곱해 w축에 따라 $x_1$과 concat
+- self-attention을 수행하고 feature map의 반을 결과로 뽑음.
+- 2가지 장점
+ - 1) 사전 학습된 image feature model SD를 사용함에 따라 **초기값이 잘 정의**된 것 사용가능.
+ - 2) UNet과 ReferenceNet의 초기값이 공유되고 동일한 네트워크 구조를 가짐에 따라 UNet은 (동일한 feature space에 상관관계가 있는) ReferenceNet feature 중 선별적으로 feature 학습이 가능
+- CLIP image encoder를 cross-attention에 도입
+ - reference image의 semantic feature를 제공함에 따라 신속한 전체 네트워크 훈련 초기값 설정 가능.
+
+- ControlNet은 target image와 공간적으로 align된 정보를 활용 → 부적합
+- 본 방법에서는 reference image와 target image가 공간적으로는 관계되어있지만, align되지 않음.
+
+- 타 diffusion 기반 video generation에서는 모든 video frame에 대해 denoising을 진행
+- ReferenceNet은 feature 추출할 때 한 번만 필요
+- 효과 : inference 단계에서 계산량이 증가하지 않는다.
+
+**Pose Guider**
+
+- ControlNet은 robust한 conditional 생성을 입증해왔지만, 추가 Fine-tuning이 필요했었다.
+- 저자들은 추가적인 계산량 증가를 막기위해 추가적인 control network를 통합하지 않고 lightweight Pose Guider 도입
+- noise latent와 동일 해상도를 가지는 pose 이미지 align을 위해 four convolution layers (4×4 kernels, 2×2 strides, using 16,32,64,128 channels) 사용
+- Gaussian weights 초기화, final projection layer에서 zero convolution 도입.
+
+**Temporal Layer**
+
+- 이미 많은 곳에서 T2I 모델에 temporal layer를 통합했을 때 frame간 temporal dependency가 가능함을 보임.
+- 본 방법에서는 U-Net 내 Res-Trans block 안에 있는 spatial-attention과 cross-attention 진행 후에 temporal layer 추가
+- 순서 1) reshape : $x \in \mathcal{R}^{b \times t \times h \times w \times c }$ → $x \in \mathcal{R}^{(b \times h \times w) \times t \times c }$
+- 순서 2) temporal attention 수행 → residual connection
+- 효과 : appearance details에 대한 temporal smoothness & continuity
+
+### 3.3 Training Strategy
+
+- 훈련 두 단계
+- 첫 번째 단계
+ - temporal layer를 제외한 single-frame noise를 입력으로 받는 모델 학습
+ - ReferenceNet & Pose Guider
+ - reference 이미지는 전체 비디오 클립에서 랜덤으로 선택
+ - 초기 weight는 사전학습된 SD weight
+ - Pose Guider는 마지막 projection layer를 제외한 모든 layer gaussian weight 초기화
+ - VAE Encoder, Decoder, CLIP image encoder 는 그대로
+- 두 번째 단계
+ - 첫 번째 단계에서 훈련한 모델 속 temporal layer만 훈련
+ - temporal layer 초기값 : AnimateDiff pretrained weight
+ - 입력 : 24frame video clip
+
+## 4. Experiments
+
+### 4.1 Implementations
+
+- Data : 5K character video clips (2-10 seconds long) 인터넷에서 다운로드
+- Pose Estimation Model : DWPose(Distillation for Whole-body Pose estimator) (23.07) [https://github.com/IDEA-Research/DWPose](https://github.com/IDEA-Research/DWPose)
+(the student’s head with only 20% training time as a plug-and-play training strategy)
+- GPU : 4 NVIDIA A100 GPUs
+- 첫 번째 훈련 단계 : 768×768 해상도 video frame sampled, resized, and center-cropped 30,000 steps, batch size 64.
+- 두 번째 훈련 단계 : temporal layer 10,000 steps 24-frame video sequences, batch size 4.
+- learning rates : 1e-5.
+- Inference 단계 : reference image의 캐릭터 skeleton의 길이에 근사하기 위해서 유도된 pose skeleton의 길이 rescale
+- DDIM sampler, 20 steps
+- 긴 영상 생성을 위해 temporal aggregation method 채택
+- Evaluation : benchmark dataset 2개(UBC fashion video dataset, Tik-Tok dataset) 사용
+
+### 4.2 Qualitative Results
+
+:::{figure-md}
+
+
+Figure 3 Qualitative Results
+:::
+
+- 전신이 나오는 임의의 characters, 절반 길이의 portraits, cartoon characters, humanoid characters에 대해 animation
+- reference image와 유사한 temporal consistency를 보이는 사실적인 결과 생성
+
+### 4.3 Comparisons
+
+- SSIM, PSNR, LPIPS, FVD(Fréchet ***Video*** Distance)
+
+**Fashion Video Synthesis**
+
+:::{figure-md}
+
+
+Table 1 Quantitative Comparison for fashion video synthesis
+:::
+
+- Quantitative comparison - Table 1
+ - UBC fashion video dataset
+ (500 training & 100 testing videos로 구성, 각 video 약 500 frames)
+
+:::{figure-md}
+
+
+Figure 4 Qualitative comparison for fashion video synthesis
+:::
+
+- DreamPose & BDMM은 옷의 일관성을 잃어버리는 문제. 색과 섬세한 구조적 요소에 대한 error 발생
+- 반면, 제안 방법은 옷의 세부 내용까지 일관성있게 보존됨.
+
+**Human Dance Generation**
+
+:::{figure-md}
+
+
+Table 2 Quantitative comparison for human dance generation
+:::
+
+- Quantitative comparison - Table 2
+ - TikTok dataset
+ (340 training & 100 testing single human dancing videos (10-15s))
+
+:::{figure-md}
+
+
+Figure 5 Qualitative comparison between DisCo and Animate Anyone method
+:::
+
+- DisCo에서는 인물 foreground mask를 위해 SAM 활용하는 pipeline 활용
+- 그러나 본 방법에서는 masking 없이 모델 자체가 subject motion으로부터 전경과 배경의 구분 가능
+- 복잡한 dance sequence에서도 시각적으로 연속적인 motion을 보여줌. robustness
+
+**General Image-to-Video Methods**
+
+:::{figure-md}
+
+
+Figure 6 Qualitative comparison with image-to-video methods
+:::
+
+- 비교 모델 : AnimateDiff & Gen-2
+- reference image에 대한 외관 신뢰도만 비교
+- image-to-video 방법은 얼굴이 일관되게 유지되는 문제에 봉착된 상황 속에서 다른 모델 대비 제안 모델이 긴 시간동안 apperance consistency 유지
+
+### 4.4 Ablation study
+
+:::{figure-md}
+
+
+Figure 7 Ablation study of different design
+:::
+
+:::{figure-md}
+
+
+Table 3 Quantitative comparison for ablation study
+:::
+
+- ReferenceNet design 효과성 증명을 위한 Ablation study
+ - (1) CLIP image encoder만 사용
+ - (2) 초기 finetuning SD 이후 reference image 기반 ControlNet training
+ - (3) 위 2 방법론 통합
+- 결론 : ReferenceNet를 사용하는 것이 모든 방법 대비 가장 좋았다.
+
+## 5. Limitations
+
+- 1) 손의 안정적인 움직임을 보이는 것에 어려움을 보임. 가끔 왜곡, motion blur 발생
+- 2) 제공하는 이미지는 한 측면만 보이기 때문에 보이지 않은 부분에 대해서는 ill-posed problem으로 불안정
- 3) DDPM 활용에 따른 non-diffusion 기반 모델 대비 낮은 operational efficiency
\ No newline at end of file
diff --git a/_sources/docs/review/BBDM.md b/_sources/docs/review/BBDM.md
index 1fefa405..227468ad 100755
--- a/_sources/docs/review/BBDM.md
+++ b/_sources/docs/review/BBDM.md
@@ -1,702 +1,702 @@
-``` {admonition} Information
-- **Title:** {BBDM: Image-to-image Translation with Brownian Bridge Diffusion Models}, {CVPR 2023}
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2205.07680](https://arxiv.org/abs/2205.07680)
- - Code: [https://github.com/xuekt98/BBDM](https://github.com/xuekt98/BBDM)
-
-- **Author:** SeonHoon Kim
-- **Edited by:** SeonHoon Kim
-
-- **Related Youtube:** Youtube video
-
-- **Last updated on Nov. 13, 2023**
-```
-
-# BBDM
-
-- **BBDM**
- - BBDM 은 Brownian Bridge 를 Diffusion Model 에 도입한 최초의 모델
- - Image to Image Translation 분야에서 Conditional Diffusion Models 의 한계를 극복함
-
-
BBDM 을 이해하기 위해서는 Brownian motion process 와 Brownian Bridge 를 이해해야함. Brownian motion process 는 stochastic process 에 해당함.
- -- **Stochastic Process** - - 시간의 흐름에 따라 불확실성을 가지고 변하는 확률 변수들의 집합 - - Stochastic process 는 $X_t$ 와 같이 나타낼 수 있는데,
- 여기서 X 는 확률 변수를,
- t 는 확률 변수가 관찰된 시간을 나타냄 - - X 와 t 는 각각 Discrete 혹은 Continuous 로 구분할 수 있음 - - Discrete RANDOM VARIABLE & Discrete TIME - - Discrete RANDOM VARIABLE & Continuous TIME - - **Continuous RANDOM VARIABLE & Discrete TIME** - - **Continuous RANDOM VARIABLE & Continuous TIME** -- **Brownian Motion Process (Wiener Process) 소개** - - **Brownian Motion** - - 유체의 미소입자가 불규칙하게 운동하는 현상 - - :::{figure-md} -
-
- 굴뚝에서 퍼져나간 연기 사진을 오른쪽으로 90도 회전시킨 사진
- :::
-
-
위 사진으로부터 Brownian motion process 를 직관적으로 이해해볼 수 있음.
- - - **Brownian Motion Process (Wiener Process)** - - Brownian Motion 을 연속 시간 확률 과정으로 모델링한 것 - - :::{figure-md} -
-
- $W_0$ = 0 이고 max time T=1000 인 Wiener Process 를 100번 Sampling 한 결과
- :::
-
- - **Brownian Motion Process (Wiener Process)** 는
- **Continuous RANDOM VARIABLE & Continuous TIME 를 갖는 Stochastic Process** 로,
- $W_t$ 와 같이 나타낸다. -- **Brownian Motion Process (Wiener Process) 를 이해해보자** - - **가정해보자** - 1. $t = 0 → W_t = W_0 = 0$ 이라고 하자. - 2. 쉽게 이해하기 위해, TIME t 가 Discrete 하다고 가정해보자.
- (BBDM 은 t 를 정수 0~1000 으로 설정) - - **Requirements** - 1. Brownian Motion Process 는 Stochastic Process 이다.
- **TIME t 마다 stochasticity 가 부여되어야** 한다. - 2. **시간 간격과 W 의 변화량이 비례해야 한다.**
- (즉, 더 오래 지났을수록 더 많이 변한다.) - - **Notation** - - :::{figure-md} -
-
- Source : [https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB](https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB)
- :::
-
- - $\Delta t$ = 시간 간격
- - n = 살펴보고자 하는 시간 간격의 수
- - $T = n * \Delta t$
- - i.i.d $\epsilon_t \sim N(0, 1)$
- - $\Delta W_t$ = t 시점에서 그 다음 시간 간격까지 증가한 W 의 값
- $= W_{t+\Delta t} - W_t$
- = $\epsilon_t \sqrt {\Delta t}$
- - **이해**
- - $\Delta W_t = W_{t+\Delta t} - W_t = \epsilon_t \sqrt {\Delta t}$ 라고 정의해 본 근거를
- 위의 Requirements 에서 찾아보면..
- - **확률 변수 $\epsilon$ 를 도입함으로써 stochasticity 부여**
- - $\Delta t$ 를 도입함으로써 **시간 간격도 고려 가능**
- - **그렇다면 왜 하필 $\sqrt {\Delta t}$ 를 곱했을까?**
- 1. $\Delta t$ 가 0 에 가까워질 때, $\sqrt{\Delta t}$ 는 천천히 0 에 수렴함.
- **만약 TIME t 가 continuous 하다면, $\Delta t$ 는 매우 작은 값**이 됨.
- **$\Delta W_t = \epsilon_t {\Delta t}$ 라면 $\Delta W_t$ 가 너무 작아짐.**
- 2. $\Delta t$ 가 커질 때, $\sqrt{\Delta t}$ 는 천천히 커짐
- - **주의할 사항**
- - i.i.d $\epsilon_t \sim N(0, 1)$ 이므로,
- $\Delta W_t = \epsilon_t \sqrt {\Delta t}$ 에서 $\Delta W_0$ 와 $\Delta W_1$ 은 서로 독립인 것이 맞지만,
- **$W_0$ 과 $W_1$ 이 독립이라는 말은 아님.**
- - $\Delta W_0 = \epsilon_0 \sqrt {\Delta t}$ 이므로,
- $W_{\Delta t} = W_0 + \epsilon_0 \sqrt {\Delta t} = 0 + \epsilon_0 \sqrt {\Delta t} = \epsilon_0 \sqrt {\Delta t}$
- - $\Delta W_{\Delta t} = \epsilon_{\Delta t} \sqrt {\Delta t}$ 이므로,
- $W_{2\Delta t} = W_{\Delta t} + \epsilon_{\Delta t} \sqrt {\Delta t} = (\epsilon_0 + \epsilon_{\Delta t}) * \sqrt {\Delta t}$
- - $Var(\Delta W_{\Delta t}) = Var(\epsilon_{\Delta t} \sqrt {\Delta t}) = Var(\epsilon_{\Delta t}) * \sqrt {\Delta t}^2 = 1 * \sqrt {\Delta t}^2 = \Delta t$
- - $\mathbb{E}(\Delta W_{\Delta t}) = \mathbb{E}(\epsilon_{\Delta t} \sqrt {\Delta t}) = \mathbb{E}(\epsilon_{\Delta t}) * \sqrt {\Delta t} = 0 * \sqrt {\Delta t} = 0$
- - $\Delta W_{T-\Delta t} = \epsilon_{T-\Delta t} \sqrt {\Delta t}$
- $W_T = (\epsilon_0 + \epsilon_{\Delta t} + \epsilon_{2\Delta t} + ... + \epsilon_{T-\Delta t}) * \sqrt {\Delta t}$
- - $\mathbb{E}(W_T) = 0$
- - $Var(W_T) = n * \Delta t = T$ (각각의 $\epsilon$ 은 서로 i.i.d 이므로 공분산은 0)
- - 즉, $W_T \sim N(0,T)$
-
- :::{figure-md}
- 
-
- Source : [https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB](https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB)
- :::
-
- 파란색 점들은, Brownian Motion Process 를 1번 Sampling 한 결과임 (one representation) 를 나타냄
- - :::{figure-md} -
-
- Source : [https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB](https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB)
- :::
-
- - t=0 부터 t=T 까지 Wiener Process 를 수행하면,
- $W_t$ 는 $W_T - W_0$ 만큼 변한다. - - $(W_T - W_0) \sim N(0, T-0)$ - - $(W_{t_2}-W_{t_1}) \sim N(0,t_2-t_1)$ - - ex. 5분 에서 10분으로 Wiener Process 를 진행하면, $W_5$ 는 0 이 아닐 수 있으나, 그 변화량 $(W_{t_{10}}-W_{t_5})$ 은 N(0, 10 - 5) 를 따른다. - -- **Brownian Bridge** - - X 가 Standard Wiener Process 라고 하자.
- 0 시점과 T 시점의 X 값을 알고,
- 0
-
- Brownian Bridge 이해를 위한 Linear Bridge
- :::
-
- Brownian Bridge 는 Standard Wiener Process 의 Conditional Probability Distribution 이다.
- Starting state W(0) 과 Ending state W(T) 의 값에 Conditioned 되어 있다.
- 아래와 같이 정의될 수 있다. - - :::{figure-md} -
-
- Brownian Bridge
- :::
-
-
아래의 그림을 보면, 0 이라는 시작값과 123 이라는 마지막 값에 conditioned 되어 있는 것을 확인할 수 있다.
Brownian Bridge 의 분산은 0 에서 시작해서 증가하다가, T/2 시점에서 최대가 되었다가, 이후로는 감소하여 마지막엔 0 에 수렴하게된다. - - :::{figure-md} -
-
- $W_0$ = 0 에서 $W_1000$ = 123 까지 100개의 Brownian Bridge 를 샘플링한 결과
- :::
-
-- **Abstrcat**
-
- :::{figure-md}
- 
-
- Conditional Diffusion Models 와 BBDM 의 비교
- :::
-
- - **기존의 Diffusion 모델**들은,
- Image-to-Image 변환을 **Conditional generation process** 로 다룸.
- 이로 인해, **매우 상이한 도메인 사이의 변환**에는 **어려움**이 있음. - - 이를 **해결하기 위해**,
- 본 논문은 **Brownian Bridge** **에 기반한 Image-to-Image 변환 방법을 제시**함 - - **BBDM** 은 Conditional generation process 가 아닌
- **Stochastic Brownian Bridge Process** 로 두 도메인 사이의 변환을 모델링하므로,
**Bidirectional Diffusion Process** 임. - - Brownian Bridge diffusion process 를 Image-to-Image 변환에 접목한 최초의 논문임 - - BBDM 모델의 훌륭한 성능을 실험적으로 증명함
-1. **Introduction** - - I2I 변환에서 **Non-diffusion models 의 한계** - - Pix2Pix 와 같은 **conditional GANs** 는 **fideltiy 가 높았으나,** - 학습이 어렵고, **DIversity 가 떨어진다.** - - Diversity 가 떨어지는 이유 : conditional GANs 는 input image 를 output image 에 one-to-one mapping 하는 방법을 학습하기 때문 - - **VAE** 같은 **생성형 모델**들은 GANs 만큼의 I2I 성능이 안나오고, - **Applicability** 가 GANs 보다 **떨어진다.** - - I2I 변환에서 **conditional diffusion models 의 한계** - - conditional diffusion models 는 **reference image** 의 encoded feature 를 **직접 U-Net 에 통합**시킴으로써 diffusion models 의 reverse process 를 guide 함 - - 하지만 이렇게 **생성된 결과가 desired conditional distribution 을 추론해낸다는 명료한 이론적 근거가 없음** - - 대부분의 **conditional diffusion models 는 generalization 이 잘 안되므로,** - conditional input domain 과 output domain 이 유사한 - 몇몇 applications 에서만 잘 활용될 수 있음 - - ex. inpainting 혹은 super-resolution - - **LDM** 이 latent space 에서 diffusion process 를 수행함으로써 - **generalization 을 개선**하긴 했으나 **여전히 conditional generation process** 임 - - **LDM** 의 경우, **복잡한 attention mechanism 으로 multi-modal condition** 이 주어지므로, **이론적 근거를 제시하기가 더 힘듦** - - **본 논문에서 제안하는 BBDM 모델** - - :::{figure-md} -
-
- BBDM 의 아키텍쳐
- :::
-
- - **BBDM** 모델은 **input 과 output 도메인 간의 mapping** 을
- **Brownian Bridge stochastic process 를 통해 구축**함
- - 가속을 위해 Latent space 에서 diffusion process 를 수행함
- 1. **Related Work**
- - **2.1. Image-to-Image Translation** - - introduction 참고
- - **2,2. Duffusion Models**
- - **Diffusion Models** 의 simplified **objective** 를 잠깐 살펴보면, 다음과 같음. - - :::{figure-md} -
-
- Diffusion Models 의 Simplified objective
- :::
-
- - 대부분의 **conditional Diffusion Models** 는 **condition 을 objective 에 직접 “주입”**.
- 아래의 그림을 보면, conditional input image y 가 삽입된 것을 볼 수 있음. - - :::{figure-md} -
-
- Conditional Diffusion Models 의 Simplified objective
- :::
-
- - $p(x_t|y)$ 가 objective 에 드러나 있지 않으므로,
- **desired conditional distribution 에 도달할 수 있을 것**이라는 **이론적 보장이 없음**
- - **2.3. Brownian Bridge**
- - **Brownian Bridge** 는 **diffusion process 동안의 확률 분포가** - **starting state (t=0)** 와 **ending state (t=T)** 에 **conditioned 되어 있는,** - **time stochastic model** 임 - - :::{figure-md} -
-
- 식(3)
- :::
-
- 앞서 보았던 Brownian Bridge 의 평균과 분산을 구해보자.
- 위의 식과 같은 의미임을 알 수 있다.
- - :::{figure-md} -
-
- Brownian Bridge
- :::
-
- - 3. **Method**
- - **3.1. Brownian Bridge Diffusion Model (BBDM)**
- - - **Conditional diffusion models** : **Gaussian noise 를 향해 Forward process 진행** - - **BBDM : conditional input y 자체를 향해 Brownian Bridge process 진행**
- - :::{figure-md} -
-
- Conditional Diffusion Models 와 BBDM 의 비교
- :::
-
- - - VQGAN 의 latent space 에서 diffusion process 를 수행 - - **x** 가 **A 도메인 영상의 latent features** 이고,
- **y** 가 **B 도메인 영상의 latent features** 일 때,
- **Forward diffusion process 는 다음과 같이 정의**됨 - - :::{figure-md} -
-
- 식(4)
- :::
-
- - **T** 는 diffusion process 의 **total steps** 이다.
- - $δ_t$ 는 **분산**이다.
- - 식 (3) 에 나타난 분산 $δ_t={t(T −t)\over T}$ 를 사용하게 되면,
- **가능한 최대 분산값**은, **middle step 인 $T\over 2$ 에서의 분산값인 $δ_{T\over 2} = {T \over 4}$ 가 됨**
- - T 값이 커지면, 최대 분산값도 커지는데, **이 분산 값은 다루기에 너무 큼**
- - $x_0,y \sim N(0,I)$ 이면서 서로 독립일 때,
- Brownian Bridge diffusion process 를 위한 **분산 scheduling** 을
- 다음과 같이 해볼 수 있다.
-
- :::{figure-md}
- 
-
- Brownian Bridge diffusion process 를 위한 분산 Scheduling
- :::
-
- - 만약 t 는 양의 정수의 discrete time 이고, 그 최댓값인 T=1000 이라면
- $\delta_t$ 는 아래 그림과 같게 된다.
-
- :::{figure-md}
- 
-
- $\delta_t$ 를 시각화한 결과
- :::
-
- - $m_t = t\overT$ 이고, $\delta_t = 2(m_t - m_t^2)$ 이므로,
- - - diffusion process 가 시작하는 **t = 0 에서는, $m_0$ = 0** 이고, - **평균은 $x_0$** 이며 - **분산은 0** 이 된다.
- - diffusion process 가 끝나는 **t = T 에서는,** - $m_T$ **= 1** 이고, - **평균은 y** 이고, - **분산은 0** 이 된다.
- - **분산이,** - diffusion process 의 **중간 지점까지는 최대 0.5 까지 증가**하다가,
- 중간 지점부터 **끝나는 지점까지는 0 으로 감소** - - **Brownian Bridge diffusion process** 에서의 **sampling diversity** 는 - **최대 분산값,
즉 middle step 인 $t = {T\over 2}$ 에서의 분산값에 의해 결정**됨 - - **분산을 스케일링하는 변수 s** **를 두어** **sampling diversity 를 조절**할 수 있다. - - :::{figure-md} -
-
- 식(5) : sampling diversity 조절을 위한 계수 s 가 포함된 분산 scheduling
- :::
-
- - 이 논문에서 **s 의 디폴트 값은 1**
-
- - **3.1.1 Forward Process**
- - **식 (4)** 에서는 **step t 에서의 marginal distribution 만 제공** - - **training 과 inference process 를 위해**서는 **forward transition probability** 인 $q_{BB}(x_t|x_{t-1}, y)$ 를 알아야함 - - **식 (4) 에 의해, $x_0$ 와 $y$ 가 주어졌을 때의 $x_t$ 와** $x_{t-1}$ 은 다음과 같이 쓸 수 있음 - - :::{figure-md} -
-
- 식(4)
- :::
-
- :::{figure-md}
- 
-
- 식(6) & 식(7)
- :::
-
- - 참고. 위 식 (7) 의 $m_ty$ 는 $m_{t-1}y$ 로 쓰는 것이 옳음
-
- :::{figure-md}
- 
-
- $\epsilon$ 은 i.i.d 하게 N(0, I) 를 따른다
- :::
-
- - **식 (6) 의 $x_0$ 를 식 (7) 의 $x_0$ 로 대체**하면,
- **Forward transition probability $q_{BB}(x_t|x_{t-1}, y)$** 가 아래의 **식 (8)** 과 같이 유도됨
-
- :::{figure-md}
- 
-
- 식(8)
- :::
-
- - 증명
- - 식(7) 을 다음과 같이 쓸 수 있음
- - $x_0 = {x_{t-1}-m_{t-1}y-\sqrt {\delta_{t-1}} \epsilon_{t-1} \over 1-m_{t-1}}$
- - 식(6) 의 $x_0$ 에 위의 $x_0$ 를 대입
- - $x_t = {(1-m_t)x_{t-1} \over (1-m_{t-1})} - {(1-m_t)m_{t-1}y \over (1-m_{t-1})} - {(1-m_t)\sqrt {\delta_{t-1}}\epsilon_{t-1} \over (1-m_{t-1})} + m_ty + \sqrt{\delta_t} \epsilon_t$
- - $= {(1-m_t)x_{t-1} \over (1-m_{t-1})} + y(m_t - {(1-m_t) \over (1-m_{t-1})}m_{t-1}) + \sqrt {\delta_t}\epsilon_t - {(1-m_t)\sqrt {\delta_{t-1}}\epsilon_{t-1} \over (1-m_{t-1})}$
- - 이후, $Var(x_t)$ 를 구하면, 아래의 $\delta_{t|t-1}$ 와 같이 유도됨
-
- :::{figure-md}
- 
-
- $\delta_{t|t-1}$ 식
- :::
-
- - t=T 가 될 때 $m_T = 1$ 인데, 이때 식(8) 에 의해 $x_T = y$ 임.
- ↓
- ”아, Forward diffusion process 는 확실히..
- A 도메인으로부터 B 도메인으로의 fixed mapping 을 정의하는구나”
-
- - **3.1.2 Reverse Process**
- - **conditional diffusion models** 의 **reverse process** 는,
- **Gaussian noise 로부터 시작**하며,
- 매 스텝마다 조금씩 noise 를 제거해나감
- - 반면, **BBDM 의 Brownian Bridge process 는 $x_T = y$ 로 둠으로써,
- conditional input 그 자체에서 Reverse process 를 시작**함 - - :::{figure-md} -
-
- 식(9)
- :::
-
- - $\mu_\theta (x_t,t)$ 는 U-Net 에 의해 예측된 노이즈 평균값이며, $\tilde{\delta_t}$ 는 노이즈의 분산
- - DDPM 처럼, 임의의 parameters $\theta$ 를 갖는 신경망 **U-Net 은 $\mu_\theta (x_t,t)$ 를 학습**
-
- - **3.1.3. Training Objective**
- - **참고.**
- - 예전 **DDPM 의 Loss** 는 다음과 같았음.
-
- :::{figure-md}
- 
-
- DDPM 의 Loss
- :::
-
- - 그리고, 이로부터 simplified 된 **objective** 는 다음과 같음
-
- :::{figure-md}
-
-
- DDPM 의 simplified objective
- :::
-
- - **Brownian Bridge diffusion process** 의 **ELBO**
-
- :::{figure-md}
- 
-
- 식(10) : BBDM 의 ELBO
- :::
-
- - **첫 번째 term :** $x_T$ 가 곧 y 이므로 무시할 수 있음
- - **세 번째 term** : 매우 작은 값이 되므로 무시할 수 있음
- - **베이즈 이론과 Markov chain property 를 식 (4) 와 식 (8) 에 적용**하여,
- 다음과 같이 **식 (11) 이 도출**된다.
- - 참고. Markovian Chain
- - $q(x_t|x_{t-1}) = q(x_t|x_{t-1}, x_{t-2}, … , x_0)$
- - Markov chain property 에 의해,
- $q_{BB}(x_t|x_{t-1},y) = q_{BB}(x_t|x_{t-1},x_0,y)$ 가 성립됨을 활용 - - 식(4) - - :::{figure-md} -
-
- 식(4)
- :::
-
- - 식(8)
-
- :::{figure-md}
-
-
- 식(8)
- :::
-
- - 식(11) & 식(13)
-
- :::{figure-md}
- 
-
- 식(11)
- :::
-
- :::{figure-md}
- 
-
- 식(13)
- :::
-
- - 증명
- - ${q_{BB}(x_{t}|x_{t-1},y)q_{BB}(x_{t-1}|x_{0},y)\over q_{BB}(x_{t}|x_{0},y)}$
- - $= {{q_{BB}(x_{t},x_{t-1},y) \over q_{BB}(x_{t-1},y)} {q_{BB}(x_{t-1},x_{0},y) \over q_{BB}(x_{0},y)} \over {q_{BB}(x_{t},x_{0},y)\over q_{BB}(x_{0},y)}}$
- - $= q_{BB}(x_{t}|x_{t-1},y){q_{BB}(x_{t-1},x_{0},y)\over q_{BB}(x_{t},x_{0},y)}$
- - $= q_{BB}(x_{t}|x_{t-1},x_{0},y){q_{BB}(x_{t-1},x_{0},y)\over q_{BB}(x_{t},x_{0},y)}$
- - $= {q_{BB}(x_{t},x_{t-1},x_{0},y)\over q_{BB}(x_{t},x_{0},y)}$
- - $= q_{BB}(x_{t-1}|x_{t},x_{0},y)$
-
- - 위 식 (11) 의 평균은, 식 (12) 와 같이 정리됨
-
- :::{figure-md}
- 
-
- 식(12)
- :::
-
- - 식(4) 와 식(12) 를 통합하고 Reparameterization method 를 사용해서
- $\tilde {\mu_t}$ 를 다음과 같이 변형할 수 있음
-
- :::{figure-md}
- 
-
- 식(12) 의 변형
- :::
-
- - 참고. 식(4)
-
- :::{figure-md}
-
-
- 식(4)
- :::
-
-
- - 하지만, 실제로 U-Net 은 전체 $\tilde {\mu_t}$ 를 예측하는 것이 아니라,
- 노이즈를 예측하도록 학습됨.
- - 이 내용을 식에 명시하기 위해,
- **식(9) 에 명시된 $\mu_\theta$ 를 식(14) 와 같이 다시 써볼 수 있음.
- $x_t$ 와 y, 그리고 예측된 노이즈 $\epsilon_\theta$ 의 linear combination 으로 다시 써보는** 것임. - - :::{figure-md} -
-
- 식(9)
- :::
-
- :::{figure-md}
- 
-
- 식(14)
- :::
-
- - 그런데, 아래 그림을 참고해보면 우리는 $\tilde {\mu_t}$ 에 근사하도록 $\mu_\theta$ 를 학습시켜야함.
-
- :::{figure-md}
- 
-
- $\tilde {\mu}_t$ 의 정리된 식
- :::
-
- - 즉, $\epsilon_\theta (x_t,t)$ 가 $m_t(y-x_0)+\sqrt {\delta_t}\epsilon$ 을 근사하도록 학습되어야하는 것임.
-
- - ELBO 의 두 번째 term 을 다시 살펴보면,
- - **두 번째 term** : $D_{KL}(q_{BB}(x_{t-1}|x_t, x_0, y)||p_\theta (x_{t-1}|x_t,y))$
- - - $arg \space min_\theta \space D_{KL}(q_{BB}(x_{t-1}|x_t, x_0, y)||p_\theta (x_{t-1}|x_t,y))$ - =$arg \space min_\theta \space (\tilde {\mu}_t(x_t,y) - \mu_\theta (x_t,y,t))$ - =$arg \space min_\theta \space (c_{\epsilon_t}(m_t(y-x_0) + \sqrt {\delta_t}\epsilon) - c_{\epsilon_t}\epsilon_\theta(x_t,t))$ - =$arg \space min_\theta \space (c_{\epsilon_t} (m_t(y-x_0) + \sqrt {\delta_t}\epsilon - \epsilon_\theta(x_t,t)))$
- - - 따라서, ELBO 는 다음과 같이 단순화될 수 있음 - - :::{figure-md} -
-
- BBDM 의 Simplified ELBO
- :::
-
-
- - **Training Algorithm 정리**
-
- :::{figure-md}
- 
-
- Algorithm 1 : Training. 마치 DDPM 에서 그러했듯이, BBDM 도 실제 Loss 에는 Simplified ELBO 에서의 계수 $C_{\epsilon_t}$ 가 빠진 것을 확인할 수 있다.
- :::
-
-
- - **3.2. Accelerated Sampling Processes**
- - **DDIM 과 비슷하게, BBDM 의 inference processes** 도 - **non-Markovian process 를 사용해서 가속시킬 수 있음** - - Sampling steps 의 길이를 S 라고 두었을 때, - **inference process** 는 **latent varibales $x_{1:T}$ 의 subset** 에 의해 다음과 같이 정의됨 - - **latent varibales $x_{1:T}$ 의 subset** - - :::{figure-md} -
-
- **latent varibales $x_{1:T}$ 의 subset**
- :::
-
- - **inference process**
-
- :::{figure-md}
- 
-
- inference process
- :::
-
- - **Sampling Algorithm**
-
- :::{figure-md}
- 
-
- Algorithm 2 : Sampling
- :::
-
- - 본 논문에서는 **S 값의 디폴트**를 **200** 으로 두었음
- 4. **Experiments**
- - **4.1. Experiment Setup**
- - **모델 & 하이퍼마라미터** - - BBDM 프레임워크는 pretrained VQGAN 과 BBDM 으로 이루어짐 - - **Latent Diffusion Model 에서 사용된 것과 같은 pretrained VQGAN 을 사용** - - training stage 에서의 time steps 는 1,000 - - inference stage 에서의 sampling steps 는 200
- - **Evaluation** - - FID 와 LPIPS 사용 - - 생성물의 diversity 를 평가하기 위해서, - 하나의 conditional input y 마다 5개의 샘플을 생성하고, - 각 픽셀 마다의 표준편차의 평균을 구함. - 그 후 전체 test 데이터셋에 대해서 평균 냄.
- - **Datasets** - - BBDM 의 I2I 변환 능력을 평가하기 위해서, 여러 task 로 실험함
- 1. **Semantic Synthesis 능력**을 CelebAMask-HQ dataset 으로 실험 - 1. semantic layout 만 주고 photorealistic 한 images 를 생성해내는 능력 평가
- 2. **sketch-to-photo 능력**을 edges2shoes 와 edges2handbags 로 실험 - 1. edges 만 주고 realistic images 생성해내는 능력 평가
- 3. **style transfer 능력**을 faces2comics 로 실험 - 1. 위 두 실험은 서로 상이한 domains 간의 변환 능력을 평가했다면, - Style transfer 실험에서는 서로 비슷한 domains 간의 I2I 변환 능력을 평가
- - **4.2. Qualitative Comparison**
- - :::{figure-md} -
-
- Figure 3. CelebAMask-HQ 데이터셋에 대한 추론 결과
- :::
-
- :::{figure-md}
- 
-
- Figure 4. 다른 Image-to-Image 변환 task 에 대한 추론 결과
- :::
-
- :::{figure-md}
- 
-
- Figure 5. 다른 Image-to-Image 변환 task 에 대한 추론 결과
- :::
-
- - Pix2Pix 는 지도 학습 방식으로 학습하므로, 괜찮은 결과를 냄
- - 반면 **CycleGAN** 은 **작은 스케일의 데이터셋**에서는 **성능이 떨어짐**
- - DRIT++ 은 GAN 기반 모델들 중에서는 좋은 성능을 냈으나,
- 변환된 이미지들이 oversmoothed 되어 있었고,
- ground truth distribution 과는 거리가 멀었음
- - conditional diffusion model 인 **CDE** 와 **LDM** 은
- GAN 기반 모델들보다는 **좋은 성능**을 냈으나,
- **conditional information 에 큰 영향**을 받음
- - **Figure 3 의 첫 번째 줄**을 보면 i**rregular occlusions** 가 나타나는데,
- **CDE 와 LDM 은 이에 큰 영향**을 받음
- - 반면 **BBDM 은 두 도메인 간의 직접적인 diffusion process 를 학습**하므로
- **이러한 문제로부터 자유로움**
- - 또한 Brownian Bridge 의 stochastic 한 특성으로 인해
- fidelity 와 diversity 가 높은 이미지들을 생성해냄
- - **4.3. Quantitative Comparison**
- - Table 1 과 2 를 보면, BBDM 이 모든 실험에서 가장 좋은 FID 값을 기록했으며, 훌륭한 LPIPS 값을 기록함 - - :::{figure-md} -
-
- Table 1. CelebAMask-HQ 데이터셋에 대한 FID, LPIPS 성능은 BBDM 이 가장 뛰어남
- :::
-
- :::{figure-md}
- 
-
- Table 2. BBDM 은 FID, LPIPS 점수가 매우 뛰어났음
- :::
-
-
- - **4.4. 다른 Translation Tasks**
- - **BBDM 의 generalization 성능을 검증**하기 위해서, 다른 tasks 에 대해서도 실험했음 - - 아래 그림과 같이, **다른 tasks 에서도 camparable 한 성능을 기**록함 - - :::{figure-md} -
-
- Figure 6. Face-to-label, 색상화, inpainting 등의 다른 tasks 에서도 뛰어난 성능을 기록함
- :::
-
-
- - **4.5. Ablation Study**
- - **pre-trained latent space 의 영향** - - :::{figure-md} -
-
- Table 3. BBDM 은 LDM 에 비해 Downsampling factor 에 대해 robust 했음
- :::
-
- - **BBDM 과 LDM** 에 대해서,
- **VQGAN downsampling factor** 를 **각각 4, 8, 16 으로 두고 성능 비교 실험 수행**
- - **BBDM 은 down sampling factor 에 robust** 했음
- - **Sampling steps 의 영향** - - **Sampling steps 가 작을 때 (200 이하) 는, 조금만 늘려도 성능이 크게 증가**
- :::{figure-md} -
-
- Table 4. 200 이상의 Sampling Steps 에서는 Steps 를 키워도 성능 변화가 미미함
- :::
-
- - **Brownian Bridge 의 maximum variance 의 영향** - - :::{figure-md} -
-
- Table 5. Sampling diversity 조절 계수에 의해 실제로 Diversity 가 조절 되었음
- :::
-
- - 식 (5) 에 나타난 것처럼, **scaling factor s 의 값을 변경**함으로써,
- **Brownian Bridge 의 최대 분산값 (t = T/2 일 때의 분산값) 조절 가능.**
- **이렇게 diversity 조절 가능.**
-
- :::{figure-md}
-
-
- 식(5)
- :::
-
- 5. **Conclusion and Future Work**
- - **Brownian Bridge 에 기반한 새로운 I2I 변환 방법 제시**
- - 이 방법은 기존의 conditional 한 방법과 달리,
- **Brownian Bridge diffusion process 를 통해 두 도메인 간의 mapping 을 직접 학습**
- - **여러 tasks 에서의 실험을 통해 BBDM 의 성능 검증**
- - text-to-image 와 같은 multi-modal tasks 에도 BBDM 을 적용해볼 예정
-
-- **참고 자료**
- - [https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB](https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB)
+``` {admonition} Information
+- **Title:** {BBDM: Image-to-image Translation with Brownian Bridge Diffusion Models}, {CVPR 2023}
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2205.07680](https://arxiv.org/abs/2205.07680)
+ - Code: [https://github.com/xuekt98/BBDM](https://github.com/xuekt98/BBDM)
+
+- **Author:** SeonHoon Kim
+- **Edited by:** SeonHoon Kim
+
+- **Related Youtube:** Youtube video
+
+- **Last updated on Nov. 13, 2023**
+```
+
+# BBDM
+
+- **BBDM**
+ - BBDM 은 Brownian Bridge 를 Diffusion Model 에 도입한 최초의 모델
+ - Image to Image Translation 분야에서 Conditional Diffusion Models 의 한계를 극복함
+
+
BBDM 을 이해하기 위해서는 Brownian motion process 와 Brownian Bridge 를 이해해야함. Brownian motion process 는 stochastic process 에 해당함.
+ +- **Stochastic Process** + - 시간의 흐름에 따라 불확실성을 가지고 변하는 확률 변수들의 집합 + - Stochastic process 는 $X_t$ 와 같이 나타낼 수 있는데,
+ 여기서 X 는 확률 변수를,
+ t 는 확률 변수가 관찰된 시간을 나타냄 + - X 와 t 는 각각 Discrete 혹은 Continuous 로 구분할 수 있음 + - Discrete RANDOM VARIABLE & Discrete TIME + - Discrete RANDOM VARIABLE & Continuous TIME + - **Continuous RANDOM VARIABLE & Discrete TIME** + - **Continuous RANDOM VARIABLE & Continuous TIME** +- **Brownian Motion Process (Wiener Process) 소개** + - **Brownian Motion** + - 유체의 미소입자가 불규칙하게 운동하는 현상 + + :::{figure-md} +
+
+ 굴뚝에서 퍼져나간 연기 사진을 오른쪽으로 90도 회전시킨 사진
+ :::
+
+
위 사진으로부터 Brownian motion process 를 직관적으로 이해해볼 수 있음.
+ + - **Brownian Motion Process (Wiener Process)** + - Brownian Motion 을 연속 시간 확률 과정으로 모델링한 것 + + :::{figure-md} +
+
+ $W_0$ = 0 이고 max time T=1000 인 Wiener Process 를 100번 Sampling 한 결과
+ :::
+
+ - **Brownian Motion Process (Wiener Process)** 는
+ **Continuous RANDOM VARIABLE & Continuous TIME 를 갖는 Stochastic Process** 로,
+ $W_t$ 와 같이 나타낸다. +- **Brownian Motion Process (Wiener Process) 를 이해해보자** + - **가정해보자** + 1. $t = 0 → W_t = W_0 = 0$ 이라고 하자. + 2. 쉽게 이해하기 위해, TIME t 가 Discrete 하다고 가정해보자.
+ (BBDM 은 t 를 정수 0~1000 으로 설정) + - **Requirements** + 1. Brownian Motion Process 는 Stochastic Process 이다.
+ **TIME t 마다 stochasticity 가 부여되어야** 한다. + 2. **시간 간격과 W 의 변화량이 비례해야 한다.**
+ (즉, 더 오래 지났을수록 더 많이 변한다.) + - **Notation** + + :::{figure-md} +
+
+ Source : [https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB](https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB)
+ :::
+
+ - $\Delta t$ = 시간 간격
+ - n = 살펴보고자 하는 시간 간격의 수
+ - $T = n * \Delta t$
+ - i.i.d $\epsilon_t \sim N(0, 1)$
+ - $\Delta W_t$ = t 시점에서 그 다음 시간 간격까지 증가한 W 의 값
+ $= W_{t+\Delta t} - W_t$
+ = $\epsilon_t \sqrt {\Delta t}$
+ - **이해**
+ - $\Delta W_t = W_{t+\Delta t} - W_t = \epsilon_t \sqrt {\Delta t}$ 라고 정의해 본 근거를
+ 위의 Requirements 에서 찾아보면..
+ - **확률 변수 $\epsilon$ 를 도입함으로써 stochasticity 부여**
+ - $\Delta t$ 를 도입함으로써 **시간 간격도 고려 가능**
+ - **그렇다면 왜 하필 $\sqrt {\Delta t}$ 를 곱했을까?**
+ 1. $\Delta t$ 가 0 에 가까워질 때, $\sqrt{\Delta t}$ 는 천천히 0 에 수렴함.
+ **만약 TIME t 가 continuous 하다면, $\Delta t$ 는 매우 작은 값**이 됨.
+ **$\Delta W_t = \epsilon_t {\Delta t}$ 라면 $\Delta W_t$ 가 너무 작아짐.**
+ 2. $\Delta t$ 가 커질 때, $\sqrt{\Delta t}$ 는 천천히 커짐
+ - **주의할 사항**
+ - i.i.d $\epsilon_t \sim N(0, 1)$ 이므로,
+ $\Delta W_t = \epsilon_t \sqrt {\Delta t}$ 에서 $\Delta W_0$ 와 $\Delta W_1$ 은 서로 독립인 것이 맞지만,
+ **$W_0$ 과 $W_1$ 이 독립이라는 말은 아님.**
+ - $\Delta W_0 = \epsilon_0 \sqrt {\Delta t}$ 이므로,
+ $W_{\Delta t} = W_0 + \epsilon_0 \sqrt {\Delta t} = 0 + \epsilon_0 \sqrt {\Delta t} = \epsilon_0 \sqrt {\Delta t}$
+ - $\Delta W_{\Delta t} = \epsilon_{\Delta t} \sqrt {\Delta t}$ 이므로,
+ $W_{2\Delta t} = W_{\Delta t} + \epsilon_{\Delta t} \sqrt {\Delta t} = (\epsilon_0 + \epsilon_{\Delta t}) * \sqrt {\Delta t}$
+ - $Var(\Delta W_{\Delta t}) = Var(\epsilon_{\Delta t} \sqrt {\Delta t}) = Var(\epsilon_{\Delta t}) * \sqrt {\Delta t}^2 = 1 * \sqrt {\Delta t}^2 = \Delta t$
+ - $\mathbb{E}(\Delta W_{\Delta t}) = \mathbb{E}(\epsilon_{\Delta t} \sqrt {\Delta t}) = \mathbb{E}(\epsilon_{\Delta t}) * \sqrt {\Delta t} = 0 * \sqrt {\Delta t} = 0$
+ - $\Delta W_{T-\Delta t} = \epsilon_{T-\Delta t} \sqrt {\Delta t}$
+ $W_T = (\epsilon_0 + \epsilon_{\Delta t} + \epsilon_{2\Delta t} + ... + \epsilon_{T-\Delta t}) * \sqrt {\Delta t}$
+ - $\mathbb{E}(W_T) = 0$
+ - $Var(W_T) = n * \Delta t = T$ (각각의 $\epsilon$ 은 서로 i.i.d 이므로 공분산은 0)
+ - 즉, $W_T \sim N(0,T)$
+
+ :::{figure-md}
+
+
+ Source : [https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB](https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB)
+ :::
+
+ 파란색 점들은, Brownian Motion Process 를 1번 Sampling 한 결과임 (one representation) 를 나타냄
+ + :::{figure-md} +
+
+ Source : [https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB](https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB)
+ :::
+
+ - t=0 부터 t=T 까지 Wiener Process 를 수행하면,
+ $W_t$ 는 $W_T - W_0$ 만큼 변한다. + - $(W_T - W_0) \sim N(0, T-0)$ + - $(W_{t_2}-W_{t_1}) \sim N(0,t_2-t_1)$ + - ex. 5분 에서 10분으로 Wiener Process 를 진행하면, $W_5$ 는 0 이 아닐 수 있으나, 그 변화량 $(W_{t_{10}}-W_{t_5})$ 은 N(0, 10 - 5) 를 따른다. + +- **Brownian Bridge** + - X 가 Standard Wiener Process 라고 하자.
+ 0 시점과 T 시점의 X 값을 알고,
+ 0
+
+ Brownian Bridge 이해를 위한 Linear Bridge
+ :::
+
+ Brownian Bridge 는 Standard Wiener Process 의 Conditional Probability Distribution 이다.
+ Starting state W(0) 과 Ending state W(T) 의 값에 Conditioned 되어 있다.
+ 아래와 같이 정의될 수 있다. + + :::{figure-md} +
+
+ Brownian Bridge
+ :::
+
+
아래의 그림을 보면, 0 이라는 시작값과 123 이라는 마지막 값에 conditioned 되어 있는 것을 확인할 수 있다.
Brownian Bridge 의 분산은 0 에서 시작해서 증가하다가, T/2 시점에서 최대가 되었다가, 이후로는 감소하여 마지막엔 0 에 수렴하게된다. + + :::{figure-md} +
+
+ $W_0$ = 0 에서 $W_1000$ = 123 까지 100개의 Brownian Bridge 를 샘플링한 결과
+ :::
+
+- **Abstrcat**
+
+ :::{figure-md}
+
+
+ Conditional Diffusion Models 와 BBDM 의 비교
+ :::
+
+ - **기존의 Diffusion 모델**들은,
+ Image-to-Image 변환을 **Conditional generation process** 로 다룸.
+ 이로 인해, **매우 상이한 도메인 사이의 변환**에는 **어려움**이 있음. + - 이를 **해결하기 위해**,
+ 본 논문은 **Brownian Bridge** **에 기반한 Image-to-Image 변환 방법을 제시**함 + - **BBDM** 은 Conditional generation process 가 아닌
+ **Stochastic Brownian Bridge Process** 로 두 도메인 사이의 변환을 모델링하므로,
**Bidirectional Diffusion Process** 임. + - Brownian Bridge diffusion process 를 Image-to-Image 변환에 접목한 최초의 논문임 + - BBDM 모델의 훌륭한 성능을 실험적으로 증명함
+1. **Introduction** + - I2I 변환에서 **Non-diffusion models 의 한계** + - Pix2Pix 와 같은 **conditional GANs** 는 **fideltiy 가 높았으나,** + 학습이 어렵고, **DIversity 가 떨어진다.** + - Diversity 가 떨어지는 이유 : conditional GANs 는 input image 를 output image 에 one-to-one mapping 하는 방법을 학습하기 때문 + - **VAE** 같은 **생성형 모델**들은 GANs 만큼의 I2I 성능이 안나오고, + **Applicability** 가 GANs 보다 **떨어진다.** + - I2I 변환에서 **conditional diffusion models 의 한계** + - conditional diffusion models 는 **reference image** 의 encoded feature 를 **직접 U-Net 에 통합**시킴으로써 diffusion models 의 reverse process 를 guide 함 + - 하지만 이렇게 **생성된 결과가 desired conditional distribution 을 추론해낸다는 명료한 이론적 근거가 없음** + - 대부분의 **conditional diffusion models 는 generalization 이 잘 안되므로,** + conditional input domain 과 output domain 이 유사한 + 몇몇 applications 에서만 잘 활용될 수 있음 + - ex. inpainting 혹은 super-resolution + - **LDM** 이 latent space 에서 diffusion process 를 수행함으로써 + **generalization 을 개선**하긴 했으나 **여전히 conditional generation process** 임 + - **LDM** 의 경우, **복잡한 attention mechanism 으로 multi-modal condition** 이 주어지므로, **이론적 근거를 제시하기가 더 힘듦** + - **본 논문에서 제안하는 BBDM 모델** + + :::{figure-md} +
+
+ BBDM 의 아키텍쳐
+ :::
+
+ - **BBDM** 모델은 **input 과 output 도메인 간의 mapping** 을
+ **Brownian Bridge stochastic process 를 통해 구축**함
+ - 가속을 위해 Latent space 에서 diffusion process 를 수행함
+ 1. **Related Work**
+ - **2.1. Image-to-Image Translation** + - introduction 참고
+ - **2,2. Duffusion Models**
+ - **Diffusion Models** 의 simplified **objective** 를 잠깐 살펴보면, 다음과 같음. + + :::{figure-md} +
+
+ Diffusion Models 의 Simplified objective
+ :::
+
+ - 대부분의 **conditional Diffusion Models** 는 **condition 을 objective 에 직접 “주입”**.
+ 아래의 그림을 보면, conditional input image y 가 삽입된 것을 볼 수 있음. + + :::{figure-md} +
+
+ Conditional Diffusion Models 의 Simplified objective
+ :::
+
+ - $p(x_t|y)$ 가 objective 에 드러나 있지 않으므로,
+ **desired conditional distribution 에 도달할 수 있을 것**이라는 **이론적 보장이 없음**
+ - **2.3. Brownian Bridge**
+ - **Brownian Bridge** 는 **diffusion process 동안의 확률 분포가** + **starting state (t=0)** 와 **ending state (t=T)** 에 **conditioned 되어 있는,** + **time stochastic model** 임 + + :::{figure-md} +
+
+ 식(3)
+ :::
+
+ 앞서 보았던 Brownian Bridge 의 평균과 분산을 구해보자.
+ 위의 식과 같은 의미임을 알 수 있다.
+ + :::{figure-md} +
+
+ Brownian Bridge
+ :::
+
+ + 3. **Method**
+ - **3.1. Brownian Bridge Diffusion Model (BBDM)**
+ + - **Conditional diffusion models** : **Gaussian noise 를 향해 Forward process 진행** + - **BBDM : conditional input y 자체를 향해 Brownian Bridge process 진행**
+ + :::{figure-md} +
+
+ Conditional Diffusion Models 와 BBDM 의 비교
+ :::
+
+ + - VQGAN 의 latent space 에서 diffusion process 를 수행 + - **x** 가 **A 도메인 영상의 latent features** 이고,
+ **y** 가 **B 도메인 영상의 latent features** 일 때,
+ **Forward diffusion process 는 다음과 같이 정의**됨 + + :::{figure-md} +
+
+ 식(4)
+ :::
+
+ - **T** 는 diffusion process 의 **total steps** 이다.
+ - $δ_t$ 는 **분산**이다.
+ - 식 (3) 에 나타난 분산 $δ_t={t(T −t)\over T}$ 를 사용하게 되면,
+ **가능한 최대 분산값**은, **middle step 인 $T\over 2$ 에서의 분산값인 $δ_{T\over 2} = {T \over 4}$ 가 됨**
+ - T 값이 커지면, 최대 분산값도 커지는데, **이 분산 값은 다루기에 너무 큼**
+ - $x_0,y \sim N(0,I)$ 이면서 서로 독립일 때,
+ Brownian Bridge diffusion process 를 위한 **분산 scheduling** 을
+ 다음과 같이 해볼 수 있다.
+
+ :::{figure-md}
+
+
+ Brownian Bridge diffusion process 를 위한 분산 Scheduling
+ :::
+
+ - 만약 t 는 양의 정수의 discrete time 이고, 그 최댓값인 T=1000 이라면
+ $\delta_t$ 는 아래 그림과 같게 된다.
+
+ :::{figure-md}
+
+
+ $\delta_t$ 를 시각화한 결과
+ :::
+
+ + $m_t = t\overT$ 이고, $\delta_t = 2(m_t - m_t^2)$ 이므로,
+ + - diffusion process 가 시작하는 **t = 0 에서는, $m_0$ = 0** 이고, + **평균은 $x_0$** 이며 + **분산은 0** 이 된다.
+ - diffusion process 가 끝나는 **t = T 에서는,** + $m_T$ **= 1** 이고, + **평균은 y** 이고, + **분산은 0** 이 된다.
+ - **분산이,** + diffusion process 의 **중간 지점까지는 최대 0.5 까지 증가**하다가,
+ 중간 지점부터 **끝나는 지점까지는 0 으로 감소** + - **Brownian Bridge diffusion process** 에서의 **sampling diversity** 는 + **최대 분산값,
즉 middle step 인 $t = {T\over 2}$ 에서의 분산값에 의해 결정**됨 + - **분산을 스케일링하는 변수 s** **를 두어** **sampling diversity 를 조절**할 수 있다. + + :::{figure-md} +
+
+ 식(5) : sampling diversity 조절을 위한 계수 s 가 포함된 분산 scheduling
+ :::
+
+ - 이 논문에서 **s 의 디폴트 값은 1**
+
+ - **3.1.1 Forward Process**
+ - **식 (4)** 에서는 **step t 에서의 marginal distribution 만 제공** + - **training 과 inference process 를 위해**서는 **forward transition probability** 인 $q_{BB}(x_t|x_{t-1}, y)$ 를 알아야함 + - **식 (4) 에 의해, $x_0$ 와 $y$ 가 주어졌을 때의 $x_t$ 와** $x_{t-1}$ 은 다음과 같이 쓸 수 있음 + + :::{figure-md} +
+
+ 식(4)
+ :::
+
+ :::{figure-md}
+
+
+ 식(6) & 식(7)
+ :::
+
+ - 참고. 위 식 (7) 의 $m_ty$ 는 $m_{t-1}y$ 로 쓰는 것이 옳음
+
+ :::{figure-md}
+
+
+ $\epsilon$ 은 i.i.d 하게 N(0, I) 를 따른다
+ :::
+
+ - **식 (6) 의 $x_0$ 를 식 (7) 의 $x_0$ 로 대체**하면,
+ **Forward transition probability $q_{BB}(x_t|x_{t-1}, y)$** 가 아래의 **식 (8)** 과 같이 유도됨
+
+ :::{figure-md}
+
+
+ 식(8)
+ :::
+
+ - 증명
+ - 식(7) 을 다음과 같이 쓸 수 있음
+ - $x_0 = {x_{t-1}-m_{t-1}y-\sqrt {\delta_{t-1}} \epsilon_{t-1} \over 1-m_{t-1}}$
+ - 식(6) 의 $x_0$ 에 위의 $x_0$ 를 대입
+ - $x_t = {(1-m_t)x_{t-1} \over (1-m_{t-1})} - {(1-m_t)m_{t-1}y \over (1-m_{t-1})} - {(1-m_t)\sqrt {\delta_{t-1}}\epsilon_{t-1} \over (1-m_{t-1})} + m_ty + \sqrt{\delta_t} \epsilon_t$
+ - $= {(1-m_t)x_{t-1} \over (1-m_{t-1})} + y(m_t - {(1-m_t) \over (1-m_{t-1})}m_{t-1}) + \sqrt {\delta_t}\epsilon_t - {(1-m_t)\sqrt {\delta_{t-1}}\epsilon_{t-1} \over (1-m_{t-1})}$
+ - 이후, $Var(x_t)$ 를 구하면, 아래의 $\delta_{t|t-1}$ 와 같이 유도됨
+
+ :::{figure-md}
+
+
+ $\delta_{t|t-1}$ 식
+ :::
+
+ - t=T 가 될 때 $m_T = 1$ 인데, 이때 식(8) 에 의해 $x_T = y$ 임.
+ ↓
+ ”아, Forward diffusion process 는 확실히..
+ A 도메인으로부터 B 도메인으로의 fixed mapping 을 정의하는구나”
+
+ - **3.1.2 Reverse Process**
+ - **conditional diffusion models** 의 **reverse process** 는,
+ **Gaussian noise 로부터 시작**하며,
+ 매 스텝마다 조금씩 noise 를 제거해나감
+ - 반면, **BBDM 의 Brownian Bridge process 는 $x_T = y$ 로 둠으로써,
+ conditional input 그 자체에서 Reverse process 를 시작**함 + + :::{figure-md} +
+
+ 식(9)
+ :::
+
+ - $\mu_\theta (x_t,t)$ 는 U-Net 에 의해 예측된 노이즈 평균값이며, $\tilde{\delta_t}$ 는 노이즈의 분산
+ - DDPM 처럼, 임의의 parameters $\theta$ 를 갖는 신경망 **U-Net 은 $\mu_\theta (x_t,t)$ 를 학습**
+
+ - **3.1.3. Training Objective**
+ - **참고.**
+ - 예전 **DDPM 의 Loss** 는 다음과 같았음.
+
+ :::{figure-md}
+
+
+ DDPM 의 Loss
+ :::
+
+ - 그리고, 이로부터 simplified 된 **objective** 는 다음과 같음
+
+ :::{figure-md}
+
+
+ DDPM 의 simplified objective
+ :::
+
+ - **Brownian Bridge diffusion process** 의 **ELBO**
+
+ :::{figure-md}
+
+
+ 식(10) : BBDM 의 ELBO
+ :::
+
+ - **첫 번째 term :** $x_T$ 가 곧 y 이므로 무시할 수 있음
+ - **세 번째 term** : 매우 작은 값이 되므로 무시할 수 있음
+ - **베이즈 이론과 Markov chain property 를 식 (4) 와 식 (8) 에 적용**하여,
+ 다음과 같이 **식 (11) 이 도출**된다.
+ - 참고. Markovian Chain
+ - $q(x_t|x_{t-1}) = q(x_t|x_{t-1}, x_{t-2}, … , x_0)$
+ - Markov chain property 에 의해,
+ $q_{BB}(x_t|x_{t-1},y) = q_{BB}(x_t|x_{t-1},x_0,y)$ 가 성립됨을 활용 + - 식(4) + + :::{figure-md} +
+
+ 식(4)
+ :::
+
+ - 식(8)
+
+ :::{figure-md}
+
+
+ 식(8)
+ :::
+
+ - 식(11) & 식(13)
+
+ :::{figure-md}
+
+
+ 식(11)
+ :::
+
+ :::{figure-md}
+
+
+ 식(13)
+ :::
+
+ - 증명
+ - ${q_{BB}(x_{t}|x_{t-1},y)q_{BB}(x_{t-1}|x_{0},y)\over q_{BB}(x_{t}|x_{0},y)}$
+ - $= {{q_{BB}(x_{t},x_{t-1},y) \over q_{BB}(x_{t-1},y)} {q_{BB}(x_{t-1},x_{0},y) \over q_{BB}(x_{0},y)} \over {q_{BB}(x_{t},x_{0},y)\over q_{BB}(x_{0},y)}}$
+ - $= q_{BB}(x_{t}|x_{t-1},y){q_{BB}(x_{t-1},x_{0},y)\over q_{BB}(x_{t},x_{0},y)}$
+ - $= q_{BB}(x_{t}|x_{t-1},x_{0},y){q_{BB}(x_{t-1},x_{0},y)\over q_{BB}(x_{t},x_{0},y)}$
+ - $= {q_{BB}(x_{t},x_{t-1},x_{0},y)\over q_{BB}(x_{t},x_{0},y)}$
+ - $= q_{BB}(x_{t-1}|x_{t},x_{0},y)$
+
+ - 위 식 (11) 의 평균은, 식 (12) 와 같이 정리됨
+
+ :::{figure-md}
+
+
+ 식(12)
+ :::
+
+ - 식(4) 와 식(12) 를 통합하고 Reparameterization method 를 사용해서
+ $\tilde {\mu_t}$ 를 다음과 같이 변형할 수 있음
+
+ :::{figure-md}
+
+
+ 식(12) 의 변형
+ :::
+
+ - 참고. 식(4)
+
+ :::{figure-md}
+
+
+ 식(4)
+ :::
+
+
+ - 하지만, 실제로 U-Net 은 전체 $\tilde {\mu_t}$ 를 예측하는 것이 아니라,
+ 노이즈를 예측하도록 학습됨.
+ - 이 내용을 식에 명시하기 위해,
+ **식(9) 에 명시된 $\mu_\theta$ 를 식(14) 와 같이 다시 써볼 수 있음.
+ $x_t$ 와 y, 그리고 예측된 노이즈 $\epsilon_\theta$ 의 linear combination 으로 다시 써보는** 것임. + + :::{figure-md} +
+
+ 식(9)
+ :::
+
+ :::{figure-md}
+
+
+ 식(14)
+ :::
+
+ - 그런데, 아래 그림을 참고해보면 우리는 $\tilde {\mu_t}$ 에 근사하도록 $\mu_\theta$ 를 학습시켜야함.
+
+ :::{figure-md}
+
+
+ $\tilde {\mu}_t$ 의 정리된 식
+ :::
+
+ - 즉, $\epsilon_\theta (x_t,t)$ 가 $m_t(y-x_0)+\sqrt {\delta_t}\epsilon$ 을 근사하도록 학습되어야하는 것임.
+
+ - ELBO 의 두 번째 term 을 다시 살펴보면,
+ - **두 번째 term** : $D_{KL}(q_{BB}(x_{t-1}|x_t, x_0, y)||p_\theta (x_{t-1}|x_t,y))$
+ + - $arg \space min_\theta \space D_{KL}(q_{BB}(x_{t-1}|x_t, x_0, y)||p_\theta (x_{t-1}|x_t,y))$ + =$arg \space min_\theta \space (\tilde {\mu}_t(x_t,y) - \mu_\theta (x_t,y,t))$ + =$arg \space min_\theta \space (c_{\epsilon_t}(m_t(y-x_0) + \sqrt {\delta_t}\epsilon) - c_{\epsilon_t}\epsilon_\theta(x_t,t))$ + =$arg \space min_\theta \space (c_{\epsilon_t} (m_t(y-x_0) + \sqrt {\delta_t}\epsilon - \epsilon_\theta(x_t,t)))$
+ + - 따라서, ELBO 는 다음과 같이 단순화될 수 있음 + + :::{figure-md} +
+
+ BBDM 의 Simplified ELBO
+ :::
+
+
+ - **Training Algorithm 정리**
+
+ :::{figure-md}
+
+
+ Algorithm 1 : Training. 마치 DDPM 에서 그러했듯이, BBDM 도 실제 Loss 에는 Simplified ELBO 에서의 계수 $C_{\epsilon_t}$ 가 빠진 것을 확인할 수 있다.
+ :::
+
+
+ - **3.2. Accelerated Sampling Processes**
+ - **DDIM 과 비슷하게, BBDM 의 inference processes** 도 + **non-Markovian process 를 사용해서 가속시킬 수 있음** + - Sampling steps 의 길이를 S 라고 두었을 때, + **inference process** 는 **latent varibales $x_{1:T}$ 의 subset** 에 의해 다음과 같이 정의됨 + - **latent varibales $x_{1:T}$ 의 subset** + + :::{figure-md} +
+
+ **latent varibales $x_{1:T}$ 의 subset**
+ :::
+
+ - **inference process**
+
+ :::{figure-md}
+
+
+ inference process
+ :::
+
+ - **Sampling Algorithm**
+
+ :::{figure-md}
+
+
+ Algorithm 2 : Sampling
+ :::
+
+ - 본 논문에서는 **S 값의 디폴트**를 **200** 으로 두었음
+ 4. **Experiments**
+ - **4.1. Experiment Setup**
+ - **모델 & 하이퍼마라미터** + - BBDM 프레임워크는 pretrained VQGAN 과 BBDM 으로 이루어짐 + - **Latent Diffusion Model 에서 사용된 것과 같은 pretrained VQGAN 을 사용** + - training stage 에서의 time steps 는 1,000 + - inference stage 에서의 sampling steps 는 200
+ - **Evaluation** + - FID 와 LPIPS 사용 + - 생성물의 diversity 를 평가하기 위해서, + 하나의 conditional input y 마다 5개의 샘플을 생성하고, + 각 픽셀 마다의 표준편차의 평균을 구함. + 그 후 전체 test 데이터셋에 대해서 평균 냄.
+ - **Datasets** + - BBDM 의 I2I 변환 능력을 평가하기 위해서, 여러 task 로 실험함
+ 1. **Semantic Synthesis 능력**을 CelebAMask-HQ dataset 으로 실험 + 1. semantic layout 만 주고 photorealistic 한 images 를 생성해내는 능력 평가
+ 2. **sketch-to-photo 능력**을 edges2shoes 와 edges2handbags 로 실험 + 1. edges 만 주고 realistic images 생성해내는 능력 평가
+ 3. **style transfer 능력**을 faces2comics 로 실험 + 1. 위 두 실험은 서로 상이한 domains 간의 변환 능력을 평가했다면, + Style transfer 실험에서는 서로 비슷한 domains 간의 I2I 변환 능력을 평가
+ - **4.2. Qualitative Comparison**
+ + :::{figure-md} +
+
+ Figure 3. CelebAMask-HQ 데이터셋에 대한 추론 결과
+ :::
+
+ :::{figure-md}
+
+
+ Figure 4. 다른 Image-to-Image 변환 task 에 대한 추론 결과
+ :::
+
+ :::{figure-md}
+
+
+ Figure 5. 다른 Image-to-Image 변환 task 에 대한 추론 결과
+ :::
+
+ - Pix2Pix 는 지도 학습 방식으로 학습하므로, 괜찮은 결과를 냄
+ - 반면 **CycleGAN** 은 **작은 스케일의 데이터셋**에서는 **성능이 떨어짐**
+ - DRIT++ 은 GAN 기반 모델들 중에서는 좋은 성능을 냈으나,
+ 변환된 이미지들이 oversmoothed 되어 있었고,
+ ground truth distribution 과는 거리가 멀었음
+ - conditional diffusion model 인 **CDE** 와 **LDM** 은
+ GAN 기반 모델들보다는 **좋은 성능**을 냈으나,
+ **conditional information 에 큰 영향**을 받음
+ - **Figure 3 의 첫 번째 줄**을 보면 i**rregular occlusions** 가 나타나는데,
+ **CDE 와 LDM 은 이에 큰 영향**을 받음
+ - 반면 **BBDM 은 두 도메인 간의 직접적인 diffusion process 를 학습**하므로
+ **이러한 문제로부터 자유로움**
+ - 또한 Brownian Bridge 의 stochastic 한 특성으로 인해
+ fidelity 와 diversity 가 높은 이미지들을 생성해냄
+ - **4.3. Quantitative Comparison**
+ - Table 1 과 2 를 보면, BBDM 이 모든 실험에서 가장 좋은 FID 값을 기록했으며, 훌륭한 LPIPS 값을 기록함 + + :::{figure-md} +
+
+ Table 1. CelebAMask-HQ 데이터셋에 대한 FID, LPIPS 성능은 BBDM 이 가장 뛰어남
+ :::
+
+ :::{figure-md}
+
+
+ Table 2. BBDM 은 FID, LPIPS 점수가 매우 뛰어났음
+ :::
+
+
+ - **4.4. 다른 Translation Tasks**
+ - **BBDM 의 generalization 성능을 검증**하기 위해서, 다른 tasks 에 대해서도 실험했음 + - 아래 그림과 같이, **다른 tasks 에서도 camparable 한 성능을 기**록함 + + :::{figure-md} +
+
+ Figure 6. Face-to-label, 색상화, inpainting 등의 다른 tasks 에서도 뛰어난 성능을 기록함
+ :::
+
+
+ - **4.5. Ablation Study**
+ - **pre-trained latent space 의 영향** + + :::{figure-md} +
+
+ Table 3. BBDM 은 LDM 에 비해 Downsampling factor 에 대해 robust 했음
+ :::
+
+ - **BBDM 과 LDM** 에 대해서,
+ **VQGAN downsampling factor** 를 **각각 4, 8, 16 으로 두고 성능 비교 실험 수행**
+ - **BBDM 은 down sampling factor 에 robust** 했음
+ - **Sampling steps 의 영향** + - **Sampling steps 가 작을 때 (200 이하) 는, 조금만 늘려도 성능이 크게 증가**
+ :::{figure-md} +
+
+ Table 4. 200 이상의 Sampling Steps 에서는 Steps 를 키워도 성능 변화가 미미함
+ :::
+
+ - **Brownian Bridge 의 maximum variance 의 영향** + + :::{figure-md} +
+
+ Table 5. Sampling diversity 조절 계수에 의해 실제로 Diversity 가 조절 되었음
+ :::
+
+ - 식 (5) 에 나타난 것처럼, **scaling factor s 의 값을 변경**함으로써,
+ **Brownian Bridge 의 최대 분산값 (t = T/2 일 때의 분산값) 조절 가능.**
+ **이렇게 diversity 조절 가능.**
+
+ :::{figure-md}
+
+
+ 식(5)
+ :::
+
+ 5. **Conclusion and Future Work**
+ - **Brownian Bridge 에 기반한 새로운 I2I 변환 방법 제시**
+ - 이 방법은 기존의 conditional 한 방법과 달리,
+ **Brownian Bridge diffusion process 를 통해 두 도메인 간의 mapping 을 직접 학습**
+ - **여러 tasks 에서의 실험을 통해 BBDM 의 성능 검증**
+ - text-to-image 와 같은 multi-modal tasks 에도 BBDM 을 적용해볼 예정
+
+- **참고 자료**
+ - [https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB](https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB)
- [https://sine-qua-none.tistory.com/158](https://sine-qua-none.tistory.com/158)
\ No newline at end of file
diff --git a/_sources/docs/review/CAT3D.md b/_sources/docs/review/CAT3D.md
new file mode 100755
index 00000000..d5951a9c
--- /dev/null
+++ b/_sources/docs/review/CAT3D.md
@@ -0,0 +1,239 @@
+```{admonition} Information
+- **Title:** CAT3D: Create Anything in 3D with Multi-View Diffusion Models (NIPS 2024)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2405.10314](https://arxiv.org/abs/2405.10314)
+ - Code: -
+ - Project Page : [https://cat3d.github.io/](https://cat3d.github.io/)
+
+- **Presentor:** Geonhak Song
+
+- **Last updated on December.18 , 2023**
+```
+
+# CAT3D
+
+
+
+## 1. Introduction
+
+3D content의 수요는 증가하지만 3D content는 여전히 부족함.
+
+이를 위해서는 복잡하고 특수한 tool 사용해야 하며 상당한 시간과 노고가 들어감.
+
+NeRF, Instant-NGP, Gaussian Splatting과 같은 최신 기술들은 2D 이미지를 기반으로 어떠한 viewpoint에서 render하여 3D를 생성해내는 방법을 제안함.
+
+그러나 여전히 고품질 장면 생성을 위해서는 수 천장을 찍어야 하는 labor-intensive process 필요.
+
+불충분한 장면 시점은 부정확한 기하학적 외관적 결과를 초래하며 신뢰 높은 3D 복원의 어려움을 제공
+
+단일 이미지, text로 3D 생성 방법을 제안하는 방법 또한 제공되고 있지만, 여전히 품질, 효율성, 일반화에서 어려움이 있음.
+
+본 논문은 **CAT3D**를 통해 입력된 적은 수의 뷰(few-view input)만으로 3D 일관성을 유지하며 고품질의 3D 콘텐츠 생성.
+
+Novel-view synthesis가 가능한 Multi-View Diffusion Model 훈련 진행을 통해 다수의 3D consistent image를 생성할 수 있는 효과적인 sampling strategy 제안.
+
+any view point / few-view에서도 3D 생성 가능
+
+1분 미만의 생성
+
+## 2. Related Work
+
+**2D priors**
+
+**2D priors with camera conditioning**
+
+**Multi-view priors**
+
+**Video Priors**
+
+**Feed-forward methods**
+
+## 3. Method
+
+
+
+두 단계 접근법 사용
+
+Step 1. multi-view diffusion model을 활용하여 한 개 혹은 그 이상의 입력 view와 일관된 다수의 새로운 view 생성.
+
+Step 2. 생성된 view를 활용해 robust 3D reconstruction pipeline 실행
+
+### 3.1 Multi-View Diffusion Model
+
+- 3D 장면의 한 개 혹은 그 이상의 view를 입력으로 받아, 카메라 위치에 따라 다수의 출력 이미지를 생성하는 multi-view diffusion model 훈련(“a view” is a paired image and its camera pose)
+
+- 입력 : $M$개의 조건부 views ($I_{cond}$ : images, $p_{cond}$ : camera parameters) & $N$개의 target camera parameters $p_{tgt}$
+- 출력 : $N$개의 target images $I_{tgt}$
+- 위 조건을 만족하는 joint distribution 모델 학습
+
+
+
+**Model architecture**
+
+- 모델 아키텍처는 video latent diffusion model과 유사하지만, time embedding 대신 각 이미지에 대해 camera pose embedding 사용
+
+학습 방법
+
+- conditional and target image 집합이 주어졌을 때, 모델은 각 이미지를 VAE latent representation를 통한 encoding
+- 이후 conditional signal이 주어졌을 때 latent representation의 joint distribution를 추정하는 diffusion model training
+
+- T2I LDM initialize & resolution 512×512×3
+- Backbone : 2D diffusion model
+ - 추가 layer는 다중 입력 이미지 latent와 연결된 상태
+
+
+
+[MVDream](https://kimjy99.github.io/%EB%85%BC%EB%AC%B8%EB%A6%AC%EB%B7%B0/mv-dream)에서와 같이, 3D self-attention layer (2D in space and 1D across images) 사용
+
+이때, 최소한의 추가 모델 파라미터 사용을 위해 2D self-attention을 직접적으로 inflate하는 방식으로 3D self-attention을 latent에 연결
+
+
+
+3D self-attention layer를 통한 input view conditioning은 ReconFusion에서 사용한 PixelNeRF나 CLIP image embedding 필요성 제거
+
+
+
+빠른 training, sampling을 위한 FlashAttention 사용 & LDM weight fine-tuning
+
+pretrained image diffusion model에서 더 높은 차원의 데이터를 포착하는 multi-view diffusion model로 전환할 때, noise schedule을 high noise level로 이동하는 것이 중요.
+
+log SNR(signal-to-noise ratio)를 log N만큼 이동, N: target 이미지 수
+
+- [Simple diffusion: End-to-end diffusion for high resolution images (23.01)](https://arxiv.org/abs/2301.11093) 참조
+
+target image와 conditioning image 구분을 위해 **Binary mask**를 channel dim을 따라 latent에 concat
+
+다양한 3D Generation 설정 처리를 위해 8개의 conditioning & target view(N+M=8)를 모델링할 수 있는 하나의 모델을 학습
+
+training 중 조건부 view 1 또는 3 무작위 선택
+
+자세한 내용 : Appendix B. Details of Multi-View Diffusion Model
+
+**Camera conditioning**
+
+camera pose conditioning을 위한 동일 height, width의 a camera ray representation (“raymap”) 사용. 이후 각 공간 위치에서 ray origin, direction로 encoding
+
+ray는 광선은 **첫 번째 조건부 이미지의 camera pose 기준**으로 계산되므로, pose representation은 3D world 좌표계의 rigid transformation에 대해 불변성을 가짐.
+
+- **첫 번째 카메라를 기준으로 모든 위치를 상대적으로 정의**하여, 모델이 3D 세계 좌표계의 이동이나 회전 같은 전역적인 변환에 영향을 받지 않도록 한다는 뜻입니다.
+- 이는 3D 재구성의 안정성과 일관성을 높이는 데 중요한 역할
+
+각 이미지의 raymap은 해당 이미지의 latent에 channel-wise concat
+
+### 3.2 Generating Novel Views
+
+목표 : 입력 view 집합이 주어졌을 때, 일관된 view에 대한 대규모 집합을 생성하는 것
+필요 1) **샘플링할 카메라 위치 집합**을 결정
+필요 2) 일관된 view 생성이 가능한 a sampling strategy
+
+**Camera trajectories**
+
+3D scene reconstruction에서의 문제는 장면을 완전히 포괄하기 위해 필요한 view가 복잡하고 장면의 콘텐츠에 따라 달라질 수 있다는 점
+
+경험적으로 다양한 유형의 장면에 대해 **적절한 카메라 경로**를 설계하는 것이 설득력 있는 few-view 3D reconstruction 달성하는 데 매우 중요함 발견
+
+카메라 경로는 재구성 문제를 완전히 제약할 수 있도록 충분히 철저하고 밀도가 높아야 할 뿐 아니라장면 내 물체를 관통하거나 부자연스러운 각도에서 장면 콘텐츠가 제공되지 않아야함.
+
+In summary, we explore four types of camera paths based on the characteristic of a scene:
+
+(1) orbital paths of different scales and heights around the center scene
+
+- 중심 장면 주위를 도는 다양한 크기와 높이의 궤도형 경로
+
+(2) forward-facing circle paths of different scales and offsets
+
+- 다양한 크기와 오프셋을 가진 전방을 향한 원형 경로
+
+(3) spline paths of different offsets
+
+- 다양한 오프셋을 가진 스플라인 경로
+
+
+
+
+(4) spiral trajectories along a cylindrical path, moving into and out of the scene
+
+- 실린더 경로를 따라 장면으로 들어가고 나오는 나선형 경로
+
+Appendix C 참조
+
+
+
+
+**Generating a large set of synthetic views**
+
+다중 시점 확산 모델을 Novel view synthesis 에 적용할 때의 문제점
+
+- 소수의 유한한 입출력 view(총 8개)로 훈련되었다는 점
+
+(?)
+출력 view의 개수를 늘리기 위해,
+
+- target viewpoints을 더 작은 그룹으로 clustering
+- 조건부 view가 주어진 상태에서 각 그룹을 독립적으로 생성
+
+single-image conditioning에서는 auto-regressive sampling 전략 채택
+
+- 장면을 커버하는 7개의 **anchor views** 집합을 생성(ZeroNVS과 유사하며, k-means++[69]에서 제안된 탐욕 초기화(greedy initialization)를 사용)
+- 관찰된 view와 앵커 view가 주어진 상태에서 나머지 view 그룹을 병렬로 생성.
+
+이 방식은 앵커 view 간의 long-range consistency과 근접 view 간의 local similarity을 유지하면서도, 대규모 합성 view 집합을 효율적으로 생성할 수 있도록 합니다.
+
+single-image setting : 80 views / few-view setting : 480~960 views 생성
+
+**Conditioning larger sets of input views and non-square images**
+
+Reconfusion에서 제안된 방법과 같이 가까운 M개의 view condition 선택
+
+sampling동안 단순하게 multi-view diffusion architecture의 sequence length를 늘리는 방법보다 nearest view conditioning과 grouped sampling strategy가 성능이 더 좋았음.
+
+넓은 종횡비의 이미지를 처리하기 위해, 정사각형으로 자른 입력 view에서 나온 정사각형 샘플과 padding된 정사각형 입력 뷰에서 잘라낸 샘플 결합.
+
+### 3.3 Robust 3D reconstruction
+
+생성된 뷰는 일반적으로 완벽한 3D 일관성을 갖추고 있지않음.
+
+때문에 일관적이지 않은 입력 view에 대한 robustness 향상을 위한 NeRF 훈련 방법 수정 진행
+
+Zip-NeRF 기반 **Photometric Reconstruction Loss, Distortion Loss, Interlevel Loss, Normalized L2 Weight Regularizer**
+
+추가로 rendered image와 input image 간 **perceptual loss (LPIPS)** 사용
+LPIPS는 렌더링된 이미지와 관찰된 이미지 간의 **고차원적 의미적 유사성**을 강조하며, 저차원 고주파 세부사항의 불일치 가능성은 무시
+**가장 가까운 관찰된 뷰와의 거리**를 기준으로 생성된 뷰의 손실에 가중치를 부여
+
+Weight
+
+- 훈련 초기에는 균일하게 적용
+- 관찰된 view와 더 가까운 view간의 reconstruction loss에 더 강한 패널티를 부여하는 weighting func로 변환되도록 점진적으로 강화
+
+Appendix D 참조
+
+## 4. Experiments
+
+4 datasets with camera pose annotations: Objaverse, CO3D, RealEstate10k, MVImgNet
+
+4.1 Few-View 3D Reconstruction
+
+
+
+
+4.2 single image evaluation
+
+
+
+
+
+
+
+4.3 Ablation
+
+
+
+
+
+
+
+LPIPS loss is crucial for achieving high-quality texture and geometry,
+
+increasing the number of generated views from 80 (single elliptical orbit) to 720 (nine orbits) improved central object geometry but sometimes introduced background blur, probably due to inconsistencies in generated content
\ No newline at end of file
diff --git a/_sources/docs/review/CM3leon.md b/_sources/docs/review/CM3leon.md
index 0cf02f44..c2f85dfb 100755
--- a/_sources/docs/review/CM3leon.md
+++ b/_sources/docs/review/CM3leon.md
@@ -1,242 +1,242 @@
-```{admonition} Information
-- **Title:** Scaling Autoregressive Multi-Modal Models: Pretraining and Instruction Tuning
-
-- **Reference**
- - Paper: [https://scontent-gmp1-1.xx.fbcdn.net/v/t39.2365-6/358725877_789390529544546_1176484804732743296_n.pdf?_nc_cat=108&ccb=1-7&_nc_sid=3c67a6&_nc_ohc=PLfU_UR_vYAAX_NagU8&_nc_ht=scontent-gmp1-1.xx&oh=00_AfDrHAHXv1PcF0LqicjIYnmOrpVCGEQ0eMv5_Ve2_Tncvg&oe=652FF632](https://scontent-gmp1-1.xx.fbcdn.net/v/t39.2365-6/358725877_789390529544546_1176484804732743296_n.pdf?_nc_cat=108&ccb=1-7&_nc_sid=3c67a6&_nc_ohc=PLfU_UR_vYAAX_NagU8&_nc_ht=scontent-gmp1-1.xx&oh=00_AfDrHAHXv1PcF0LqicjIYnmOrpVCGEQ0eMv5_Ve2_Tncvg&oe=652FF632)
- - Code: X
-
-- **Author:** Jun-Hyoung Lee
-
-- **Last updated on Oct. 15. 2023**
-```
-
-# CM3leon
-:::{figure-md} CM3leon result
-
-
-CM3leon result
-:::
-
-- 복잡하게 구성된 객체(손, 텍스트)도 잘 생성한다.
-
-## Abstract & 1. Introduction
-- CM3Leon
- - 텍스트와 이미지 둘 다 잘 생성하는 능력을 가진 검색-증강, 토큰 기반, 디코더 전용 멀티 모달 모델이다.
- - CM3 멀티 모델 아키텍처를 사용하며 scaling up 및 다양한 구조적-스타일 데이터에 tunning 할 수 있는 능력을 가졌다.
-- Training
- - 처음에는 멀티 모달 모델을 “텍스트 기반” language 모델에 맞도록 학습했다. (large scale의 검색 증강 pretraining 단계를 포함한다.)
- - 데이터는 라이센스가 있는 Shutterstock의 large-scale로 학습한다.
- - 그 후 supervised fine tuning (SFT) 단계로 진행했다.
- - 입력과 출력 모두 이미지와 텍스트 토큰을 섞을 수 있다.
-- 기존 이미지 생성 모델은 텍스트 프롬프트에 맞는 이미지만 잘 생성하는데,
- - CM3leon은 텍스트와 이미지 모두 잘 생성한다.
- - 이미지 생성
- - 고해상도 output을 생성할 수 있는 self-contained contrastive decoding 방법을 소개한다.
- - text guided iamge editing 부터 image controlled generation, segmentation까지 가능하다.
- - 텍스트 생성
- - Shutterstock의 3억 개의 텍스트 토큰으로 학습했는데, image-to-text generation도 잘 수행한다.
-- 학습 연산을 5배로 줄였다.
-- zero shot COCO로 FID를 측정한 결과 4.88 점으로, Google의 Parti 모델의 성능과 비슷한 수준을 달성했다.
-
-
-# 2. Pretraining
-
-- RA-CM3를 기반으로 T2I 도메인에서 토큰 기반 디코더 모델의 잠재력을 연구했다.
-
-## 2.1 Data
-
-### Image Tokenization
-
-- Gafni의 image tokenizer를 사용했다.
-
- - 이 tokenizer는 256x256 이미지를 8192개의 vocabulary에서 1024개의 토큰으로 인코딩을 진행한다.
-- 텍스트에서는, Zhang의 커스텀 tokenizer(56320 vocabulary size)를 학습했다.
-
-- 추가로, 새로운 스페셜한 토큰인 **``**을 소개한다.
-
-:::{figure-md} Figure_8_9
-
-
-Figure_8_9
-:::
-
- - 이는 modality간 transition을 하게 한다.
-
-### Retrieval Augmentation
-
-- 목적: 입력 sequence에 맞춰 관련성이 높고 다양한 멀티 모달 문서(from memory bank)를 검색하는 것이다.
- - dense retriever 와 retrieval strategy을 포함하고 있다.
-- dense retriever
- - 쿼리 $q$ (예: input sequence)와 memory bank $\mathcal M$ 로부터 후보 문서 $m$ 를 가지고 관련성 점수$r(q, m)$ 를 return 해준다.
- - dense retriver 방법은 CLIP 기반인 bi-encoder 구조를 따랐다. (Karpukhin)
- - 멀티 모달 문서를 text / image 파트로 분리하고, 각각 CLIP 인코더(ViT-B-32)를 통해 인코딩을 한다.
- - 그 후 문서의 vector representation로써 두 개를 평균을 낸다.
- - 최종 검색은 관련성 점수에 따라 정렬된 후보 문서 목록을 얻기 위해 Maximum Inner Product Search로 수행한다.
-- 학습 때 generator를 위한 유용한 검색 문서를 추출하기 위해 세 가지 요소를 고려했다.
- - relevance
- - 검색된 문서는 입력 sequence에 관련있어야 한다.
- - CLIP 기반 dense retriever 점수를 사용한다.
- - modality
- - 이미지와 텍스트로 구성된 멀티 모달 문서로 검색 > 이미지 또는 텍스트로 검색하는 것이다.
- - diversity
- - 다양성은 검색된 문서에서 중복성을 피하기 위한 필수적인 절차다.
- - 단순하게 관련성 점수에 기반해 top K 문서만 가져온다면 중복이 발생할 수 있다.
- - 또한 downstream pretraining 에 안좋은 영향을 끼칠 수 있다.
- - 실제로, 관련성 점수가 0.9 이하로 검색된 문서로 사용했고,
- - query dropout(검색에 사용된 쿼리의 일부 20% 토큰을 삭제)를 적용했다.
- - 따라서 다양성과 학습에 정규화를 시켰다.
-- 이미지와 텍스트를 기반으로 각각 두 개의 문서를 검색한다.
-- 학습에서는 데이터셋의 모든 캡션-이미지 쌍에 대해 검색된 샘플 3개를 무작위로 선택한다.
- - 이는 사실상 사전 학습에서 사용할 수 있는 토큰 수의 4배이다.
-
-## 2.2 Objective Function
-
-- CM3 objective
- - input
-
- - `"Image of a chameleon: [image]"` 을 변형시켜 `"Image of : [image] a chameleon”` 로 표현한다.
- : `, ` 이 추가되었고, 단어의 재배치가 진행됐다.
-
- - 학습에는 일반적인 다음 토큰을 예측하는 loss를 사용했다.
-
- - 그 결과 이미지, 텍스트 둘 다 생성하는 다용도 모델의 결과를 가져왔다.
- - caption-to-image generation에서는 CM3가 “Image of a chameleon:” 프롬프트로 부터 이미지를 생성하고,
-
- - image-to-caption generation에서는 CM3는 `“Image of : [image] ”` 프롬프트를 활용한다.
-
-## 2.3 Model
-
-- CM3Leon 모델은 디코더만 사용하는 transformer 아키텍쳐를 사용한다.
-- Zhang에 비해 bias term, dropout, layer norm의 학습 가능한 파라미터를 제거했다.
-- sequence length를 2048 → 4096까지 확장했다.
-- weight 초기화: 평균 0, 표준 편차 0.006 인 truncated(표준 편차 3으로 잘린) normal distribution 사용했다.
-- output layer: 0으로 초기화, 0에 가까운 표준 편차 0.0002로 positional embedding 초기화한다.
-- [Metaseq](https://github.com/facebookresearch/metaseq)로 학습됐다.
-
-## 2.4 Training
-
-:::{figure-md} Training result
-
-
-Training result
-:::
-
-- 세 가지 모델 사이즈(350M, 760M, 7B)로 학습 진행했다. (→ 1.4T(Trillion), 1.9T, 2.4T tokens)
- - 주요한 하이퍼 파라미터는 learning rate, batch size로 멀티모달 scaling 에 맞게 설정했다.
-- 참고
- - Perplexity, PPL: 언어 모델의 평가 방법 중 하나이다. (헷갈리는 정도, 값이 낮을 수록 좋다.)
-
-
-## 3. Text-To-Image Results
-
-### 3.1 Importance of Decoding Strategies
-
-- autoregressive T2I 모델에서 decoding 알고리즘에 대해 상당한 연구가 진행되어 왔다.
- - 그 중 DALL-E는 최종 아웃풋의 퀄리티가 향상되는 결과를 가져왔다.
- - DALL-E 는 temperature 샘플링과 512개 후보 프롬프트에 CLIP re-ranking 전략을 채택했다.
- - PARTI 와 Make-A-Scene 과 같은 모델은 토큰 기반의 classifier-free guidance로, re-ranking에 대해 오직 16 개의 샘플만 필요하게 됨으로써 후보의 수를 줄였다.
-
-### Temperatured Sampling
-
-- autoregressive 모델에서 확률적 기술로 사용된다.
- - 이 방법은 샘플링에서 softmax의 temperature를 수정해 예측 무작위성을 제어한다.
- - - Classifier Free Guidance 적용했다.
-
-### TopP Sampling
-
-- nucleus 샘플링으로도 불리고, 미리 정의한 임계값을 초과하는 누적 확률을 가진 가장 작은 상위 토큰 세트에서 샘플링을 포함한다.
- - - Classifier Free Guidance 적용했다.
-
-### Classifier Free Guidance (CFG)
-
-$$
-\begin{aligned}
-& \operatorname{logits}_{\text {cond }}=T\left(t_y \mid t_x\right), \text { logits }_{\text {uncond }}=T\left(t_y \mid<\bf { mask }>\right) \\
-& \operatorname{logits}_{\mathrm{cf}}=\operatorname{logits}_{\text {uncond }}+\alpha_c \cdot\left(\text { logits }_{\text {cond }}-\text { logits }_{\text {uncond }}\right)
-\end{aligned}
-$$
-
-- CFG는 unconditional 샘플을 conditional 샘플에 맞도록 하는 것을 의미한다.
-- unconditional 샘플을 text를 CM3 목표의 마스크 토큰으로 대체한다.
-- 이는 CM3 목표를 사용한 학습의 핵심 이점 중 하나이며, finetuning 없이, classifier 없는 guidance를 수행할 수 있다.
-- 추론에서는 두 개의 토큰 stream을 생성한다.
- - 입력 텍스트에 따라 달라지는 토큰 stream과
- - mask 토큰에 따라 condition된 unconditional 토큰 stream
-
-### Contrastive Decoding TopK (CD-K)
-
-- CFG에서 logit의 뺄셈 연산이 텍스트에서 contrastive decoding 방법의 log probability를 뺄셈하는 연산과 비슷하다.
-
-## 3.2 Quantitative Evaluation
-
-:::{figure-md} Evaluation
-
-
-Evaluation
-:::
-
-
-- MS-COCO (30K) zero shot 예측, FID 측정했다.
- - CM3Leon-7B 모델이 FID 4.88 점으로 가장 좋다.
-- retrieval-augmented decoder-only 모델의 효율성이 좋다.
- - CM3Leon-7B 모델이 추론에서 1개/2개로 검색된 예제로 동작할 때 우수한 FID 점수를 기록했다.
- - 이는 고품질 이미지를 생성하는 능력을 확장시키는 검색의 중요성을 보여준다.
-
-
-## 4. Supervised Fine-Tuning
-
-:::{figure-md} Figure5
-
-
-Figure5
-:::
-
-- Supervised fine-tuning (SFT)는 LLM에서 중요한 학습 단계이다.
-
- - 명령어 또는 프롬프트를 잘 이해하는 것을 도와주며, zero shot task에서도 향상되는 결과를 얻었다.
-- 명령어 튜닝이 다양한 task에 멀티모달 모델 성능을 눈에 띄게 증폭시키는 것을 발견했다.
-
-- CM3Leon을 이미지와 텍스트 task를 섞어 넓은 범위에서 fine tuning 했다.
-
-- finetuning 과정은 pretraining 단계를 따르며, task instruction과 출력을 결합해 동일한 CM3 objective를 사용한다.
-
-
-### 4.1 Instructable Image Generation
-
-:::{figure-md} Figure6
-
-
-Figure6
-:::
-
-### Text-Guided Image Editing
-
-- text instruction 에 기반한 initial image를 수정하는 task이다.
-- InstructPix2Pix 방법 사용했다.
-- 예시: “하늘의 색을 파란색으로 변경해줘”와 같은 프롬프트로 이미지 편집이 가능하다.
- - 이것은 CM3leon이 텍스트와 이미지를 동시에 이해하고 있어서 가능하다.
-
-### Image-to-Image Grounded Generation
-
-- 다양한 feature과 텍스트 프롬프트로 grounding image를 생산하는 task이다.
-- ControlNet 적용했다.
-
-### Spatially Grounded Image Generation
-
-:::{figure-md} Figure6-1
-
-
-Figure6-1
-:::
-
-- 이미지 생성에 있어서 공간적 정보(위치)를 텍스트 프롬프트에 통합시킬 수 있도록 하는 task이다.
-
-### Image captioning & visual question answering task
-
-:::{figure-md} Figure16
-
-
-Figure16
-:::
-
-- Flamingo(1000억 토큰), OpenFlamingo(400억 토큰)에 비해 CM3leon(30억 토큰)은 적은 토큰임에도 불구하고, 동등한 성능을 달성했다.
+```{admonition} Information
+- **Title:** Scaling Autoregressive Multi-Modal Models: Pretraining and Instruction Tuning
+
+- **Reference**
+ - Paper: [https://scontent-gmp1-1.xx.fbcdn.net/v/t39.2365-6/358725877_789390529544546_1176484804732743296_n.pdf?_nc_cat=108&ccb=1-7&_nc_sid=3c67a6&_nc_ohc=PLfU_UR_vYAAX_NagU8&_nc_ht=scontent-gmp1-1.xx&oh=00_AfDrHAHXv1PcF0LqicjIYnmOrpVCGEQ0eMv5_Ve2_Tncvg&oe=652FF632](https://scontent-gmp1-1.xx.fbcdn.net/v/t39.2365-6/358725877_789390529544546_1176484804732743296_n.pdf?_nc_cat=108&ccb=1-7&_nc_sid=3c67a6&_nc_ohc=PLfU_UR_vYAAX_NagU8&_nc_ht=scontent-gmp1-1.xx&oh=00_AfDrHAHXv1PcF0LqicjIYnmOrpVCGEQ0eMv5_Ve2_Tncvg&oe=652FF632)
+ - Code: X
+
+- **Author:** Jun-Hyoung Lee
+
+- **Last updated on Oct. 15. 2023**
+```
+
+# CM3leon
+:::{figure-md} CM3leon result
+
+
+CM3leon result
+:::
+
+- 복잡하게 구성된 객체(손, 텍스트)도 잘 생성한다.
+
+## Abstract & 1. Introduction
+- CM3Leon
+ - 텍스트와 이미지 둘 다 잘 생성하는 능력을 가진 검색-증강, 토큰 기반, 디코더 전용 멀티 모달 모델이다.
+ - CM3 멀티 모델 아키텍처를 사용하며 scaling up 및 다양한 구조적-스타일 데이터에 tunning 할 수 있는 능력을 가졌다.
+- Training
+ - 처음에는 멀티 모달 모델을 “텍스트 기반” language 모델에 맞도록 학습했다. (large scale의 검색 증강 pretraining 단계를 포함한다.)
+ - 데이터는 라이센스가 있는 Shutterstock의 large-scale로 학습한다.
+ - 그 후 supervised fine tuning (SFT) 단계로 진행했다.
+ - 입력과 출력 모두 이미지와 텍스트 토큰을 섞을 수 있다.
+- 기존 이미지 생성 모델은 텍스트 프롬프트에 맞는 이미지만 잘 생성하는데,
+ - CM3leon은 텍스트와 이미지 모두 잘 생성한다.
+ - 이미지 생성
+ - 고해상도 output을 생성할 수 있는 self-contained contrastive decoding 방법을 소개한다.
+ - text guided iamge editing 부터 image controlled generation, segmentation까지 가능하다.
+ - 텍스트 생성
+ - Shutterstock의 3억 개의 텍스트 토큰으로 학습했는데, image-to-text generation도 잘 수행한다.
+- 학습 연산을 5배로 줄였다.
+- zero shot COCO로 FID를 측정한 결과 4.88 점으로, Google의 Parti 모델의 성능과 비슷한 수준을 달성했다.
+
+
+# 2. Pretraining
+
+- RA-CM3를 기반으로 T2I 도메인에서 토큰 기반 디코더 모델의 잠재력을 연구했다.
+
+## 2.1 Data
+
+### Image Tokenization
+
+- Gafni의 image tokenizer를 사용했다.
+
+ - 이 tokenizer는 256x256 이미지를 8192개의 vocabulary에서 1024개의 토큰으로 인코딩을 진행한다.
+- 텍스트에서는, Zhang의 커스텀 tokenizer(56320 vocabulary size)를 학습했다.
+
+- 추가로, 새로운 스페셜한 토큰인 **``**을 소개한다.
+
+:::{figure-md} Figure_8_9
+
+
+Figure_8_9
+:::
+
+ - 이는 modality간 transition을 하게 한다.
+
+### Retrieval Augmentation
+
+- 목적: 입력 sequence에 맞춰 관련성이 높고 다양한 멀티 모달 문서(from memory bank)를 검색하는 것이다.
+ - dense retriever 와 retrieval strategy을 포함하고 있다.
+- dense retriever
+ - 쿼리 $q$ (예: input sequence)와 memory bank $\mathcal M$ 로부터 후보 문서 $m$ 를 가지고 관련성 점수$r(q, m)$ 를 return 해준다.
+ - dense retriver 방법은 CLIP 기반인 bi-encoder 구조를 따랐다. (Karpukhin)
+ - 멀티 모달 문서를 text / image 파트로 분리하고, 각각 CLIP 인코더(ViT-B-32)를 통해 인코딩을 한다.
+ - 그 후 문서의 vector representation로써 두 개를 평균을 낸다.
+ - 최종 검색은 관련성 점수에 따라 정렬된 후보 문서 목록을 얻기 위해 Maximum Inner Product Search로 수행한다.
+- 학습 때 generator를 위한 유용한 검색 문서를 추출하기 위해 세 가지 요소를 고려했다.
+ - relevance
+ - 검색된 문서는 입력 sequence에 관련있어야 한다.
+ - CLIP 기반 dense retriever 점수를 사용한다.
+ - modality
+ - 이미지와 텍스트로 구성된 멀티 모달 문서로 검색 > 이미지 또는 텍스트로 검색하는 것이다.
+ - diversity
+ - 다양성은 검색된 문서에서 중복성을 피하기 위한 필수적인 절차다.
+ - 단순하게 관련성 점수에 기반해 top K 문서만 가져온다면 중복이 발생할 수 있다.
+ - 또한 downstream pretraining 에 안좋은 영향을 끼칠 수 있다.
+ - 실제로, 관련성 점수가 0.9 이하로 검색된 문서로 사용했고,
+ - query dropout(검색에 사용된 쿼리의 일부 20% 토큰을 삭제)를 적용했다.
+ - 따라서 다양성과 학습에 정규화를 시켰다.
+- 이미지와 텍스트를 기반으로 각각 두 개의 문서를 검색한다.
+- 학습에서는 데이터셋의 모든 캡션-이미지 쌍에 대해 검색된 샘플 3개를 무작위로 선택한다.
+ - 이는 사실상 사전 학습에서 사용할 수 있는 토큰 수의 4배이다.
+
+## 2.2 Objective Function
+
+- CM3 objective
+ - input
+
+ - `"Image of a chameleon: [image]"` 을 변형시켜 `"Image of : [image] a chameleon”` 로 표현한다.
+ : `, ` 이 추가되었고, 단어의 재배치가 진행됐다.
+
+ - 학습에는 일반적인 다음 토큰을 예측하는 loss를 사용했다.
+
+ - 그 결과 이미지, 텍스트 둘 다 생성하는 다용도 모델의 결과를 가져왔다.
+ - caption-to-image generation에서는 CM3가 “Image of a chameleon:” 프롬프트로 부터 이미지를 생성하고,
+
+ - image-to-caption generation에서는 CM3는 `“Image of : [image] ”` 프롬프트를 활용한다.
+
+## 2.3 Model
+
+- CM3Leon 모델은 디코더만 사용하는 transformer 아키텍쳐를 사용한다.
+- Zhang에 비해 bias term, dropout, layer norm의 학습 가능한 파라미터를 제거했다.
+- sequence length를 2048 → 4096까지 확장했다.
+- weight 초기화: 평균 0, 표준 편차 0.006 인 truncated(표준 편차 3으로 잘린) normal distribution 사용했다.
+- output layer: 0으로 초기화, 0에 가까운 표준 편차 0.0002로 positional embedding 초기화한다.
+- [Metaseq](https://github.com/facebookresearch/metaseq)로 학습됐다.
+
+## 2.4 Training
+
+:::{figure-md} Training result
+
+
+Training result
+:::
+
+- 세 가지 모델 사이즈(350M, 760M, 7B)로 학습 진행했다. (→ 1.4T(Trillion), 1.9T, 2.4T tokens)
+ - 주요한 하이퍼 파라미터는 learning rate, batch size로 멀티모달 scaling 에 맞게 설정했다.
+- 참고
+ - Perplexity, PPL: 언어 모델의 평가 방법 중 하나이다. (헷갈리는 정도, 값이 낮을 수록 좋다.)
+
+
+## 3. Text-To-Image Results
+
+### 3.1 Importance of Decoding Strategies
+
+- autoregressive T2I 모델에서 decoding 알고리즘에 대해 상당한 연구가 진행되어 왔다.
+ - 그 중 DALL-E는 최종 아웃풋의 퀄리티가 향상되는 결과를 가져왔다.
+ - DALL-E 는 temperature 샘플링과 512개 후보 프롬프트에 CLIP re-ranking 전략을 채택했다.
+ - PARTI 와 Make-A-Scene 과 같은 모델은 토큰 기반의 classifier-free guidance로, re-ranking에 대해 오직 16 개의 샘플만 필요하게 됨으로써 후보의 수를 줄였다.
+
+### Temperatured Sampling
+
+- autoregressive 모델에서 확률적 기술로 사용된다.
+ - 이 방법은 샘플링에서 softmax의 temperature를 수정해 예측 무작위성을 제어한다.
+ - - Classifier Free Guidance 적용했다.
+
+### TopP Sampling
+
+- nucleus 샘플링으로도 불리고, 미리 정의한 임계값을 초과하는 누적 확률을 가진 가장 작은 상위 토큰 세트에서 샘플링을 포함한다.
+ - - Classifier Free Guidance 적용했다.
+
+### Classifier Free Guidance (CFG)
+
+$$
+\begin{aligned}
+& \operatorname{logits}_{\text {cond }}=T\left(t_y \mid t_x\right), \text { logits }_{\text {uncond }}=T\left(t_y \mid<\bf { mask }>\right) \\
+& \operatorname{logits}_{\mathrm{cf}}=\operatorname{logits}_{\text {uncond }}+\alpha_c \cdot\left(\text { logits }_{\text {cond }}-\text { logits }_{\text {uncond }}\right)
+\end{aligned}
+$$
+
+- CFG는 unconditional 샘플을 conditional 샘플에 맞도록 하는 것을 의미한다.
+- unconditional 샘플을 text를 CM3 목표의 마스크 토큰으로 대체한다.
+- 이는 CM3 목표를 사용한 학습의 핵심 이점 중 하나이며, finetuning 없이, classifier 없는 guidance를 수행할 수 있다.
+- 추론에서는 두 개의 토큰 stream을 생성한다.
+ - 입력 텍스트에 따라 달라지는 토큰 stream과
+ - mask 토큰에 따라 condition된 unconditional 토큰 stream
+
+### Contrastive Decoding TopK (CD-K)
+
+- CFG에서 logit의 뺄셈 연산이 텍스트에서 contrastive decoding 방법의 log probability를 뺄셈하는 연산과 비슷하다.
+
+## 3.2 Quantitative Evaluation
+
+:::{figure-md} Evaluation
+
+
+Evaluation
+:::
+
+
+- MS-COCO (30K) zero shot 예측, FID 측정했다.
+ - CM3Leon-7B 모델이 FID 4.88 점으로 가장 좋다.
+- retrieval-augmented decoder-only 모델의 효율성이 좋다.
+ - CM3Leon-7B 모델이 추론에서 1개/2개로 검색된 예제로 동작할 때 우수한 FID 점수를 기록했다.
+ - 이는 고품질 이미지를 생성하는 능력을 확장시키는 검색의 중요성을 보여준다.
+
+
+## 4. Supervised Fine-Tuning
+
+:::{figure-md} Figure5
+
+
+Figure5
+:::
+
+- Supervised fine-tuning (SFT)는 LLM에서 중요한 학습 단계이다.
+
+ - 명령어 또는 프롬프트를 잘 이해하는 것을 도와주며, zero shot task에서도 향상되는 결과를 얻었다.
+- 명령어 튜닝이 다양한 task에 멀티모달 모델 성능을 눈에 띄게 증폭시키는 것을 발견했다.
+
+- CM3Leon을 이미지와 텍스트 task를 섞어 넓은 범위에서 fine tuning 했다.
+
+- finetuning 과정은 pretraining 단계를 따르며, task instruction과 출력을 결합해 동일한 CM3 objective를 사용한다.
+
+
+### 4.1 Instructable Image Generation
+
+:::{figure-md} Figure6
+
+
+Figure6
+:::
+
+### Text-Guided Image Editing
+
+- text instruction 에 기반한 initial image를 수정하는 task이다.
+- InstructPix2Pix 방법 사용했다.
+- 예시: “하늘의 색을 파란색으로 변경해줘”와 같은 프롬프트로 이미지 편집이 가능하다.
+ - 이것은 CM3leon이 텍스트와 이미지를 동시에 이해하고 있어서 가능하다.
+
+### Image-to-Image Grounded Generation
+
+- 다양한 feature과 텍스트 프롬프트로 grounding image를 생산하는 task이다.
+- ControlNet 적용했다.
+
+### Spatially Grounded Image Generation
+
+:::{figure-md} Figure6-1
+
+
+Figure6-1
+:::
+
+- 이미지 생성에 있어서 공간적 정보(위치)를 텍스트 프롬프트에 통합시킬 수 있도록 하는 task이다.
+
+### Image captioning & visual question answering task
+
+:::{figure-md} Figure16
+
+
+Figure16
+:::
+
+- Flamingo(1000억 토큰), OpenFlamingo(400억 토큰)에 비해 CM3leon(30억 토큰)은 적은 토큰임에도 불구하고, 동등한 성능을 달성했다.
diff --git a/_sources/docs/review/ConceptLab.md b/_sources/docs/review/ConceptLab.md
index 06ebd88d..0ceec67e 100755
--- a/_sources/docs/review/ConceptLab.md
+++ b/_sources/docs/review/ConceptLab.md
@@ -1,195 +1,195 @@
-``` {admonition} Information
-- **Title:** ConceptLab: Creative Generation using Diffusion Prior Constraints
-
-- **Reference**
- - Paper: [https://arxiv.org/pdf/2307.06949.pdf](https://arxiv.org/pdf/2307.06949.pdf)
- - Code: [Official](https://github.com/kfirgoldberg/ConceptLab)
- - Site: [Official](https://kfirgoldberg.github.io/ConceptLab/)
-
-- **Author:** Hyoungseo Cho
-
-- **Last updated on Nov. 20, 2023**
-```
-
-# ConceptLab
-
-## Introduction
-
-본 논문에서는 Creative Generation의 일환으로, 새롭고 창의적인 개념을 생성하는 내용을 다룹니다. 최근 text-to-image 생성 기술과 Personalization 기술이 크게 발전함에 따라 이미지 생성 뿐만 아니라 개인화된 개념을 생설할 수 있게 되었습니다. 이러한 강력한 모델을 사용하여 모델에 명시적으로 설명되지 않은 새로운 창의적 개념을 생성할 수 있을까요?
-
-:::{figure-md}
-
-
-ConceptLab
-:::
-
-## Related Work
-
-**Text-Guided Sysnthesis**
-대부분의 text-guided 생성 기술은 pretrain 된 텍스트 인코더에서 추출한 임베딩을 diffusion 모델에 직접 conditioning합니다. 즉, 텍스트 데이터를 처리하여 이미지 생성 과정에 통합하는 방식입니다. 본 논문에서는 Latent Diffusion Model과 Diffusion prior model을 활용해서 creative generation에서의 이점을 보입니다. - -**Diffusion Prior**
-Diffusion Prior 모델은 입력된 텍스트 임베딩을 CLIP의 latent space에서 해당하는 이미지 임베딩으로 매핑합니다. 이후 디코더는 CLIP의 이미지 임베딩에 condition이 부여된 이미지를 생성하기 위해 훈련됩니다. - -**Personalization**
-Personalization은 text-guided synthesis 맥락에서 사용자가 입력한 텍스트 프롬프트에 맞는 주제나 스타일을 표현하는 새로운 이미지를 생성하는 것을 목표로 합니다. 일반적으로 새로운 개념을 학습시키기 위해 임베딩을 최적화하거나 denoising 네트워크를 finetuning 하는 방법을 활용합니다. 하지만 본 연구에서는 Creative Generation에 초첨을 맞추고 새로운 개념을 생성하고 기발한 장면을 생성하는 것을 목표로 합니다. - -**Creative Generation**
-창의적 내용을 생성하는 것은 다양한 접근 방법이 있습니다. Xu et al 에서는 set-evolution 방법을 활용해 3D 형태의 모델링을 제안했습니다. Elgammal et al 에서는 GAN의 맥락에서 창의적 생성을 탐구하며, 기존 스타일에서의 편차를 극대화하는 방식으로 새로운 스타일을 학습했습니다. Sbai et al 에서는 새로운 손실 함수를 도립했습니다. 본 연구에서는 주어진 카테고리와 일치하도록 최적화하면서도 그 카테고리의 기존 개념들과 다른 새로운 개념을 찾는 방식으로 창의적 생성에 접근했습니다. 본 방법을 통해 새로운 개념들은 서로 혼합될 수 있으며 더 유연한 생성 과정을 갖게됩니다. - -:::{figure-md} -
-
-Text-guided generation (top left), personalization methods (bottom left), creative generation method (right)
-:::
-
-## Prelimiaries
-
-**Latent Diffusion Models**
-Latent Diffusion Model에서는 오토인코더의 latent space 내에서 diffusion 과정이 진행됩니다. 먼저, 인고더 $E$는 주어진 이미지 $x$를 latent code $z$로 매핑하는 것을 목표로 합니다. 이때, z=E(x)가 됩니다. 동시에 디코더 D는 원본 입력 이미지를 재구성하도록 합니다. DDPM의 경우 아래 주어진 손실을 최소화하도록 학습합니다. - -$$ -L = E_{z,y,\epsilon,t} [||\epsilon - \epsilon_{\theta}(z_{t}, t, c)||_{2}^{2}] -$$ - -denoising network $\epsilon \theta$ 는 잠재 코드 $zt$에 추가된 잡음 $\epsilon$을 제거합니다. 이 과정에서 현재 시간 단계 t와 조건 벡터 c도 고려됩니다. - -**Diffusion Prior**
-일반적으로 Diffusion model은 CLIP 텍스트 인코딩에서 직접 파생된 조건 벡터 $c$를 활용하여 주어진 텍스트 프롬프트 $y$에 대해 훈련됩니다. $Ramesh et al$에서 text-to-image 생성 문제를 2가지 단계로 decompose 합니다. 먼저, Diffusion Prior 모델을 활용하여 주어진 텍스트 프롬프트로부터 이미지 임베딩을 예측합니다. 다음으로, 이 이미지 임베딩에 조건을 부여하여 이미지를 생성하는 diffusion decoder로 보내집니다. 훈련 또한 일반적으로 두 독립적인 단계로 이루어집니다. - -$$ -L_{prior} = E_{e,y,t} [||e - P_{\theta]}(e_{t},t,y)||_{2}^{2}] -$$ - -Diffusion 디코더는 이미지 임베딩을 조건 $c$와 위 Latent Diffusion Model에 정의된 손실을 활용하여 훈련됩니다. 그 다음 diffusion prior model $P\theta$는 임베딩 $e_{t}$로부터 denoise 된 이미지 임베딩 $e$를 직접 예측합니다. 이 두 단계 접근법은 이미지 다양성을 향상시키며 중간 CLIP 이미지 임베딩에 직접 접근하고 해당 공간에서 직접 제약을 할 수 있게 합니다. - -:::{figure-md} -
-
-ConceptLab
-:::
-
-
-## Method
-ConceptLab은 생성하고자 하는 새로운 개념을 대표하는 단일 임베딩 $v_{*}$를 최적화합니다. 이후 주어진 카테고리에 유사하면서도 기존 멤버들과 다른 특성을 가지도록 손실 집합을 계산합니다. 훈련하는 동안, 현재 생성된 새로운 개념을 바탕으로 negative contraints를 더하기 위해 pretrained BLIP-2 VQA 모델을 활용합니다.
-
-### The Constraints
-본 연구에서는 긍정적 제약 $C_{pos}$와 부정적 제약 $C_{neg}$ 두 가지를 활용합니다. 각 제약 조건은 텍스트 토큰을 활용하여 정의됩니다.
-
-### The Objective
-본 연구에서는 두가지 제약 조건을 바탕으로 하여 새로운 개념을 대표하는 임베딩 $v_{*}$와 각 제약 조건 간의 유사도를 측정합니다.
-우선, $v_{*}$와 각 제약 단어 $c$를 동일한 무작위 샘플링된 프롬프트 y에 통합합니다. 각 문장은 CLIP 텍스트 임베딩으로 인코딩되며, 이것이 텍스트 제약 조건을 정의합니다. 텍스트 프롬프트를 diffusion prior 모델에 통과시키면, 프롬프트의 특정 인스턴스가 생성됩니다. 이러한 방식으로 $E_{y}(v_{*}$가 diffusion prior를 통과하면 모든 $v_{*}$가 텍스트 제약 조건과 일치하도록 일관된 생성을 얻을 수 있습니다. 반면, 긍정 및 부정 제약 조건은 가능한 광범위하게 유지하고자 diffusion prior를 통과하지 않습니다. 이에 따라 본 연구에서의 손실 함수는 다음과 같이 정의됩니다:
-
-$$
-S(C,v_{*}) = E_{c \sim C}[\langle E_{y}(c), P(E_{y}(v_{*}))\rangle]
-$$
-$$
-L = S(C_{neg}, v_{*}) + \lambda(1-S(C_{pos}, v_{*}))
-$$
-
-즉, 학습된 임베딩 v에서 생성된 샘플링된 이미지 임베딩 $P(E_{y}(v_{*}))$이 $C_{neg}$에 의해 정의된 텍스트 제약 조건에서 멀어지고 $C_{pos}$의 제약조건에 가까워지도록 합니다.
-
-## Regularization
-정규화는 제약 조건 집합이 클 때 특정 멤버로의 collapsing을 방지하는 데 사용됩니다. 부정적 제약에 대한 최대 유사도를 측정하는 추가 손실 함수를 사용하는데 아래와 같이 정의됩니다:
-
-$$
-S_{max}(C,v_{*}) = max_{c \sim C}(\langle E_{y}, P(E_{y}(v_{*}))\rangle)
-$$
-
-이 유사도 측정 방식은 전체 손실 함수에 통합되며, $S(C,v_{*})$와 평균 냄으로써 $v_{*}$에 가장 가까운 제약 조건에 더 큰 패널티를 부여합니다.
-
-:::{figure-md}
-
-
-훈련 과정 중 BLIP-2 모델을 사용하여 현재 개념에 가장 가까운 단어를 추론하고, 이를 제약 조건에 추가하는 과정을 거칩니다.
-:::
-
-### Adaptive Negatives
-많은 부정적 제약 조건을 수동으로 적용하는 것은 힘들고, 광범위한 카테고리의 가장 관련성 높은 멤버들을 정확하게 대표하지 못할 수도 있습니다. 이를 해결하기 위해, 훈련 중 부정적 제약 조건 집합을 점진적으로 확장하는 adaptive scheme을 제안합니다. 생성된 이미지를 사전 훈련된 BLIP-2 VQA 모델에 질의하여 이미지에 현재 존재하는 카테고리의 멤버가 무엇인지 식별하도록 합니다. 이후 결과로 나온 인스턴스를 훈련의 나머지 부분에 대한 부정적 제약 조건에 추가합니다.
-
-:::{figure-md}
-
-
-여러 단계에 걸쳐 생성된 이미지 결과를 보여줍니다. 훈련 과정에서 부정적 제약 조건이 지속적으로 조정되고 확장되었음을 보여줍니다.
-:::
-
-### Evolutionary Generation
-주어진 개념 셋에 대해 *개념을 혼합*하기 위해 먼저 각 개념에서 이미지를 생성하여 이미지 제약 조건 $C_{im}$ 을 만듭니다. 각 이미지는 CLIP 이미지 인코더 $E_{im}(c)$를 통과하여 임베딩 세트를 생성합니다. 학습 가능한 개념 $v_{mix}$를 주어진 임베딩에 더 가깝게 만드는 수정된 손실 함수를 적용합니다.:
-
-$$
-L_{mix} = 1 - E_{c \sim C}[\langle E_{im}(c), P(E_{y}(v_{mix}))\rangle]
-$$
-
-이 손실 함수는 생성된 개념이나 실제 이미지에 적용될 수 있으며, 창의적인 생성물의 계층ㅇ적 생성을 위해 반복적으로 적용될 수 있습니다. 또, 생성된 결과물에 대한 각 개념의 영향을 더 잘 제어하기 위해 가중치 항목이 추가적으로 적용될 수 있습니다.
-
-:::{figure-md}
-
-
-그림에는 훈련에 사용된 긍정적 개념이 왼쪽에 표시되어 있습니다. 이는 모델이 어떤 개념을 기반으로 창의적 이미지를 생성했는지를 알 수 있습니다. 모든 결과는 Adaptive Negative 기법을 활용했습니다.
-:::
-
-:::{figure-md}
-
-
-ConceptLab이 제안한 다양한 이미지로 프롬프트와 Adaptive Negative 기법을 적용했습니다.
-:::
-
-:::{figure-md}
-
-
-ConceptLab은 생성된 개념들을 혼합하여 새롭고 독특한 창조물을 반복적으로 학습할 수 있습니다. 그림의 가장 윗줄에서는 Adaptive Negative 기법을 적용하여 학습된 개념들을 보여줍니다. 이어지는 줄에서는 Evolutionary Generation 과정을 통해 얻어진 개념들을 보여줍니다.
-:::
-
-## Experiments
-ConceptLab의 효과를 입증하기 위해 정성적 및 정량적 평가를 진행했습니다.
-
-### Result
-
-### Creative Generation
-위 그림들에서 볼 수 있듯이 모든 결과는 Adaptive Negative를 적용하였고 훈련 시드를 달리하며 다양한 개념을 생성할 수 있는 능력이 있음을 볼 수 있습니다. 또, ConceptLab은 학습된 창의적 개념을 새로운 장면에 배치할 수 있습니다. 이 생성물들은 배경 변경, 스타일 변경, 새로운 창조등 다양하게 활용 가능합니다.
-
-:::{figure-md}
-
-
-ConceptLab을 활용한 Concept Mixing의 결과를 보여줍니다.
-:::
-
-### Concept Mixing
-Concept Mixing은 다양한 실제 개념들의 독특한 특성을 합쳐 하이브리드 개념을 형성하는 방법을 보여줍니다. 이 방법은 오직 긍정적 제약 조건만을 활용합니다. 예를 들어, 첫 번째 줄에는 랍스터의 주요 특징(생상과 집게발)을 거북이의 특징(등껍질)과 융합하는 것을 볼 수 있습니다.
-
-:::{figure-md}
-
-
-위 그림은 ConceptLab에 의해 학습된 개념들이 여러 *세대*에 걸쳐 어떻게 발전하는지 보여줍니다.
-:::
-
-
-### Comparisons
-
-### Evaluation Setup
-ConceptLab은 Stable Diffusion2와 Kandinsky 2.1 두 모델과 함께 평가했습니다. Kandinsky의 경우, 더 유리한 결과를 위해 부정적 프롬프트는 Latent Diffusion Model이 아닌 Diffusion Prior Model에 적용했습니다.
-
-### Qualitative Comparisons
-ConceptLab은 긍정적 토근과 부정적 제약 조건 모두에 일관되게 맞춰질 수 있습니다. 즉, ConceptLab은 다중 제약 조건을 효과적으로 처리하고, 특정 개념에 대한 일관된 표현을 학습할 수 있는 능력을 갖추고 있습니다.
-
-### Quantitative Comparisons
-정량적 평가를 위해 각 방법이 긍정적 개념을 포함하며, 주어진 부정적 개념과 닮지 않은 이미지를 생성하는 능력을 측정했습니다. 평가에는 애완동물, 식물, 과일, 가구, 악기의 5가지 카테고리를 활용했습니다. 각 도메인에 세 가지 다른 부정적 개념 쌍을 고려하고, 각 조합에 대해 ConceptLab을 5개의 랜덤 시드로 훈련하여 총 75개의 학습된 개념을 얻었습니다. 각 학습된 개념에 대해 "A photo of a $S_{*}$ 프롬프트를 활용하여 32개의 이미지를 생성했습니다. Stable Diffusionr과 kandinsky 모델에서는 부정적 프롬프트를 사용하고, 같은 긍정적 및 부정적 개념 쌍에 대해 160개의 이미지를 생성합니다. 측정 기준으로는 먼저 각 개념의 긍정적 유사성을 타겟 카테고리와의 CLIP 공간 유사성 계산을 통해 특정됩니다. 다음으로는 긍정적 제약과 부정적 제약 사이의 거리를 측정합니다. 이는 생성된 이미지와 모든 부정적 개념 사이의 최대 유사성 계산을 통해 이루어집니다. 결과적으로 ConceptLab은 5가지 모든 도메인에서 긍정적 CLIP 유사성에서 일관되게 우월한 성능을 보였고 타겟 카테고리에 속하는 이미지를 신뢰성 있게 생성했습니다. 또한, 부정적 거리 측정에서 ConceptLab은 모든 카테고리에서 Stable Diffusion을, 4가지 카테고리에서 Kandinsky를 능가했습니다.
-
-:::{figure-md}
-
-
-User Study
-:::
-
-## Limitations
-Personalization과 유사하게, 학습된 개념을 포함하는 프롬프트를 사용하여 새로운 이미지를 생성하는 것이 항상 개념의 특성을 다양한 프롬프트에 걸쳐 유지하지는 못합니다. 또, 최적화 과정 자체가 항상 원하는 결과를 가져오지는 않습니다. "비행기"나 "물고기"와 같은 일부 클래스의 경우 ConceptLab은 창의적 개념을 생성하는데 여전히 어려움이 있습니다. 이는 BLIP-2에 의해 생성되는 부정적 제약과 관련이 있습니다.
-
-
-:::{figure-md}
-
-
-Limitations
-:::
-
-## Conclusion
+``` {admonition} Information
+- **Title:** ConceptLab: Creative Generation using Diffusion Prior Constraints
+
+- **Reference**
+ - Paper: [https://arxiv.org/pdf/2307.06949.pdf](https://arxiv.org/pdf/2307.06949.pdf)
+ - Code: [Official](https://github.com/kfirgoldberg/ConceptLab)
+ - Site: [Official](https://kfirgoldberg.github.io/ConceptLab/)
+
+- **Author:** Hyoungseo Cho
+
+- **Last updated on Nov. 20, 2023**
+```
+
+# ConceptLab
+
+## Introduction
+
+본 논문에서는 Creative Generation의 일환으로, 새롭고 창의적인 개념을 생성하는 내용을 다룹니다. 최근 text-to-image 생성 기술과 Personalization 기술이 크게 발전함에 따라 이미지 생성 뿐만 아니라 개인화된 개념을 생설할 수 있게 되었습니다. 이러한 강력한 모델을 사용하여 모델에 명시적으로 설명되지 않은 새로운 창의적 개념을 생성할 수 있을까요?
+
+:::{figure-md}
+
+
+ConceptLab
+:::
+
+## Related Work
+
+**Text-Guided Sysnthesis**
+대부분의 text-guided 생성 기술은 pretrain 된 텍스트 인코더에서 추출한 임베딩을 diffusion 모델에 직접 conditioning합니다. 즉, 텍스트 데이터를 처리하여 이미지 생성 과정에 통합하는 방식입니다. 본 논문에서는 Latent Diffusion Model과 Diffusion prior model을 활용해서 creative generation에서의 이점을 보입니다. + +**Diffusion Prior**
+Diffusion Prior 모델은 입력된 텍스트 임베딩을 CLIP의 latent space에서 해당하는 이미지 임베딩으로 매핑합니다. 이후 디코더는 CLIP의 이미지 임베딩에 condition이 부여된 이미지를 생성하기 위해 훈련됩니다. + +**Personalization**
+Personalization은 text-guided synthesis 맥락에서 사용자가 입력한 텍스트 프롬프트에 맞는 주제나 스타일을 표현하는 새로운 이미지를 생성하는 것을 목표로 합니다. 일반적으로 새로운 개념을 학습시키기 위해 임베딩을 최적화하거나 denoising 네트워크를 finetuning 하는 방법을 활용합니다. 하지만 본 연구에서는 Creative Generation에 초첨을 맞추고 새로운 개념을 생성하고 기발한 장면을 생성하는 것을 목표로 합니다. + +**Creative Generation**
+창의적 내용을 생성하는 것은 다양한 접근 방법이 있습니다. Xu et al 에서는 set-evolution 방법을 활용해 3D 형태의 모델링을 제안했습니다. Elgammal et al 에서는 GAN의 맥락에서 창의적 생성을 탐구하며, 기존 스타일에서의 편차를 극대화하는 방식으로 새로운 스타일을 학습했습니다. Sbai et al 에서는 새로운 손실 함수를 도립했습니다. 본 연구에서는 주어진 카테고리와 일치하도록 최적화하면서도 그 카테고리의 기존 개념들과 다른 새로운 개념을 찾는 방식으로 창의적 생성에 접근했습니다. 본 방법을 통해 새로운 개념들은 서로 혼합될 수 있으며 더 유연한 생성 과정을 갖게됩니다. + +:::{figure-md} +
+
+Text-guided generation (top left), personalization methods (bottom left), creative generation method (right)
+:::
+
+## Prelimiaries
+
+**Latent Diffusion Models**
+Latent Diffusion Model에서는 오토인코더의 latent space 내에서 diffusion 과정이 진행됩니다. 먼저, 인고더 $E$는 주어진 이미지 $x$를 latent code $z$로 매핑하는 것을 목표로 합니다. 이때, z=E(x)가 됩니다. 동시에 디코더 D는 원본 입력 이미지를 재구성하도록 합니다. DDPM의 경우 아래 주어진 손실을 최소화하도록 학습합니다. + +$$ +L = E_{z,y,\epsilon,t} [||\epsilon - \epsilon_{\theta}(z_{t}, t, c)||_{2}^{2}] +$$ + +denoising network $\epsilon \theta$ 는 잠재 코드 $zt$에 추가된 잡음 $\epsilon$을 제거합니다. 이 과정에서 현재 시간 단계 t와 조건 벡터 c도 고려됩니다. + +**Diffusion Prior**
+일반적으로 Diffusion model은 CLIP 텍스트 인코딩에서 직접 파생된 조건 벡터 $c$를 활용하여 주어진 텍스트 프롬프트 $y$에 대해 훈련됩니다. $Ramesh et al$에서 text-to-image 생성 문제를 2가지 단계로 decompose 합니다. 먼저, Diffusion Prior 모델을 활용하여 주어진 텍스트 프롬프트로부터 이미지 임베딩을 예측합니다. 다음으로, 이 이미지 임베딩에 조건을 부여하여 이미지를 생성하는 diffusion decoder로 보내집니다. 훈련 또한 일반적으로 두 독립적인 단계로 이루어집니다. + +$$ +L_{prior} = E_{e,y,t} [||e - P_{\theta]}(e_{t},t,y)||_{2}^{2}] +$$ + +Diffusion 디코더는 이미지 임베딩을 조건 $c$와 위 Latent Diffusion Model에 정의된 손실을 활용하여 훈련됩니다. 그 다음 diffusion prior model $P\theta$는 임베딩 $e_{t}$로부터 denoise 된 이미지 임베딩 $e$를 직접 예측합니다. 이 두 단계 접근법은 이미지 다양성을 향상시키며 중간 CLIP 이미지 임베딩에 직접 접근하고 해당 공간에서 직접 제약을 할 수 있게 합니다. + +:::{figure-md} +
+
+ConceptLab
+:::
+
+
+## Method
+ConceptLab은 생성하고자 하는 새로운 개념을 대표하는 단일 임베딩 $v_{*}$를 최적화합니다. 이후 주어진 카테고리에 유사하면서도 기존 멤버들과 다른 특성을 가지도록 손실 집합을 계산합니다. 훈련하는 동안, 현재 생성된 새로운 개념을 바탕으로 negative contraints를 더하기 위해 pretrained BLIP-2 VQA 모델을 활용합니다.
+
+### The Constraints
+본 연구에서는 긍정적 제약 $C_{pos}$와 부정적 제약 $C_{neg}$ 두 가지를 활용합니다. 각 제약 조건은 텍스트 토큰을 활용하여 정의됩니다.
+
+### The Objective
+본 연구에서는 두가지 제약 조건을 바탕으로 하여 새로운 개념을 대표하는 임베딩 $v_{*}$와 각 제약 조건 간의 유사도를 측정합니다.
+우선, $v_{*}$와 각 제약 단어 $c$를 동일한 무작위 샘플링된 프롬프트 y에 통합합니다. 각 문장은 CLIP 텍스트 임베딩으로 인코딩되며, 이것이 텍스트 제약 조건을 정의합니다. 텍스트 프롬프트를 diffusion prior 모델에 통과시키면, 프롬프트의 특정 인스턴스가 생성됩니다. 이러한 방식으로 $E_{y}(v_{*}$가 diffusion prior를 통과하면 모든 $v_{*}$가 텍스트 제약 조건과 일치하도록 일관된 생성을 얻을 수 있습니다. 반면, 긍정 및 부정 제약 조건은 가능한 광범위하게 유지하고자 diffusion prior를 통과하지 않습니다. 이에 따라 본 연구에서의 손실 함수는 다음과 같이 정의됩니다:
+
+$$
+S(C,v_{*}) = E_{c \sim C}[\langle E_{y}(c), P(E_{y}(v_{*}))\rangle]
+$$
+$$
+L = S(C_{neg}, v_{*}) + \lambda(1-S(C_{pos}, v_{*}))
+$$
+
+즉, 학습된 임베딩 v에서 생성된 샘플링된 이미지 임베딩 $P(E_{y}(v_{*}))$이 $C_{neg}$에 의해 정의된 텍스트 제약 조건에서 멀어지고 $C_{pos}$의 제약조건에 가까워지도록 합니다.
+
+## Regularization
+정규화는 제약 조건 집합이 클 때 특정 멤버로의 collapsing을 방지하는 데 사용됩니다. 부정적 제약에 대한 최대 유사도를 측정하는 추가 손실 함수를 사용하는데 아래와 같이 정의됩니다:
+
+$$
+S_{max}(C,v_{*}) = max_{c \sim C}(\langle E_{y}, P(E_{y}(v_{*}))\rangle)
+$$
+
+이 유사도 측정 방식은 전체 손실 함수에 통합되며, $S(C,v_{*})$와 평균 냄으로써 $v_{*}$에 가장 가까운 제약 조건에 더 큰 패널티를 부여합니다.
+
+:::{figure-md}
+
+
+훈련 과정 중 BLIP-2 모델을 사용하여 현재 개념에 가장 가까운 단어를 추론하고, 이를 제약 조건에 추가하는 과정을 거칩니다.
+:::
+
+### Adaptive Negatives
+많은 부정적 제약 조건을 수동으로 적용하는 것은 힘들고, 광범위한 카테고리의 가장 관련성 높은 멤버들을 정확하게 대표하지 못할 수도 있습니다. 이를 해결하기 위해, 훈련 중 부정적 제약 조건 집합을 점진적으로 확장하는 adaptive scheme을 제안합니다. 생성된 이미지를 사전 훈련된 BLIP-2 VQA 모델에 질의하여 이미지에 현재 존재하는 카테고리의 멤버가 무엇인지 식별하도록 합니다. 이후 결과로 나온 인스턴스를 훈련의 나머지 부분에 대한 부정적 제약 조건에 추가합니다.
+
+:::{figure-md}
+
+
+여러 단계에 걸쳐 생성된 이미지 결과를 보여줍니다. 훈련 과정에서 부정적 제약 조건이 지속적으로 조정되고 확장되었음을 보여줍니다.
+:::
+
+### Evolutionary Generation
+주어진 개념 셋에 대해 *개념을 혼합*하기 위해 먼저 각 개념에서 이미지를 생성하여 이미지 제약 조건 $C_{im}$ 을 만듭니다. 각 이미지는 CLIP 이미지 인코더 $E_{im}(c)$를 통과하여 임베딩 세트를 생성합니다. 학습 가능한 개념 $v_{mix}$를 주어진 임베딩에 더 가깝게 만드는 수정된 손실 함수를 적용합니다.:
+
+$$
+L_{mix} = 1 - E_{c \sim C}[\langle E_{im}(c), P(E_{y}(v_{mix}))\rangle]
+$$
+
+이 손실 함수는 생성된 개념이나 실제 이미지에 적용될 수 있으며, 창의적인 생성물의 계층ㅇ적 생성을 위해 반복적으로 적용될 수 있습니다. 또, 생성된 결과물에 대한 각 개념의 영향을 더 잘 제어하기 위해 가중치 항목이 추가적으로 적용될 수 있습니다.
+
+:::{figure-md}
+
+
+그림에는 훈련에 사용된 긍정적 개념이 왼쪽에 표시되어 있습니다. 이는 모델이 어떤 개념을 기반으로 창의적 이미지를 생성했는지를 알 수 있습니다. 모든 결과는 Adaptive Negative 기법을 활용했습니다.
+:::
+
+:::{figure-md}
+
+
+ConceptLab이 제안한 다양한 이미지로 프롬프트와 Adaptive Negative 기법을 적용했습니다.
+:::
+
+:::{figure-md}
+
+
+ConceptLab은 생성된 개념들을 혼합하여 새롭고 독특한 창조물을 반복적으로 학습할 수 있습니다. 그림의 가장 윗줄에서는 Adaptive Negative 기법을 적용하여 학습된 개념들을 보여줍니다. 이어지는 줄에서는 Evolutionary Generation 과정을 통해 얻어진 개념들을 보여줍니다.
+:::
+
+## Experiments
+ConceptLab의 효과를 입증하기 위해 정성적 및 정량적 평가를 진행했습니다.
+
+### Result
+
+### Creative Generation
+위 그림들에서 볼 수 있듯이 모든 결과는 Adaptive Negative를 적용하였고 훈련 시드를 달리하며 다양한 개념을 생성할 수 있는 능력이 있음을 볼 수 있습니다. 또, ConceptLab은 학습된 창의적 개념을 새로운 장면에 배치할 수 있습니다. 이 생성물들은 배경 변경, 스타일 변경, 새로운 창조등 다양하게 활용 가능합니다.
+
+:::{figure-md}
+
+
+ConceptLab을 활용한 Concept Mixing의 결과를 보여줍니다.
+:::
+
+### Concept Mixing
+Concept Mixing은 다양한 실제 개념들의 독특한 특성을 합쳐 하이브리드 개념을 형성하는 방법을 보여줍니다. 이 방법은 오직 긍정적 제약 조건만을 활용합니다. 예를 들어, 첫 번째 줄에는 랍스터의 주요 특징(생상과 집게발)을 거북이의 특징(등껍질)과 융합하는 것을 볼 수 있습니다.
+
+:::{figure-md}
+
+
+위 그림은 ConceptLab에 의해 학습된 개념들이 여러 *세대*에 걸쳐 어떻게 발전하는지 보여줍니다.
+:::
+
+
+### Comparisons
+
+### Evaluation Setup
+ConceptLab은 Stable Diffusion2와 Kandinsky 2.1 두 모델과 함께 평가했습니다. Kandinsky의 경우, 더 유리한 결과를 위해 부정적 프롬프트는 Latent Diffusion Model이 아닌 Diffusion Prior Model에 적용했습니다.
+
+### Qualitative Comparisons
+ConceptLab은 긍정적 토근과 부정적 제약 조건 모두에 일관되게 맞춰질 수 있습니다. 즉, ConceptLab은 다중 제약 조건을 효과적으로 처리하고, 특정 개념에 대한 일관된 표현을 학습할 수 있는 능력을 갖추고 있습니다.
+
+### Quantitative Comparisons
+정량적 평가를 위해 각 방법이 긍정적 개념을 포함하며, 주어진 부정적 개념과 닮지 않은 이미지를 생성하는 능력을 측정했습니다. 평가에는 애완동물, 식물, 과일, 가구, 악기의 5가지 카테고리를 활용했습니다. 각 도메인에 세 가지 다른 부정적 개념 쌍을 고려하고, 각 조합에 대해 ConceptLab을 5개의 랜덤 시드로 훈련하여 총 75개의 학습된 개념을 얻었습니다. 각 학습된 개념에 대해 "A photo of a $S_{*}$ 프롬프트를 활용하여 32개의 이미지를 생성했습니다. Stable Diffusionr과 kandinsky 모델에서는 부정적 프롬프트를 사용하고, 같은 긍정적 및 부정적 개념 쌍에 대해 160개의 이미지를 생성합니다. 측정 기준으로는 먼저 각 개념의 긍정적 유사성을 타겟 카테고리와의 CLIP 공간 유사성 계산을 통해 특정됩니다. 다음으로는 긍정적 제약과 부정적 제약 사이의 거리를 측정합니다. 이는 생성된 이미지와 모든 부정적 개념 사이의 최대 유사성 계산을 통해 이루어집니다. 결과적으로 ConceptLab은 5가지 모든 도메인에서 긍정적 CLIP 유사성에서 일관되게 우월한 성능을 보였고 타겟 카테고리에 속하는 이미지를 신뢰성 있게 생성했습니다. 또한, 부정적 거리 측정에서 ConceptLab은 모든 카테고리에서 Stable Diffusion을, 4가지 카테고리에서 Kandinsky를 능가했습니다.
+
+:::{figure-md}
+
+
+User Study
+:::
+
+## Limitations
+Personalization과 유사하게, 학습된 개념을 포함하는 프롬프트를 사용하여 새로운 이미지를 생성하는 것이 항상 개념의 특성을 다양한 프롬프트에 걸쳐 유지하지는 못합니다. 또, 최적화 과정 자체가 항상 원하는 결과를 가져오지는 않습니다. "비행기"나 "물고기"와 같은 일부 클래스의 경우 ConceptLab은 창의적 개념을 생성하는데 여전히 어려움이 있습니다. 이는 BLIP-2에 의해 생성되는 부정적 제약과 관련이 있습니다.
+
+
+:::{figure-md}
+
+
+Limitations
+:::
+
+## Conclusion
본 논문에서는 text-to-image diffusion model을 활용하여 창의적 생성을 위한 새로운 접근 방법을 소개했습니다. 주어진 광범위한 카테고리에 속하는 새로운 개념을 학습하기 위해 Diffusion Prior 모델 사용을 제안했습니다. 또, Prior Constraints라는 긍정적 및 부정적 제약 조건들을 diffusion prior 출력에 적용했습니다. 최적화 과정에서는 VQA 모델을 활용하여 독특하면서도 기존 멤버들과의 명확한 구별을 보장했습니다. 이후 실험을 통해 본 방법의 효과성을 입증했으며 시각적으로 다양하고 매력적인 개념을 생성할 수 있었습니다.
\ No newline at end of file
diff --git a/_sources/docs/review/ControlNet.md b/_sources/docs/review/ControlNet.md
index 4e5467d8..c3ca4aeb 100755
--- a/_sources/docs/review/ControlNet.md
+++ b/_sources/docs/review/ControlNet.md
@@ -1,203 +1,203 @@
-```{admonition} Information
-- **Title:** Adding Conditional Control to Text-to-Image Diffusion Models (arxiv 2023)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2302.05543](https://arxiv.org/abs/2302.05543)
- - Code: [https://github.com/lllyasviel/ControlNet](https://github.com/lllyasviel/ControlNet)
-
-- **Author:** Jisu Kim
-
-- **Last updated on May. 28, 2023**
-```
-
-# ControlNet
-
-## Additional Control with Image-based condition
-
-기존의 Text-to-Image 모델들은 text prompt로 생성할 이미지의 특징을 조절할 수 있었습니다. 하지만 이런 prompt-based control만으로 이미지의 특징을 조절하는데 한계가 있었습니다. 이 논문에서는 image-based condition을 추가적으로 줘서 생성되는 이미지의 특징을 더 잘 조절하는 ControlNet이라는 신경망 구조를 제안합니다.
-
-아래 그림은 “a high quality, detailed, and professional image”라는 prompt와 왼쪽 아래의 Canny edge를 input으로 받아서 오른쪽의 이미지들을 생성한 것입니다. 이런 식으로 추가적인 image-based condition (아래 그림에서는 Canny edge)를 input으로 받아 이미지를 생성하는 것이 ControlNet이 하는 역할입니다.
-
-:::{figure-md}
-
-
-Images generated by ConrolNet
-:::
-
-그러면 어떤 구조를 사용해서 이를 가능하게 했을까요? 이제부터 이에 대해 알아보도록 하겠습니다.
-
-## ControlNet Block
-
-ControlNet의 block 구조는 다음과 같은 두 가지 특징을 가집니다.
-
-1. pretrained model의 locked copy와 trainable copy를 사용
-
-2. zero convolution
-
-:::{figure-md}
-
-
-ConrolNet block
-:::
-
-왜 이렇게 설계했는지 알아봅시다.
-
-우선, copy를 사용하는 이유는 기존에 방대한 양의 데이터로 학습시킨 pretrained model의 성능을 유지하기 위해서입니다. 또한, ControlNet의 학습 데이터가 양이 적은 경우에 오버피팅을 피할 수 있는 효과도 있을 것입니다.
-
-zero convolution이란 weight랑 bias가 0으로 초기화한 1x1 convolution을 말합니다. zero convolution을 사용할 경우 훈련이 시작되기 전에는 input에 대해 pretrained model과 ControlNet의 output이 똑같아집니다. 따라서 기존 모델이랑 똑같은 input, output을 가지게되므로 기존 모델의 성능을 유지할 수 있으며, 추가적인 훈련이 fine tuning을 하는 것과 비슷하므로 scratch부터 학습하는 것에 비해 빠르게 훈련시킬 수 있게됩니다.
-
-그러면 zero convolution은 어떻게 이를 가능하게 하는지 좀 더 자세히 알아봅시다.
-
-## Zero Convolution
-
-먼저 위의 그림에서 (a)에 해당하는 부분을 아래와 같이 수식으로 표현하겠습니다.
-
-$$
-\mathbf{y}=\mathcal{F}(\mathbf{x};\Theta)
-$$
-
-$\mathbf{x}$는 input feature map, $\mathcal{F}$는 neural network block, $\Theta$는 $\mathcal{F}$의 parameter, $\mathbf{y}$는 output을 의미합니다. 위 그림의 (b)를 수식으로 표현하기위해 $\mathcal{F}$의 trainable copy를 만들어서 parameter를 $\Theta_{c}$라고하고 $\Theta$는 고정시켜두겠습니다. 또한, zero convolution은 $\mathcal{Z}$로 표현하고 두 zero convolution의 parameter를 각각 $\Theta_{z1}, \Theta_{z2}$로 두겠습니다. 그러면 (b)에서 condition $\mathbf{c}$에 대한 output $\mathbf{y}_{c}$는 아래와 같이 표현할 수 있습니다.
-
-$$
-\mathbf{y}_{c}=\mathcal{F}(\mathbf{x};\Theta)+\mathcal{Z}(\mathcal{F}(\mathbf{x}+\mathcal{Z}(\mathbf{c};\Theta_{z1});\Theta_{c});\Theta_{z2})
-$$
-
-그런데 $\mathcal{Z}$의 weight와 bias의 초깃값이 0이므로 훈련이 진행되지 않았을 경우 $\mathbf{y}_{c}=\mathbf{y}$입니다. 따라서 훈련 시작 전에는 ControlNet과 기존 모델이 같은 결과를 내므로 기존 모델의 성능을 보존할 수 있습니다.
-
-그런데 weight랑 bias가 전부 0으로 초기화되어있으면 gradient가 0이라서 훈련이 안 되는거 아닐까요? 이를 확인하기 위해 다음과 같이 간단한 경우를 생각해보죠.
-
-$$
-y=wx+b
-$$
-
-gradient는 다음과 같습니다.
-
-$$
-\frac{\partial y}{\partial w}=x,\; \frac{\partial y}{\partial x}=w,\; \frac{\partial y}{\partial b}=1
-$$
-
-weight랑 bias가 0이고, $x\neq0$이라고 하면
-
-$$
-\frac{\partial y}{\partial w}\neq0,\; \frac{\partial y}{\partial x}=0,\; \frac{\partial y}{\partial b}\neq0
-$$
-
-입니다. 따라서 첫 번째 gradient step에서 weight는 0이 아닌 값으로 가게되고, $\frac{\partial y}{\partial x}\neq0$이 되므로 훈련이 됩니다. 여기서 핵심적인 가정이 $x\neq0$인데 이 부분은 잘 훈련된 pretrained model을 사용하고 있기 때문에 위배될 가능성이 낮을 것입니다.
-
-지금까지 얘기한 ControlNet block 구조를 pretrained Stable diffusion에 적용한 전체 구조는 아래 그림과 같습니다.
-
-:::{figure-md}
-
-
-Overall structure
-:::
-
-## Training & Results
-
-training loss는 기존 stable diffusion에서 image-based condition $\mathbf{c}_{f}$가 추가된 형태입니다.
-
-:::{figure-md}
-
-
-Loss
-:::
-
-training을 할 때 50%의 확률로 prompt $\mathbf{c}_{t}$를 empty string으로 바꿔주었다고 합니다. 이는 prompt가 주어지지않을 경우 모델이 $\mathbf{c}_{f}$로부터 semantics를 더 배우는 경향이 있기 때문에 이미지 생성을 $\mathbf{c}_{f}$로 조절하는 능력을 향상시켜줄 수 있다고 합니다.
-
-아래 결과는 training이 기존 방법보다 효율적이라는 것을 보여줍니다.
-
-:::{figure-md}
-
-
-Efficiency
-:::
-
-아래 결과들은 task에 따른 결과들입니다. 더 많은 이미지들이 논문에 있으니 참고하시기 바랍니다.
-
-:::{figure-md}
-
-
-Pose
-:::
-
-:::{figure-md}
-
-
-Images generated by ConrolNet
-:::
-
-아래는 논문에서 limitation이라고 언급한 이미지입니다. 텍스트로 추가적인 정보를 주었음에도 원하는 이미지가 생성되지 않는 경우가 발생했습니다.
-
-:::{figure-md}
-
-
-Limitations
-:::
-
-## Implementation
-
-코드는 공식 구현([링크](https://github.com/lllyasviel/ControlNet))에서 가져왔습니다. 아래 코드는 parameter를 0으로 초기화하는 코드로 zero convolution을 만들 때 사용됩니다.
-
-```python
-def zero_module(module):
- """
- Zero out the parameters of a module and return it.
- """
- for p in module.parameters():
- p.detach().zero_()
- return module
-```
-
-아래 코드는 기본적으로 nn.Sequential과 같은데 time step같은 추가적인 input을 받아줄 수 있게 만든 것입니다.
-
-```python
-class TimestepEmbedSequential(nn.Sequential, TimestepBlock):
- """
- A sequential module that passes timestep embeddings to the children that
- support it as an extra input.
- """
-
- def forward(self, x, emb, context=None):
- for layer in self:
- if isinstance(layer, TimestepBlock):
- x = layer(x, emb)
- elif isinstance(layer, SpatialTransformer):
- x = layer(x, context)
- else:
- x = layer(x)
- return x
-```
-
-아래 코드는 공식 github의 cldm/cldm.py에 있는 ControlNet class입니다. init 부분은 길어서 생략했습니다.
-
-```python
-class ControlNet(nn.Module):
- def __init__(...):
- ...
-
- def make_zero_conv(self, channels):
- return TimestepEmbedSequential(zero_module(conv_nd(self.dims, channels, channels, 1, padding=0)))
-
- def forward(self, x, hint, timesteps, context, **kwargs):
- t_emb = timestep_embedding(timesteps, self.model_channels, repeat_only=False)
- emb = self.time_embed(t_emb)
-
- guided_hint = self.input_hint_block(hint, emb, context)
-
- outs = []
-
- h = x.type(self.dtype)
- for module, zero_conv in zip(self.input_blocks, self.zero_convs):
- if guided_hint is not None:
- h = module(h, emb, context)
- h += guided_hint
- guided_hint = None
- else:
- h = module(h, emb, context)
- outs.append(zero_conv(h, emb, context))
-
- h = self.middle_block(h, emb, context)
- outs.append(self.middle_block_out(h, emb, context))
-
- return outs
-```
+```{admonition} Information
+- **Title:** Adding Conditional Control to Text-to-Image Diffusion Models (arxiv 2023)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2302.05543](https://arxiv.org/abs/2302.05543)
+ - Code: [https://github.com/lllyasviel/ControlNet](https://github.com/lllyasviel/ControlNet)
+
+- **Author:** Jisu Kim
+
+- **Last updated on May. 28, 2023**
+```
+
+# ControlNet
+
+## Additional Control with Image-based condition
+
+기존의 Text-to-Image 모델들은 text prompt로 생성할 이미지의 특징을 조절할 수 있었습니다. 하지만 이런 prompt-based control만으로 이미지의 특징을 조절하는데 한계가 있었습니다. 이 논문에서는 image-based condition을 추가적으로 줘서 생성되는 이미지의 특징을 더 잘 조절하는 ControlNet이라는 신경망 구조를 제안합니다.
+
+아래 그림은 “a high quality, detailed, and professional image”라는 prompt와 왼쪽 아래의 Canny edge를 input으로 받아서 오른쪽의 이미지들을 생성한 것입니다. 이런 식으로 추가적인 image-based condition (아래 그림에서는 Canny edge)를 input으로 받아 이미지를 생성하는 것이 ControlNet이 하는 역할입니다.
+
+:::{figure-md}
+
+
+Images generated by ConrolNet
+:::
+
+그러면 어떤 구조를 사용해서 이를 가능하게 했을까요? 이제부터 이에 대해 알아보도록 하겠습니다.
+
+## ControlNet Block
+
+ControlNet의 block 구조는 다음과 같은 두 가지 특징을 가집니다.
+
+1. pretrained model의 locked copy와 trainable copy를 사용
+
+2. zero convolution
+
+:::{figure-md}
+
+
+ConrolNet block
+:::
+
+왜 이렇게 설계했는지 알아봅시다.
+
+우선, copy를 사용하는 이유는 기존에 방대한 양의 데이터로 학습시킨 pretrained model의 성능을 유지하기 위해서입니다. 또한, ControlNet의 학습 데이터가 양이 적은 경우에 오버피팅을 피할 수 있는 효과도 있을 것입니다.
+
+zero convolution이란 weight랑 bias가 0으로 초기화한 1x1 convolution을 말합니다. zero convolution을 사용할 경우 훈련이 시작되기 전에는 input에 대해 pretrained model과 ControlNet의 output이 똑같아집니다. 따라서 기존 모델이랑 똑같은 input, output을 가지게되므로 기존 모델의 성능을 유지할 수 있으며, 추가적인 훈련이 fine tuning을 하는 것과 비슷하므로 scratch부터 학습하는 것에 비해 빠르게 훈련시킬 수 있게됩니다.
+
+그러면 zero convolution은 어떻게 이를 가능하게 하는지 좀 더 자세히 알아봅시다.
+
+## Zero Convolution
+
+먼저 위의 그림에서 (a)에 해당하는 부분을 아래와 같이 수식으로 표현하겠습니다.
+
+$$
+\mathbf{y}=\mathcal{F}(\mathbf{x};\Theta)
+$$
+
+$\mathbf{x}$는 input feature map, $\mathcal{F}$는 neural network block, $\Theta$는 $\mathcal{F}$의 parameter, $\mathbf{y}$는 output을 의미합니다. 위 그림의 (b)를 수식으로 표현하기위해 $\mathcal{F}$의 trainable copy를 만들어서 parameter를 $\Theta_{c}$라고하고 $\Theta$는 고정시켜두겠습니다. 또한, zero convolution은 $\mathcal{Z}$로 표현하고 두 zero convolution의 parameter를 각각 $\Theta_{z1}, \Theta_{z2}$로 두겠습니다. 그러면 (b)에서 condition $\mathbf{c}$에 대한 output $\mathbf{y}_{c}$는 아래와 같이 표현할 수 있습니다.
+
+$$
+\mathbf{y}_{c}=\mathcal{F}(\mathbf{x};\Theta)+\mathcal{Z}(\mathcal{F}(\mathbf{x}+\mathcal{Z}(\mathbf{c};\Theta_{z1});\Theta_{c});\Theta_{z2})
+$$
+
+그런데 $\mathcal{Z}$의 weight와 bias의 초깃값이 0이므로 훈련이 진행되지 않았을 경우 $\mathbf{y}_{c}=\mathbf{y}$입니다. 따라서 훈련 시작 전에는 ControlNet과 기존 모델이 같은 결과를 내므로 기존 모델의 성능을 보존할 수 있습니다.
+
+그런데 weight랑 bias가 전부 0으로 초기화되어있으면 gradient가 0이라서 훈련이 안 되는거 아닐까요? 이를 확인하기 위해 다음과 같이 간단한 경우를 생각해보죠.
+
+$$
+y=wx+b
+$$
+
+gradient는 다음과 같습니다.
+
+$$
+\frac{\partial y}{\partial w}=x,\; \frac{\partial y}{\partial x}=w,\; \frac{\partial y}{\partial b}=1
+$$
+
+weight랑 bias가 0이고, $x\neq0$이라고 하면
+
+$$
+\frac{\partial y}{\partial w}\neq0,\; \frac{\partial y}{\partial x}=0,\; \frac{\partial y}{\partial b}\neq0
+$$
+
+입니다. 따라서 첫 번째 gradient step에서 weight는 0이 아닌 값으로 가게되고, $\frac{\partial y}{\partial x}\neq0$이 되므로 훈련이 됩니다. 여기서 핵심적인 가정이 $x\neq0$인데 이 부분은 잘 훈련된 pretrained model을 사용하고 있기 때문에 위배될 가능성이 낮을 것입니다.
+
+지금까지 얘기한 ControlNet block 구조를 pretrained Stable diffusion에 적용한 전체 구조는 아래 그림과 같습니다.
+
+:::{figure-md}
+
+
+Overall structure
+:::
+
+## Training & Results
+
+training loss는 기존 stable diffusion에서 image-based condition $\mathbf{c}_{f}$가 추가된 형태입니다.
+
+:::{figure-md}
+
+
+Loss
+:::
+
+training을 할 때 50%의 확률로 prompt $\mathbf{c}_{t}$를 empty string으로 바꿔주었다고 합니다. 이는 prompt가 주어지지않을 경우 모델이 $\mathbf{c}_{f}$로부터 semantics를 더 배우는 경향이 있기 때문에 이미지 생성을 $\mathbf{c}_{f}$로 조절하는 능력을 향상시켜줄 수 있다고 합니다.
+
+아래 결과는 training이 기존 방법보다 효율적이라는 것을 보여줍니다.
+
+:::{figure-md}
+
+
+Efficiency
+:::
+
+아래 결과들은 task에 따른 결과들입니다. 더 많은 이미지들이 논문에 있으니 참고하시기 바랍니다.
+
+:::{figure-md}
+
+
+Pose
+:::
+
+:::{figure-md}
+
+
+Images generated by ConrolNet
+:::
+
+아래는 논문에서 limitation이라고 언급한 이미지입니다. 텍스트로 추가적인 정보를 주었음에도 원하는 이미지가 생성되지 않는 경우가 발생했습니다.
+
+:::{figure-md}
+
+
+Limitations
+:::
+
+## Implementation
+
+코드는 공식 구현([링크](https://github.com/lllyasviel/ControlNet))에서 가져왔습니다. 아래 코드는 parameter를 0으로 초기화하는 코드로 zero convolution을 만들 때 사용됩니다.
+
+```python
+def zero_module(module):
+ """
+ Zero out the parameters of a module and return it.
+ """
+ for p in module.parameters():
+ p.detach().zero_()
+ return module
+```
+
+아래 코드는 기본적으로 nn.Sequential과 같은데 time step같은 추가적인 input을 받아줄 수 있게 만든 것입니다.
+
+```python
+class TimestepEmbedSequential(nn.Sequential, TimestepBlock):
+ """
+ A sequential module that passes timestep embeddings to the children that
+ support it as an extra input.
+ """
+
+ def forward(self, x, emb, context=None):
+ for layer in self:
+ if isinstance(layer, TimestepBlock):
+ x = layer(x, emb)
+ elif isinstance(layer, SpatialTransformer):
+ x = layer(x, context)
+ else:
+ x = layer(x)
+ return x
+```
+
+아래 코드는 공식 github의 cldm/cldm.py에 있는 ControlNet class입니다. init 부분은 길어서 생략했습니다.
+
+```python
+class ControlNet(nn.Module):
+ def __init__(...):
+ ...
+
+ def make_zero_conv(self, channels):
+ return TimestepEmbedSequential(zero_module(conv_nd(self.dims, channels, channels, 1, padding=0)))
+
+ def forward(self, x, hint, timesteps, context, **kwargs):
+ t_emb = timestep_embedding(timesteps, self.model_channels, repeat_only=False)
+ emb = self.time_embed(t_emb)
+
+ guided_hint = self.input_hint_block(hint, emb, context)
+
+ outs = []
+
+ h = x.type(self.dtype)
+ for module, zero_conv in zip(self.input_blocks, self.zero_convs):
+ if guided_hint is not None:
+ h = module(h, emb, context)
+ h += guided_hint
+ guided_hint = None
+ else:
+ h = module(h, emb, context)
+ outs.append(zero_conv(h, emb, context))
+
+ h = self.middle_block(h, emb, context)
+ outs.append(self.middle_block_out(h, emb, context))
+
+ return outs
+```
diff --git a/_sources/docs/review/CustomDiffusion.md b/_sources/docs/review/CustomDiffusion.md
index c6a135a1..34b3ba5b 100755
--- a/_sources/docs/review/CustomDiffusion.md
+++ b/_sources/docs/review/CustomDiffusion.md
@@ -1,216 +1,216 @@
-```{admonition} Information
-- **Title:** A Multi-Concept Customiziation of Text-To-Image Diffusion (CVPR 2023)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2212.04488](https://arxiv.org/abs/2212.04488)
- - Code: [Official:](https://github.com/adobe-research/custom-diffusion)
-
-- **Author:** Seunghwan Ji
-
-- **Last updated on Aug. 6, 2023**
-```
-# Custom Diffusion
-
-## Abstract
-
-- Large Scale Data를 학습한 Generate 모델이 뛰어난 성능을 보이는 추세
-- User의 Private한 Concept을 생성하고자하는 욕구는 여전히 풀지 못함
-- Custom Diffusion은?
- 1. 기존 Diffusion 모델의 partial한 부분만을 학습시킴으로써 기존보다 더 빠른 finetuning 방식을 제안
- 2. Single Concept 뿐 아니라, Multiple Concept에 대한 학습이 가능
- 3. 다양한 Fine tuned 모델을 하나의 모델로 Compress하는 방식을 제안
-
-## 1. Introduction
-
-- 최근 Text-To-Image 모델들이 활발하게 연구 되어짐
-- 단순한 text prompt 입력만으로 원하는 이미지를 생성해내는 수준까지 이름
-- 하지만 이러한 모델들은 General한 이미지는 잘 생성하지만, User가 원하는 Private한 (=specific) Concept의 이미지는 생성해내지 못함
- - e.g. 행복한 우리 가족 사진, 우리집 강아지 뽀삐가 파리로 여행을 떠나는 사진 등
-- 학습 과정중에 User의 Private한 데이터를 보지 못했기때문에 Model에게는 당연한 결과
-- **Customization**
- - 몇장의 Concept을 포함하는 이미지만으로 Pretrained 모델을 finetuning하는 방식
- - In Dreambooth, Personalization
- - 목표
- 1. 학습하고자하는 Private한 Concept의 이미지를 잘 생성해내야함
- 2. 기존에 학습되었던 General한 이미지를 Finetuning한 후에도 잘 생성해내야함
-- Customization이 어려운 이유
- 1. 학습을 진행하다보면 기존에 학습했던 Concept을 잊어버리거나 왜곡해버림 → Language Draft
- 2. 새로운 Concept에 대해 모델이 Overfit 되어서 결과물의 Variation이 낮아짐
- 3. 좀더 나아가 Single Concept 뿐 아니라 Multiple Concept에 대한 Finetuning 또한 어려움
-- Custom Diffusion은?
- 1. Text로 Condition을 생성해내는 과정 중 특정 부분만을 학습
- 2. General Concept의 성능 유지를 위해 real image와 해당 이미지의 caption을 regularization Data로 사용
- 3. fine tuning동안 새로운 augmentation 기법을 소개
- 4. Multiple concept의 학습 방식을 제안
-
-## 2. Related Work
-
-### Deep Generative Models & Image and model editing
-
-- GAN, VAE, Diffusion 등 다양한 방식의 Generative Model들이 각각 좋은 성능을 보여주고있음
-- 게다가 추가적인 input(=hint)를 통해 Generated 이미지의 control도 가능함
-- 하지만 General하지 않은 새로운 Concept에 대한 생성은 불가능함
-- **Custom Diffusion은 이러한 New Concept에 대한 Finetuning 기법을 제안**
-
-### Transfer learning
-
-- Global한 이미지의 Distribution을 이미 학습한 모델에 특정 concept을 포함한 소량의 이미지를 finetuning하는 기법
-- Transfer Learning은 생각보다 효과적이고 유용함
-- 대부분 transfer learning 시에는 모델의 전체를 학습하거나 혹은 Parameter를 더 추가해 재학습
-
- → 위에서 제시한 Customization의 문제를 일으키기 쉬움 (Language Draft, Overfitting etc.)
-
-- **Custom Diffusion은 모델의 아주 일부만을 대상으로 finetuning**
-
-### Adapting text-to-image models
-
-- 비슷한 컨셉으로 Finetuning을 통한 Personalization 연구들이 있음
- - Dreambooth, Textual Inversion
-- vs Custom Diffusion
- 1. Multiple Concept의 Finetuning 모델들을 하나의 모델로 Compress할 수 있음
- 2. 모델의 특정 부분만을 Finetuning함으로써 다른 모델에 비해 Training Resourse를 절약할 수 있음
-
-## 3. Method
-
-### Single Concept Fine-tuning
-
-- Backbone으로 Latent Diffusion Model을 채택
-- (L)DM의 학습 Concept
- :::{figure-md}
- 
-
- Equation 0
- :::
-
- - $x_{t}$ : time t 시점에 Noise가 섞인 이미지
- - $t$ → timestep
- - $c$ → conditioning feature (text, image 등)
- - text나 image를 바로 사용하지않고 latent space로 embedding된 값을 사용 *(using CLIP)*
- - ε → noise
- - $ε_{θ}$ → $x_{t}$에 낀 noise ε를 예측해내는 모델
- - 즉, $x_{t}$에 낀 noise ε를 예측해내는 모델을 학습
-
-- 이러한 LDM 모델을 fine tuning할때는 Model의 모든 Layer에대해 update하는게 기본
-- 하지만 이러한 finetuning 방식은 Resource가 비효율적으로 많이들고, 새로운 Concept 이미지에 overfitting되기 쉬움
-- Finetuning 과정 중 모델의 Weight 변화량을 체크
- :::{figure-md}
- 
-
- Delta of Weight while Training
- :::
-- 다른 부분에비해 Cross Attention 연산의 Wegith 변화량이 가장 큼
-- Cross Attention
-:::{figure-md}
-
-
-Fig.4 Cross Attention
-:::
-
-- Cross Attention → Image latent에 text condition을 주입하는 Attention Mechanism
- - *Query* → image latent / *Key, Value* → text condition latent
- - 모델 전체 Parameter에 단 5%부분만을 차지
- - 이 중 new concept을 의미하는 Text $V^{*}$이 포함되는 $W^{k}$와 $W^{v}$만 학습. 나머지는 Freeze
-- Fine Tuning할 때 $V^{*}$은 실제로는 잘 쓰지않는 단어로 사용하고 “*A [$V^{*}$] [Class]”* 형식으로 이미지를 Captioning한 후에 학습
-- 또 Finetuning중에 일반적인 concept을 잊어버리는 Language Draft 현상이 있을수있음
- - Language Draft
- :::{figure-md}
- 
-
- Fine tuning 후에 Photo of a moon 이미지를 생성하면 Finetuning했던 Moongate 이미지를 생성해버림
- :::
-
-Fine tuning 후에 Photo of a moon 이미지를 생성하면 Finetuning했던 Moongate 이미지를 생성해버림
-
-- 이러한 현상을 방지하기위해 Real world의 Image에서 target text class prompt와 유사한 200장의 이미지를 Regulalization 이미지로 같이 학습
- - text prompt가 유사하다 = CLIP에서 추출한 text feature space상의 Vector가 Similar하다
-
-### Multiple-Concept Compositional Fine-tuning
-
-- Joint Traning on multiple concept
- - 각각의 Concept을 갖는 이미지에 대해 각각 rare한 key를 부여해 동시에 학습
- - ($V^{i}$*, for $i$ is # of concepts*)
-- Constrained optimization to merge concepts
- - 각각 Single Concept으로 학습된 weight를 merge
- :::{figure-md}
- 
-
- Equation 4
- :::
-
- - $W_0$ → pretrained model의 Key, Value embedding Weight
- - ~~*(Appendix A에는 $W$라고 나와있는데 오탈자일 가능성 있음)*~~
- - $C_{reg}$ → regularization 이미지의 Caption의 Embedding 값을 모두 뽑아 Concat
- - ⇒ $C_{reg}$에 Pretrained Weight를 곱한 값과의 norm을 계산했을때 값이 가장 작은 Weight를 return
- - “N개의 Concept에 대해 Cross Attention이 모두 잘 동작하는 W 값을 찾아 하나만 사용하자”
-
-### Training Details
-
-- single concept의 경우 250 steps, two-concept의 경우 500 steps
-- batch : 8, learning rate : $8*10^{-5}$
-- random resize + prompt 추가 (very small, far away, zoom in …) (new augmentation technique)
-
-## 4. Experiments
-
-Single Concept Finetuning
-
-- Qualitative Evaluation
-:::{figure-md}
-
-
-Qualitative Evaluation
-:::
-
-- Quantative Evaluation (Text Alignment, Image Alignment, KID)
- - text alignment : prompt에 얼마나 대응되는 이미지를 생성해냈는가
- - image alignment : training image의 concept을 얼마나 잘 표현해냈는가
-
-:::{figure-md}
-
-
-Table 1
-:::
-⇒ 정성적, 정량적 평가 모두 Custom Diffusion > Dreambooth, Textual Inversion
-
-Multiple Concept Finetuning
-
-:::{figure-md}
-
-
-Multiple Concept Finetuning
-:::
-
-- Joint Training > Optimization by custom diffusion > Dreambooth
-
-Human Preference Study
-:::{figure-md}
-
-
-Table 2
-:::
-
-- Custom Diffusion (partial) vs Baseline(Textual Inversion, Dreambooth, CustomDiffusion(all))
-- Text-Alignment, Image-Alignment 모두 Custom Diffusion (partial)을 선호
-- Textual Inversion은 Image Alignment는 Custom Diffusion 선호도와 비슷하지만 Text Alignment수치를 보면 Custom Diffusion이 매우 높아 Overfitting된 경향이 있음
-
-Ablation Study
-
-1. Regularization Image
- :::{figure-md}
- 
-
- Table 3
- :::
-
-- ㅌGen : real image 대신 generate된 이미지를 regularization 이미지로 사용
-- Overfitting 없이 가장 좋은 수치는 Augmentation + Regulatization image as Real world Image
-
-## 5. Discussion & Limitation
-
-- customizing이 가능하고 training resourse가 매우 적은 finetuning 기법 소개
-:::{figure-md}
-
-
-Limitation Of Custom Diffusion
-:::
-
-- 비슷한 category의 object에 대해서는 joint training, merge 모두 잘 동작하지 않음
+```{admonition} Information
+- **Title:** A Multi-Concept Customiziation of Text-To-Image Diffusion (CVPR 2023)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2212.04488](https://arxiv.org/abs/2212.04488)
+ - Code: [Official:](https://github.com/adobe-research/custom-diffusion)
+
+- **Author:** Seunghwan Ji
+
+- **Last updated on Aug. 6, 2023**
+```
+# Custom Diffusion
+
+## Abstract
+
+- Large Scale Data를 학습한 Generate 모델이 뛰어난 성능을 보이는 추세
+- User의 Private한 Concept을 생성하고자하는 욕구는 여전히 풀지 못함
+- Custom Diffusion은?
+ 1. 기존 Diffusion 모델의 partial한 부분만을 학습시킴으로써 기존보다 더 빠른 finetuning 방식을 제안
+ 2. Single Concept 뿐 아니라, Multiple Concept에 대한 학습이 가능
+ 3. 다양한 Fine tuned 모델을 하나의 모델로 Compress하는 방식을 제안
+
+## 1. Introduction
+
+- 최근 Text-To-Image 모델들이 활발하게 연구 되어짐
+- 단순한 text prompt 입력만으로 원하는 이미지를 생성해내는 수준까지 이름
+- 하지만 이러한 모델들은 General한 이미지는 잘 생성하지만, User가 원하는 Private한 (=specific) Concept의 이미지는 생성해내지 못함
+ - e.g. 행복한 우리 가족 사진, 우리집 강아지 뽀삐가 파리로 여행을 떠나는 사진 등
+- 학습 과정중에 User의 Private한 데이터를 보지 못했기때문에 Model에게는 당연한 결과
+- **Customization**
+ - 몇장의 Concept을 포함하는 이미지만으로 Pretrained 모델을 finetuning하는 방식
+ - In Dreambooth, Personalization
+ - 목표
+ 1. 학습하고자하는 Private한 Concept의 이미지를 잘 생성해내야함
+ 2. 기존에 학습되었던 General한 이미지를 Finetuning한 후에도 잘 생성해내야함
+- Customization이 어려운 이유
+ 1. 학습을 진행하다보면 기존에 학습했던 Concept을 잊어버리거나 왜곡해버림 → Language Draft
+ 2. 새로운 Concept에 대해 모델이 Overfit 되어서 결과물의 Variation이 낮아짐
+ 3. 좀더 나아가 Single Concept 뿐 아니라 Multiple Concept에 대한 Finetuning 또한 어려움
+- Custom Diffusion은?
+ 1. Text로 Condition을 생성해내는 과정 중 특정 부분만을 학습
+ 2. General Concept의 성능 유지를 위해 real image와 해당 이미지의 caption을 regularization Data로 사용
+ 3. fine tuning동안 새로운 augmentation 기법을 소개
+ 4. Multiple concept의 학습 방식을 제안
+
+## 2. Related Work
+
+### Deep Generative Models & Image and model editing
+
+- GAN, VAE, Diffusion 등 다양한 방식의 Generative Model들이 각각 좋은 성능을 보여주고있음
+- 게다가 추가적인 input(=hint)를 통해 Generated 이미지의 control도 가능함
+- 하지만 General하지 않은 새로운 Concept에 대한 생성은 불가능함
+- **Custom Diffusion은 이러한 New Concept에 대한 Finetuning 기법을 제안**
+
+### Transfer learning
+
+- Global한 이미지의 Distribution을 이미 학습한 모델에 특정 concept을 포함한 소량의 이미지를 finetuning하는 기법
+- Transfer Learning은 생각보다 효과적이고 유용함
+- 대부분 transfer learning 시에는 모델의 전체를 학습하거나 혹은 Parameter를 더 추가해 재학습
+
+ → 위에서 제시한 Customization의 문제를 일으키기 쉬움 (Language Draft, Overfitting etc.)
+
+- **Custom Diffusion은 모델의 아주 일부만을 대상으로 finetuning**
+
+### Adapting text-to-image models
+
+- 비슷한 컨셉으로 Finetuning을 통한 Personalization 연구들이 있음
+ - Dreambooth, Textual Inversion
+- vs Custom Diffusion
+ 1. Multiple Concept의 Finetuning 모델들을 하나의 모델로 Compress할 수 있음
+ 2. 모델의 특정 부분만을 Finetuning함으로써 다른 모델에 비해 Training Resourse를 절약할 수 있음
+
+## 3. Method
+
+### Single Concept Fine-tuning
+
+- Backbone으로 Latent Diffusion Model을 채택
+- (L)DM의 학습 Concept
+ :::{figure-md}
+
+
+ Equation 0
+ :::
+
+ - $x_{t}$ : time t 시점에 Noise가 섞인 이미지
+ - $t$ → timestep
+ - $c$ → conditioning feature (text, image 등)
+ - text나 image를 바로 사용하지않고 latent space로 embedding된 값을 사용 *(using CLIP)*
+ - ε → noise
+ - $ε_{θ}$ → $x_{t}$에 낀 noise ε를 예측해내는 모델
+ - 즉, $x_{t}$에 낀 noise ε를 예측해내는 모델을 학습
+
+- 이러한 LDM 모델을 fine tuning할때는 Model의 모든 Layer에대해 update하는게 기본
+- 하지만 이러한 finetuning 방식은 Resource가 비효율적으로 많이들고, 새로운 Concept 이미지에 overfitting되기 쉬움
+- Finetuning 과정 중 모델의 Weight 변화량을 체크
+ :::{figure-md}
+
+
+ Delta of Weight while Training
+ :::
+- 다른 부분에비해 Cross Attention 연산의 Wegith 변화량이 가장 큼
+- Cross Attention
+:::{figure-md}
+
+
+Fig.4 Cross Attention
+:::
+
+- Cross Attention → Image latent에 text condition을 주입하는 Attention Mechanism
+ - *Query* → image latent / *Key, Value* → text condition latent
+ - 모델 전체 Parameter에 단 5%부분만을 차지
+ - 이 중 new concept을 의미하는 Text $V^{*}$이 포함되는 $W^{k}$와 $W^{v}$만 학습. 나머지는 Freeze
+- Fine Tuning할 때 $V^{*}$은 실제로는 잘 쓰지않는 단어로 사용하고 “*A [$V^{*}$] [Class]”* 형식으로 이미지를 Captioning한 후에 학습
+- 또 Finetuning중에 일반적인 concept을 잊어버리는 Language Draft 현상이 있을수있음
+ - Language Draft
+ :::{figure-md}
+
+
+ Fine tuning 후에 Photo of a moon 이미지를 생성하면 Finetuning했던 Moongate 이미지를 생성해버림
+ :::
+
+Fine tuning 후에 Photo of a moon 이미지를 생성하면 Finetuning했던 Moongate 이미지를 생성해버림
+
+- 이러한 현상을 방지하기위해 Real world의 Image에서 target text class prompt와 유사한 200장의 이미지를 Regulalization 이미지로 같이 학습
+ - text prompt가 유사하다 = CLIP에서 추출한 text feature space상의 Vector가 Similar하다
+
+### Multiple-Concept Compositional Fine-tuning
+
+- Joint Traning on multiple concept
+ - 각각의 Concept을 갖는 이미지에 대해 각각 rare한 key를 부여해 동시에 학습
+ - ($V^{i}$*, for $i$ is # of concepts*)
+- Constrained optimization to merge concepts
+ - 각각 Single Concept으로 학습된 weight를 merge
+ :::{figure-md}
+
+
+ Equation 4
+ :::
+
+ - $W_0$ → pretrained model의 Key, Value embedding Weight
+ - ~~*(Appendix A에는 $W$라고 나와있는데 오탈자일 가능성 있음)*~~
+ - $C_{reg}$ → regularization 이미지의 Caption의 Embedding 값을 모두 뽑아 Concat
+ - ⇒ $C_{reg}$에 Pretrained Weight를 곱한 값과의 norm을 계산했을때 값이 가장 작은 Weight를 return
+ - “N개의 Concept에 대해 Cross Attention이 모두 잘 동작하는 W 값을 찾아 하나만 사용하자”
+
+### Training Details
+
+- single concept의 경우 250 steps, two-concept의 경우 500 steps
+- batch : 8, learning rate : $8*10^{-5}$
+- random resize + prompt 추가 (very small, far away, zoom in …) (new augmentation technique)
+
+## 4. Experiments
+
+Single Concept Finetuning
+
+- Qualitative Evaluation
+:::{figure-md}
+
+
+Qualitative Evaluation
+:::
+
+- Quantative Evaluation (Text Alignment, Image Alignment, KID)
+ - text alignment : prompt에 얼마나 대응되는 이미지를 생성해냈는가
+ - image alignment : training image의 concept을 얼마나 잘 표현해냈는가
+
+:::{figure-md}
+
+
+Table 1
+:::
+⇒ 정성적, 정량적 평가 모두 Custom Diffusion > Dreambooth, Textual Inversion
+
+Multiple Concept Finetuning
+
+:::{figure-md}
+
+
+Multiple Concept Finetuning
+:::
+
+- Joint Training > Optimization by custom diffusion > Dreambooth
+
+Human Preference Study
+:::{figure-md}
+
+
+Table 2
+:::
+
+- Custom Diffusion (partial) vs Baseline(Textual Inversion, Dreambooth, CustomDiffusion(all))
+- Text-Alignment, Image-Alignment 모두 Custom Diffusion (partial)을 선호
+- Textual Inversion은 Image Alignment는 Custom Diffusion 선호도와 비슷하지만 Text Alignment수치를 보면 Custom Diffusion이 매우 높아 Overfitting된 경향이 있음
+
+Ablation Study
+
+1. Regularization Image
+ :::{figure-md}
+
+
+ Table 3
+ :::
+
+- ㅌGen : real image 대신 generate된 이미지를 regularization 이미지로 사용
+- Overfitting 없이 가장 좋은 수치는 Augmentation + Regulatization image as Real world Image
+
+## 5. Discussion & Limitation
+
+- customizing이 가능하고 training resourse가 매우 적은 finetuning 기법 소개
+:::{figure-md}
+
+
+Limitation Of Custom Diffusion
+:::
+
+- 비슷한 category의 object에 대해서는 joint training, merge 모두 잘 동작하지 않음
diff --git a/_sources/docs/review/DALLE2.md b/_sources/docs/review/DALLE2.md
index e297ee6b..1652dd07 100755
--- a/_sources/docs/review/DALLE2.md
+++ b/_sources/docs/review/DALLE2.md
@@ -1,546 +1,546 @@
-``` {admonition} Information
-- **Title:** Hierarchical Text-Conditional Image Generation with CLIP Latents (arXiv 2022)
-
-- **Reference**
- - Paper: [https://arxiv.org/pdf/2204.06125v1.pdf](https://arxiv.org/pdf/2204.06125v1.pdf)
-
-- **Author:** SeonHoon Kim
-
-- **Last updated on Sep. 18, 2023**
-```
-
-# DALL-E 2
-
-DALLE2 는 2022년에 공개되어 세상을 놀라게 했습니다.
-이미지 생성 능력도 뛰어났고, 이미지를 사용자 입맛에 맞게 조작할 수 있게 되었죠. - -DALLE2 의 이름은 왜 DALL-E 일까요?
-DALLE2 의 DALLE 는 초현실주의 화가 Salvador Dali 와 WALL-E 의 합성어입니다.
-DALLE2 로 생성해낸 결과물이 과연 어떻길래 세상을 놀라게 했을까요? - -
- -- **DALL-E 2 결과물** - - :::{figure-md} -
-
- Salvador Dali 의 생전 모습
- :::
-
- :::{figure-md}
- 
-
- vibrant portrait of Salvador Dali with a robotic half face from DALLE2
- :::
-
- 위 그림은 DALLE2 가 생성해낸 "vibrant portrait of Salvador Dali with a robotic half face" 이미지입니다.
- 실제 Salvador dali 의 모습이 보이네요.
- 게다가 Salvador dali 의 초현실주의적 그림체가 반영된 것 같기도 합니다.
- 놀라운 이미지입니다. - - 아래의 corgi 그림은 어떤가요 ? - :::{figure-md} -
-
- a corgi's head depicted as an explosion of a nebula from DALLE2
- :::
-
- corgi 의 모습을 성운의 폭발로 묘사해달라고 했을 때 생성된 그림입니다.
- 아래의 그림은, 실제 NASA 에서 촬영한 초신성 폭발의 잔해입니다. - - 정말 그럴듯하지 않나요? - - :::{figure-md} -
-
- This mosaic image, one of the largest ever taken by NASA's Hubble Space Telescope of the Crab Nebula, is a six-light-year-wide expanding remnant of a star's supernova explosion.
- :::
-
-
- -- **학습 목표 및 주의사항** - - 본 포스팅에서는 DALLE2 paper 의 내용을 비선형적으로 살펴봅니다.
- 마치 오픈월드 게임처럼 말이죠.
- 핵심이 되는 질문들을 던지며, DALLE2 의 아키텍쳐를 파헤쳐 볼 겁니다. - - 본 포스팅은 [DALL-E 2 paper](https://cdn.openai.com/papers/dall-e-2.pdf), [OpenAI blog](https://openai.com/dall-e-2), [AssemblyAI Youtube](https://www.youtube.com/watch?v=F1X4fHzF4mQ&t=360s&ab_channel=AssemblyAI), [Eden Meyer Youtube](https://www.youtube.com/watch?v=gmfI3B6pQTo&t=83s&ab_channel=EdanMeyer) 를 참고했습니다. - - 본격적으로 학습하기 전에 알아야할 것은, CLIP 모델입니다. - - CLIP 은, 이미지와 text 를 학습한 multi-modal 모델입니다. - - The fundamental principles of training CLIP are quite simple: - 1. First, all images and their associated captions are passed through their respective encoders, mapping all objects into an m-dimensional space. - 2. Then, the cosine similarity of each *(image, text)* pair is computed. - 3. The training objective is to simultaneously **maximize the cosine similarity** between N **correct** encoded image/caption pairs and **minimize the cosine similarity** between N - N **incorrect** encoded image/caption pairs. - - DALL-E 2 는 CLIP 과 Diffusion Model 을 통합시켰습니다. (최초는 x) - - 하지만 CLIP 을 사용하는 것이 정답은 아닙니다.
- DALL-E 2 는 22년 5월, CLIP 을 사용하지 않은 IMAGEN 에게 SOTA 를 내주었습니다. - -
- -- **아키텍쳐 찍먹하기** - - 특정 이미지 내의 Semantics 와 style 을 모두 포착해낼 수 있는 CLIP 의 이미지 표현 능력을 끌어올리기 위해서,
- 저자들은 CLIP 과 Diffusion 모델을 통합한 Two-stage model 을 제안합니다.
- 이것이 바로 DALLE2 인데요.
- 저자들은 이 모델을 unCLIP 이라고 부릅니다. - - :::{figure-md} -
-
- A high level overview of the architecture.
- :::
-
- DALLE2 paper 의 그림은 좀 복잡해보이니,
- Assembly AI 의 Youtube 에서 제공하는 좀 더 단순화된 그림을 살펴볼게요. - - :::{figure-md} -
-
- A high level overview of the architecture from AssemblyAI youtube.
- :::
- [https://www.youtube.com/watch?v=F1X4fHzF4mQ&t=360s&ab_channel=AssemblyAI](https://www.youtube.com/watch?v=F1X4fHzF4mQ&t=360s&ab_channel=AssemblyAI)
-
- Prior 와 Decoder 가 DALLE2 의 핵심이 되는 모델인 것 같네요.
-
- - **Prior** : 텍스트 캡션을 받아서, 상응하는 CLIP image embedding 을 생성합니다.
- - 본 논문에서는 Autogregressive prior 와 Diffusion prior 를 비교하는 실험 수행했습니다.
- - Diffusion prior 가 computationally efficient 하고, 고품질 이미지 생성합니다.
- 따라서 후반부에는 Diffusion prior 만 사용해서 실험합니다. - - **Decoder** : CLIP image embedding 을 받아서, 이미지를 생성합니다. - - Diffusion 모델만 사용했습니다. - -
- -- **왜 CLIP 이랑 Diffusion 을 사용했을까요?** - - **CLIP** - - CLIP 이 images representation 을 학습하는데 에 큰 성공을 거두고 있었습니다. - - CLIP embeddings 는 image distribution shift 에 robust 했습니다. - - CLIP embeddings 는 zero-shot capabilities 가 뛰어났습니다. - - 다양한 vision & language tasks 에 fine-tuned 되어 SOTA 를 달성해냈습니다. - - **Diffusion** - - Diffusion 은 image 와 video generation taks 에서 SOTA 를 갱신하는 중이었죠. - - non-deterministic 하게 만들 수 있습니다.
- 이러한 Decoder 덕분에, CLIP image embedding 과 같은
- **image representation 에 존재하지 않는 non-essential 한 details** 는 **변주하면서,**
- **image representation 의 semantics 와 style 은 유지**할 수 있죠. - - :::{figure-md} -
-
- Variations of an input image by encoding with CLIP and then decoding with a diffusion model.
- :::
-
- 위 왼쪽의 그림처럼, Salvador dali 의 그림에서 중요한 objects 들은 보존됩니다.
- 하지만 그들이 표현되는 방식이나 전체적인 그림의 style 은 조금씩 바뀝니다.
- 그럼에도, Salvador dali 특유의 초현실주의적 화풍은 유지되는 것 같네요.
- Diffusion Decoder 덕분에, **Non-essential details** 는
- 마치 **변주곡처럼 매번 새롭게 연주**해낼 수 있는겁니다. - - -
- -- **아키텍쳐 파헤치기** - - :::{figure-md} -
-
- A high level overview of the architecture from AssemblyAI youtube.
- :::
- [https://www.youtube.com/watch?v=F1X4fHzF4mQ&t=360s&ab_channel=AssemblyAI](https://www.youtube.com/watch?v=F1X4fHzF4mQ&t=360s&ab_channel=AssemblyAI)
-
- - 이번에는 DALLE2 의 아키텍쳐를 좀 더 자세히 살펴보죠. - - - **Prior** - - **input** - - Caption 그 자체의 embedding vector 입니다. - - **CLIP text embedding** 입니다. - - **output** - - **Generated CLIP Image embedding** 입니다. - - **설명** - - 사실 Prior 은 CLIP text embedding 만 조건으로 받는 것이 아니라 Caption 자체도 받습니다.
- (물론 embedding vector 로 받겠죠)
- CLIP text embedding 과, 그 Caption 은 서로 1대1 대응되기 때문에,
- Duel-conditioning 이 문제될 것은 없다고 저자들은 변론합니다. - - 샘플 퀄리티를 높이기 위해서 2개의 CLIP image embeddings 를 생성한 후
- 주어진 CLIP text embedding 과 더 높은 dot product 를 갖는 CLIP image embedding 을 사용했다고 합니다. - - **Decoder** - - **Input** - - CLIP text embedding - - Generated CLIP Image embedding - - **Output** - - Generated Image - - **설명** - - modified GLIDE model 을 Decoder 로 사용했습니다.
- → 따라서, **projected CLIP text embeddings 를 아키텍쳐**에 통합시킬 수 있다고 주장합니다. -
- 어떻게 통합시키냐하면, - - 1. GLIDE timestep embedding 에 추가하고, - 2. 4개의 extra context tokens 을 만들어서 GLIDE text encoder 의 output sequence 에 concat 하는거죠. -
- 이 방법으로 **CLIP image embeddings 를 받아서, 원본 영상을 생성하는 것** 입니다. - - :::{figure-md} -
-
- GLIDE training process
- :::
-
- - GLIDE 를 수정해 사용함으로써 GLIDE 가 가지고 있던
- text-conditional photorealistic image generation capabilities 를 활용할 수 있다고 주장합니다. - -
- -- **그렇다면 왜 Prior 가 필요할까요?** - 1. **To obtain a full generative model of images**,
- we combine the CLIP image embedding decoder with a prior model,
- which generates possible CLIP image embeddings from a given text caption
- - 라고 하지만.. 딱히 와닿지는 않습니다.
- 하지만 아직 실망하긴 이릅니다.
- Prior 의 유무에 따라, 생성된 이미지의 품질을 비교하는 실험을 수행했다고 합니다.
- 한번 살펴볼까요? - - 2. **아래 세 가지 아키텍쳐를 비교하는 실험 수행**
- (1) GLIDE 모델처럼, text 의 token embeddings 만 조건으로 주어 실험
- (2) 추가적으로, CLIP text embeddings 를 조건으로 주어 실험
- (3) 추가적으로, CLIP image embeddings 를 생성해내는 Prior 를 갖추고 실험
-
- 실험 결과, (3) 이 가장 훌륭했습니다.
- 특히 image diversity 가 뛰어났습니다. - - :::{figure-md} -
-
- 3가지 경우의 아키텍쳐에 따른 실험 결과 from AssemblyAI youtube.
- :::
-
- :::{figure-md}
- 
-
- Samples using different conditioning signals for the same decoder.
- :::
-
- 그렇지만, 의문이 말끔히 해소되지는 않습니다.
- 왜냐하면..
-
- - **95% 의 학습 시간 동안, (3) 방식으로 학습한 Decoder 를,**
- **(1) 과 (2) 방식에 그대로 적용해 실험했습니다.**
- 따라서 공정한 실험이라고 보긴 어려울 것 같습니다. - - **Decoder 를, True CLIP Image embeddings 와 Generated CLIP Image embeddings 로**
- **각각 학습시켰을 때의 성능 비교 실험은 없습니다.** -
- 개인적으로 저는 이러한 결과들을 보고,
- Prior 를 반드시 써야하는 근거에 대한 설득력이 떨어진다고 생각했습니다. - -
- -- **왜 CLIP 을 써야할까요?** - 1. CLIP 은 어떤 객체를 묘사한 텍스트와, 그 객체의 시각적 발현 사이의 의미론적 관계를 학습했습니다.
- 따라서 저자들은 이러한 CLIP 의 능력이 Text-to-Image task 에서 매우 중요하다고 주장합니다. - 2. **CLIP 을 활용한 덕분에 이미지를 Manipulation 할 수 있습니다.** - - :::{figure-md} -
-
- Text diffs applied to images by interpolating between their CLIP image embeddings and a normalised difference of the CLIP text embeddings produced from the two descriptions.
- :::
-
- 어떻게 이미지를 Manipulation 하는지는 곧 자세히 살펴보겠습니다.
-
-
- -- **그래서 이 모델은 뭐가 좋은가요?** - - **Evaluation 결과, Diversity 가 뛰어났습니다.** - - 모델을 평가하기 위해서,
- 주어진 Caption 에 대한 GLIDE 의 생성물과 unCLIP 의 생성물을 사람들에게 제시하고,
- **Photorealism, Caption Similarity, Diversity** 에 대해서 **점수를 매기도록** 했습니다.
- - - :::{figure-md} -
-
- Samples when increasing guidance scale for both unCLIP and GLIDE.
- :::
-
- :::{figure-md}
- 
-
- Comparison of unCLIP and GLIDE for different evaluations.
- :::
-
- :::{figure-md}
- 
-
- FID versus guidance scale for unCLIP and GLIDE.
- :::
-
- 결론은 다음과 같습니다.
- 1. GLIDE 에 비해서 **Photorealism, Caption Similarity,** 은 Comparable 했습니다.
- (안 좋다.) - 2. 하지만, **Diversity** 는 훨씬 뛰어났습니다. - -
- - - **Image Manipulations 가 가능합니다.** - - Bipartite Representation - - unCLIP 구조 덕분에,
- 주어진 이미지 x 를 (z_i, x_T) 와 같은 bipartite latent representation 로 인코딩 가능합니다. - - 이 latent space 를 활용해서, Image manipulation 을 수행할 수 있습니다. - - x_T 는 DDIM inversion 을 z_i 가 condition 된 x 에 적용해 얻으며,
- Decoder 가 x 를 복원하는데 필요한 잔여 정보들을 지닙니다. - -
- - 1. **Variations** - - :::{figure-md} -
-
- Variations of an input image by encoding with CLIP and then decoding with a diffusion model.
- :::
-
- - Non-essential details 를 변주하기 위해서,
- bipartite representation 에 DDIM with η > 0 for sampling decoder 를 적용합니다. - - η = 0 일 때, decoder 는 deterministic 해지고 x 자체를 복원해냅니다. - - η 가 커질수록, sampling steps 에는 stochasticity 가 생기고,
- 원본 이미지 x 근처에서 perceptually “centereed” 된 variations 를 만들어낼 것입니다. - - η 를 키우면, 우리는 CLIP image embedding 에 어떤 정보가 존재하고 어떤 정보가 유실되었는지 탐색 가능합니다.
- **→ 즉, CLIP latent space 를 탐색해낼 수 있는거죠 !** - -
- - 2. **Interpolations** - - :::{figure-md} -
-
- Variations between two images by interpolating their CLIP image embedding and then decoding with a diffusion model.
- :::
-
- - 이런 것도 됩니다.
- input image 두 장의 CLIP image embeddings 를 interpolation 해서 Decoder 에 준다면,
- interpolated image 를 생성할 수 있습니다. - -
- - 3. **Text Diffs** - - :::{figure-md} -
-
- Text diffs applied to images by interpolating between their CLIP image embeddings and a normalised difference of the CLIP text embeddings produced from the two descriptions.
- :::
-
- - **어떤 이미지와 그 캡션이 주어져있을 때,
- 그 이미지를 우리가 원하는 target text prompt 에 맞게 조작할 수도 있습니다.** - - **Method** - - **z_t0 = current CLIP text embedding** 이고, - - **z_t = target CLIP text embedding** 이라면, - - :::{figure-md} -
-
- text diff method
- :::
-
- - 주어진 이미지의 **CLIP image embdding z_i** 를
- 바로 이 **text diff vector 와 interpolate 해서 Decoding** 하면 이미지가 조작됩니다. - -
- - - **typographic attaks 에 대해서, Robust 합니다.** - - **typographic attacks** : 이미지 내 사물 위에, 글씨가 쓰여 있는 경우입니다. - - Multimodal 로 학습한 CLIP 은 텍스트에 있는 정보를 더 많이 활용해
- 사물을 판단하는 경향이 있습니다. - 1. unCLIP 의 Decoder 모델에 “iPod” 텍스트 종이가 붙은 사과를 보고 분류를 수행해보았습니다. - 2. 역시, “Granny Smith” 의 예측 확률을 거의 0 에 가깝다고 판단했습니다. - 3. 그럼에도 불구하고, 사과의 사진으로 recover 해냅니다. - :::{figure-md} -
-
- Variations of images featuring typographic attacks
- :::
-
- 이처럼 DALLE2 는 typographic attacks 에 더욱 robust 합니다.
-
-
- -- **이 모델, 단점은 없나요?** - -
- - 1. **객체(cubes)와 그들의 속성(colors) 을 매칭시키는 능력이 떨어집니다.** - - :::{figure-md} -
-
- Samples from unCLIP and GLIDE for the prompt “a red cube on top of a blue cube”.
- :::
-
- 위 그림처럼, 파란 큐브 위에 빨간 큐브를 그려달라고 했을 때,
- DALLE2 는 **아래의 큐브와 위의 큐브에 각각 어떤 색상 (attributes) 를 부여해야할지** 헷갈려합니다. - -
- - 2. **텍스트를 일관성있게 생성하는 능력이 떨어집니다** - - :::{figure-md} -
-
- Samples from unCLIP for the prompt, “A sign that says deep learning.”
- :::
-
- 물론 이것은 DALLE2 만의 문제는 아닙니다.
- 많은 text-to-image models 가 어려워하는 문제입니다. - -
- - 3. **복잡한 상황에서 디테일을 묘사하는 능력이 떨어집니다** - - :::{figure-md} -
-
- unCLIP samples show low levels of detail for some complex scenes.
- :::
-
- 복잡한 네온 사인들의 디테일들이 좀 떨어지는 것을 확인하실 수 있습니다.
-
-
- -- **Method - Training** - - 본 논문의 Method 에서는, unCLIP 모델의 아키텍쳐에 대한 수학적 justify 를 하고 있습니다. - - Training 데이터셋의 이미지를 x 라 합시다. - - 그에 상응하는 text captions 을 y 라 합시다. - - 각각에 대한 embeddings 인 Z_i, Z_t 를 기존의 CLIP 으로 생성합니다. - - image **x —CLIP Image encoder—> Z_i** image embeddings - - text caption **y —CLIP text encoder—> Z_t** text embeddings - -
- - - 저자의 주장 - - unCLIP 으로, text caption y 로부터 image x 를 샘플링할 수 있다고 합니다. - - :::{figure-md} -
-
- P(x|y) equation.
- :::
-
- - ***The first equality holds because z_i is a deterministic function of x.***
- - ***The second equality holds because of the chain rule.***
-
-
- - - **포스팅을 위한 부가 설명** - - z_t 도 y 의 deterministic function 이므로, 다음과 같이 쓸 수 있죠. - - $$ - P(x|y) = P(x, z_i|y, z_t) = P(x|z_i, y, z_t)P(z_i|y, z_t) - $$ - - - 즉 위 공식을 풀어서 해설해보면 다음과 같습니다.
- Prior 를 사용해 Z_t 로부터 Z_i 를 샘플링하고,
- Decoder 를 사용해 x 를 샘플링함으로써
- True conditional distribution 인 P(x|y) 샘플링이 가능해지는 것입니다. - -
- -- **DALL-E 2 Bias** - -
- - 개인적으로 DALLe2 와 같은 모델에 Bias 는 없는지 궁금해서 추가적으로 공부해봤습니다.
- DALLE2 에 Bias 가 있는지,
- Bias 가 있다면 해소하기 위해 어떤 노력을 하고있는지,
- Bias 는 대체 어떻게 정량적으로 평가할 수 있는지 조사해봤습니다.
- - 결과부터 말씀드리면, DALLE2 처럼, 웹크롤링 데이터를 학습한 모델은 Bias 가 존재한다고 합니다.
- 이런 Bias 를 해소하기 위해서 OpenAI 는 어떤 노력을 하고있는지부터 살펴볼까요? - - [https://github.com/openai/dalle-2-preview/blob/main/system-card.md](https://github.com/openai/dalle-2-preview/blob/main/system-card.md) - - - **현재 OpenAI 가 DALL-E 2 의 Safety 를 위해 하고 있는 노력** - 1. 학습 데이터에서 violent, hate, or adult images 를 제거함으로써
- 이러한 이미지들에 DALL-E 2 가 노출되는 시간을 최소화했다고 합니다. - 2. Safety policies 를 위반한 text prompts 혹은 생성된 images 를 자정하는 시스템을 보유하고 있다고 합니다. - 3. 신뢰할 수 있는 전문가들과 DALL-E 2 에 대한 사전 검토를 진행했다고 합니다. - -
- - - **DALL-EVAL : 이미지 생성형 AI 의 Bias 를 평가하는 방법 소개** - - DALLE 와 같은 Text-to-Image 생성형 모델을 정량적으로 평가하는 기법이 있습니다.
- 바로 DALL-EVAL 입니다. - - [https://arxiv.org/pdf/2202.04053.pdf](https://arxiv.org/pdf/2202.04053.pdf) - - [https://github.com/j-min/DallEval](https://github.com/j-min/DallEval) - - - **Contribution** - - Text to Image Generation models 의 시각적 추론 능력 3가지를 평가하기 위한 데이터셋 제공합니다. - - 최근의 모델들이 object recognition skill 은 상대적으로 뛰어나지만,
- object counting 및 spaial relation 이해 능력은 떨어짐을 발견했습니다. - - Text to Image Generation models 에 존재하는
- **gender 및 skin tone biases 를 측정하는 evaluation metrics 와 그 분석 결과를 제시한 최초의 논문** 입니다. - - web 에서 image-text pairs 를 학습한 현재 T2I 생성 모델들은
- 특정한 gender/skin tone biases 를 학습했음을 보여주었습니다. - - :::{figure-md} -
-
- Overview of DALL-EVAL evaluation process.
- :::
-
- - **Social Bias Evaluation 측정 방법 (Sec. 4.2.1 참고)**
-
- :::{figure-md}
- 
-
- Overview of DALL-EVAL's social bias evaluation process.
- :::
-
- DALL-EVAL 의 자세한 social bias evaluation process 는 다음과 같습니다.
-
- 1. 우선 **Diagnostic prompts 로 이미지들을 생성합니다.**
- 1. ex) “a person who works as a nurse”
- 2. 총 252개의 Diagnostic prompts 제공
- 2. **Gender, Skin tone, Attributes 를 생성된 이미지로부터 탐지합니다.**
- 1. using automated detection models and verify the reliability of detection models with human evaluation
- 2. **Gender**
- 1. BLIP-2 라는 모델에 생성된 영상을 주면서 영상 내 사람의 성별을 맞추게 합니다.
- BLIP-2 의 답변을 기반으로 Gender Bias 측정합니다. - 3. **Skin tone** - 1. 신경망으로 facial landmark 를 추출하고, illumination 을 측정합니다. - 4. **Attributes** - 1. BLIP-2 라는 모델에 생성된 영상을 주면서 영상 내 사람의 복장을 맞추게 합니다.
- BLIP-2 의 답변을 기반으로 Attributes Bias 측정합니다. - 3. 탐지된 Gender, Skin tone, Attributes 가
- unbiased uniform distribution 으로부터 얼마나 skewed 되어있는지 측정합니다. - -
- - - **실험 결과** - - :::{figure-md} -
-
- Gender, skin tone, and attribute detection results with automated and expert human evaluation.
- :::
-
- :::{figure-md}
- 
-
- Per-profession examples and average gender bias or average skin tone bias of images.
- :::
-
- :::{figure-md}
- 
-
- Comparison of overall gender and skin tone bias of each model.
- :::
-
- 위 실험 결과와 같이, DALL-EVAL 은 Text-to-Image models 를 정량적으로 평가하는데에 성공했습니다.
- Satble Diffusion 처럼 웹크롤링을 활용해 데이터를 학습한 모델은 Bias 가 존재했습니다.
- 이처럼 생성형 AI 의 Bias 를 측정하기 위한 다양한 노력이 지속되고 있습니다.
+``` {admonition} Information +- **Title:** Hierarchical Text-Conditional Image Generation with CLIP Latents (arXiv 2022) + +- **Reference** + - Paper: [https://arxiv.org/pdf/2204.06125v1.pdf](https://arxiv.org/pdf/2204.06125v1.pdf) + +- **Author:** SeonHoon Kim + +- **Last updated on Sep. 18, 2023** +``` + +# DALL-E 2 + +DALLE2 는 2022년에 공개되어 세상을 놀라게 했습니다.
+이미지 생성 능력도 뛰어났고, 이미지를 사용자 입맛에 맞게 조작할 수 있게 되었죠. + +DALLE2 의 이름은 왜 DALL-E 일까요?
+DALLE2 의 DALLE 는 초현실주의 화가 Salvador Dali 와 WALL-E 의 합성어입니다.
+DALLE2 로 생성해낸 결과물이 과연 어떻길래 세상을 놀라게 했을까요? + +
+ +- **DALL-E 2 결과물** + + :::{figure-md} +
+
+ Salvador Dali 의 생전 모습
+ :::
+
+ :::{figure-md}
+
+
+ vibrant portrait of Salvador Dali with a robotic half face from DALLE2
+ :::
+
+ 위 그림은 DALLE2 가 생성해낸 "vibrant portrait of Salvador Dali with a robotic half face" 이미지입니다.
+ 실제 Salvador dali 의 모습이 보이네요.
+ 게다가 Salvador dali 의 초현실주의적 그림체가 반영된 것 같기도 합니다.
+ 놀라운 이미지입니다. + + 아래의 corgi 그림은 어떤가요 ? + :::{figure-md} +
+
+ a corgi's head depicted as an explosion of a nebula from DALLE2
+ :::
+
+ corgi 의 모습을 성운의 폭발로 묘사해달라고 했을 때 생성된 그림입니다.
+ 아래의 그림은, 실제 NASA 에서 촬영한 초신성 폭발의 잔해입니다. + + 정말 그럴듯하지 않나요? + + :::{figure-md} +
+
+ This mosaic image, one of the largest ever taken by NASA's Hubble Space Telescope of the Crab Nebula, is a six-light-year-wide expanding remnant of a star's supernova explosion.
+ :::
+
+
+ +- **학습 목표 및 주의사항** + - 본 포스팅에서는 DALLE2 paper 의 내용을 비선형적으로 살펴봅니다.
+ 마치 오픈월드 게임처럼 말이죠.
+ 핵심이 되는 질문들을 던지며, DALLE2 의 아키텍쳐를 파헤쳐 볼 겁니다. + - 본 포스팅은 [DALL-E 2 paper](https://cdn.openai.com/papers/dall-e-2.pdf), [OpenAI blog](https://openai.com/dall-e-2), [AssemblyAI Youtube](https://www.youtube.com/watch?v=F1X4fHzF4mQ&t=360s&ab_channel=AssemblyAI), [Eden Meyer Youtube](https://www.youtube.com/watch?v=gmfI3B6pQTo&t=83s&ab_channel=EdanMeyer) 를 참고했습니다. + - 본격적으로 학습하기 전에 알아야할 것은, CLIP 모델입니다. + - CLIP 은, 이미지와 text 를 학습한 multi-modal 모델입니다. + - The fundamental principles of training CLIP are quite simple: + 1. First, all images and their associated captions are passed through their respective encoders, mapping all objects into an m-dimensional space. + 2. Then, the cosine similarity of each *(image, text)* pair is computed. + 3. The training objective is to simultaneously **maximize the cosine similarity** between N **correct** encoded image/caption pairs and **minimize the cosine similarity** between N - N **incorrect** encoded image/caption pairs. + - DALL-E 2 는 CLIP 과 Diffusion Model 을 통합시켰습니다. (최초는 x) + - 하지만 CLIP 을 사용하는 것이 정답은 아닙니다.
+ DALL-E 2 는 22년 5월, CLIP 을 사용하지 않은 IMAGEN 에게 SOTA 를 내주었습니다. + +
+ +- **아키텍쳐 찍먹하기** + + 특정 이미지 내의 Semantics 와 style 을 모두 포착해낼 수 있는 CLIP 의 이미지 표현 능력을 끌어올리기 위해서,
+ 저자들은 CLIP 과 Diffusion 모델을 통합한 Two-stage model 을 제안합니다.
+ 이것이 바로 DALLE2 인데요.
+ 저자들은 이 모델을 unCLIP 이라고 부릅니다. + + :::{figure-md} +
+
+ A high level overview of the architecture.
+ :::
+
+ DALLE2 paper 의 그림은 좀 복잡해보이니,
+ Assembly AI 의 Youtube 에서 제공하는 좀 더 단순화된 그림을 살펴볼게요. + + :::{figure-md} +
+
+ A high level overview of the architecture from AssemblyAI youtube.
+ :::
+ [https://www.youtube.com/watch?v=F1X4fHzF4mQ&t=360s&ab_channel=AssemblyAI](https://www.youtube.com/watch?v=F1X4fHzF4mQ&t=360s&ab_channel=AssemblyAI)
+
+ Prior 와 Decoder 가 DALLE2 의 핵심이 되는 모델인 것 같네요.
+
+ - **Prior** : 텍스트 캡션을 받아서, 상응하는 CLIP image embedding 을 생성합니다.
+ - 본 논문에서는 Autogregressive prior 와 Diffusion prior 를 비교하는 실험 수행했습니다.
+ - Diffusion prior 가 computationally efficient 하고, 고품질 이미지 생성합니다.
+ 따라서 후반부에는 Diffusion prior 만 사용해서 실험합니다. + - **Decoder** : CLIP image embedding 을 받아서, 이미지를 생성합니다. + - Diffusion 모델만 사용했습니다. + +
+ +- **왜 CLIP 이랑 Diffusion 을 사용했을까요?** + - **CLIP** + - CLIP 이 images representation 을 학습하는데 에 큰 성공을 거두고 있었습니다. + - CLIP embeddings 는 image distribution shift 에 robust 했습니다. + - CLIP embeddings 는 zero-shot capabilities 가 뛰어났습니다. + - 다양한 vision & language tasks 에 fine-tuned 되어 SOTA 를 달성해냈습니다. + - **Diffusion** + - Diffusion 은 image 와 video generation taks 에서 SOTA 를 갱신하는 중이었죠. + - non-deterministic 하게 만들 수 있습니다.
+ 이러한 Decoder 덕분에, CLIP image embedding 과 같은
+ **image representation 에 존재하지 않는 non-essential 한 details** 는 **변주하면서,**
+ **image representation 의 semantics 와 style 은 유지**할 수 있죠. + + :::{figure-md} +
+
+ Variations of an input image by encoding with CLIP and then decoding with a diffusion model.
+ :::
+
+ 위 왼쪽의 그림처럼, Salvador dali 의 그림에서 중요한 objects 들은 보존됩니다.
+ 하지만 그들이 표현되는 방식이나 전체적인 그림의 style 은 조금씩 바뀝니다.
+ 그럼에도, Salvador dali 특유의 초현실주의적 화풍은 유지되는 것 같네요.
+ Diffusion Decoder 덕분에, **Non-essential details** 는
+ 마치 **변주곡처럼 매번 새롭게 연주**해낼 수 있는겁니다. + + +
+ +- **아키텍쳐 파헤치기** + + :::{figure-md} +
+
+ A high level overview of the architecture from AssemblyAI youtube.
+ :::
+ [https://www.youtube.com/watch?v=F1X4fHzF4mQ&t=360s&ab_channel=AssemblyAI](https://www.youtube.com/watch?v=F1X4fHzF4mQ&t=360s&ab_channel=AssemblyAI)
+
+ + 이번에는 DALLE2 의 아키텍쳐를 좀 더 자세히 살펴보죠. + + - **Prior** + - **input** + - Caption 그 자체의 embedding vector 입니다. + - **CLIP text embedding** 입니다. + - **output** + - **Generated CLIP Image embedding** 입니다. + - **설명** + - 사실 Prior 은 CLIP text embedding 만 조건으로 받는 것이 아니라 Caption 자체도 받습니다.
+ (물론 embedding vector 로 받겠죠)
+ CLIP text embedding 과, 그 Caption 은 서로 1대1 대응되기 때문에,
+ Duel-conditioning 이 문제될 것은 없다고 저자들은 변론합니다. + - 샘플 퀄리티를 높이기 위해서 2개의 CLIP image embeddings 를 생성한 후
+ 주어진 CLIP text embedding 과 더 높은 dot product 를 갖는 CLIP image embedding 을 사용했다고 합니다. + - **Decoder** + - **Input** + - CLIP text embedding + - Generated CLIP Image embedding + - **Output** + - Generated Image + - **설명** + - modified GLIDE model 을 Decoder 로 사용했습니다.
+ → 따라서, **projected CLIP text embeddings 를 아키텍쳐**에 통합시킬 수 있다고 주장합니다. +
+ 어떻게 통합시키냐하면, + + 1. GLIDE timestep embedding 에 추가하고, + 2. 4개의 extra context tokens 을 만들어서 GLIDE text encoder 의 output sequence 에 concat 하는거죠. +
+ 이 방법으로 **CLIP image embeddings 를 받아서, 원본 영상을 생성하는 것** 입니다. + + :::{figure-md} +
+
+ GLIDE training process
+ :::
+
+ - GLIDE 를 수정해 사용함으로써 GLIDE 가 가지고 있던
+ text-conditional photorealistic image generation capabilities 를 활용할 수 있다고 주장합니다. + +
+ +- **그렇다면 왜 Prior 가 필요할까요?** + 1. **To obtain a full generative model of images**,
+ we combine the CLIP image embedding decoder with a prior model,
+ which generates possible CLIP image embeddings from a given text caption
+ + 라고 하지만.. 딱히 와닿지는 않습니다.
+ 하지만 아직 실망하긴 이릅니다.
+ Prior 의 유무에 따라, 생성된 이미지의 품질을 비교하는 실험을 수행했다고 합니다.
+ 한번 살펴볼까요? + + 2. **아래 세 가지 아키텍쳐를 비교하는 실험 수행**
+ (1) GLIDE 모델처럼, text 의 token embeddings 만 조건으로 주어 실험
+ (2) 추가적으로, CLIP text embeddings 를 조건으로 주어 실험
+ (3) 추가적으로, CLIP image embeddings 를 생성해내는 Prior 를 갖추고 실험
+
+ 실험 결과, (3) 이 가장 훌륭했습니다.
+ 특히 image diversity 가 뛰어났습니다. + + :::{figure-md} +
+
+ 3가지 경우의 아키텍쳐에 따른 실험 결과 from AssemblyAI youtube.
+ :::
+
+ :::{figure-md}
+
+
+ Samples using different conditioning signals for the same decoder.
+ :::
+
+ 그렇지만, 의문이 말끔히 해소되지는 않습니다.
+ 왜냐하면..
+
+ - **95% 의 학습 시간 동안, (3) 방식으로 학습한 Decoder 를,**
+ **(1) 과 (2) 방식에 그대로 적용해 실험했습니다.**
+ 따라서 공정한 실험이라고 보긴 어려울 것 같습니다. + - **Decoder 를, True CLIP Image embeddings 와 Generated CLIP Image embeddings 로**
+ **각각 학습시켰을 때의 성능 비교 실험은 없습니다.** +
+ 개인적으로 저는 이러한 결과들을 보고,
+ Prior 를 반드시 써야하는 근거에 대한 설득력이 떨어진다고 생각했습니다. + +
+ +- **왜 CLIP 을 써야할까요?** + 1. CLIP 은 어떤 객체를 묘사한 텍스트와, 그 객체의 시각적 발현 사이의 의미론적 관계를 학습했습니다.
+ 따라서 저자들은 이러한 CLIP 의 능력이 Text-to-Image task 에서 매우 중요하다고 주장합니다. + 2. **CLIP 을 활용한 덕분에 이미지를 Manipulation 할 수 있습니다.** + + :::{figure-md} +
+
+ Text diffs applied to images by interpolating between their CLIP image embeddings and a normalised difference of the CLIP text embeddings produced from the two descriptions.
+ :::
+
+ 어떻게 이미지를 Manipulation 하는지는 곧 자세히 살펴보겠습니다.
+
+
+ +- **그래서 이 모델은 뭐가 좋은가요?** + - **Evaluation 결과, Diversity 가 뛰어났습니다.** + - 모델을 평가하기 위해서,
+ 주어진 Caption 에 대한 GLIDE 의 생성물과 unCLIP 의 생성물을 사람들에게 제시하고,
+ **Photorealism, Caption Similarity, Diversity** 에 대해서 **점수를 매기도록** 했습니다.
+ + + :::{figure-md} +
+
+ Samples when increasing guidance scale for both unCLIP and GLIDE.
+ :::
+
+ :::{figure-md}
+
+
+ Comparison of unCLIP and GLIDE for different evaluations.
+ :::
+
+ :::{figure-md}
+
+
+ FID versus guidance scale for unCLIP and GLIDE.
+ :::
+
+ 결론은 다음과 같습니다.
+ 1. GLIDE 에 비해서 **Photorealism, Caption Similarity,** 은 Comparable 했습니다.
+ (안 좋다.) + 2. 하지만, **Diversity** 는 훨씬 뛰어났습니다. + +
+ + - **Image Manipulations 가 가능합니다.** + - Bipartite Representation + - unCLIP 구조 덕분에,
+ 주어진 이미지 x 를 (z_i, x_T) 와 같은 bipartite latent representation 로 인코딩 가능합니다. + - 이 latent space 를 활용해서, Image manipulation 을 수행할 수 있습니다. + - x_T 는 DDIM inversion 을 z_i 가 condition 된 x 에 적용해 얻으며,
+ Decoder 가 x 를 복원하는데 필요한 잔여 정보들을 지닙니다. + +
+ + 1. **Variations** + + :::{figure-md} +
+
+ Variations of an input image by encoding with CLIP and then decoding with a diffusion model.
+ :::
+
+ - Non-essential details 를 변주하기 위해서,
+ bipartite representation 에 DDIM with η > 0 for sampling decoder 를 적용합니다. + - η = 0 일 때, decoder 는 deterministic 해지고 x 자체를 복원해냅니다. + - η 가 커질수록, sampling steps 에는 stochasticity 가 생기고,
+ 원본 이미지 x 근처에서 perceptually “centereed” 된 variations 를 만들어낼 것입니다. + - η 를 키우면, 우리는 CLIP image embedding 에 어떤 정보가 존재하고 어떤 정보가 유실되었는지 탐색 가능합니다.
+ **→ 즉, CLIP latent space 를 탐색해낼 수 있는거죠 !** + +
+ + 2. **Interpolations** + + :::{figure-md} +
+
+ Variations between two images by interpolating their CLIP image embedding and then decoding with a diffusion model.
+ :::
+
+ - 이런 것도 됩니다.
+ input image 두 장의 CLIP image embeddings 를 interpolation 해서 Decoder 에 준다면,
+ interpolated image 를 생성할 수 있습니다. + +
+ + 3. **Text Diffs** + + :::{figure-md} +
+
+ Text diffs applied to images by interpolating between their CLIP image embeddings and a normalised difference of the CLIP text embeddings produced from the two descriptions.
+ :::
+
+ - **어떤 이미지와 그 캡션이 주어져있을 때,
+ 그 이미지를 우리가 원하는 target text prompt 에 맞게 조작할 수도 있습니다.** + - **Method** + - **z_t0 = current CLIP text embedding** 이고, + - **z_t = target CLIP text embedding** 이라면, + + :::{figure-md} +
+
+ text diff method
+ :::
+
+ - 주어진 이미지의 **CLIP image embdding z_i** 를
+ 바로 이 **text diff vector 와 interpolate 해서 Decoding** 하면 이미지가 조작됩니다. + +
+ + - **typographic attaks 에 대해서, Robust 합니다.** + - **typographic attacks** : 이미지 내 사물 위에, 글씨가 쓰여 있는 경우입니다. + - Multimodal 로 학습한 CLIP 은 텍스트에 있는 정보를 더 많이 활용해
+ 사물을 판단하는 경향이 있습니다. + 1. unCLIP 의 Decoder 모델에 “iPod” 텍스트 종이가 붙은 사과를 보고 분류를 수행해보았습니다. + 2. 역시, “Granny Smith” 의 예측 확률을 거의 0 에 가깝다고 판단했습니다. + 3. 그럼에도 불구하고, 사과의 사진으로 recover 해냅니다. + :::{figure-md} +
+
+ Variations of images featuring typographic attacks
+ :::
+
+ 이처럼 DALLE2 는 typographic attacks 에 더욱 robust 합니다.
+
+
+ +- **이 모델, 단점은 없나요?** + +
+ + 1. **객체(cubes)와 그들의 속성(colors) 을 매칭시키는 능력이 떨어집니다.** + + :::{figure-md} +
+
+ Samples from unCLIP and GLIDE for the prompt “a red cube on top of a blue cube”.
+ :::
+
+ 위 그림처럼, 파란 큐브 위에 빨간 큐브를 그려달라고 했을 때,
+ DALLE2 는 **아래의 큐브와 위의 큐브에 각각 어떤 색상 (attributes) 를 부여해야할지** 헷갈려합니다. + +
+ + 2. **텍스트를 일관성있게 생성하는 능력이 떨어집니다** + + :::{figure-md} +
+
+ Samples from unCLIP for the prompt, “A sign that says deep learning.”
+ :::
+
+ 물론 이것은 DALLE2 만의 문제는 아닙니다.
+ 많은 text-to-image models 가 어려워하는 문제입니다. + +
+ + 3. **복잡한 상황에서 디테일을 묘사하는 능력이 떨어집니다** + + :::{figure-md} +
+
+ unCLIP samples show low levels of detail for some complex scenes.
+ :::
+
+ 복잡한 네온 사인들의 디테일들이 좀 떨어지는 것을 확인하실 수 있습니다.
+
+
+ +- **Method - Training** + - 본 논문의 Method 에서는, unCLIP 모델의 아키텍쳐에 대한 수학적 justify 를 하고 있습니다. + - Training 데이터셋의 이미지를 x 라 합시다. + - 그에 상응하는 text captions 을 y 라 합시다. + - 각각에 대한 embeddings 인 Z_i, Z_t 를 기존의 CLIP 으로 생성합니다. + - image **x —CLIP Image encoder—> Z_i** image embeddings + - text caption **y —CLIP text encoder—> Z_t** text embeddings + +
+ + - 저자의 주장 + - unCLIP 으로, text caption y 로부터 image x 를 샘플링할 수 있다고 합니다. + + :::{figure-md} +
+
+ P(x|y) equation.
+ :::
+
+ - ***The first equality holds because z_i is a deterministic function of x.***
+ - ***The second equality holds because of the chain rule.***
+
+
+ + - **포스팅을 위한 부가 설명** + - z_t 도 y 의 deterministic function 이므로, 다음과 같이 쓸 수 있죠. + + $$ + P(x|y) = P(x, z_i|y, z_t) = P(x|z_i, y, z_t)P(z_i|y, z_t) + $$ + + - 즉 위 공식을 풀어서 해설해보면 다음과 같습니다.
+ Prior 를 사용해 Z_t 로부터 Z_i 를 샘플링하고,
+ Decoder 를 사용해 x 를 샘플링함으로써
+ True conditional distribution 인 P(x|y) 샘플링이 가능해지는 것입니다. + +
+ +- **DALL-E 2 Bias** + +
+ + 개인적으로 DALLe2 와 같은 모델에 Bias 는 없는지 궁금해서 추가적으로 공부해봤습니다.
+ DALLE2 에 Bias 가 있는지,
+ Bias 가 있다면 해소하기 위해 어떤 노력을 하고있는지,
+ Bias 는 대체 어떻게 정량적으로 평가할 수 있는지 조사해봤습니다.
+ + 결과부터 말씀드리면, DALLE2 처럼, 웹크롤링 데이터를 학습한 모델은 Bias 가 존재한다고 합니다.
+ 이런 Bias 를 해소하기 위해서 OpenAI 는 어떤 노력을 하고있는지부터 살펴볼까요? + + [https://github.com/openai/dalle-2-preview/blob/main/system-card.md](https://github.com/openai/dalle-2-preview/blob/main/system-card.md) + + - **현재 OpenAI 가 DALL-E 2 의 Safety 를 위해 하고 있는 노력** + 1. 학습 데이터에서 violent, hate, or adult images 를 제거함으로써
+ 이러한 이미지들에 DALL-E 2 가 노출되는 시간을 최소화했다고 합니다. + 2. Safety policies 를 위반한 text prompts 혹은 생성된 images 를 자정하는 시스템을 보유하고 있다고 합니다. + 3. 신뢰할 수 있는 전문가들과 DALL-E 2 에 대한 사전 검토를 진행했다고 합니다. + +
+ + - **DALL-EVAL : 이미지 생성형 AI 의 Bias 를 평가하는 방법 소개** + + DALLE 와 같은 Text-to-Image 생성형 모델을 정량적으로 평가하는 기법이 있습니다.
+ 바로 DALL-EVAL 입니다. + + [https://arxiv.org/pdf/2202.04053.pdf](https://arxiv.org/pdf/2202.04053.pdf) + + [https://github.com/j-min/DallEval](https://github.com/j-min/DallEval) + + - **Contribution** + - Text to Image Generation models 의 시각적 추론 능력 3가지를 평가하기 위한 데이터셋 제공합니다. + - 최근의 모델들이 object recognition skill 은 상대적으로 뛰어나지만,
+ object counting 및 spaial relation 이해 능력은 떨어짐을 발견했습니다. + - Text to Image Generation models 에 존재하는
+ **gender 및 skin tone biases 를 측정하는 evaluation metrics 와 그 분석 결과를 제시한 최초의 논문** 입니다. + - web 에서 image-text pairs 를 학습한 현재 T2I 생성 모델들은
+ 특정한 gender/skin tone biases 를 학습했음을 보여주었습니다. + + :::{figure-md} +
+
+ Overview of DALL-EVAL evaluation process.
+ :::
+
+ - **Social Bias Evaluation 측정 방법 (Sec. 4.2.1 참고)**
+
+ :::{figure-md}
+
+
+ Overview of DALL-EVAL's social bias evaluation process.
+ :::
+
+ DALL-EVAL 의 자세한 social bias evaluation process 는 다음과 같습니다.
+
+ 1. 우선 **Diagnostic prompts 로 이미지들을 생성합니다.**
+ 1. ex) “a person who works as a nurse”
+ 2. 총 252개의 Diagnostic prompts 제공
+ 2. **Gender, Skin tone, Attributes 를 생성된 이미지로부터 탐지합니다.**
+ 1. using automated detection models and verify the reliability of detection models with human evaluation
+ 2. **Gender**
+ 1. BLIP-2 라는 모델에 생성된 영상을 주면서 영상 내 사람의 성별을 맞추게 합니다.
+ BLIP-2 의 답변을 기반으로 Gender Bias 측정합니다. + 3. **Skin tone** + 1. 신경망으로 facial landmark 를 추출하고, illumination 을 측정합니다. + 4. **Attributes** + 1. BLIP-2 라는 모델에 생성된 영상을 주면서 영상 내 사람의 복장을 맞추게 합니다.
+ BLIP-2 의 답변을 기반으로 Attributes Bias 측정합니다. + 3. 탐지된 Gender, Skin tone, Attributes 가
+ unbiased uniform distribution 으로부터 얼마나 skewed 되어있는지 측정합니다. + +
+ + - **실험 결과** + + :::{figure-md} +
+
+ Gender, skin tone, and attribute detection results with automated and expert human evaluation.
+ :::
+
+ :::{figure-md}
+
+
+ Per-profession examples and average gender bias or average skin tone bias of images.
+ :::
+
+ :::{figure-md}
+
+
+ Comparison of overall gender and skin tone bias of each model.
+ :::
+
+ 위 실험 결과와 같이, DALL-EVAL 은 Text-to-Image models 를 정량적으로 평가하는데에 성공했습니다.
+ Satble Diffusion 처럼 웹크롤링을 활용해 데이터를 학습한 모델은 Bias 가 존재했습니다.
+ 이처럼 생성형 AI 의 Bias 를 측정하기 위한 다양한 노력이 지속되고 있습니다.
미래에는 생성형 AI 가 더 안전하게 활용될 수 있기를 기대합니다. \ No newline at end of file diff --git a/_sources/docs/review/DDIM.md b/_sources/docs/review/DDIM.md index 35b7ada6..35c780ee 100755 --- a/_sources/docs/review/DDIM.md +++ b/_sources/docs/review/DDIM.md @@ -1,287 +1,287 @@ -```{admonition} Information -- **Title:** Denoising Diffusion Implicit Models (ICLR 2021) - -- **Reference** - - Paper: [https://arxiv.org/abs/2010.02502](https://arxiv.org/abs/2010.02502) - - Code: [Official:](https://github.com/ermongroup/ddim) - -- **Author:** Seunghwan Ji - -- **Last updated on April. 23, 2023** -``` - -# DDIM -## Abstract - -- DDPM의 단점인 Markov Process를 Non markovian process로 정의함으로서 Time efficient, deterministic한 Sampling이 가능한 모델을 제안 - - Deterministic vs Stochastic - -## 1. Introduction - -- 생성 분야에서 GAN(Generative Adversarial Network)이 뛰어난 성능을 보여주고있다. -- 하지만, GAN은 학습 과정에서 불안정성을 보이는 경우가 많다. - - Generator와 Discriminator의 Imbalanced에 의한 Mode collapse -- 그러던 중, DDPM과 NCSN같은 adversarial training구조가 아닌 model들이 등장하였고 성공의 가능성을 보여주었다. -- 이 중 DDPM은 Forward Process에서 Markov Process를 거치는데 이때문에 GAN에 비해 매우 느린 Performance를 보여준다. - - - | sampling | GAN | DDPM | - | --- | --- | --- | - | 32 x 32 x 50k | Less than 1 min | About 20h | - | 256 x 256 x 50k | - | About 1000h | -- DDIM은, - 1. Markov Chain에 기반한 Process를 Non Markovian Process로 대체하였고 - 2. 결국 좀더 빠르고 비교적 우수한 Quality의 결과를 생성해내고, (with accelate) - 3. DDPM과는 다르게 Consistency한 학습 결과를 보여줌으로써 latent간의 Interpolation이 가능하다. - - Consistency? - - If x, y is equivalent, then f(x) = f(y) - -## 2. Background - -### DDPM - -:::{figure-md} -
-
-DDPM & DDIM Architectures
-:::
-
-- DDPM의 Forward Process는 Markov process로 동작한다.
- - ***Markov process***
- - *미래 시점을 예측하기위해 현재 시점의 값을 이용한다.*
- - *미래 시점은 과거 시점의 값에는 독립적인 값을 갖는다.*
-- time step T는 DDPM에서 성능을 좌지우지하는 중요한 Hyper parameter이다. (대충 T=1000 정도?)
-- 하지만, Sampling 과정에서 DDPM은 결국 T 번의 inference 과정을 모두 Sequential하게 거쳐야하고 이는 다른 Method(GAN 등)보다 현저히 느린 속도를 보이는 요소가 된다.
-
-## 3. Variational Inference For Non-Markovian Forward Process
-
-**3.1. Non-Markovian Forward Processes**
-
-- Inference’s Distribution 정의
-
-:::{figure-md}
-
-
-Equation 1
-:::
-
-:::{figure-md}
-
-
-Equation 2
-:::
-- t 시점의 값을 구하기위해 $X_{t-1}$의 값과 $X_{0}$의 값을 참조
- - DDPM은? $X_{t-1}$의 값만을 참조
- - σ는 Forward process의 stochastic한 정도를 조절하는 hyper parameter (chap 4 참조)
-
-**3.2. Generative Process And Unified Variational Inference Objective (Reverse Process)**
-
-:::{figure-md}
-
-
-Equation 3
-:::
-
-:::{figure-md}
-
-
-Equation 4
-:::
-
-1. $X_{t}$을 통해 $X_{0}$의 값을 예측 (trainable)
-2. 위의 식을 통해 $X_{t}$와, $X_{0}$의 값을 이용해 $X_{t-1}$을 샘플링
-
-실제로는
-
-- noise(ε)와 $X_{0}$, $X_{t}$의 관계
-
- :::{figure-md}
- 
-
- Equation 5
- :::
-
-1. $X_{t}$을 통해 $X_{0}$을 예측
- 1. t 시점의 이미지를 통해 t 시점의 noise를 예측
- 2. t 시점의 이미지와 t 시점의 noise를 통해 0 시점의 이미지를 계산 (fixed)
-2. 위의 식을 통해 t시점의 값과 예측한 0 시점의 값을 이용해 t-1 시점의 값을 샘플링
-
-## 4. Sampling From Generalized Generative Process
-
-4.1. Denoising Diffusion Implicit Models
-
-1. If σ → 0
-
-:::{figure-md}
-
-
-Equation 6
-:::
-
-1. σ가 특정 값을 가질 때 DDPM의 generative process의 수식과 동일하다.
-:::{figure-md}
-
-
-Explanation of σ
-:::
-4.2. Accelerated Generation Processes
-:::{figure-md}
-
-
-Explanation of accelated method
-:::
-
-- DDIM은 Deterministic하기때문에 모든 시점의 값을 모두 계산할 필요 없이 subset의 시점만으로 sampling이 가능하다.
-- 이 Accelerating method는 약간의 quality 저하가 있지만 Computational efficiency를 충분히 증가시킬 수 있다.
-- **DDIM 방식의 재학습 없이 DDPM의 training에 DDIM의 sampling이 가능하다.**
-
-4.3. Relevance To Neural ODEs
-
-- DDIM은 Object(e.g. 이미지)의 Encoding이 가능한 식을 유도할 수 있다.
-
-## 5. Experiments
-:::{figure-md}
-
-
-Table1
-:::
-
-:::{figure-md}
-
-
-Euqation 7
-:::
-- η → model을 simple하게 control하기위한 hyperparameter
- - η = 1 → Model is DDPM
- - η = 0 → Model is DDIM
-- 모든 비교 모델이 S(sampling 횟수)의 값이 커질수록 더 낮은 FiD를 보여준다.
-- Fig.3의 DDIM은 다른 모델(η가 0이 아닌 모델)과 다르게 sampling step에 consistency한 결과를 보여준다.
-
-:::{figure-md}
-
-
-Figure 4, 5
-:::
-- Step과 Inference time이 linear한 관계를 갖는다.
-- 적은 sampling step에서도 어느정도의 object를 보여준다.
-:::{figure-md}
-
-
-Figure 6
-:::
-- T 시점의 이미지에 interpolation이 가능하다.
-
-## 6. Code
-
-```python
-# https://keras.io/examples/generative/ddim/
-class DiffusionModel(keras.Model):
- def __init__(self, image_size, widths, block_depth):
- super().__init__()
-
- self.normalizer = layers.Normalization()
- self.network = get_network(image_size, widths, block_depth) # unet 구조
-
- def denormalize(self, images):
- # convert the pixel values back to 0-1 range
- images = self.normalizer.mean + images * self.normalizer.variance**0.5
- return tf.clip_by_value(images, 0.0, 1.0)
-
- def diffusion_schedule(self, diffusion_times):
- # diffusion times -> angles
- start_angle = tf.acos(max_signal_rate)
- end_angle = tf.acos(min_signal_rate)
-
- diffusion_angles = start_angle + diffusion_times * (end_angle - start_angle)
-
- # angles -> signal and noise rates
- signal_rates = tf.cos(diffusion_angles)
- noise_rates = tf.sin(diffusion_angles)
- # note that their squared sum is always: sin^2(x) + cos^2(x) = 1
-
- return noise_rates, signal_rates
-
- def denoise(self, noisy_images, noise_rates, signal_rates, training):
- # the exponential moving average weights are used at evaluation
- if training:
- network = self.network
- else:
- network = self.ema_network
-
- # predict noise component and calculate the image component using it
- pred_noises = network([noisy_images, noise_rates**2], training=training)
- pred_images = (noisy_images - noise_rates * pred_noises) / signal_rates
-
- return pred_noises, pred_images
-
-
-
- def train_step(self, images):
- # normalize images to have standard deviation of 1, like the noises
- images = self.normalizer(images, training=True)
- noises = tf.random.normal(shape=(batch_size, image_size, image_size, 3))
-
- # sample uniform random diffusion times
- diffusion_times = tf.random.uniform(
- shape=(batch_size, 1, 1, 1), minval=0.0, maxval=1.0
- )
- noise_rates, signal_rates = self.diffusion_schedule(diffusion_times)
- # mix the images with noises accordingly
- noisy_images = signal_rates * images + noise_rates * noises
-
- with tf.GradientTape() as tape:
- # train the network to separate noisy images to their components
- pred_noises, pred_images = self.denoise(
- noisy_images, noise_rates, signal_rates, training=True
- )
-
- noise_loss = self.loss(noises, pred_noises) # used for training
- image_loss = self.loss(images, pred_images) # only used as metric
-
- gradients = tape.gradient(noise_loss, self.network.trainable_weights)
- self.optimizer.apply_gradients(zip(gradients, self.network.trainable_weights))
-
- self.noise_loss_tracker.update_state(noise_loss)
- self.image_loss_tracker.update_state(image_loss)
-
- return {m.name: m.result() for m in self.metrics[:-1]}
-
- def reverse_diffusion(self, initial_noise, diffusion_steps):
- # reverse diffusion = sampling
- num_images = initial_noise.shape[0]
- step_size = 1.0 / diffusion_steps
-
- # important line:
- # at the first sampling step, the "noisy image" is pure noise
- # but its signal rate is assumed to be nonzero (min_signal_rate)
- next_noisy_images = initial_noise
- for step in range(diffusion_steps):
- noisy_images = next_noisy_images
-
- # separate the current noisy image to its components
- diffusion_times = tf.ones((num_images, 1, 1, 1)) - step * step_size
- noise_rates, signal_rates = self.diffusion_schedule(diffusion_times)
- pred_noises, pred_images = self.denoise(
- noisy_images, noise_rates, signal_rates, training=False
- )
- # network used in eval mode
-
- # remix the predicted components using the next signal and noise rates
- next_diffusion_times = diffusion_times - step_size
- next_noise_rates, next_signal_rates = self.diffusion_schedule(
- next_diffusion_times
- )
- next_noisy_images = (
- next_signal_rates * pred_images + next_noise_rates * pred_noises
- )
- # this new noisy image will be used in the next step
-
- return pred_images
-
- def generate(self, num_images, diffusion_steps):
- # noise -> images -> denormalized images
- initial_noise = tf.random.normal(shape=(num_images, image_size, image_size, 3))
- generated_images = self.reverse_diffusion(initial_noise, diffusion_steps)
- generated_images = self.denormalize(generated_images)
- return generated_images
-```
+```{admonition} Information
+- **Title:** Denoising Diffusion Implicit Models (ICLR 2021)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2010.02502](https://arxiv.org/abs/2010.02502)
+ - Code: [Official:](https://github.com/ermongroup/ddim)
+
+- **Author:** Seunghwan Ji
+
+- **Last updated on April. 23, 2023**
+```
+
+# DDIM
+## Abstract
+
+- DDPM의 단점인 Markov Process를 Non markovian process로 정의함으로서 Time efficient, deterministic한 Sampling이 가능한 모델을 제안
+ - Deterministic vs Stochastic
+
+## 1. Introduction
+
+- 생성 분야에서 GAN(Generative Adversarial Network)이 뛰어난 성능을 보여주고있다.
+- 하지만, GAN은 학습 과정에서 불안정성을 보이는 경우가 많다.
+ - Generator와 Discriminator의 Imbalanced에 의한 Mode collapse
+- 그러던 중, DDPM과 NCSN같은 adversarial training구조가 아닌 model들이 등장하였고 성공의 가능성을 보여주었다.
+- 이 중 DDPM은 Forward Process에서 Markov Process를 거치는데 이때문에 GAN에 비해 매우 느린 Performance를 보여준다.
+
+
+ | sampling | GAN | DDPM |
+ | --- | --- | --- |
+ | 32 x 32 x 50k | Less than 1 min | About 20h |
+ | 256 x 256 x 50k | - | About 1000h |
+- DDIM은,
+ 1. Markov Chain에 기반한 Process를 Non Markovian Process로 대체하였고
+ 2. 결국 좀더 빠르고 비교적 우수한 Quality의 결과를 생성해내고, (with accelate)
+ 3. DDPM과는 다르게 Consistency한 학습 결과를 보여줌으로써 latent간의 Interpolation이 가능하다.
+ - Consistency?
+ - If x, y is equivalent, then f(x) = f(y)
+
+## 2. Background
+
+### DDPM
+
+:::{figure-md}
+
+
+DDPM & DDIM Architectures
+:::
+
+- DDPM의 Forward Process는 Markov process로 동작한다.
+ - ***Markov process***
+ - *미래 시점을 예측하기위해 현재 시점의 값을 이용한다.*
+ - *미래 시점은 과거 시점의 값에는 독립적인 값을 갖는다.*
+- time step T는 DDPM에서 성능을 좌지우지하는 중요한 Hyper parameter이다. (대충 T=1000 정도?)
+- 하지만, Sampling 과정에서 DDPM은 결국 T 번의 inference 과정을 모두 Sequential하게 거쳐야하고 이는 다른 Method(GAN 등)보다 현저히 느린 속도를 보이는 요소가 된다.
+
+## 3. Variational Inference For Non-Markovian Forward Process
+
+**3.1. Non-Markovian Forward Processes**
+
+- Inference’s Distribution 정의
+
+:::{figure-md}
+
+
+Equation 1
+:::
+
+:::{figure-md}
+
+
+Equation 2
+:::
+- t 시점의 값을 구하기위해 $X_{t-1}$의 값과 $X_{0}$의 값을 참조
+ - DDPM은? $X_{t-1}$의 값만을 참조
+ - σ는 Forward process의 stochastic한 정도를 조절하는 hyper parameter (chap 4 참조)
+
+**3.2. Generative Process And Unified Variational Inference Objective (Reverse Process)**
+
+:::{figure-md}
+
+
+Equation 3
+:::
+
+:::{figure-md}
+
+
+Equation 4
+:::
+
+1. $X_{t}$을 통해 $X_{0}$의 값을 예측 (trainable)
+2. 위의 식을 통해 $X_{t}$와, $X_{0}$의 값을 이용해 $X_{t-1}$을 샘플링
+
+실제로는
+
+- noise(ε)와 $X_{0}$, $X_{t}$의 관계
+
+ :::{figure-md}
+
+
+ Equation 5
+ :::
+
+1. $X_{t}$을 통해 $X_{0}$을 예측
+ 1. t 시점의 이미지를 통해 t 시점의 noise를 예측
+ 2. t 시점의 이미지와 t 시점의 noise를 통해 0 시점의 이미지를 계산 (fixed)
+2. 위의 식을 통해 t시점의 값과 예측한 0 시점의 값을 이용해 t-1 시점의 값을 샘플링
+
+## 4. Sampling From Generalized Generative Process
+
+4.1. Denoising Diffusion Implicit Models
+
+1. If σ → 0
+
+:::{figure-md}
+
+
+Equation 6
+:::
+
+1. σ가 특정 값을 가질 때 DDPM의 generative process의 수식과 동일하다.
+:::{figure-md}
+
+
+Explanation of σ
+:::
+4.2. Accelerated Generation Processes
+:::{figure-md}
+
+
+Explanation of accelated method
+:::
+
+- DDIM은 Deterministic하기때문에 모든 시점의 값을 모두 계산할 필요 없이 subset의 시점만으로 sampling이 가능하다.
+- 이 Accelerating method는 약간의 quality 저하가 있지만 Computational efficiency를 충분히 증가시킬 수 있다.
+- **DDIM 방식의 재학습 없이 DDPM의 training에 DDIM의 sampling이 가능하다.**
+
+4.3. Relevance To Neural ODEs
+
+- DDIM은 Object(e.g. 이미지)의 Encoding이 가능한 식을 유도할 수 있다.
+
+## 5. Experiments
+:::{figure-md}
+
+
+Table1
+:::
+
+:::{figure-md}
+
+
+Euqation 7
+:::
+- η → model을 simple하게 control하기위한 hyperparameter
+ - η = 1 → Model is DDPM
+ - η = 0 → Model is DDIM
+- 모든 비교 모델이 S(sampling 횟수)의 값이 커질수록 더 낮은 FiD를 보여준다.
+- Fig.3의 DDIM은 다른 모델(η가 0이 아닌 모델)과 다르게 sampling step에 consistency한 결과를 보여준다.
+
+:::{figure-md}
+
+
+Figure 4, 5
+:::
+- Step과 Inference time이 linear한 관계를 갖는다.
+- 적은 sampling step에서도 어느정도의 object를 보여준다.
+:::{figure-md}
+
+
+Figure 6
+:::
+- T 시점의 이미지에 interpolation이 가능하다.
+
+## 6. Code
+
+```python
+# https://keras.io/examples/generative/ddim/
+class DiffusionModel(keras.Model):
+ def __init__(self, image_size, widths, block_depth):
+ super().__init__()
+
+ self.normalizer = layers.Normalization()
+ self.network = get_network(image_size, widths, block_depth) # unet 구조
+
+ def denormalize(self, images):
+ # convert the pixel values back to 0-1 range
+ images = self.normalizer.mean + images * self.normalizer.variance**0.5
+ return tf.clip_by_value(images, 0.0, 1.0)
+
+ def diffusion_schedule(self, diffusion_times):
+ # diffusion times -> angles
+ start_angle = tf.acos(max_signal_rate)
+ end_angle = tf.acos(min_signal_rate)
+
+ diffusion_angles = start_angle + diffusion_times * (end_angle - start_angle)
+
+ # angles -> signal and noise rates
+ signal_rates = tf.cos(diffusion_angles)
+ noise_rates = tf.sin(diffusion_angles)
+ # note that their squared sum is always: sin^2(x) + cos^2(x) = 1
+
+ return noise_rates, signal_rates
+
+ def denoise(self, noisy_images, noise_rates, signal_rates, training):
+ # the exponential moving average weights are used at evaluation
+ if training:
+ network = self.network
+ else:
+ network = self.ema_network
+
+ # predict noise component and calculate the image component using it
+ pred_noises = network([noisy_images, noise_rates**2], training=training)
+ pred_images = (noisy_images - noise_rates * pred_noises) / signal_rates
+
+ return pred_noises, pred_images
+
+
+
+ def train_step(self, images):
+ # normalize images to have standard deviation of 1, like the noises
+ images = self.normalizer(images, training=True)
+ noises = tf.random.normal(shape=(batch_size, image_size, image_size, 3))
+
+ # sample uniform random diffusion times
+ diffusion_times = tf.random.uniform(
+ shape=(batch_size, 1, 1, 1), minval=0.0, maxval=1.0
+ )
+ noise_rates, signal_rates = self.diffusion_schedule(diffusion_times)
+ # mix the images with noises accordingly
+ noisy_images = signal_rates * images + noise_rates * noises
+
+ with tf.GradientTape() as tape:
+ # train the network to separate noisy images to their components
+ pred_noises, pred_images = self.denoise(
+ noisy_images, noise_rates, signal_rates, training=True
+ )
+
+ noise_loss = self.loss(noises, pred_noises) # used for training
+ image_loss = self.loss(images, pred_images) # only used as metric
+
+ gradients = tape.gradient(noise_loss, self.network.trainable_weights)
+ self.optimizer.apply_gradients(zip(gradients, self.network.trainable_weights))
+
+ self.noise_loss_tracker.update_state(noise_loss)
+ self.image_loss_tracker.update_state(image_loss)
+
+ return {m.name: m.result() for m in self.metrics[:-1]}
+
+ def reverse_diffusion(self, initial_noise, diffusion_steps):
+ # reverse diffusion = sampling
+ num_images = initial_noise.shape[0]
+ step_size = 1.0 / diffusion_steps
+
+ # important line:
+ # at the first sampling step, the "noisy image" is pure noise
+ # but its signal rate is assumed to be nonzero (min_signal_rate)
+ next_noisy_images = initial_noise
+ for step in range(diffusion_steps):
+ noisy_images = next_noisy_images
+
+ # separate the current noisy image to its components
+ diffusion_times = tf.ones((num_images, 1, 1, 1)) - step * step_size
+ noise_rates, signal_rates = self.diffusion_schedule(diffusion_times)
+ pred_noises, pred_images = self.denoise(
+ noisy_images, noise_rates, signal_rates, training=False
+ )
+ # network used in eval mode
+
+ # remix the predicted components using the next signal and noise rates
+ next_diffusion_times = diffusion_times - step_size
+ next_noise_rates, next_signal_rates = self.diffusion_schedule(
+ next_diffusion_times
+ )
+ next_noisy_images = (
+ next_signal_rates * pred_images + next_noise_rates * pred_noises
+ )
+ # this new noisy image will be used in the next step
+
+ return pred_images
+
+ def generate(self, num_images, diffusion_steps):
+ # noise -> images -> denormalized images
+ initial_noise = tf.random.normal(shape=(num_images, image_size, image_size, 3))
+ generated_images = self.reverse_diffusion(initial_noise, diffusion_steps)
+ generated_images = self.denormalize(generated_images)
+ return generated_images
+```
diff --git a/_sources/docs/review/DDPM.md b/_sources/docs/review/DDPM.md
index 9aa5aeb9..099b7b34 100755
--- a/_sources/docs/review/DDPM.md
+++ b/_sources/docs/review/DDPM.md
@@ -1,519 +1,519 @@
-```{admonition} Information
-- **Title:** Denoising Diffusion Probabilistic Models (NeurIPS 2020)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2006.11239](https://arxiv.org/abs/2006.11239)
- - Code: [PyTorch implementation:](https://github.com/lucidrains/denoising-diffusion-pytorch)
- - Review: [PR-409: Denoising Diffusion Probabilistic Models](https://www.youtube.com/watch?v=1j0W_lu55nc)
-
-- **Author:** Beomsoo Park
-
-- **Last updated on Apr. 19, 2023**
-```
-
-
-# DDPM
-
-
-:::{figure-md}
-
-
-DDPM samples \ (source: https://arxiv.org/abs/2006.11239)
-:::
-
-
----
-# 1. Introduction
-
-:::{figure-md}
-
-
-Diffusion models \ (source: https://velog.io/@yetsyl0705/What-are-Diffusion-Models)
-:::
-
-**Diffusion model**은 **variational inference로 학습시켜 데이터를 생성하는 parameterized Markov chain**. Diffusion model은 Markov가 데이터가 normal distribution의 형태를 할 때까지 **noise를 더해가는 diffusion process**와 **이를 역으로 거치며 학습하는 reverse process**로 구성됨.
-
-Diffusion model은 정의하기 쉽고 학습시키는 것도 편리함. 또한 높은 품질의 sample(output)도 생성이 가능.
-
-> - **Variational inference(변분추론)**: 사후확률(posterior) 분포 $p(z
-|x)$를 다루기 쉬운 확률분포 $q(z)$로 근사(approximation)하는 것
-> - **Parameterize**: 하나의 표현식에 대해 다른 parameter를 사용하여 다시 표현하는 과정. 이 과정에서 보통 parameter의 개수를 표현 식의 차수보다 적은 수로 선택(ex. 3차 표현식 --> 2개 parameter 사용)하므로, 낮은 차수로의 mapping 함수(ex. 3D --> 2D)가 생성
-> - **Markov chain**: 어떤 상태에서 다른 상태로 넘어갈 때, 바로 전 단계의 상태에만 영향을 받는 확률 과정
-
----
-# 2. Background
-
-:::{figure-md}
-
-
-Graphical model of DDPM \ (source: https://arxiv.org/abs/2006.11239)
-:::
-
-## 2-1. Forward(diffusion) process $q(\mathbf{x}_t|\mathbf{x}_{t-1})$
-
-$$
-q\left(\mathbf{x}_{1: T} \mid \mathbf{x}_0\right):=\prod_{t=1}^T q\left(\mathbf{x}_t \mid \mathbf{x}_{t-1}\right), \quad q\left(\mathbf{x}_t \mid \mathbf{x}_{t-1}\right):=\mathcal{N}\left(\mathbf{x}_t ; \sqrt{1-\beta_t} \mathbf{x}_{t-1}, \beta_t \mathbf{I}\right)
-$$
-
-Markov chain으로 **data에 noise를 추가**하는 과정. Noise를 추가할 때 **variance schedule $\beta_1,,,\beta_T$로 scaling**을 한 후 더해준다.
-- $\beta_t = 1$이면 mean인 $\sqrt{1-\beta_t}\mathbf{x}_{t-1} = 0$. 이전 정보를 갖지 못하고 노이즈가 증가함
-- 단순히 noise만을 더해주는게 아니라 $\sqrt{1-\beta_t}$로 scaling하는 이유는 variance가 발산하는 것을 막기 위함
-- $q(x_1|x_0)$: $x_0$에 noise를 추가해 $x_1$을 만드는 과정
-- $x_T$는 완전 destroy된 noise 상태 ~ $N(x_T;0, I)$
-
-## 2-2. Reverse process $p(\mathbf{x}_{t-1}|\mathbf{x}_t)$
-
-$$
-p_\theta\left(\mathbf{x}_{0: T}\right):=p\left(\mathbf{x}_T\right) \prod_{t=1}^T p_\theta\left(\mathbf{x}_{t-1} \mid \mathbf{x}_t\right), \quad p_\theta\left(\mathbf{x}_{t-1} \mid \mathbf{x}_t\right):=\mathcal{N}\left(\mathbf{x}_{t-1} ; \boldsymbol{\mu}_\theta\left(\mathbf{x}_t, t\right), \boldsymbol{\Sigma}_\theta\left(\mathbf{x}_t, t\right)\right)
-$$
-
-Reverse process로 가우시안 노이즈를 사용하는 이유는 1994년 논문에 forward process가 가우시안이면 reverse process도 가우시안으로 쓰면 된다라는 증명이 있다고 함.
-
-여기서 우리가 해야 할 것은 **$\mathbf{x}_t$를 보고 $\mathbf{x}_{t-1}$의 평균 $\mu_\theta$과 분산 $\Sigma_\theta$을 예측해내는 것**.
-- Hierarachical VAE에서의 decoding 과정과 비슷함
-- $\mu_\theta$과 분산 $\Sigma_\theta$는 학습 가능한 parameter
-
-
-## 2-3. Loss Function $L$
-
-Diffusion model의 목적은 **noise를 어떻게 제거할 것인가?**이다. $x_t$가 들어왔을 때 $x_{t-1}$을 예측할 수 있다면 $x_0$ 또한 예측이 가능해짐.
-
-$$
-\mathbb{E}\left[-\log p_\theta\left(\mathbf{x}_0\right)\right] \leq \mathbb{E}_q\left[-\log \frac{p_\theta\left(\mathbf{x}_{0: T}\right)}{q\left(\mathbf{x}_{1: T} \mid \mathbf{x}_0\right)}\right]=\mathbb{E}_q\left[-\log p\left(\mathbf{x}_T\right)-\sum_{t \geq 1} \log \frac{p_\theta\left(\mathbf{x}_{t-1} \mid \mathbf{x}_t\right)}{q\left(\mathbf{x}_t \mid \mathbf{x}_{t-1}\right)}\right]=: L
-$$
-
-본 논문에서는 **negative log likelihood를 최소화**하는 방향으로 진행. 위 수식을 **ELBO**(Evidence of Lower BOund)로 우항과 같이 정리하고 이를 풀어내면
-
-> ELBO의 역할은 우리가 관찰한 P(z|x)가 다루기 힘든 분포를 이루고 있을 때 이를 조금 더 다루기 쉬운 분포인 Q(x)로 대신 표현하려 하는 과정에서 **두 분포 (P(z|x)와 Q(x))의 차이 (KL Divergence)를 최소화** 하기 위해 사용된다.
-
-$$
-\mathbb{E}_q[\underbrace{D_{\mathrm{KL}}\left(q\left(\mathbf{x}_T \mid \mathbf{x}_0\right) \| p\left(\mathbf{x}_T\right)\right)}_{L_T}+\sum_{t>1} \underbrace{D_{\mathrm{KL}}\left(q\left(\mathbf{x}_{t-1} \mid \mathbf{x}_t, \mathbf{x}_0\right) \| p_\theta\left(\mathbf{x}_{t-1} \mid \mathbf{x}_t\right)\right)}_{L_{t-1}} \underbrace{-\log p_\theta\left(\mathbf{x}_0 \mid \mathbf{x}_1\right)}_{L_0}]
-$$
-
-와 같은 결과가 나온다.
-
-- $L_T$: Regularization term으로 $\beta_t$를 학습시킴
-- $L_{t-1}$: Reconstruction term으로 매 단계에서 noise를 지우는 지움
-- $L_0$: Reconstruction term으로 최종 단계에서 image를 생성
-
----
-# 3. Diffusion models and denoising encoders
-
-DDPM에서는 **inductive bias를 늘려** 모델을 더 stable하고 성능도 개선할 수 있었음.
-
-> Inductive bias: 학습 모델이 지금까지 만나보지 못했던 상황에서 정확한 예측을 하기 위해 사용하는 **추가적인 가정**, 즉 우리가 풀려는 문제에 대한 정보를 모델에 적용하는 것
-
-
-## 3-1. Forward process and $L_T$
-
-**$\beta_t$를 고정**했더니 학습이 잘됨. 10^-4 ~ 0.02로 linear하게 image에 가까울수록 noise를 적게 주는 방식으로 설정.
-
-따라서 $q$에는 학습 가능한 parameter가 없어 **$L_T$는 0이 되기 때문에 삭제**할 수 있었음.
-
-## 3-2. Reverse process and $L_{1:T-1}$
-
-
-$$
-L_{t-1}=D_{K L}\left(q\left(x_{t-1} \mid x_t, x_0\right) \| p_\theta\left(x_{t-1} \mid x_t\right)\right)
-$$
-
-- $
-q\left(x_{t-1} \mid x_t, x_0\right)=N\left(x_{t-1} ; \tilde{\mu}\left(x_t, x_0\right), \tilde{\beta}_t \mathrm{I}\right)
-$
-- $
-p_\theta\left(x_{t-1} \mid x_t\right)=\mathcal{N}\left(x_{t-1} ; \mu_\theta\left(x_t, t\right), \sum_\theta\left(x_t, t\right)\right)
-$
-
-
-$L_{1:T-1}$는 forward progress posterior를 예측하는 loss. $\mathbf{x}_{t-1}$에서 noise를 더해 $\mathbf{x}_{t}$를 만들었을때, 그 과정을 복원 $p(\mathbf{x}_{t-1}|\mathbf{x}_t)$ 하는 과정을 학습.
-
-:::{figure-md}
-
-
-Loss Simplication \ (source: https://velog.io/@sjina0722/%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0-Denoising-Diffusion-Probabilistic-Models)
-:::
-
-- $\Sigma_\theta$: $\beta$를 상수로 가정했고 $p(\mathbf{x}_{t-1}|\mathbf{x}_t)$의 variance가 $\beta$에 영향을 받기 때문에 학습시키지 않아도 된다고 생각해 **variance term을 제거**함.
-
-:::{figure-md}
-
-
-Residual Estimation \ (source: https://velog.io/@sjina0722/%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0-Denoising-Diffusion-Probabilistic-Models)
-:::
-
-- $\mu_\theta$: DDPM에서는 $\mu_\theta$를 바로 구하지 않고 **residual $\epsilon_\theta$만 구해 정확도를 높임**.
-
-## 3-3. Data scaling, reverse process decoder and $L_0$
-
-$$
-\begin{aligned}
-p_\theta\left(\mathbf{x}_0 \mid \mathbf{x}_1\right) & =\prod_{i=1}^D \int_{\delta_{-}\left(x_0^i\right)}^{\delta_{+}\left(x_0^i\right)} \mathcal{N}\left(x ; \mu_\theta^i\left(\mathbf{x}_1, 1\right), \sigma_1^2\right) d x \\
-\delta_{+}(x) & =\left\{\begin{array}{ll}
-\infty & \text { if } x=1 \\
-x+\frac{1}{255} & \text { if } x<1
-\end{array} \quad \delta_{-}(x)= \begin{cases}-\infty & \text { if } x=-1 \\
-x-\frac{1}{255} & \text { if } x>-1\end{cases} \right.
-\end{aligned}
-$$
-
-[0, 255]의 image를 [-1,1] 사이로 linearly mapping. Sampling 마지막 단계에는 noise를 추가하지 않음.
-
-
-$L_0$은 두 normal distribution 사이의 KL divergence를 나타냄.
-- $D$: Data dimensionality
-- $i$: 좌표
-
-
-## 3-4. Simplified training objective
-
-:::{figure-md}
-
-
-Simplified training objective \ (source: https://velog.io/@sjina0722/%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0-Denoising-Diffusion-Probabilistic-Models)
-:::
-
-:::{figure-md}
-
-
-Final Loss \ (source: https://velog.io/@sjina0722/%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0-Denoising-Diffusion-Probabilistic-Models)
-:::
-
-최종 loss는 위와 같이 나타난다. Ground truth - estimated output간 MSE loss를 줄이는 과정이 denoising과 비슷해 DDPM이라는 이름이 붙음.
-
-Simplified objective을 통해 diffusion process를 학습하면 매우 작은 t 에서뿐만 아니라 **큰 t에 대해서도 network 학습이 가능하기 때문에 매우 효과적**.
-
-:::{figure-md}
-
-
-Psuedo code of training process \ (source: https://arxiv.org/abs/2006.11239)
-:::
-
-- Algorithm 1: Training
- - Noise를 더해나가는 과정, network($\epsilon_\theta$, $p_\theta$)가 t step에서 noise($\epsilon$)가 얼마만큼 더해졌는지를 학습한다.
- - 학습 시에는 특정 step의 이미지가 얼마나 gaussian noise가 추가되었는지를 예측하도록 학습된다.
- - 코드에서는 랜덤 노이즈와 시간 단계 t로 노이즈가 추가된 이미지를 얻고 해당 이미지를 보고 모델이 노이즈를 예측
-
-```python
-def p_losses(self, x_start, t, noise = None):
- b, c, h, w = x_start.shape
- noise = default(noise, lambda: torch.randn_like(x_start))
-
- # noise sample
-
- x = self.q_sample(x_start = x_start, t = t, noise = noise)
-
- # if doing self-conditioning, 50% of the time, predict x_start from current set of times
- # and condition with unet with that
- # this technique will slow down training by 25%, but seems to lower FID significantly
-
- x_self_cond = None
- if self.self_condition and random() < 0.5:
- with torch.no_grad():
- x_self_cond = self.model_predictions(x, t).pred_x_start
- x_self_cond.detach_()
-
- # predict and take gradient step
-
- model_out = self.model(x, t, x_self_cond)
-
- if self.objective == 'pred_noise':
- target = noise
- elif self.objective == 'pred_x0':
- target = x_start
- elif self.objective == 'pred_v':
- v = self.predict_v(x_start, t, noise)
- target = v
- else:
- raise ValueError(f'unknown objective {self.objective}')
-
- loss = self.loss_fn(model_out, target, reduction = 'none')
- loss = reduce(loss, 'b ... -> b (...)', 'mean')
-
- loss = loss * extract(self.loss_weight, t, loss.shape)
- return loss.mean()
- ```
-
-- Algorithm 2: Sampling
- - Network를 학습하고 나면, gaussian noise에서 시작해서 순차적으로 denoising 하는 것이 가능하다. (by parameterized markovian chain)
- - 코드에서는 noise 제거 후 소량의 noise를 다시 추가하고 있음
-
-```python
-@torch.no_grad()
-def p_sample(self, x, t: int, x_self_cond = None):
- b, *_, device = *x.shape, x.device
- batched_times = torch.full((b,), t, device = x.device, dtype = torch.long)
- model_mean, _, model_log_variance, x_start = self.p_mean_variance(x = x, t = batched_times, x_self_cond = x_self_cond, clip_denoised = True)
- noise = torch.randn_like(x) if t > 0 else 0. # no noise if t == 0
- pred_img = model_mean + (0.5 * model_log_variance).exp() * noise
- return pred_img, x_start
-```
-
-
-
-# 4. Experiments
-
-- T: 1000
-- backbone: U-Net
-각 down/upsampling 단계는 ResNet/ConvNext 블록 2개 + (groupnorm + attention + residual) + down/upsampling으로 구성됨
-
-```python
-block_klass = partial(ResnetBlock, groups = resnet_block_groups)
-
-self.downs.append(nn.ModuleList([
- block_klass(dim_in, dim_in, time_emb_dim = time_dim),
- block_klass(dim_in, dim_in, time_emb_dim = time_dim),
- Residual(PreNorm(dim_in, LinearAttention(dim_in))),
- Downsample(dim_in, dim_out) if not is_last else nn.Conv2d(dim_in, dim_out, 3, padding = 1)
- ]))
-
- self.ups.append(nn.ModuleList([
- block_klass(dim_out + dim_in, dim_out, time_emb_dim = time_dim),
- block_klass(dim_out + dim_in, dim_out, time_emb_dim = time_dim),
- Residual(PreNorm(dim_out, LinearAttention(dim_out))),
- Upsample(dim_out, dim_in) if not is_last else nn.Conv2d(dim_out, dim_in, 3, padding = 1)
- ]))
-
-```
-
-
-```python
-class Unet(nn.Module):
- def __init__(
- self,
- dim,
- init_dim = None,
- out_dim = None,
- dim_mults=(1, 2, 4, 8),
- channels = 3,
- self_condition = False,
- resnet_block_groups = 8,
- learned_variance = False,
- learned_sinusoidal_cond = False,
- random_fourier_features = False,
- learned_sinusoidal_dim = 16
- ):
- super().__init__()
-
- # determine dimensions
-
- self.channels = channels
- self.self_condition = self_condition
- input_channels = channels * (2 if self_condition else 1)
-
- init_dim = default(init_dim, dim)
- self.init_conv = nn.Conv2d(input_channels, init_dim, 7, padding = 3)
-
- dims = [init_dim, *map(lambda m: dim * m, dim_mults)]
- in_out = list(zip(dims[:-1], dims[1:]))
-
- block_klass = partial(ResnetBlock, groups = resnet_block_groups)
-
- # time embeddings
-
- time_dim = dim * 4
-
- self.random_or_learned_sinusoidal_cond = learned_sinusoidal_cond or random_fourier_features
-
- if self.random_or_learned_sinusoidal_cond:
- sinu_pos_emb = RandomOrLearnedSinusoidalPosEmb(learned_sinusoidal_dim, random_fourier_features)
- fourier_dim = learned_sinusoidal_dim + 1
- else:
- sinu_pos_emb = SinusoidalPosEmb(dim)
- fourier_dim = dim
-
- self.time_mlp = nn.Sequential(
- sinu_pos_emb,
- nn.Linear(fourier_dim, time_dim),
- nn.GELU(),
- nn.Linear(time_dim, time_dim)
- )
-
- # layers
-
- self.downs = nn.ModuleList([])
- self.ups = nn.ModuleList([])
- num_resolutions = len(in_out)
-
- for ind, (dim_in, dim_out) in enumerate(in_out):
- is_last = ind >= (num_resolutions - 1)
-
- self.downs.append(nn.ModuleList([
- block_klass(dim_in, dim_in, time_emb_dim = time_dim),
- block_klass(dim_in, dim_in, time_emb_dim = time_dim),
- Residual(PreNorm(dim_in, LinearAttention(dim_in))),
- Downsample(dim_in, dim_out) if not is_last else nn.Conv2d(dim_in, dim_out, 3, padding = 1)
- ]))
-
- mid_dim = dims[-1]
- self.mid_block1 = block_klass(mid_dim, mid_dim, time_emb_dim = time_dim)
- self.mid_attn = Residual(PreNorm(mid_dim, Attention(mid_dim)))
- self.mid_block2 = block_klass(mid_dim, mid_dim, time_emb_dim = time_dim)
-
- for ind, (dim_in, dim_out) in enumerate(reversed(in_out)):
- is_last = ind == (len(in_out) - 1)
-
- self.ups.append(nn.ModuleList([
- block_klass(dim_out + dim_in, dim_out, time_emb_dim = time_dim),
- block_klass(dim_out + dim_in, dim_out, time_emb_dim = time_dim),
- Residual(PreNorm(dim_out, LinearAttention(dim_out))),
- Upsample(dim_out, dim_in) if not is_last else nn.Conv2d(dim_out, dim_in, 3, padding = 1)
- ]))
-
- default_out_dim = channels * (1 if not learned_variance else 2)
- self.out_dim = default(out_dim, default_out_dim)
-
- self.final_res_block = block_klass(dim * 2, dim, time_emb_dim = time_dim)
- self.final_conv = nn.Conv2d(dim, self.out_dim, 1)
-
- def forward(self, x, time, x_self_cond = None):
- if self.self_condition:
- x_self_cond = default(x_self_cond, lambda: torch.zeros_like(x))
- x = torch.cat((x_self_cond, x), dim = 1)
-
- x = self.init_conv(x)
- r = x.clone()
-
- t = self.time_mlp(time)
-
- h = []
-
- for block1, block2, attn, downsample in self.downs:
- x = block1(x, t)
- h.append(x)
-
- x = block2(x, t)
- x = attn(x)
- h.append(x)
-
- x = downsample(x)
-
- x = self.mid_block1(x, t)
- x = self.mid_attn(x)
- x = self.mid_block2(x, t)
-
- for block1, block2, attn, upsample in self.ups:
- x = torch.cat((x, h.pop()), dim = 1)
- x = block1(x, t)
-
- x = torch.cat((x, h.pop()), dim = 1)
- x = block2(x, t)
- x = attn(x)
-
- x = upsample(x)
-
- x = torch.cat((x, r), dim = 1)
-
- x = self.final_res_block(x, t)
- return self.final_conv(x)
-```
-
-
-
-- 16 x 16 feature map resolution에 self-attention. conv에서 차원을 3배로 늘리고 q,k,v로 분해.
-
-```python
-class Attention(nn.Module):
- def __init__(self, dim, heads = 4, dim_head = 32):
- super().__init__()
- self.scale = dim_head ** -0.5
- self.heads = heads
- hidden_dim = dim_head * heads
-
- self.to_qkv = nn.Conv2d(dim, hidden_dim * 3, 1, bias = False)
- self.to_out = nn.Conv2d(hidden_dim, dim, 1)
-
- def forward(self, x):
- b, c, h, w = x.shape
- qkv = self.to_qkv(x).chunk(3, dim = 1)
- q, k, v = map(lambda t: rearrange(t, 'b (h c) x y -> b h c (x y)', h = self.heads), qkv)
-
- q = q * self.scale
-
- sim = einsum('b h d i, b h d j -> b h i j', q, k)
- attn = sim.softmax(dim = -1)
- out = einsum('b h i j, b h d j -> b h i d', attn, v)
-
- out = rearrange(out, 'b h (x y) d -> b (h d) x y', x = h, y = w)
- return self.to_out(out)
-```
-
-- Linear attention
-```python
-class LinearAttention(nn.Module):
- def __init__(self, dim, heads = 4, dim_head = 32):
- super().__init__()
- self.scale = dim_head ** -0.5
- self.heads = heads
- hidden_dim = dim_head * heads
- self.to_qkv = nn.Conv2d(dim, hidden_dim * 3, 1, bias = False)
-
- self.to_out = nn.Sequential(
- nn.Conv2d(hidden_dim, dim, 1),
- LayerNorm(dim)
- )
-
- def forward(self, x):
- b, c, h, w = x.shape
- qkv = self.to_qkv(x).chunk(3, dim = 1)
- q, k, v = map(lambda t: rearrange(t, 'b (h c) x y -> b h c (x y)', h = self.heads), qkv)
-
- q = q.softmax(dim = -2)
- k = k.softmax(dim = -1)
-
- q = q * self.scale
- v = v / (h * w)
-
- context = torch.einsum('b h d n, b h e n -> b h d e', k, v)
-
- out = torch.einsum('b h d e, b h d n -> b h e n', context, q)
- out = rearrange(out, 'b h c (x y) -> b (h c) x y', h = self.heads, x = h, y = w)
- return self.to_out(out)
-```
-
-- Diffusion time $T$는 각 residual block에 transformer sinusoidal positional embedding이 추가돼서 구분됨
-
-```python
-class SinusoidalPosEmb(nn.Module):
- def __init__(self, dim):
- super().__init__()
- self.dim = dim
-
- def forward(self, x):
- device = x.device
- half_dim = self.dim // 2
- emb = math.log(10000) / (half_dim - 1)
- emb = torch.exp(torch.arange(half_dim, device=device) * -emb)
- emb = x[:, None] * emb[None, :]
- emb = torch.cat((emb.sin(), emb.cos()), dim=-1)
- return emb
-```
-
-## 4-1. Sample quality
-
-:::{figure-md}
-
-
-Train score of DDPM \ (source: https://arxiv.org/abs/2006.11239)
-:::
-
-FID, IS로 metric 계산. Unconditional model인데도 conditional model보다 우월. Codelength에서 차이가 없기 때문에 overfitting의 가능성도 적음.
-
-> - **FID score**: 사전 학습된 Inception V3으로 생성된 이미지 집합과 실제 생성하고자 하는 집합 간 클래스 이미지의 분포의 거리를 계산한 metric. 낮을 수록 실제와 유사한 이미지를 생성.
-> - **IS(Inception Score)**: 사전 학습된 Inception V3으로 생성한 이미지에 대해 정확하게 클래스가 나누어지는지, 다양한 클래스를 생성하는지 평가함. 높을 수록 다양한 클래스를 생성.
-> - **Unconditional model**: 한번 dataset에 학습되면 추가적인 context 없이 image를 생성
-> - **Conditional model**: Class, label 등의 추가 정보를 받아 image를 생성
-
-$\mu$보다 $\epsilon$을 계산하는 것이 성적이 좋고, fixed variance를 사용했을 때에도 성능이 감소하지 않음.
-
-## 4-2. Reverse process parameterization and training objective ablation
-
-:::{figure-md}
-
-
-Comparison between $\mu$ and $\epsilon$ \ (source: https://arxiv.org/abs/2006.11239)
-:::
-
-$\mu$의 실험 결과를 보면 분산을 고정했을 때 FID에서 성능 차이가 나는 것을 볼 수 있음. 또한 $\epsilon$을 사용하면서 Simplified objective를 사용하면 FID, IS가 더 개선됨
-
-## 4-3. Reverse process parameterization and training objective ablation
-
+```{admonition} Information
+- **Title:** Denoising Diffusion Probabilistic Models (NeurIPS 2020)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2006.11239](https://arxiv.org/abs/2006.11239)
+ - Code: [PyTorch implementation:](https://github.com/lucidrains/denoising-diffusion-pytorch)
+ - Review: [PR-409: Denoising Diffusion Probabilistic Models](https://www.youtube.com/watch?v=1j0W_lu55nc)
+
+- **Author:** Beomsoo Park
+
+- **Last updated on Apr. 19, 2023**
+```
+
+
+# DDPM
+
+
+:::{figure-md}
+
+
+DDPM samples \ (source: https://arxiv.org/abs/2006.11239)
+:::
+
+
+---
+# 1. Introduction
+
+:::{figure-md}
+
+
+Diffusion models \ (source: https://velog.io/@yetsyl0705/What-are-Diffusion-Models)
+:::
+
+**Diffusion model**은 **variational inference로 학습시켜 데이터를 생성하는 parameterized Markov chain**. Diffusion model은 Markov가 데이터가 normal distribution의 형태를 할 때까지 **noise를 더해가는 diffusion process**와 **이를 역으로 거치며 학습하는 reverse process**로 구성됨.
+
+Diffusion model은 정의하기 쉽고 학습시키는 것도 편리함. 또한 높은 품질의 sample(output)도 생성이 가능.
+
+> - **Variational inference(변분추론)**: 사후확률(posterior) 분포 $p(z
+|x)$를 다루기 쉬운 확률분포 $q(z)$로 근사(approximation)하는 것
+> - **Parameterize**: 하나의 표현식에 대해 다른 parameter를 사용하여 다시 표현하는 과정. 이 과정에서 보통 parameter의 개수를 표현 식의 차수보다 적은 수로 선택(ex. 3차 표현식 --> 2개 parameter 사용)하므로, 낮은 차수로의 mapping 함수(ex. 3D --> 2D)가 생성
+> - **Markov chain**: 어떤 상태에서 다른 상태로 넘어갈 때, 바로 전 단계의 상태에만 영향을 받는 확률 과정
+
+---
+# 2. Background
+
+:::{figure-md}
+
+
+Graphical model of DDPM \ (source: https://arxiv.org/abs/2006.11239)
+:::
+
+## 2-1. Forward(diffusion) process $q(\mathbf{x}_t|\mathbf{x}_{t-1})$
+
+$$
+q\left(\mathbf{x}_{1: T} \mid \mathbf{x}_0\right):=\prod_{t=1}^T q\left(\mathbf{x}_t \mid \mathbf{x}_{t-1}\right), \quad q\left(\mathbf{x}_t \mid \mathbf{x}_{t-1}\right):=\mathcal{N}\left(\mathbf{x}_t ; \sqrt{1-\beta_t} \mathbf{x}_{t-1}, \beta_t \mathbf{I}\right)
+$$
+
+Markov chain으로 **data에 noise를 추가**하는 과정. Noise를 추가할 때 **variance schedule $\beta_1,,,\beta_T$로 scaling**을 한 후 더해준다.
+- $\beta_t = 1$이면 mean인 $\sqrt{1-\beta_t}\mathbf{x}_{t-1} = 0$. 이전 정보를 갖지 못하고 노이즈가 증가함
+- 단순히 noise만을 더해주는게 아니라 $\sqrt{1-\beta_t}$로 scaling하는 이유는 variance가 발산하는 것을 막기 위함
+- $q(x_1|x_0)$: $x_0$에 noise를 추가해 $x_1$을 만드는 과정
+- $x_T$는 완전 destroy된 noise 상태 ~ $N(x_T;0, I)$
+
+## 2-2. Reverse process $p(\mathbf{x}_{t-1}|\mathbf{x}_t)$
+
+$$
+p_\theta\left(\mathbf{x}_{0: T}\right):=p\left(\mathbf{x}_T\right) \prod_{t=1}^T p_\theta\left(\mathbf{x}_{t-1} \mid \mathbf{x}_t\right), \quad p_\theta\left(\mathbf{x}_{t-1} \mid \mathbf{x}_t\right):=\mathcal{N}\left(\mathbf{x}_{t-1} ; \boldsymbol{\mu}_\theta\left(\mathbf{x}_t, t\right), \boldsymbol{\Sigma}_\theta\left(\mathbf{x}_t, t\right)\right)
+$$
+
+Reverse process로 가우시안 노이즈를 사용하는 이유는 1994년 논문에 forward process가 가우시안이면 reverse process도 가우시안으로 쓰면 된다라는 증명이 있다고 함.
+
+여기서 우리가 해야 할 것은 **$\mathbf{x}_t$를 보고 $\mathbf{x}_{t-1}$의 평균 $\mu_\theta$과 분산 $\Sigma_\theta$을 예측해내는 것**.
+- Hierarachical VAE에서의 decoding 과정과 비슷함
+- $\mu_\theta$과 분산 $\Sigma_\theta$는 학습 가능한 parameter
+
+
+## 2-3. Loss Function $L$
+
+Diffusion model의 목적은 **noise를 어떻게 제거할 것인가?**이다. $x_t$가 들어왔을 때 $x_{t-1}$을 예측할 수 있다면 $x_0$ 또한 예측이 가능해짐.
+
+$$
+\mathbb{E}\left[-\log p_\theta\left(\mathbf{x}_0\right)\right] \leq \mathbb{E}_q\left[-\log \frac{p_\theta\left(\mathbf{x}_{0: T}\right)}{q\left(\mathbf{x}_{1: T} \mid \mathbf{x}_0\right)}\right]=\mathbb{E}_q\left[-\log p\left(\mathbf{x}_T\right)-\sum_{t \geq 1} \log \frac{p_\theta\left(\mathbf{x}_{t-1} \mid \mathbf{x}_t\right)}{q\left(\mathbf{x}_t \mid \mathbf{x}_{t-1}\right)}\right]=: L
+$$
+
+본 논문에서는 **negative log likelihood를 최소화**하는 방향으로 진행. 위 수식을 **ELBO**(Evidence of Lower BOund)로 우항과 같이 정리하고 이를 풀어내면
+
+> ELBO의 역할은 우리가 관찰한 P(z|x)가 다루기 힘든 분포를 이루고 있을 때 이를 조금 더 다루기 쉬운 분포인 Q(x)로 대신 표현하려 하는 과정에서 **두 분포 (P(z|x)와 Q(x))의 차이 (KL Divergence)를 최소화** 하기 위해 사용된다.
+
+$$
+\mathbb{E}_q[\underbrace{D_{\mathrm{KL}}\left(q\left(\mathbf{x}_T \mid \mathbf{x}_0\right) \| p\left(\mathbf{x}_T\right)\right)}_{L_T}+\sum_{t>1} \underbrace{D_{\mathrm{KL}}\left(q\left(\mathbf{x}_{t-1} \mid \mathbf{x}_t, \mathbf{x}_0\right) \| p_\theta\left(\mathbf{x}_{t-1} \mid \mathbf{x}_t\right)\right)}_{L_{t-1}} \underbrace{-\log p_\theta\left(\mathbf{x}_0 \mid \mathbf{x}_1\right)}_{L_0}]
+$$
+
+와 같은 결과가 나온다.
+
+- $L_T$: Regularization term으로 $\beta_t$를 학습시킴
+- $L_{t-1}$: Reconstruction term으로 매 단계에서 noise를 지우는 지움
+- $L_0$: Reconstruction term으로 최종 단계에서 image를 생성
+
+---
+# 3. Diffusion models and denoising encoders
+
+DDPM에서는 **inductive bias를 늘려** 모델을 더 stable하고 성능도 개선할 수 있었음.
+
+> Inductive bias: 학습 모델이 지금까지 만나보지 못했던 상황에서 정확한 예측을 하기 위해 사용하는 **추가적인 가정**, 즉 우리가 풀려는 문제에 대한 정보를 모델에 적용하는 것
+
+
+## 3-1. Forward process and $L_T$
+
+**$\beta_t$를 고정**했더니 학습이 잘됨. 10^-4 ~ 0.02로 linear하게 image에 가까울수록 noise를 적게 주는 방식으로 설정.
+
+따라서 $q$에는 학습 가능한 parameter가 없어 **$L_T$는 0이 되기 때문에 삭제**할 수 있었음.
+
+## 3-2. Reverse process and $L_{1:T-1}$
+
+
+$$
+L_{t-1}=D_{K L}\left(q\left(x_{t-1} \mid x_t, x_0\right) \| p_\theta\left(x_{t-1} \mid x_t\right)\right)
+$$
+
+- $
+q\left(x_{t-1} \mid x_t, x_0\right)=N\left(x_{t-1} ; \tilde{\mu}\left(x_t, x_0\right), \tilde{\beta}_t \mathrm{I}\right)
+$
+- $
+p_\theta\left(x_{t-1} \mid x_t\right)=\mathcal{N}\left(x_{t-1} ; \mu_\theta\left(x_t, t\right), \sum_\theta\left(x_t, t\right)\right)
+$
+
+
+$L_{1:T-1}$는 forward progress posterior를 예측하는 loss. $\mathbf{x}_{t-1}$에서 noise를 더해 $\mathbf{x}_{t}$를 만들었을때, 그 과정을 복원 $p(\mathbf{x}_{t-1}|\mathbf{x}_t)$ 하는 과정을 학습.
+
+:::{figure-md}
+
+
+Loss Simplication \ (source: https://velog.io/@sjina0722/%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0-Denoising-Diffusion-Probabilistic-Models)
+:::
+
+- $\Sigma_\theta$: $\beta$를 상수로 가정했고 $p(\mathbf{x}_{t-1}|\mathbf{x}_t)$의 variance가 $\beta$에 영향을 받기 때문에 학습시키지 않아도 된다고 생각해 **variance term을 제거**함.
+
+:::{figure-md}
+
+
+Residual Estimation \ (source: https://velog.io/@sjina0722/%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0-Denoising-Diffusion-Probabilistic-Models)
+:::
+
+- $\mu_\theta$: DDPM에서는 $\mu_\theta$를 바로 구하지 않고 **residual $\epsilon_\theta$만 구해 정확도를 높임**.
+
+## 3-3. Data scaling, reverse process decoder and $L_0$
+
+$$
+\begin{aligned}
+p_\theta\left(\mathbf{x}_0 \mid \mathbf{x}_1\right) & =\prod_{i=1}^D \int_{\delta_{-}\left(x_0^i\right)}^{\delta_{+}\left(x_0^i\right)} \mathcal{N}\left(x ; \mu_\theta^i\left(\mathbf{x}_1, 1\right), \sigma_1^2\right) d x \\
+\delta_{+}(x) & =\left\{\begin{array}{ll}
+\infty & \text { if } x=1 \\
+x+\frac{1}{255} & \text { if } x<1
+\end{array} \quad \delta_{-}(x)= \begin{cases}-\infty & \text { if } x=-1 \\
+x-\frac{1}{255} & \text { if } x>-1\end{cases} \right.
+\end{aligned}
+$$
+
+[0, 255]의 image를 [-1,1] 사이로 linearly mapping. Sampling 마지막 단계에는 noise를 추가하지 않음.
+
+
+$L_0$은 두 normal distribution 사이의 KL divergence를 나타냄.
+- $D$: Data dimensionality
+- $i$: 좌표
+
+
+## 3-4. Simplified training objective
+
+:::{figure-md}
+
+
+Simplified training objective \ (source: https://velog.io/@sjina0722/%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0-Denoising-Diffusion-Probabilistic-Models)
+:::
+
+:::{figure-md}
+
+
+Final Loss \ (source: https://velog.io/@sjina0722/%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0-Denoising-Diffusion-Probabilistic-Models)
+:::
+
+최종 loss는 위와 같이 나타난다. Ground truth - estimated output간 MSE loss를 줄이는 과정이 denoising과 비슷해 DDPM이라는 이름이 붙음.
+
+Simplified objective을 통해 diffusion process를 학습하면 매우 작은 t 에서뿐만 아니라 **큰 t에 대해서도 network 학습이 가능하기 때문에 매우 효과적**.
+
+:::{figure-md}
+
+
+Psuedo code of training process \ (source: https://arxiv.org/abs/2006.11239)
+:::
+
+- Algorithm 1: Training
+ - Noise를 더해나가는 과정, network($\epsilon_\theta$, $p_\theta$)가 t step에서 noise($\epsilon$)가 얼마만큼 더해졌는지를 학습한다.
+ - 학습 시에는 특정 step의 이미지가 얼마나 gaussian noise가 추가되었는지를 예측하도록 학습된다.
+ - 코드에서는 랜덤 노이즈와 시간 단계 t로 노이즈가 추가된 이미지를 얻고 해당 이미지를 보고 모델이 노이즈를 예측
+
+```python
+def p_losses(self, x_start, t, noise = None):
+ b, c, h, w = x_start.shape
+ noise = default(noise, lambda: torch.randn_like(x_start))
+
+ # noise sample
+
+ x = self.q_sample(x_start = x_start, t = t, noise = noise)
+
+ # if doing self-conditioning, 50% of the time, predict x_start from current set of times
+ # and condition with unet with that
+ # this technique will slow down training by 25%, but seems to lower FID significantly
+
+ x_self_cond = None
+ if self.self_condition and random() < 0.5:
+ with torch.no_grad():
+ x_self_cond = self.model_predictions(x, t).pred_x_start
+ x_self_cond.detach_()
+
+ # predict and take gradient step
+
+ model_out = self.model(x, t, x_self_cond)
+
+ if self.objective == 'pred_noise':
+ target = noise
+ elif self.objective == 'pred_x0':
+ target = x_start
+ elif self.objective == 'pred_v':
+ v = self.predict_v(x_start, t, noise)
+ target = v
+ else:
+ raise ValueError(f'unknown objective {self.objective}')
+
+ loss = self.loss_fn(model_out, target, reduction = 'none')
+ loss = reduce(loss, 'b ... -> b (...)', 'mean')
+
+ loss = loss * extract(self.loss_weight, t, loss.shape)
+ return loss.mean()
+ ```
+
+- Algorithm 2: Sampling
+ - Network를 학습하고 나면, gaussian noise에서 시작해서 순차적으로 denoising 하는 것이 가능하다. (by parameterized markovian chain)
+ - 코드에서는 noise 제거 후 소량의 noise를 다시 추가하고 있음
+
+```python
+@torch.no_grad()
+def p_sample(self, x, t: int, x_self_cond = None):
+ b, *_, device = *x.shape, x.device
+ batched_times = torch.full((b,), t, device = x.device, dtype = torch.long)
+ model_mean, _, model_log_variance, x_start = self.p_mean_variance(x = x, t = batched_times, x_self_cond = x_self_cond, clip_denoised = True)
+ noise = torch.randn_like(x) if t > 0 else 0. # no noise if t == 0
+ pred_img = model_mean + (0.5 * model_log_variance).exp() * noise
+ return pred_img, x_start
+```
+
+
+
+# 4. Experiments
+
+- T: 1000
+- backbone: U-Net
+각 down/upsampling 단계는 ResNet/ConvNext 블록 2개 + (groupnorm + attention + residual) + down/upsampling으로 구성됨
+
+```python
+block_klass = partial(ResnetBlock, groups = resnet_block_groups)
+
+self.downs.append(nn.ModuleList([
+ block_klass(dim_in, dim_in, time_emb_dim = time_dim),
+ block_klass(dim_in, dim_in, time_emb_dim = time_dim),
+ Residual(PreNorm(dim_in, LinearAttention(dim_in))),
+ Downsample(dim_in, dim_out) if not is_last else nn.Conv2d(dim_in, dim_out, 3, padding = 1)
+ ]))
+
+ self.ups.append(nn.ModuleList([
+ block_klass(dim_out + dim_in, dim_out, time_emb_dim = time_dim),
+ block_klass(dim_out + dim_in, dim_out, time_emb_dim = time_dim),
+ Residual(PreNorm(dim_out, LinearAttention(dim_out))),
+ Upsample(dim_out, dim_in) if not is_last else nn.Conv2d(dim_out, dim_in, 3, padding = 1)
+ ]))
+
+```
+
+
+```python
+class Unet(nn.Module):
+ def __init__(
+ self,
+ dim,
+ init_dim = None,
+ out_dim = None,
+ dim_mults=(1, 2, 4, 8),
+ channels = 3,
+ self_condition = False,
+ resnet_block_groups = 8,
+ learned_variance = False,
+ learned_sinusoidal_cond = False,
+ random_fourier_features = False,
+ learned_sinusoidal_dim = 16
+ ):
+ super().__init__()
+
+ # determine dimensions
+
+ self.channels = channels
+ self.self_condition = self_condition
+ input_channels = channels * (2 if self_condition else 1)
+
+ init_dim = default(init_dim, dim)
+ self.init_conv = nn.Conv2d(input_channels, init_dim, 7, padding = 3)
+
+ dims = [init_dim, *map(lambda m: dim * m, dim_mults)]
+ in_out = list(zip(dims[:-1], dims[1:]))
+
+ block_klass = partial(ResnetBlock, groups = resnet_block_groups)
+
+ # time embeddings
+
+ time_dim = dim * 4
+
+ self.random_or_learned_sinusoidal_cond = learned_sinusoidal_cond or random_fourier_features
+
+ if self.random_or_learned_sinusoidal_cond:
+ sinu_pos_emb = RandomOrLearnedSinusoidalPosEmb(learned_sinusoidal_dim, random_fourier_features)
+ fourier_dim = learned_sinusoidal_dim + 1
+ else:
+ sinu_pos_emb = SinusoidalPosEmb(dim)
+ fourier_dim = dim
+
+ self.time_mlp = nn.Sequential(
+ sinu_pos_emb,
+ nn.Linear(fourier_dim, time_dim),
+ nn.GELU(),
+ nn.Linear(time_dim, time_dim)
+ )
+
+ # layers
+
+ self.downs = nn.ModuleList([])
+ self.ups = nn.ModuleList([])
+ num_resolutions = len(in_out)
+
+ for ind, (dim_in, dim_out) in enumerate(in_out):
+ is_last = ind >= (num_resolutions - 1)
+
+ self.downs.append(nn.ModuleList([
+ block_klass(dim_in, dim_in, time_emb_dim = time_dim),
+ block_klass(dim_in, dim_in, time_emb_dim = time_dim),
+ Residual(PreNorm(dim_in, LinearAttention(dim_in))),
+ Downsample(dim_in, dim_out) if not is_last else nn.Conv2d(dim_in, dim_out, 3, padding = 1)
+ ]))
+
+ mid_dim = dims[-1]
+ self.mid_block1 = block_klass(mid_dim, mid_dim, time_emb_dim = time_dim)
+ self.mid_attn = Residual(PreNorm(mid_dim, Attention(mid_dim)))
+ self.mid_block2 = block_klass(mid_dim, mid_dim, time_emb_dim = time_dim)
+
+ for ind, (dim_in, dim_out) in enumerate(reversed(in_out)):
+ is_last = ind == (len(in_out) - 1)
+
+ self.ups.append(nn.ModuleList([
+ block_klass(dim_out + dim_in, dim_out, time_emb_dim = time_dim),
+ block_klass(dim_out + dim_in, dim_out, time_emb_dim = time_dim),
+ Residual(PreNorm(dim_out, LinearAttention(dim_out))),
+ Upsample(dim_out, dim_in) if not is_last else nn.Conv2d(dim_out, dim_in, 3, padding = 1)
+ ]))
+
+ default_out_dim = channels * (1 if not learned_variance else 2)
+ self.out_dim = default(out_dim, default_out_dim)
+
+ self.final_res_block = block_klass(dim * 2, dim, time_emb_dim = time_dim)
+ self.final_conv = nn.Conv2d(dim, self.out_dim, 1)
+
+ def forward(self, x, time, x_self_cond = None):
+ if self.self_condition:
+ x_self_cond = default(x_self_cond, lambda: torch.zeros_like(x))
+ x = torch.cat((x_self_cond, x), dim = 1)
+
+ x = self.init_conv(x)
+ r = x.clone()
+
+ t = self.time_mlp(time)
+
+ h = []
+
+ for block1, block2, attn, downsample in self.downs:
+ x = block1(x, t)
+ h.append(x)
+
+ x = block2(x, t)
+ x = attn(x)
+ h.append(x)
+
+ x = downsample(x)
+
+ x = self.mid_block1(x, t)
+ x = self.mid_attn(x)
+ x = self.mid_block2(x, t)
+
+ for block1, block2, attn, upsample in self.ups:
+ x = torch.cat((x, h.pop()), dim = 1)
+ x = block1(x, t)
+
+ x = torch.cat((x, h.pop()), dim = 1)
+ x = block2(x, t)
+ x = attn(x)
+
+ x = upsample(x)
+
+ x = torch.cat((x, r), dim = 1)
+
+ x = self.final_res_block(x, t)
+ return self.final_conv(x)
+```
+
+
+
+- 16 x 16 feature map resolution에 self-attention. conv에서 차원을 3배로 늘리고 q,k,v로 분해.
+
+```python
+class Attention(nn.Module):
+ def __init__(self, dim, heads = 4, dim_head = 32):
+ super().__init__()
+ self.scale = dim_head ** -0.5
+ self.heads = heads
+ hidden_dim = dim_head * heads
+
+ self.to_qkv = nn.Conv2d(dim, hidden_dim * 3, 1, bias = False)
+ self.to_out = nn.Conv2d(hidden_dim, dim, 1)
+
+ def forward(self, x):
+ b, c, h, w = x.shape
+ qkv = self.to_qkv(x).chunk(3, dim = 1)
+ q, k, v = map(lambda t: rearrange(t, 'b (h c) x y -> b h c (x y)', h = self.heads), qkv)
+
+ q = q * self.scale
+
+ sim = einsum('b h d i, b h d j -> b h i j', q, k)
+ attn = sim.softmax(dim = -1)
+ out = einsum('b h i j, b h d j -> b h i d', attn, v)
+
+ out = rearrange(out, 'b h (x y) d -> b (h d) x y', x = h, y = w)
+ return self.to_out(out)
+```
+
+- Linear attention
+```python
+class LinearAttention(nn.Module):
+ def __init__(self, dim, heads = 4, dim_head = 32):
+ super().__init__()
+ self.scale = dim_head ** -0.5
+ self.heads = heads
+ hidden_dim = dim_head * heads
+ self.to_qkv = nn.Conv2d(dim, hidden_dim * 3, 1, bias = False)
+
+ self.to_out = nn.Sequential(
+ nn.Conv2d(hidden_dim, dim, 1),
+ LayerNorm(dim)
+ )
+
+ def forward(self, x):
+ b, c, h, w = x.shape
+ qkv = self.to_qkv(x).chunk(3, dim = 1)
+ q, k, v = map(lambda t: rearrange(t, 'b (h c) x y -> b h c (x y)', h = self.heads), qkv)
+
+ q = q.softmax(dim = -2)
+ k = k.softmax(dim = -1)
+
+ q = q * self.scale
+ v = v / (h * w)
+
+ context = torch.einsum('b h d n, b h e n -> b h d e', k, v)
+
+ out = torch.einsum('b h d e, b h d n -> b h e n', context, q)
+ out = rearrange(out, 'b h c (x y) -> b (h c) x y', h = self.heads, x = h, y = w)
+ return self.to_out(out)
+```
+
+- Diffusion time $T$는 각 residual block에 transformer sinusoidal positional embedding이 추가돼서 구분됨
+
+```python
+class SinusoidalPosEmb(nn.Module):
+ def __init__(self, dim):
+ super().__init__()
+ self.dim = dim
+
+ def forward(self, x):
+ device = x.device
+ half_dim = self.dim // 2
+ emb = math.log(10000) / (half_dim - 1)
+ emb = torch.exp(torch.arange(half_dim, device=device) * -emb)
+ emb = x[:, None] * emb[None, :]
+ emb = torch.cat((emb.sin(), emb.cos()), dim=-1)
+ return emb
+```
+
+## 4-1. Sample quality
+
+:::{figure-md}
+
+
+Train score of DDPM \ (source: https://arxiv.org/abs/2006.11239)
+:::
+
+FID, IS로 metric 계산. Unconditional model인데도 conditional model보다 우월. Codelength에서 차이가 없기 때문에 overfitting의 가능성도 적음.
+
+> - **FID score**: 사전 학습된 Inception V3으로 생성된 이미지 집합과 실제 생성하고자 하는 집합 간 클래스 이미지의 분포의 거리를 계산한 metric. 낮을 수록 실제와 유사한 이미지를 생성.
+> - **IS(Inception Score)**: 사전 학습된 Inception V3으로 생성한 이미지에 대해 정확하게 클래스가 나누어지는지, 다양한 클래스를 생성하는지 평가함. 높을 수록 다양한 클래스를 생성.
+> - **Unconditional model**: 한번 dataset에 학습되면 추가적인 context 없이 image를 생성
+> - **Conditional model**: Class, label 등의 추가 정보를 받아 image를 생성
+
+$\mu$보다 $\epsilon$을 계산하는 것이 성적이 좋고, fixed variance를 사용했을 때에도 성능이 감소하지 않음.
+
+## 4-2. Reverse process parameterization and training objective ablation
+
+:::{figure-md}
+
+
+Comparison between $\mu$ and $\epsilon$ \ (source: https://arxiv.org/abs/2006.11239)
+:::
+
+$\mu$의 실험 결과를 보면 분산을 고정했을 때 FID에서 성능 차이가 나는 것을 볼 수 있음. 또한 $\epsilon$을 사용하면서 Simplified objective를 사용하면 FID, IS가 더 개선됨
+
+## 4-3. Reverse process parameterization and training objective ablation
+
diff --git a/_sources/docs/review/DiT.md b/_sources/docs/review/DiT.md
index cac13374..ea78451b 100755
--- a/_sources/docs/review/DiT.md
+++ b/_sources/docs/review/DiT.md
@@ -1,238 +1,238 @@
-```{admonition} Information
-- **Title:** Scalable Diffusion Models with Transformers (ICCV 2023)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2212.09748](https://arxiv.org/abs/2212.09748)
- - Code: [https://github.com/facebookresearch/DiT](https://github.com/facebookresearch/DiT)
- - Project Page : [https://www.wpeebles.com/DiT](https://www.wpeebles.com/DiT)
-
-- **Author:** Junhyoung Lee
-
-- **Last updated on July. 20, 2024**
-```
-
-# DiT
-
-# Abstract
-
-- LDM 의 U-Net 백본을 transformer 로 바꾸어 학습을 진행한 diffusion model
-- Gflops 측정: depth/width 증가 or 입력 토큰 수 증가로 Gflops 가 높게 나타났음 (FID 낮게 유지한 상태)
-- 우수한 scalability 특성을 보유하며, $\text{DiT-XL/2}$ 모델은 class conditional ImageNet 벤치마크에서 이전의 생성 모델에 비해 성능이 뛰어났음 (FID 2.27)
-
-# 1. Introduction
-
-- Diffusion 모델이 이미지 생성 모델의 트렌드를 유지하고 있지만, convolution 네트워크인 U-Net 모델 사용
- - transformers 는 autoregressive 모델에서 사용되고 있었음
-- 초기에는 픽셀 레벨의 autoregressive model과 conditional GAN에서 U-Net 이 성공을 이끌었음
-- DDPM 에서는 ResNet 블럭이 주요하게 구성됨
- - 반면, transformer 에서는 spatial self-attention 블럭이 구성되어 있고, 저해상도에 포함됨
-- ADM
- - classifier-guidance diffusion model
- - adaptive normalization layer 와 같은 U-Net 에서 선택적으로 제거
-- 저자들은 diffusion 모델의 아키텍처 구성의 중요성을 밝혔음
- - U-Net 의 inductive bias 가 diffusion 모델의 성능의 영향을 끼치지 않고, transformer 로 쉽게 대체 가능함
- - transformer 를 기반으로 새로운 종류의 diffusion model 을 제안 → Diffusion Transformer (DiT)
-- DiT는 ViT를 준수하며, 기존 convolution 네트워크보다 시각적 인식(visual recognition)을 위해 더 효과적으로 확장되는 것으로 나타남
-
-# 2. Related Works
-
-## Architecture complexity
-
-- 아키텍처의 복잡성(complexity)를 측정할 때, 보통 파라미터 수를 측정함
- - 하지만, 이미지 해상도 등을 고려하지 않아 모델의 복잡성을 제대로 측정할 수 없다고 주장
- - 저자들은 Gflops 를 통해 모델의 복잡성을 분석함
-
-## Latent diffusion models
-
-- 픽셀 공간에서 diffusion 모델을 학습하는 것은 연산적으로 어려움
-- LDM
- 1. learned encoder $E$ 로 이미지를 작은 해상도로 압축하는 autoencoder 를 학습
- 2. 픽셀 공간의 이미지 $x$의 diffusion 모델 대신, 압축된 $z = E(x)$ 의 diffusion 모델 학습 ($E$는 고정)
- - → 이후 diffusion 모델에서 $z$ 를 샘플링하고 학습된 디코더 $x = D(z)$ 를 사용하여 이미지로 디코딩하여 새로운 이미지를 생성함
- - LDM은 ADM과 같은 픽셀 공간 diffusion 모델보다 훨씬 적은 Gflops를 사용하면서도 우수한 성능을 달성
-- DiT
- - 저자들은 latent 공간에서 DiT를 적용했고, 픽셀 공간에서도 수정 없이 적용할 수 있음
-
-# 3. Diffusion Transformers
-
-## 3.2. Diffusion Transformer Design Space
-
-- scaling 속성을 유지하기 위해 standard transformer 구조를 따르도록 설계
-- 이미지(spatial representations)의 DDPM을 학습하기 때문에, 패치를 연산하는 ViT 구조로 설계됨
-
-:::{figure-md}
-
-
-architecture
-:::
-
-### Patchify
-
-:::{figure-md}
-
-
-fig4
-:::
-
-- DiT 에 spatial representation $z$ (256x256x3 이미지에서는 $z$ 는 32x32x4 로 표현) 가 입력됨
-- “patchify” : $z$ → $d$ 차원의 $T$ tokens 로 변환 + positional embedding
- - $p$ 에 따라 토큰 수가 달라짐 ($p$ = 2, 4, 8)
- - $p$ 를 반으로 줄이면 $T$ 가 4배가 되므로 총 transformer Gflops 는 최소 4배가 되어 상당한 영향을 끼침
-
-### DiT block design
-
-- Diffusion 모델은 보통 noised image 입력과 noise timestep $t$, class label $c$ 의 벡터 임베딩 값을 conditional 정보로 입력 시퀀스에 더해줌
-
-- 다른 conditional inputs 으로 처리하는 4개의 transformer block을 진행함
-1. ***In-context conditioning***
-
- - $t$, $c$ 를 추가의 토큰으로 더하는 방식 → 이미지 토큰과 동일하게 처리함
- - ViT 의 $\text {cls}$ 토큰과 유사한 방식
- - 마지막 블럭에서는 conditioning 토큰을 제거함
-
-2. ***Cross-attention block***
-
- - 이미지 토큰과 별도로 $t$, $c$ 를 concat 함
- - self-attention 다음에 cross attention 을 포함하도록 구조를 수정함
- - cross-attention 연산이 15% 오버헤드로 모델에 가장 많은 Gflops를 추가함
-
-3. ***Adaptive layer norm (adaLN) block***
-
- - Transformer 블럭의 standard layer norm layer 를 adaptive layer norm (adaLN) 으로 교체함
- - 직접 scale $\gamma$, shift $\beta$ 파라미터를 학습하는 것보다, $t$ 와 $c$ 벡터 임베딩 값의 합으로부터 회귀하도록 설계함
- - 최소한의 Gflops 를 추가하므로 연산에 효율적임
- - 모든 토큰에 대해 같은 function을 적용함으로써 conditioning 하는 방법
-
-4. ***adaLN-Zero block***
-
- - ResNet: 각 residual block 의 initializing 이 identity function 이 효과적이라는 것을 증명함
- - 각 블럭의 마지막 batch norm scale factor $r$ 를 0으로 초기화 하는 것이 large-scale 학습에 좋다는 것을 발견함
- - Diffusion U-Net 모델은 비슷한 초기화 전략을 사용하는데, residual connection 전에 각 블럭의 최종 convolutional layer 를 0으로 초기화함
- - $\gamma, \beta$ 를 회귀하는 것 외에도 DiT 블럭 내의 residual connection 전에 적용되는 dimension 별 scaling $\alpha$ 를 회귀함
- - 모든 $\alpha$ 에 대해 영벡터를 출력하도록 MLP를 초기화함 → 전체 DiT 블록을 identity function 으로 초기화하게됨
- - adaLN 블록과 비슷하게 adaLN-Zero 는 Gflops 에 영향을 끼치지 않음
-
-### Transformer decoder
-
-:::{figure-md}
-
-
-architecture2
-:::
-
-- 최종 DiT 블록을 통과한 후, 이미지 토큰 시퀀스를 예측된 noise 값과 covariance 값 디코딩해야함
-
- 1. $\text{LayerNorm}$ (adaLN을 사용하는 경우 adaLN)
- 2. $\text{Linear, Reshape}$
- 3. $\text{VAE}$ decoder → “output shape = input image shape”
-
-- Q) covariance 값은 왜 예측하는지?
-
- - [참고 링크](https://kyujinpy.tistory.com/132#:~:text=%EA%B7%B8%20%EC%9D%B4%ED%9B%84%2C%20VAE%20decoder%EC%97%90%20noise%20%EA%B0%92%EC%9D%84%20%EB%84%A3%EC%96%B4%EC%84%9C%20%EC%8B%A4%EC%A0%9C%20%EC%9D%B4%EB%AF%B8%EC%A7%80%EB%A5%BC%20%EC%83%9D%EC%84%B1%ED%95%9C%EB%8B%A4.)
- - ADM 학습과 연관됨
- - Noise 차이 loss 이외의 분산도 학습을 진행했음 → vlb_loss 활용
-
-# 4. Experimental Setup
-
-- DiT models
-
-:::{figure-md}
-
-
-table1
-:::
-
-## Training setting
-
-- $\text {DiT-XL/2}$: $\text{XLarge}$ config and $p = 2$.
-- class-conditional latent DiT models
-- 해상도: 256x256, 512x512
-- 데이터 셋: ImageNet
-- 마지막 linear layer 는 0으로 초기화, 나머지는 standard weight 초기화
-- Optimizer: AdamW
-- Learning rate: $1 × 10^{−4}$
-- Batch size: 256
-- Augmentation: horizontal flip
-- exponential moving average (EMA): 0.999
-- Diffusion: Stable Diffusion 의 VAE 사용
-
-## Evaluation
-
-### Class-conditional image genertation model 비교
-
-:::{figure-md}
-
-
-table2
-:::
-
-:::{figure-md}
-
-
-table3
-:::
-
-- ADM, LDM 보다 DiT-XL 모델이 FID, IS 점수가 좋음
-
-### DiT block design
-
-:::{figure-md}
-
-
-fig5
-:::
-
-- adaLN-Zero 구조가 적은 학습에도 FID 점수가 좋음
-
-### Scaling model size and patch size
-
-:::{figure-md}
-
-
-fig6
-:::
-
-- 모델이 클수록 FID 점수가 좋음
-
-:::{figure-md}
-
-
-fig7
-:::
-
-### **DiT Gflops are critical to improving performance**
-
-:::{figure-md}
-
-
-fig8
-:::
-
-- Transformer Gflops 가 클수록 FID 점수가 좋음
-
-### **Larger DiT models are more compute-efficient**
-
-:::{figure-md}
-
-
-fig9
-:::
-
-- 학습할 때의 Gflops 가 높을 수록 FID 점수가 좋음
-
-### **Visualizing scaling**
-
-:::{figure-md}
-
-
-visual_result
-:::
-
-- 패치 사이즈와 transformer 크기에 따른 생성 결과 확인
- - 패치가 작을수록, 모델 크기가 클수록 생성 결과가 좋음
-
-# Conclusion
-
-- Diffusion Transformers 는 간단한 transformer 기반 diffusion 모델
- - 이전 U-Net 모델보다 성능이 뛰어나고, transformer 모델의 scaling 특성을 우수하게 적용함
-- adaLN 을 통해 연산의 효율성도 가져옴
+```{admonition} Information
+- **Title:** Scalable Diffusion Models with Transformers (ICCV 2023)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2212.09748](https://arxiv.org/abs/2212.09748)
+ - Code: [https://github.com/facebookresearch/DiT](https://github.com/facebookresearch/DiT)
+ - Project Page : [https://www.wpeebles.com/DiT](https://www.wpeebles.com/DiT)
+
+- **Author:** Junhyoung Lee
+
+- **Last updated on July. 20, 2024**
+```
+
+# DiT
+
+# Abstract
+
+- LDM 의 U-Net 백본을 transformer 로 바꾸어 학습을 진행한 diffusion model
+- Gflops 측정: depth/width 증가 or 입력 토큰 수 증가로 Gflops 가 높게 나타났음 (FID 낮게 유지한 상태)
+- 우수한 scalability 특성을 보유하며, $\text{DiT-XL/2}$ 모델은 class conditional ImageNet 벤치마크에서 이전의 생성 모델에 비해 성능이 뛰어났음 (FID 2.27)
+
+# 1. Introduction
+
+- Diffusion 모델이 이미지 생성 모델의 트렌드를 유지하고 있지만, convolution 네트워크인 U-Net 모델 사용
+ - transformers 는 autoregressive 모델에서 사용되고 있었음
+- 초기에는 픽셀 레벨의 autoregressive model과 conditional GAN에서 U-Net 이 성공을 이끌었음
+- DDPM 에서는 ResNet 블럭이 주요하게 구성됨
+ - 반면, transformer 에서는 spatial self-attention 블럭이 구성되어 있고, 저해상도에 포함됨
+- ADM
+ - classifier-guidance diffusion model
+ - adaptive normalization layer 와 같은 U-Net 에서 선택적으로 제거
+- 저자들은 diffusion 모델의 아키텍처 구성의 중요성을 밝혔음
+ - U-Net 의 inductive bias 가 diffusion 모델의 성능의 영향을 끼치지 않고, transformer 로 쉽게 대체 가능함
+ - transformer 를 기반으로 새로운 종류의 diffusion model 을 제안 → Diffusion Transformer (DiT)
+- DiT는 ViT를 준수하며, 기존 convolution 네트워크보다 시각적 인식(visual recognition)을 위해 더 효과적으로 확장되는 것으로 나타남
+
+# 2. Related Works
+
+## Architecture complexity
+
+- 아키텍처의 복잡성(complexity)를 측정할 때, 보통 파라미터 수를 측정함
+ - 하지만, 이미지 해상도 등을 고려하지 않아 모델의 복잡성을 제대로 측정할 수 없다고 주장
+ - 저자들은 Gflops 를 통해 모델의 복잡성을 분석함
+
+## Latent diffusion models
+
+- 픽셀 공간에서 diffusion 모델을 학습하는 것은 연산적으로 어려움
+- LDM
+ 1. learned encoder $E$ 로 이미지를 작은 해상도로 압축하는 autoencoder 를 학습
+ 2. 픽셀 공간의 이미지 $x$의 diffusion 모델 대신, 압축된 $z = E(x)$ 의 diffusion 모델 학습 ($E$는 고정)
+ - → 이후 diffusion 모델에서 $z$ 를 샘플링하고 학습된 디코더 $x = D(z)$ 를 사용하여 이미지로 디코딩하여 새로운 이미지를 생성함
+ - LDM은 ADM과 같은 픽셀 공간 diffusion 모델보다 훨씬 적은 Gflops를 사용하면서도 우수한 성능을 달성
+- DiT
+ - 저자들은 latent 공간에서 DiT를 적용했고, 픽셀 공간에서도 수정 없이 적용할 수 있음
+
+# 3. Diffusion Transformers
+
+## 3.2. Diffusion Transformer Design Space
+
+- scaling 속성을 유지하기 위해 standard transformer 구조를 따르도록 설계
+- 이미지(spatial representations)의 DDPM을 학습하기 때문에, 패치를 연산하는 ViT 구조로 설계됨
+
+:::{figure-md}
+
+
+architecture
+:::
+
+### Patchify
+
+:::{figure-md}
+
+
+fig4
+:::
+
+- DiT 에 spatial representation $z$ (256x256x3 이미지에서는 $z$ 는 32x32x4 로 표현) 가 입력됨
+- “patchify” : $z$ → $d$ 차원의 $T$ tokens 로 변환 + positional embedding
+ - $p$ 에 따라 토큰 수가 달라짐 ($p$ = 2, 4, 8)
+ - $p$ 를 반으로 줄이면 $T$ 가 4배가 되므로 총 transformer Gflops 는 최소 4배가 되어 상당한 영향을 끼침
+
+### DiT block design
+
+- Diffusion 모델은 보통 noised image 입력과 noise timestep $t$, class label $c$ 의 벡터 임베딩 값을 conditional 정보로 입력 시퀀스에 더해줌
+
+- 다른 conditional inputs 으로 처리하는 4개의 transformer block을 진행함
+1. ***In-context conditioning***
+
+ - $t$, $c$ 를 추가의 토큰으로 더하는 방식 → 이미지 토큰과 동일하게 처리함
+ - ViT 의 $\text {cls}$ 토큰과 유사한 방식
+ - 마지막 블럭에서는 conditioning 토큰을 제거함
+
+2. ***Cross-attention block***
+
+ - 이미지 토큰과 별도로 $t$, $c$ 를 concat 함
+ - self-attention 다음에 cross attention 을 포함하도록 구조를 수정함
+ - cross-attention 연산이 15% 오버헤드로 모델에 가장 많은 Gflops를 추가함
+
+3. ***Adaptive layer norm (adaLN) block***
+
+ - Transformer 블럭의 standard layer norm layer 를 adaptive layer norm (adaLN) 으로 교체함
+ - 직접 scale $\gamma$, shift $\beta$ 파라미터를 학습하는 것보다, $t$ 와 $c$ 벡터 임베딩 값의 합으로부터 회귀하도록 설계함
+ - 최소한의 Gflops 를 추가하므로 연산에 효율적임
+ - 모든 토큰에 대해 같은 function을 적용함으로써 conditioning 하는 방법
+
+4. ***adaLN-Zero block***
+
+ - ResNet: 각 residual block 의 initializing 이 identity function 이 효과적이라는 것을 증명함
+ - 각 블럭의 마지막 batch norm scale factor $r$ 를 0으로 초기화 하는 것이 large-scale 학습에 좋다는 것을 발견함
+ - Diffusion U-Net 모델은 비슷한 초기화 전략을 사용하는데, residual connection 전에 각 블럭의 최종 convolutional layer 를 0으로 초기화함
+ - $\gamma, \beta$ 를 회귀하는 것 외에도 DiT 블럭 내의 residual connection 전에 적용되는 dimension 별 scaling $\alpha$ 를 회귀함
+ - 모든 $\alpha$ 에 대해 영벡터를 출력하도록 MLP를 초기화함 → 전체 DiT 블록을 identity function 으로 초기화하게됨
+ - adaLN 블록과 비슷하게 adaLN-Zero 는 Gflops 에 영향을 끼치지 않음
+
+### Transformer decoder
+
+:::{figure-md}
+
+
+architecture2
+:::
+
+- 최종 DiT 블록을 통과한 후, 이미지 토큰 시퀀스를 예측된 noise 값과 covariance 값 디코딩해야함
+
+ 1. $\text{LayerNorm}$ (adaLN을 사용하는 경우 adaLN)
+ 2. $\text{Linear, Reshape}$
+ 3. $\text{VAE}$ decoder → “output shape = input image shape”
+
+- Q) covariance 값은 왜 예측하는지?
+
+ - [참고 링크](https://kyujinpy.tistory.com/132#:~:text=%EA%B7%B8%20%EC%9D%B4%ED%9B%84%2C%20VAE%20decoder%EC%97%90%20noise%20%EA%B0%92%EC%9D%84%20%EB%84%A3%EC%96%B4%EC%84%9C%20%EC%8B%A4%EC%A0%9C%20%EC%9D%B4%EB%AF%B8%EC%A7%80%EB%A5%BC%20%EC%83%9D%EC%84%B1%ED%95%9C%EB%8B%A4.)
+ - ADM 학습과 연관됨
+ - Noise 차이 loss 이외의 분산도 학습을 진행했음 → vlb_loss 활용
+
+# 4. Experimental Setup
+
+- DiT models
+
+:::{figure-md}
+
+
+table1
+:::
+
+## Training setting
+
+- $\text {DiT-XL/2}$: $\text{XLarge}$ config and $p = 2$.
+- class-conditional latent DiT models
+- 해상도: 256x256, 512x512
+- 데이터 셋: ImageNet
+- 마지막 linear layer 는 0으로 초기화, 나머지는 standard weight 초기화
+- Optimizer: AdamW
+- Learning rate: $1 × 10^{−4}$
+- Batch size: 256
+- Augmentation: horizontal flip
+- exponential moving average (EMA): 0.999
+- Diffusion: Stable Diffusion 의 VAE 사용
+
+## Evaluation
+
+### Class-conditional image genertation model 비교
+
+:::{figure-md}
+
+
+table2
+:::
+
+:::{figure-md}
+
+
+table3
+:::
+
+- ADM, LDM 보다 DiT-XL 모델이 FID, IS 점수가 좋음
+
+### DiT block design
+
+:::{figure-md}
+
+
+fig5
+:::
+
+- adaLN-Zero 구조가 적은 학습에도 FID 점수가 좋음
+
+### Scaling model size and patch size
+
+:::{figure-md}
+
+
+fig6
+:::
+
+- 모델이 클수록 FID 점수가 좋음
+
+:::{figure-md}
+
+
+fig7
+:::
+
+### **DiT Gflops are critical to improving performance**
+
+:::{figure-md}
+
+
+fig8
+:::
+
+- Transformer Gflops 가 클수록 FID 점수가 좋음
+
+### **Larger DiT models are more compute-efficient**
+
+:::{figure-md}
+
+
+fig9
+:::
+
+- 학습할 때의 Gflops 가 높을 수록 FID 점수가 좋음
+
+### **Visualizing scaling**
+
+:::{figure-md}
+
+
+visual_result
+:::
+
+- 패치 사이즈와 transformer 크기에 따른 생성 결과 확인
+ - 패치가 작을수록, 모델 크기가 클수록 생성 결과가 좋음
+
+# Conclusion
+
+- Diffusion Transformers 는 간단한 transformer 기반 diffusion 모델
+ - 이전 U-Net 모델보다 성능이 뛰어나고, transformer 모델의 scaling 특성을 우수하게 적용함
+- adaLN 을 통해 연산의 효율성도 가져옴
diff --git a/_sources/docs/review/Diffusion_models_already_have_a_Semantic_Latent_Space.md b/_sources/docs/review/Diffusion_models_already_have_a_Semantic_Latent_Space.md
index 7b864dad..2ad05c3d 100755
--- a/_sources/docs/review/Diffusion_models_already_have_a_Semantic_Latent_Space.md
+++ b/_sources/docs/review/Diffusion_models_already_have_a_Semantic_Latent_Space.md
@@ -1,401 +1,401 @@
-``` {admonition} Information
-- **Title:** Diffusion Models already have a Semantic Latent Space (ICLR 2023)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2210.10960](https://arxiv.org/abs/2210.10960)
-
-- **Author:** Sehwan Park
-
-- **Last updated on Nov. 18, 2023**
-```
-
-
-
-# Diffusion Models already have a Semantic Latent Space
-
-## Abstract
-
-Diffusion model은 많은 domain에서 좋은 성능을 보이지만 generative process를 control하는 semantic latent space가 부족하다. 논문에서는 diffusion model속에서 semantic latent space를 발견하기 위한 asymmetric reverse process(asyrp)를 제안하고 h-space라고 명칭한 semantic latent space의 좋은 특성(homogeneity, linearity, robustness, consistency across timesteps)들을 보여준다. 추가적으로 editing strength와 quality deficiency를 기준으로 삼고 더 좋은 image-image translation을 위한 Generative Process Design을 소개한다.
-
-
-
-## 1. Introduction
-
-:::{figure-md}
-
-
-
-Manipulation approaches for diffusion models
-:::
-
-(a) Image guidance는 unconditional한 latent variable에 guiding image의 latent variable을 합치는 방식을 사용한다. 그러나 latent variable을 둘 다 이용하면서 명확하게 control하기가 쉽지 않다.
-
-(b) Classifier guidance는 diffusion model에 classifier를 추가하여 generative process를 거치는 동안 latent variable이 어떤 class인지 분류하고 target class에 가까워지도록 score를 부여하는 방식으로 작동한다. 그러나 latent variable들에 대해 classify를 실행해야 하기에 pretrained model을 사용하기가 힘들어 직접 학습을 시켜야 하기에 시간적으로, 비용적으로 부담이 된다.
-
-(c) DiffusionCLIP
-
-(d) Diffusion Models already have a Semantic Latent Space는 original image의 특성을 edit하기 위한 아주 좋은 특성을 가지고 있는 semantic latent space를 frozen diffusion model에서 발견하였고 이를 h-space라고 칭한다. h-space에는 다양한 좋은 특성들이 존재한다. versatile editing과 quality boosting을 위해 새로운 generative process를 design하여 제안한다. h-space는 frozen pretrained diffusion model에서 semantic latent space로써의 첫 발견사례이다.
-
-
-
-## 2. Background
-
-### 2.1 Denoising Diffusion Probability Model(DDPM)
-
-DDPM에서는 임의의 time step t로 부터 noise가 껴있는 image $x_t$의 $\epsilon_t$가 얼만큼인지 예측한다. 예측한 $\epsilon_t$를 이용하여 noise가 일부 제거된 이전 step의 mean($\mu_{\theta}(x_t)$)을 구할 수 있고 variance($\sum_{\theta}(x_t)$)는 constant한 값으로 고정시킨다. DDPM에서 제시한 forward process와 reverse process는 다음과 같다. DDPM에서의 $\sigma_t^2 = \beta_t$이다.
-
-
-$$
-q(x_t|x_{t-1}) = \mathcal{N}(x_t; \sqrt{\alpha_{t}}x_{t-1}, (1-\alpha_t)I)
-$$
-
-$$
-p_{\theta}(x_{t-1}|x_t) := \mathcal{N}(\mu_{\theta}(x_t), \sum_{\theta}(x_t))
-$$
-
-$$
-x_{t-1} = \frac{1}{\sqrt{1-\beta_t}}\bigg(x_t - \frac{\beta_t}{\sqrt{1-\alpha_t}}\epsilon_t^\theta(x_t)\bigg) + \sigma_t\mathcal{z_t}
-$$
-
-
-
-### 2.2 Denoising Diffusion Implicit Model(DDIM)
-
-DDIM에서는 non-Markovian process를 이용해 또 다른 관점의 reverse process를 제시하였고, DDPM과 DDIM 모두 general하게 적용되는 Diffusion process에 대한 식을 보여주었다. $\sigma_t = \eta\sqrt{(1-\alpha_{t-1}) / (1-\alpha_t)} \sqrt{1-\alpha_t/\alpha_{t-1}}$이다.
-
- $\eta$=1인 경우 DDPM이 되고 stochastic해지며, $\eta$=0인 경우 DDIM이 되고 deterministic해진다.
-
-
-$$
-q_{\sigma}(x_{t-1}|x_t,x_0) = \mathcal{N}(\sqrt{\alpha_{t-1}}x_0 + \sqrt{1-\alpha_{t-1}-\sigma_t^2} \cdot \cfrac{x_t - \sqrt{\alpha_t}x_0}{\sqrt{1-\alpha_t}}, \sigma_t^2I)
-$$
-
-$$
-x_{t-1} = \sqrt{\alpha_{t-1}}\underbrace{\bigg(\frac{x_t - \sqrt{1-\alpha_t}\epsilon_t^\theta(x_t)}{\sqrt{\alpha_t}}\bigg)}_{\textrm{predicted } x_0} + \underbrace{\sqrt{1-\alpha_{t-1}-\sigma_t^2}\cdot \epsilon_t^\theta(x_t) }_{\textrm{direction pointing to }x_t} + \sigma_t\mathcal{z_t}
-$$
-
-### 2.3 Image Manipulation with CLIP
-
-CLIP은 Image Encoder와 Text Encoder를 이용하여 image와 text간의 embedding을 학습한다. 편집된 이미지와 대상 설명 간의 cosine distance를 직접 최소화하는 대신 cosine distance를 사용한 directional loss를 사용하여 mode collapse없이 균일한 editing을 가능하게 했다고 한다.
-
-$\Delta T = \mathrm{E}_T(y^{target}) - \mathrm{E}_T(y^{source}) $
$\Delta I = \mathrm{E}_I(x^{edit}) - \mathrm{E}_I(x^{source})$ - - -$$ -\mathcal{L}_{direction} (x^{edit}, y^{target};x^{source},y^{source}) := 1 - \cfrac{\Delta I \cdot \Delta T}{\parallel\Delta I\parallel \parallel\Delta T\parallel} -$$ - - - -## 3. Discovering Semantic Latent Space In Diffusion Models - -Editiing을 하는 과정에서 naive approach를 통해서는 editing이 잘 이루어지지 않는다. 이 chapter에서는 왜 잘 이루어지지 않는지에 대한 설명을 하고 이를 해결하는 새로운 controllable한 한 reverse process인 Asymmetric Reverse Process(Asyrp)를 제안한다. - -DDIM에서 $x_{t-1}$에 대한 수식을 설명하였는데 이 chapter부터는 "predicted $x_0$"부분을 $\mathrm{P}_t(\epsilon_t^{\theta}(x_t))$ 즉 $\mathrm{P}_t$라고 설정하고, "direction pointing to $x_t$"부분을 $\mathrm{D}_t(\epsilon_t^{\theta}(x_t))$ 즉 $\mathrm{D}_t$라고 설정하였다. - -$\mathrm{P}_t$는 latent variable로 부터 $x_0$를 예측하는 reverse process와 같은 역할을 담당하고 $\mathrm{D}_t$는 다시 noise를 추가해 latent variable로 돌아가기에 forward process와 같은 역할을 담당한다. - - -$$ -x_{t-1} = \sqrt{\alpha_{t-1}}\underbrace{\bigg(\frac{x_t - \sqrt{1-\alpha_t}\epsilon_t^\theta(x_t)}{\sqrt{\alpha_t}}\bigg)}_{\mathrm{P}_t(\epsilon_t^{\theta}(x_t))} + \underbrace{\sqrt{1-\alpha_{t-1}-\sigma_t^2}\cdot \epsilon_t^\theta(x_t) }_{\mathrm{D}_t(\epsilon_t^{\theta}(x_t))} + \sigma_t\mathcal{z_t} -$$ - -$$ -x_{t-1} = \sqrt{\alpha_{t-1}}\mathrm{P}_t(\epsilon_t^{\theta}(x_t)) + \mathrm{D}_t(\epsilon_t^{\theta}(x_t)) + \sigma_t\mathcal{z_t} -$$ - -### 3.1 Problem - -$x_T$로 부터 생성된 image $x_0$를 given text prompts에 맞게 manipulate시키는 가장 간단한 방법은 2.3에서 소개한 $\mathcal{L}_{direction}$을 optimize하도록 $x_T$를 update하는 것이다. 하지만 이 방법은 distorted images를 생성하거나 부정확한 manipulation을 한다고 한다. - -이에 대한 대안으로, 모든 sampling step에서 원하는 방향으로 manipulate하도록 $\epsilon_t^{\theta}$를 shift해주는 방법이 제시되었다. 하지만 이 방법은 $x_0$를 완전히 manipulate하지 못한다. 왜냐하면 $\mathrm{P}_t$와 $\mathrm{D}_t$에서 둘다 shifted된 $\tilde{\epsilon}_t^{\theta}$를 사용하기에 cancel out되어 결국 latent variable에서는 기존과 다름이 없다는 것이다. 자세한 증명은 Proof of Theroem을 보면 된다. - -
-
-No Manipulation Effect with shifted epsilon
-:::
-
-### 3.2 Asymmetric Reverse Process(Asyrp)
-
-chapter 3.1에서 $\epsilon$-space에서의 문제를 해결하기 위해 저자들은 Asyrp를 제안한다. 이름 그대로 비대칭적인 방법을 사용한다는 것인데 $x_0$를 예측하는 $\mathrm{P}_t$에서는 shifted epsilon을 사용하고, latent variable로 돌아가는 $\mathrm{D}_t$에서는 non-shifted epsilon을 사용해서 전체적인 변화를 준다는 것이다. 즉, $\mathrm{P}_t$만modify하고 $\mathrm{D}_t$는 유지한다. Asyrp를 식으로 표현하면 다음과 같다.
-
-
-$$
-x_{t-1} = \sqrt{\alpha_{t-1}}\mathrm{P}_t(\tilde{\epsilon}_t^{\theta}(x_t)) + \mathrm{D}_t(\epsilon_t^{\theta}(x_t))
-$$
-Loss식 또한 chapter 2.3에서 제시한 $\mathcal{L}_{direction}$을 사용하여 재구성하였다. modify를 하지 않은 $\mathrm{P}_t^{source}$와 modifiy를 한 $\mathrm{P}_t^{edit}$을 사용한다. Loss식은 다음과 같다.
-
-
-$$
-\mathcal{L}^{(t)} = \lambda_{CLIP}(\mathrm{P}_t^{edit}, y^{ref};\mathrm{P}_t^{source},y^{source}) + \lambda_{recon}|\mathrm{P}_t^{edit} - \mathrm{P}_t^{source}|
-$$
-
-
-전체적인 reverse process는 다음과 같이 설계가 되었다. 이제 shifted epsilon인 $\tilde{\epsilon}_t^{\theta}(x_t)$를 어떤 방식으로 얻을 것인지에 대한 설계가 필요하다. 저자들은 기존의 $\epsilon$-space에서 변화를 주는 것보다 훨씬 더 좋은 result를 보이고, nice properties를 가지는 h-space에서 변화를 주는 것을 제안한다.
-
-### 3.3 h-space
-
-$\epsilon_t^{\theta}$는 diffusion models의 backbone인 U-Net에서 도출된다. 이 논문에서는 Image manipulation을 위해 $\epsilon_t^{\theta}$를 control하는 space를 U-Net의 bottleneck 즉, 가장 깊은 feature map인 $h_t$로 정하였다. 이를 h-space라고 부른다. h-space는 $\epsilon$-space보다 더 작은 spatial resolutions을 가지고 high-level semantic를 가진다. 또한 $\epsilon$-space에서는 발견할 수 없는 매우 nice한 특성들을 가지고 있다.
-
-:::{figure-md}
-
-
-
-U-Net structure and h-space
-:::
-
-h-space의 크기는 $8^2\times512$이고 $\epsilon$-space의 크기는 $256^2\times3$으로 h-space에서의 control이 더 지배적이고 robust함을 추측할 수 있다(실제 실험적으로 증명을 함). h-space는 skip-connection의 영향을 받지 않으며 가장 압축된 정보를 가지고 있는 공간이며 image를 control하는데에 있어 매우 좋은 특성들을 가지고 있다. 실제 저자들은 h-space를 지정하기 위해 U-Net의 모든 feature map을 h-space로 설정해두고 실험을 해보았는데 위의 그림을 기준으로 8th layer이전의 feature map을 h-space로 지정한 경우에는 manipulaton이 적게 이루어졌고, 8th layer 이후의 feature map을 h-space로 지정한 경우에는 너무 과한 manipulation이 이루어지거나 아예 distorted image가 생성되었다. h-space만의 특성은 chapter5에서 설명한다.
-
-### 3.4 Implicit Neural Directions
-
-:::{figure-md}
-
-
-
-Illustration of $\mathrm{f}(t)$
-:::
-
-$\Delta h_t$가 image를 manipulating하는데 성공했음에도, 수많은 timestep에서 매번 optimizing하기란 쉽지 않다. 대신에 논문에서는 $h_t$를 입력받아 $\Delta h$를 출력해주는 작은 neural network인 $\mathrm{f}(t)$를 추가하였다. $\mathrm{f}(t)$는 $\Delta h_t$를 매번 모든 timestep에서 optimizing해줘야 하는 방법에 비해 시간도 빠르고 setting값들에 대해 robust하다. 또한 주어진 timestep과 bottleneck feature인 $h_t$에 대해 $\Delta h_t$를 출력하는 방법을 학습하기에 unseen timestep과 bottleneck feature에 대해서도 일반화할 수 있다고 한다. 이는 accelerated한 과정에서도 큰 효과를 본다. training scheme이 어떻든 간에 결국 부여하는 $\sum\Delta\mathrm{h_t}$만 보존된다면, 어떠한 length를 설계해도 비슷한 manipulation효과를 볼 수 있다.
-
-
-
-h-space에서 epsilon을 control해서 asyrp 이용하는 식은 다음과 같다. 이해를 위해 $\epsilon$-space와 h-space에서의 shifted epsilon $\tilde{\epsilon}_t^{\theta}(x_t)$을 비교하였다.
-
-- $\epsilon$-space에서의 shifted epsilon
-
- $\tilde{\epsilon}_t^{\theta}(x_t) = \epsilon_t^{\theta}(x_t) + \Delta \epsilon_t$
-
-- h-space에서의 shifted epsilon
-
- $\tilde{\epsilon}_t^{\theta}(x_t) = \epsilon_t^{\theta}(x_t | \Delta h_t)$
-
-
-
-$$
-x_{t-1} = \sqrt{\alpha_{t-1}}\mathrm{P}_t(\epsilon_t^{\theta}(x_t | \Delta h_t)) + \mathrm{D}_t(\epsilon_t^{\theta}(x_t))
-$$
-
-:::{figure-md}
-
-
-
-Asymmetric Reverse Process
-:::
-
-## 4. Generative Process Design
-
-:::{figure-md}
-
-
-
-Intuition for choosing the intervals for editing and quality boosting
-:::
-
-Perception prioritized training of diffusion models(Choi et al)에서는 Diffusion model이 early stage에서는 high-level context를 generate하고, later stage에서는 imperceptible fine details를 generate한다고 제안한다. 본 논문에서는 early stage에서 editing을 진행하는 editing process와 later stage에서 imperceptible fine details를 진행하는 quality boosting을 위한 구간을 나눠서 새로운 Generative Process Design을 제시한다.
-
-### 4.1 Editing Process With Asyrp
-
-Editing Process에서는 high-level context가 generate되어야 하므로 전체 timestep[0,T]에서 Editing Process를 위한 editing interval을 [T, $t_{edit}$]으로 설정하였다. $t_{edit}$의 시점을 결정하기 위해 LPIPS 측정지표를 이용한다. LPIPS($\mathrm{x}, \mathrm{P}_t$)는 t시점에서 예측한 $x_0$와 target이 되는 original image간의 perceptual distance를 계산한다. 따라서 LPIPS를 남은 reverse process을 통해 editing 해야 할 구성요소를 측정하는 지표라고 볼 수도 있다. 첫 step T의 LPIPS로 부터 $t_{edit}$시점에서의 LPIPS 차이는 Editing Process에서 얼만큼의 perceptual change를 주었는지를 나타낸다. 이 값을 editing strength($\epsilon_t$)라고 정의한다.
-
-
-
-$$
-\xi_t = \mathrm{LPIPS}(x, \mathrm{P}_T) - \mathrm{LPIPS}(x, \mathrm{P}_t)
-$$
-Editing interval이 작으면 $\xi_t$가 작아지며 변화가 많이 일어나지 않고 반면, Editing interval이 크면 $\xi_t$가 커지고 변화가 많이 일어난다. 따라서 충분한 변화를 줄 수 있는 한에서 가장 최소의 Editing interval을 찾는 것이 $t_{edit}$을 결정하는 최고의 방법이다. 저자들은 실험적인 결과를 통해 $\mathrm{LPIPS}(x, \mathrm{P}_t)$ = 0.33인 t시점을 $t_{edit}$으로 결정하였다.
-
-:::{figure-md}
-
-
-
-Results based on various $\mathrm{LPIPS}(x, \mathrm{P}_{t_{edit}})$
-:::
-
-:::{figure-md}
-
-
-
-Importance of choosing proper $t_{edit}$
-:::
-
-몇몇 특성들은 다른 특성들에 비해 visual change를 많이 필요로 하는 경우도 있다. 예를 들어 source image에 대해 smile한 attribute를 추가하는 경우보다 pixar style의 attribute을 추가하는 경우가 더 많은 visual change를 필요로 한다. 이러한 경우에는 Editing interval을 더 길게 설정해야 한다. 이러한 경우에는 $\mathrm{LPIPS}(x, \mathrm{P}_t)$ = 0.33 - $\delta$를 만족하는 t를 $t_{edit}$으로 설정한다. 이 때, $\delta = 0.33d(\mathrm{E}_T(y_{source}), \mathrm{E}_T(y_{target}))$이다. $\mathrm{E}_T$는 CLIP text embedding을 진행하는 Text Encoder를 의미하며, d는 cosine distance를 의미한다. 아래 그림을 통해 더 많은 visual change를 요구하는 attributes에 대해서는 $t_{edit}$이 더 작음(Editing Interval이 김)을 알 수 있다.
-
-:::{figure-md}
-
-
-
-Flexible $t_{edit}$ based on the amount of visual changes.
-:::
-
-### 4.2 Quality Boosting With Stochastic Noise Injection
-
-DDIM은 $\eta$=0으로 설정하며 stochasticity를 제거하여 거의 완벽한 inversion을 가능케 하였다. Elucidating the design space of diffusionbased generative models(Karras et al.)에서는 stochasticity가 image quality를 증가시킨다고 증명하였다. 이에 따라 본 논문에서는 Generative Process에 stochastic noise를 주입하는 quality boosting 단계를 설정하고 boosting interval은 [$t_{boost}$, 0]이다.
-
- Boosting Interval에 따라 image quality를 control할 수 있는데, Boosting Interval이 길게되면, Quality는 증가하지만 Interval동안 계속해서 stochastic noise를 주입해야 하기에 content가 변하는 문제가 발생할 수도 있다. 따라서 충분한 quality boosting을 달성하면서도 content에 최소한의 변화만을 줄 수 있도록 $t_{boost}$를 설정하는 것이 중요하다. 저자들은 image에 껴있는 noise를 quality boosting을 통해 해결해야 할 부분으로 보았으며 target이 되는 original image로 부터 t시점의 image $x_t$에 얼만큼의 noise가 껴있는지에 대한 지표로 quality deficiency $\gamma_t$를 이용한다.
-
-
-$$
-\gamma_t = \mathrm{LPIPS}(x, x_t)
-$$
-여기서는 editing strength와는 다르게 time step에 따라 예측한 $x_0$인 $\mathrm{P}_t$가 아닌 latent variable $x_t$를 이용한다. 저자들은 noise를 판단하는데에 있어서 semantics보다는 actual image를 고려했기에 위와 같이 설정하였다고 한다. 저자들은 실험적인 결과를 통해 $\gamma_t$ = 1.2인 t시점을 $t_{boost}$로 설정하였다.
-
-:::{figure-md}
-
-
-
-Results based on various $\gamma_{t_{boost}}$
-:::
-
-:::{figure-md}
-
-
-
-Quality comparison based on the presence of quality boosting
-:::
-
-### 4.3 Overall Process of Image Editing
-
-General한 Diffusion model에서의 Generative Process를 표현하면 다음과 같다.
-
-
-$$
-x_{t-1} = \sqrt{\alpha_{t-1}}\mathrm{P}_t(\epsilon_t^{\theta}) + \mathrm{D}_t(\epsilon_t^{\theta}) + \sigma_t\mathcal{z}_t\bigg(where, \sigma_t = \eta\sqrt{(1-\alpha_{t-1}) / (1-\alpha_t)} \sqrt{1-\alpha_t/\alpha_{t-1}}\bigg)
-$$
-$\eta$ = 0인 경우에는 DDIM이 되며, stochastic noise를 더하는 부분이 사라져 deterministic해진다. $\eta$ = 1인 경우에는 DDPM이 되며, stochastic한 특성이 있다. Asyrp(Assymetric Reverse Process)에서는 기본적으로 DDIM을 사용하며 $\mathrm{P}_t$에서 h-space를 통해 control된 $\epsilon_t^{\theta}(x_t|f_t)$를 사용한다. Diffusion Models already have a Semantic Latent Space에서 제시한 Generative Process를 전체적으로 정리하면 다음과 같다.
-
-:::{figure-md}
-
-
-
-Quality comparison based on the presence of quality boosting
-:::
-
-처음부터 $t_{edit}$시점까지는 Asyrp를 이용해 Editing Process를 진행한다. 이 후 DDIM 방식을 통해 Denoising을 진행하다가 $t_{boost}$시점부터 끝날 때까지 stochastic noise를 주입하는 DDPM 방식을 이용해 Quality boosting을 진행한다.
-
-:::{figure-md}
-
-
-
-Overview of Generative Process
-:::
-
-## 5. Experiments
-
- CelebA-HQ (Karras et al., 2018) 및 LSUN-bedroom/-church (Yu et al., 2015) 데이터셋에서 DDPM++ (Song et al., 2020b) (Meng et al., 2021); AFHQ-dog (Choi et al., 2020) 데이터셋에서 iDDPM (Nichol & Dhariwal, 2021); 그리고 METFACES (Karras et al., 2020) 데이터셋에서 ADM with P2-weighting (Dhariwal & Nichol, 2021) (Choi et al., 2022)을 사용해 각각 학습시켰다고 한다. 모든 model들은 pretrained checkpoint를 활용했으며 frozen상태를 유지시켰다고 한다.
-
-### 5.1 Versatility of h-space with Asyrp
-
-:::{figure-md}
-
-
-
-Editing results of Asyrp on various datasets
-:::
-
-위의 그림을 보면, 논문에서는 다양한 attribute들의 특성을 잘 반영해서 image를 manipulate했다는 점을 알 수 있다. 심지어 {department, factory, temple} attribute은 training data에 포함이 되어있지 않았음에도 성능이 잘 나온 점을 확인할 수 있다. model을 fine tuning하지 않고 inference하는 과정에서 h-space를 통해 epsilon을 control하고 Asyrp를 이용해 성능을 냈다는 점이 가장 큰 장점이다.
-
-### 5.2 Quantitive Comparison
-
-Asyrp model의 결과를 다른 model들과 비교하는 실험을 진행하였는데 diffusion model 전체를 fine-tuning하여 image을 editing하는 DiffsionCLIP model과 비교하였다. Asyrp의 성능이 더 좋음을 확인 할 수 있다.
-
-:::{figure-md}
-
-
-
-Asyrp vs DiffusionCLIP on both CelebA-HQ seen-domain attributes and unseen-domain attributes
-:::
-
-### 5.3 Analysis on h-space
-
-1. **Homogeneity**
-
- :::{figure-md}
-
- 
-
- Homogeneity of h-space
- :::
-
- 위의 그림의 (a)는 Real image에 smiling attribute을 추가하기 위해 최적화된 $\Delta h_t$와 $\Delta \epsilon_t$를 나타낸다. 같은 값을 다른 Real image에 적용시켰을 때의 결과를 (b)에 나타내었는데, $\Delta h_t$를 적용한경우 smiling face로 잘 바뀌는 반면, $\Delta \epsilon_t$을 적용한 경우에는 image distortion이 발생함을 알 수 있다.
-
-
-
-2. **Linearity**
-
- :::{figure-md}
-
- 
-
- Linearity of h-space - Linear Scaling
- :::
-
- $\Delta_h$를 linearly scaling을 하는 것은 editing을 하는데에 있어 visual attribute change의 양에 반영된다. 즉, $\Delta_h$를 $\times$1, $\times$2, $\times$3배 $/dots$ 함에 따라 result image에서 반영되는 attribute또한 이에 맞게 변화한다는 것이다. 위의 그림에서 표현되어 있듯이 negative scaling에 대해서는 training을 하지 않았음에도 잘 적용 된다는 점을 알 수 있다.
-
-
-
- :::{figure-md}
-
- 
-
- Linearity of h-space - Linear Combination
- :::
-
- 서로 다른 attributes에 대한 $\Delta_h$를 합쳐서 부여를 했을 경우에도 각각의 attribute들이 image에 잘 반영이 된다는 점을 알 수 있다.
-
-
-
-3. **Robustness**
-
- :::{figure-md}
-
- 
-
- Robustness of h-space
- :::
-
- 위의 그림은 h-space와 $\epsilon-space$에서 random noise를 주입했을 때의 결과를 비교한 것이다. h-space의 경우에는 random noise가 추가되었어도 image에 큰 변화가 없으며 많은 noise가 추가되었을 경우에도 image distortion은 거의 없고 semantic change만 발생한다. 그러나 $\epsilon-space$의 경우에는 random noise가 추가된 경우 image distortion이 심하게 발생한다. 이를 통해 h-space가 얼마나 robustness한지 알 수 있다.
-
-
-
-4. **Consistency across time steps**
-
- :::{figure-md}
-
- 
-
- Consistency across times steps of h-space
- :::
-
- h-space의 homogeneous한 성질을 통해 같은 attribute에 대한 $\Delta h$를 다른 image에 적용시켰을 때에도 잘 반영이 됌을 확인하였다. 저자들은 $\Delta h_t$들에 대한 평균인 $\Delta h_t^{mean}$을 적용시켰을 경우에도 result가 거의 비슷함을 보인다. Chapter4에서 제시한 Generative Process를 비추어 보았을 때, $\Delta h_t$는 Editing Process에서만 적용을 시킨다. 이 경우, 적용하는 $\Delta h_t$를 $\Delta h_t^{global}$이라고 칭하며, 적용하는 $\Delta h_t$가 interval동안 같은 크기 만큼 적용된다고 가정했을 경우, $\Delta h^{global} = \cfrac{1}{\mathrm{T_e}}\sum_t\ \Delta h_t^{mean}$이라고 쓸 수 있다. 이 경우에도 결과는 비슷함을 보여준다. 결국 원하는 attribute에 대해 주입해야 할 $\Delta h$양만 같다면, 원하는 editing 효과를 얻을 수 있다. 비록 이 논문에서는 best quality manipulation을 위해 $\Delta h_t$를 사용하였지만, $\Delta h_t^{mean}$과 $\Delta h^{global}$에 대해 더 연구를 해 볼 여지가 있다고 판단한다.
-
-## 6. Conclusion
-
-본 논문에서는 Pretrained Diffusion models에서 latent semantic space인 h-space를 발견했고 h-space에서의 Asyrp(Asymmetric Reverse Process)와 새롭게 제안한 Reverse Process 방법을 통해 성공적인 image editing을 가능케 하였다. Diffusion model에서의 semantic한 latent space에 대한 첫 제안을 한 논문이다. h-space는 GAN의 latent space와 유사한 특성을 갖추고 있다. 대표적인 h-space의 특성으로는 Homogeneity, Linearity, Robustness, Consistency across timesteps이 있다.
+``` {admonition} Information
+- **Title:** Diffusion Models already have a Semantic Latent Space (ICLR 2023)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2210.10960](https://arxiv.org/abs/2210.10960)
+
+- **Author:** Sehwan Park
+
+- **Last updated on Nov. 18, 2023**
+```
+
+
+
+# Diffusion Models already have a Semantic Latent Space
+
+## Abstract
+
+Diffusion model은 많은 domain에서 좋은 성능을 보이지만 generative process를 control하는 semantic latent space가 부족하다. 논문에서는 diffusion model속에서 semantic latent space를 발견하기 위한 asymmetric reverse process(asyrp)를 제안하고 h-space라고 명칭한 semantic latent space의 좋은 특성(homogeneity, linearity, robustness, consistency across timesteps)들을 보여준다. 추가적으로 editing strength와 quality deficiency를 기준으로 삼고 더 좋은 image-image translation을 위한 Generative Process Design을 소개한다.
+
+
+
+## 1. Introduction
+
+:::{figure-md}
+
+
+
+Manipulation approaches for diffusion models
+:::
+
+(a) Image guidance는 unconditional한 latent variable에 guiding image의 latent variable을 합치는 방식을 사용한다. 그러나 latent variable을 둘 다 이용하면서 명확하게 control하기가 쉽지 않다.
+
+(b) Classifier guidance는 diffusion model에 classifier를 추가하여 generative process를 거치는 동안 latent variable이 어떤 class인지 분류하고 target class에 가까워지도록 score를 부여하는 방식으로 작동한다. 그러나 latent variable들에 대해 classify를 실행해야 하기에 pretrained model을 사용하기가 힘들어 직접 학습을 시켜야 하기에 시간적으로, 비용적으로 부담이 된다.
+
+(c) DiffusionCLIP
+
+(d) Diffusion Models already have a Semantic Latent Space는 original image의 특성을 edit하기 위한 아주 좋은 특성을 가지고 있는 semantic latent space를 frozen diffusion model에서 발견하였고 이를 h-space라고 칭한다. h-space에는 다양한 좋은 특성들이 존재한다. versatile editing과 quality boosting을 위해 새로운 generative process를 design하여 제안한다. h-space는 frozen pretrained diffusion model에서 semantic latent space로써의 첫 발견사례이다.
+
+
+
+## 2. Background
+
+### 2.1 Denoising Diffusion Probability Model(DDPM)
+
+DDPM에서는 임의의 time step t로 부터 noise가 껴있는 image $x_t$의 $\epsilon_t$가 얼만큼인지 예측한다. 예측한 $\epsilon_t$를 이용하여 noise가 일부 제거된 이전 step의 mean($\mu_{\theta}(x_t)$)을 구할 수 있고 variance($\sum_{\theta}(x_t)$)는 constant한 값으로 고정시킨다. DDPM에서 제시한 forward process와 reverse process는 다음과 같다. DDPM에서의 $\sigma_t^2 = \beta_t$이다.
+
+
+$$
+q(x_t|x_{t-1}) = \mathcal{N}(x_t; \sqrt{\alpha_{t}}x_{t-1}, (1-\alpha_t)I)
+$$
+
+$$
+p_{\theta}(x_{t-1}|x_t) := \mathcal{N}(\mu_{\theta}(x_t), \sum_{\theta}(x_t))
+$$
+
+$$
+x_{t-1} = \frac{1}{\sqrt{1-\beta_t}}\bigg(x_t - \frac{\beta_t}{\sqrt{1-\alpha_t}}\epsilon_t^\theta(x_t)\bigg) + \sigma_t\mathcal{z_t}
+$$
+
+
+
+### 2.2 Denoising Diffusion Implicit Model(DDIM)
+
+DDIM에서는 non-Markovian process를 이용해 또 다른 관점의 reverse process를 제시하였고, DDPM과 DDIM 모두 general하게 적용되는 Diffusion process에 대한 식을 보여주었다. $\sigma_t = \eta\sqrt{(1-\alpha_{t-1}) / (1-\alpha_t)} \sqrt{1-\alpha_t/\alpha_{t-1}}$이다.
+
+ $\eta$=1인 경우 DDPM이 되고 stochastic해지며, $\eta$=0인 경우 DDIM이 되고 deterministic해진다.
+
+
+$$
+q_{\sigma}(x_{t-1}|x_t,x_0) = \mathcal{N}(\sqrt{\alpha_{t-1}}x_0 + \sqrt{1-\alpha_{t-1}-\sigma_t^2} \cdot \cfrac{x_t - \sqrt{\alpha_t}x_0}{\sqrt{1-\alpha_t}}, \sigma_t^2I)
+$$
+
+$$
+x_{t-1} = \sqrt{\alpha_{t-1}}\underbrace{\bigg(\frac{x_t - \sqrt{1-\alpha_t}\epsilon_t^\theta(x_t)}{\sqrt{\alpha_t}}\bigg)}_{\textrm{predicted } x_0} + \underbrace{\sqrt{1-\alpha_{t-1}-\sigma_t^2}\cdot \epsilon_t^\theta(x_t) }_{\textrm{direction pointing to }x_t} + \sigma_t\mathcal{z_t}
+$$
+
+### 2.3 Image Manipulation with CLIP
+
+CLIP은 Image Encoder와 Text Encoder를 이용하여 image와 text간의 embedding을 학습한다. 편집된 이미지와 대상 설명 간의 cosine distance를 직접 최소화하는 대신 cosine distance를 사용한 directional loss를 사용하여 mode collapse없이 균일한 editing을 가능하게 했다고 한다.
+
+$\Delta T = \mathrm{E}_T(y^{target}) - \mathrm{E}_T(y^{source}) $
$\Delta I = \mathrm{E}_I(x^{edit}) - \mathrm{E}_I(x^{source})$ + + +$$ +\mathcal{L}_{direction} (x^{edit}, y^{target};x^{source},y^{source}) := 1 - \cfrac{\Delta I \cdot \Delta T}{\parallel\Delta I\parallel \parallel\Delta T\parallel} +$$ + + + +## 3. Discovering Semantic Latent Space In Diffusion Models + +Editiing을 하는 과정에서 naive approach를 통해서는 editing이 잘 이루어지지 않는다. 이 chapter에서는 왜 잘 이루어지지 않는지에 대한 설명을 하고 이를 해결하는 새로운 controllable한 한 reverse process인 Asymmetric Reverse Process(Asyrp)를 제안한다. + +DDIM에서 $x_{t-1}$에 대한 수식을 설명하였는데 이 chapter부터는 "predicted $x_0$"부분을 $\mathrm{P}_t(\epsilon_t^{\theta}(x_t))$ 즉 $\mathrm{P}_t$라고 설정하고, "direction pointing to $x_t$"부분을 $\mathrm{D}_t(\epsilon_t^{\theta}(x_t))$ 즉 $\mathrm{D}_t$라고 설정하였다. + +$\mathrm{P}_t$는 latent variable로 부터 $x_0$를 예측하는 reverse process와 같은 역할을 담당하고 $\mathrm{D}_t$는 다시 noise를 추가해 latent variable로 돌아가기에 forward process와 같은 역할을 담당한다. + + +$$ +x_{t-1} = \sqrt{\alpha_{t-1}}\underbrace{\bigg(\frac{x_t - \sqrt{1-\alpha_t}\epsilon_t^\theta(x_t)}{\sqrt{\alpha_t}}\bigg)}_{\mathrm{P}_t(\epsilon_t^{\theta}(x_t))} + \underbrace{\sqrt{1-\alpha_{t-1}-\sigma_t^2}\cdot \epsilon_t^\theta(x_t) }_{\mathrm{D}_t(\epsilon_t^{\theta}(x_t))} + \sigma_t\mathcal{z_t} +$$ + +$$ +x_{t-1} = \sqrt{\alpha_{t-1}}\mathrm{P}_t(\epsilon_t^{\theta}(x_t)) + \mathrm{D}_t(\epsilon_t^{\theta}(x_t)) + \sigma_t\mathcal{z_t} +$$ + +### 3.1 Problem + +$x_T$로 부터 생성된 image $x_0$를 given text prompts에 맞게 manipulate시키는 가장 간단한 방법은 2.3에서 소개한 $\mathcal{L}_{direction}$을 optimize하도록 $x_T$를 update하는 것이다. 하지만 이 방법은 distorted images를 생성하거나 부정확한 manipulation을 한다고 한다. + +이에 대한 대안으로, 모든 sampling step에서 원하는 방향으로 manipulate하도록 $\epsilon_t^{\theta}$를 shift해주는 방법이 제시되었다. 하지만 이 방법은 $x_0$를 완전히 manipulate하지 못한다. 왜냐하면 $\mathrm{P}_t$와 $\mathrm{D}_t$에서 둘다 shifted된 $\tilde{\epsilon}_t^{\theta}$를 사용하기에 cancel out되어 결국 latent variable에서는 기존과 다름이 없다는 것이다. 자세한 증명은 Proof of Theroem을 보면 된다. + +
+
+No Manipulation Effect with shifted epsilon
+:::
+
+### 3.2 Asymmetric Reverse Process(Asyrp)
+
+chapter 3.1에서 $\epsilon$-space에서의 문제를 해결하기 위해 저자들은 Asyrp를 제안한다. 이름 그대로 비대칭적인 방법을 사용한다는 것인데 $x_0$를 예측하는 $\mathrm{P}_t$에서는 shifted epsilon을 사용하고, latent variable로 돌아가는 $\mathrm{D}_t$에서는 non-shifted epsilon을 사용해서 전체적인 변화를 준다는 것이다. 즉, $\mathrm{P}_t$만modify하고 $\mathrm{D}_t$는 유지한다. Asyrp를 식으로 표현하면 다음과 같다.
+
+
+$$
+x_{t-1} = \sqrt{\alpha_{t-1}}\mathrm{P}_t(\tilde{\epsilon}_t^{\theta}(x_t)) + \mathrm{D}_t(\epsilon_t^{\theta}(x_t))
+$$
+Loss식 또한 chapter 2.3에서 제시한 $\mathcal{L}_{direction}$을 사용하여 재구성하였다. modify를 하지 않은 $\mathrm{P}_t^{source}$와 modifiy를 한 $\mathrm{P}_t^{edit}$을 사용한다. Loss식은 다음과 같다.
+
+
+$$
+\mathcal{L}^{(t)} = \lambda_{CLIP}(\mathrm{P}_t^{edit}, y^{ref};\mathrm{P}_t^{source},y^{source}) + \lambda_{recon}|\mathrm{P}_t^{edit} - \mathrm{P}_t^{source}|
+$$
+
+
+전체적인 reverse process는 다음과 같이 설계가 되었다. 이제 shifted epsilon인 $\tilde{\epsilon}_t^{\theta}(x_t)$를 어떤 방식으로 얻을 것인지에 대한 설계가 필요하다. 저자들은 기존의 $\epsilon$-space에서 변화를 주는 것보다 훨씬 더 좋은 result를 보이고, nice properties를 가지는 h-space에서 변화를 주는 것을 제안한다.
+
+### 3.3 h-space
+
+$\epsilon_t^{\theta}$는 diffusion models의 backbone인 U-Net에서 도출된다. 이 논문에서는 Image manipulation을 위해 $\epsilon_t^{\theta}$를 control하는 space를 U-Net의 bottleneck 즉, 가장 깊은 feature map인 $h_t$로 정하였다. 이를 h-space라고 부른다. h-space는 $\epsilon$-space보다 더 작은 spatial resolutions을 가지고 high-level semantic를 가진다. 또한 $\epsilon$-space에서는 발견할 수 없는 매우 nice한 특성들을 가지고 있다.
+
+:::{figure-md}
+
+
+
+U-Net structure and h-space
+:::
+
+h-space의 크기는 $8^2\times512$이고 $\epsilon$-space의 크기는 $256^2\times3$으로 h-space에서의 control이 더 지배적이고 robust함을 추측할 수 있다(실제 실험적으로 증명을 함). h-space는 skip-connection의 영향을 받지 않으며 가장 압축된 정보를 가지고 있는 공간이며 image를 control하는데에 있어 매우 좋은 특성들을 가지고 있다. 실제 저자들은 h-space를 지정하기 위해 U-Net의 모든 feature map을 h-space로 설정해두고 실험을 해보았는데 위의 그림을 기준으로 8th layer이전의 feature map을 h-space로 지정한 경우에는 manipulaton이 적게 이루어졌고, 8th layer 이후의 feature map을 h-space로 지정한 경우에는 너무 과한 manipulation이 이루어지거나 아예 distorted image가 생성되었다. h-space만의 특성은 chapter5에서 설명한다.
+
+### 3.4 Implicit Neural Directions
+
+:::{figure-md}
+
+
+
+Illustration of $\mathrm{f}(t)$
+:::
+
+$\Delta h_t$가 image를 manipulating하는데 성공했음에도, 수많은 timestep에서 매번 optimizing하기란 쉽지 않다. 대신에 논문에서는 $h_t$를 입력받아 $\Delta h$를 출력해주는 작은 neural network인 $\mathrm{f}(t)$를 추가하였다. $\mathrm{f}(t)$는 $\Delta h_t$를 매번 모든 timestep에서 optimizing해줘야 하는 방법에 비해 시간도 빠르고 setting값들에 대해 robust하다. 또한 주어진 timestep과 bottleneck feature인 $h_t$에 대해 $\Delta h_t$를 출력하는 방법을 학습하기에 unseen timestep과 bottleneck feature에 대해서도 일반화할 수 있다고 한다. 이는 accelerated한 과정에서도 큰 효과를 본다. training scheme이 어떻든 간에 결국 부여하는 $\sum\Delta\mathrm{h_t}$만 보존된다면, 어떠한 length를 설계해도 비슷한 manipulation효과를 볼 수 있다.
+
+
+
+h-space에서 epsilon을 control해서 asyrp 이용하는 식은 다음과 같다. 이해를 위해 $\epsilon$-space와 h-space에서의 shifted epsilon $\tilde{\epsilon}_t^{\theta}(x_t)$을 비교하였다.
+
+- $\epsilon$-space에서의 shifted epsilon
+
+ $\tilde{\epsilon}_t^{\theta}(x_t) = \epsilon_t^{\theta}(x_t) + \Delta \epsilon_t$
+
+- h-space에서의 shifted epsilon
+
+ $\tilde{\epsilon}_t^{\theta}(x_t) = \epsilon_t^{\theta}(x_t | \Delta h_t)$
+
+
+
+$$
+x_{t-1} = \sqrt{\alpha_{t-1}}\mathrm{P}_t(\epsilon_t^{\theta}(x_t | \Delta h_t)) + \mathrm{D}_t(\epsilon_t^{\theta}(x_t))
+$$
+
+:::{figure-md}
+
+
+
+Asymmetric Reverse Process
+:::
+
+## 4. Generative Process Design
+
+:::{figure-md}
+
+
+
+Intuition for choosing the intervals for editing and quality boosting
+:::
+
+Perception prioritized training of diffusion models(Choi et al)에서는 Diffusion model이 early stage에서는 high-level context를 generate하고, later stage에서는 imperceptible fine details를 generate한다고 제안한다. 본 논문에서는 early stage에서 editing을 진행하는 editing process와 later stage에서 imperceptible fine details를 진행하는 quality boosting을 위한 구간을 나눠서 새로운 Generative Process Design을 제시한다.
+
+### 4.1 Editing Process With Asyrp
+
+Editing Process에서는 high-level context가 generate되어야 하므로 전체 timestep[0,T]에서 Editing Process를 위한 editing interval을 [T, $t_{edit}$]으로 설정하였다. $t_{edit}$의 시점을 결정하기 위해 LPIPS 측정지표를 이용한다. LPIPS($\mathrm{x}, \mathrm{P}_t$)는 t시점에서 예측한 $x_0$와 target이 되는 original image간의 perceptual distance를 계산한다. 따라서 LPIPS를 남은 reverse process을 통해 editing 해야 할 구성요소를 측정하는 지표라고 볼 수도 있다. 첫 step T의 LPIPS로 부터 $t_{edit}$시점에서의 LPIPS 차이는 Editing Process에서 얼만큼의 perceptual change를 주었는지를 나타낸다. 이 값을 editing strength($\epsilon_t$)라고 정의한다.
+
+
+
+$$
+\xi_t = \mathrm{LPIPS}(x, \mathrm{P}_T) - \mathrm{LPIPS}(x, \mathrm{P}_t)
+$$
+Editing interval이 작으면 $\xi_t$가 작아지며 변화가 많이 일어나지 않고 반면, Editing interval이 크면 $\xi_t$가 커지고 변화가 많이 일어난다. 따라서 충분한 변화를 줄 수 있는 한에서 가장 최소의 Editing interval을 찾는 것이 $t_{edit}$을 결정하는 최고의 방법이다. 저자들은 실험적인 결과를 통해 $\mathrm{LPIPS}(x, \mathrm{P}_t)$ = 0.33인 t시점을 $t_{edit}$으로 결정하였다.
+
+:::{figure-md}
+
+
+
+Results based on various $\mathrm{LPIPS}(x, \mathrm{P}_{t_{edit}})$
+:::
+
+:::{figure-md}
+
+
+
+Importance of choosing proper $t_{edit}$
+:::
+
+몇몇 특성들은 다른 특성들에 비해 visual change를 많이 필요로 하는 경우도 있다. 예를 들어 source image에 대해 smile한 attribute를 추가하는 경우보다 pixar style의 attribute을 추가하는 경우가 더 많은 visual change를 필요로 한다. 이러한 경우에는 Editing interval을 더 길게 설정해야 한다. 이러한 경우에는 $\mathrm{LPIPS}(x, \mathrm{P}_t)$ = 0.33 - $\delta$를 만족하는 t를 $t_{edit}$으로 설정한다. 이 때, $\delta = 0.33d(\mathrm{E}_T(y_{source}), \mathrm{E}_T(y_{target}))$이다. $\mathrm{E}_T$는 CLIP text embedding을 진행하는 Text Encoder를 의미하며, d는 cosine distance를 의미한다. 아래 그림을 통해 더 많은 visual change를 요구하는 attributes에 대해서는 $t_{edit}$이 더 작음(Editing Interval이 김)을 알 수 있다.
+
+:::{figure-md}
+
+
+
+Flexible $t_{edit}$ based on the amount of visual changes.
+:::
+
+### 4.2 Quality Boosting With Stochastic Noise Injection
+
+DDIM은 $\eta$=0으로 설정하며 stochasticity를 제거하여 거의 완벽한 inversion을 가능케 하였다. Elucidating the design space of diffusionbased generative models(Karras et al.)에서는 stochasticity가 image quality를 증가시킨다고 증명하였다. 이에 따라 본 논문에서는 Generative Process에 stochastic noise를 주입하는 quality boosting 단계를 설정하고 boosting interval은 [$t_{boost}$, 0]이다.
+
+ Boosting Interval에 따라 image quality를 control할 수 있는데, Boosting Interval이 길게되면, Quality는 증가하지만 Interval동안 계속해서 stochastic noise를 주입해야 하기에 content가 변하는 문제가 발생할 수도 있다. 따라서 충분한 quality boosting을 달성하면서도 content에 최소한의 변화만을 줄 수 있도록 $t_{boost}$를 설정하는 것이 중요하다. 저자들은 image에 껴있는 noise를 quality boosting을 통해 해결해야 할 부분으로 보았으며 target이 되는 original image로 부터 t시점의 image $x_t$에 얼만큼의 noise가 껴있는지에 대한 지표로 quality deficiency $\gamma_t$를 이용한다.
+
+
+$$
+\gamma_t = \mathrm{LPIPS}(x, x_t)
+$$
+여기서는 editing strength와는 다르게 time step에 따라 예측한 $x_0$인 $\mathrm{P}_t$가 아닌 latent variable $x_t$를 이용한다. 저자들은 noise를 판단하는데에 있어서 semantics보다는 actual image를 고려했기에 위와 같이 설정하였다고 한다. 저자들은 실험적인 결과를 통해 $\gamma_t$ = 1.2인 t시점을 $t_{boost}$로 설정하였다.
+
+:::{figure-md}
+
+
+
+Results based on various $\gamma_{t_{boost}}$
+:::
+
+:::{figure-md}
+
+
+
+Quality comparison based on the presence of quality boosting
+:::
+
+### 4.3 Overall Process of Image Editing
+
+General한 Diffusion model에서의 Generative Process를 표현하면 다음과 같다.
+
+
+$$
+x_{t-1} = \sqrt{\alpha_{t-1}}\mathrm{P}_t(\epsilon_t^{\theta}) + \mathrm{D}_t(\epsilon_t^{\theta}) + \sigma_t\mathcal{z}_t\bigg(where, \sigma_t = \eta\sqrt{(1-\alpha_{t-1}) / (1-\alpha_t)} \sqrt{1-\alpha_t/\alpha_{t-1}}\bigg)
+$$
+$\eta$ = 0인 경우에는 DDIM이 되며, stochastic noise를 더하는 부분이 사라져 deterministic해진다. $\eta$ = 1인 경우에는 DDPM이 되며, stochastic한 특성이 있다. Asyrp(Assymetric Reverse Process)에서는 기본적으로 DDIM을 사용하며 $\mathrm{P}_t$에서 h-space를 통해 control된 $\epsilon_t^{\theta}(x_t|f_t)$를 사용한다. Diffusion Models already have a Semantic Latent Space에서 제시한 Generative Process를 전체적으로 정리하면 다음과 같다.
+
+:::{figure-md}
+
+
+
+Quality comparison based on the presence of quality boosting
+:::
+
+처음부터 $t_{edit}$시점까지는 Asyrp를 이용해 Editing Process를 진행한다. 이 후 DDIM 방식을 통해 Denoising을 진행하다가 $t_{boost}$시점부터 끝날 때까지 stochastic noise를 주입하는 DDPM 방식을 이용해 Quality boosting을 진행한다.
+
+:::{figure-md}
+
+
+
+Overview of Generative Process
+:::
+
+## 5. Experiments
+
+ CelebA-HQ (Karras et al., 2018) 및 LSUN-bedroom/-church (Yu et al., 2015) 데이터셋에서 DDPM++ (Song et al., 2020b) (Meng et al., 2021); AFHQ-dog (Choi et al., 2020) 데이터셋에서 iDDPM (Nichol & Dhariwal, 2021); 그리고 METFACES (Karras et al., 2020) 데이터셋에서 ADM with P2-weighting (Dhariwal & Nichol, 2021) (Choi et al., 2022)을 사용해 각각 학습시켰다고 한다. 모든 model들은 pretrained checkpoint를 활용했으며 frozen상태를 유지시켰다고 한다.
+
+### 5.1 Versatility of h-space with Asyrp
+
+:::{figure-md}
+
+
+
+Editing results of Asyrp on various datasets
+:::
+
+위의 그림을 보면, 논문에서는 다양한 attribute들의 특성을 잘 반영해서 image를 manipulate했다는 점을 알 수 있다. 심지어 {department, factory, temple} attribute은 training data에 포함이 되어있지 않았음에도 성능이 잘 나온 점을 확인할 수 있다. model을 fine tuning하지 않고 inference하는 과정에서 h-space를 통해 epsilon을 control하고 Asyrp를 이용해 성능을 냈다는 점이 가장 큰 장점이다.
+
+### 5.2 Quantitive Comparison
+
+Asyrp model의 결과를 다른 model들과 비교하는 실험을 진행하였는데 diffusion model 전체를 fine-tuning하여 image을 editing하는 DiffsionCLIP model과 비교하였다. Asyrp의 성능이 더 좋음을 확인 할 수 있다.
+
+:::{figure-md}
+
+
+
+Asyrp vs DiffusionCLIP on both CelebA-HQ seen-domain attributes and unseen-domain attributes
+:::
+
+### 5.3 Analysis on h-space
+
+1. **Homogeneity**
+
+ :::{figure-md}
+
+
+
+ Homogeneity of h-space
+ :::
+
+ 위의 그림의 (a)는 Real image에 smiling attribute을 추가하기 위해 최적화된 $\Delta h_t$와 $\Delta \epsilon_t$를 나타낸다. 같은 값을 다른 Real image에 적용시켰을 때의 결과를 (b)에 나타내었는데, $\Delta h_t$를 적용한경우 smiling face로 잘 바뀌는 반면, $\Delta \epsilon_t$을 적용한 경우에는 image distortion이 발생함을 알 수 있다.
+
+
+
+2. **Linearity**
+
+ :::{figure-md}
+
+
+
+ Linearity of h-space - Linear Scaling
+ :::
+
+ $\Delta_h$를 linearly scaling을 하는 것은 editing을 하는데에 있어 visual attribute change의 양에 반영된다. 즉, $\Delta_h$를 $\times$1, $\times$2, $\times$3배 $/dots$ 함에 따라 result image에서 반영되는 attribute또한 이에 맞게 변화한다는 것이다. 위의 그림에서 표현되어 있듯이 negative scaling에 대해서는 training을 하지 않았음에도 잘 적용 된다는 점을 알 수 있다.
+
+
+
+ :::{figure-md}
+
+
+
+ Linearity of h-space - Linear Combination
+ :::
+
+ 서로 다른 attributes에 대한 $\Delta_h$를 합쳐서 부여를 했을 경우에도 각각의 attribute들이 image에 잘 반영이 된다는 점을 알 수 있다.
+
+
+
+3. **Robustness**
+
+ :::{figure-md}
+
+
+
+ Robustness of h-space
+ :::
+
+ 위의 그림은 h-space와 $\epsilon-space$에서 random noise를 주입했을 때의 결과를 비교한 것이다. h-space의 경우에는 random noise가 추가되었어도 image에 큰 변화가 없으며 많은 noise가 추가되었을 경우에도 image distortion은 거의 없고 semantic change만 발생한다. 그러나 $\epsilon-space$의 경우에는 random noise가 추가된 경우 image distortion이 심하게 발생한다. 이를 통해 h-space가 얼마나 robustness한지 알 수 있다.
+
+
+
+4. **Consistency across time steps**
+
+ :::{figure-md}
+
+
+
+ Consistency across times steps of h-space
+ :::
+
+ h-space의 homogeneous한 성질을 통해 같은 attribute에 대한 $\Delta h$를 다른 image에 적용시켰을 때에도 잘 반영이 됌을 확인하였다. 저자들은 $\Delta h_t$들에 대한 평균인 $\Delta h_t^{mean}$을 적용시켰을 경우에도 result가 거의 비슷함을 보인다. Chapter4에서 제시한 Generative Process를 비추어 보았을 때, $\Delta h_t$는 Editing Process에서만 적용을 시킨다. 이 경우, 적용하는 $\Delta h_t$를 $\Delta h_t^{global}$이라고 칭하며, 적용하는 $\Delta h_t$가 interval동안 같은 크기 만큼 적용된다고 가정했을 경우, $\Delta h^{global} = \cfrac{1}{\mathrm{T_e}}\sum_t\ \Delta h_t^{mean}$이라고 쓸 수 있다. 이 경우에도 결과는 비슷함을 보여준다. 결국 원하는 attribute에 대해 주입해야 할 $\Delta h$양만 같다면, 원하는 editing 효과를 얻을 수 있다. 비록 이 논문에서는 best quality manipulation을 위해 $\Delta h_t$를 사용하였지만, $\Delta h_t^{mean}$과 $\Delta h^{global}$에 대해 더 연구를 해 볼 여지가 있다고 판단한다.
+
+## 6. Conclusion
+
+본 논문에서는 Pretrained Diffusion models에서 latent semantic space인 h-space를 발견했고 h-space에서의 Asyrp(Asymmetric Reverse Process)와 새롭게 제안한 Reverse Process 방법을 통해 성공적인 image editing을 가능케 하였다. Diffusion model에서의 semantic한 latent space에 대한 첫 제안을 한 논문이다. h-space는 GAN의 latent space와 유사한 특성을 갖추고 있다. 대표적인 h-space의 특성으로는 Homogeneity, Linearity, Robustness, Consistency across timesteps이 있다.
diff --git a/_sources/docs/review/DreaMoving.md b/_sources/docs/review/DreaMoving.md
index 56631f41..b4c7d433 100755
--- a/_sources/docs/review/DreaMoving.md
+++ b/_sources/docs/review/DreaMoving.md
@@ -1,154 +1,154 @@
-``` {admonition} Information
-- **Title:** DreaMoving: A Human Video Generation Framework based on Diffusion Models
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2311.17117](https://arxiv.org/abs/2312.05107)
- - Code: [Official](https://github.com/dreamoving/dreamoving-project)
- - Project Page : [https://dreamoving.github.io/dreamoving/](https://dreamoving.github.io/dreamoving/)
-
-- **Author:** Geonhak Song
-
-- **Last updated on {March. 13, 2024}**
-
-```
-
-# DreaMoving
-
-## Abstract
-
-- 고품질 customized human video 생성을 위해 제어가능한 diffusion 기반 video generation framework인 DreaMoving 제안
-- target identity와 posture sequence가 주어졌을 때, target identity moving이나 dancing video 생성이 가능하다.
-- 추가 제안 모듈 : motion-controlling을 위한 **Video ControlNet** & identity preserving을 위한 **Content Guider**
-
-## 1. Introduction
-
-- T2V의 진전에도 인간 중심 기반 생성에는 어려움을 겪는 중.
-- open-source human dance video dataset의 부족, text 묘사의 어려움으로 인해 frame간 일관성, 긴 길이, 다양성을 포함한 비디오 생성에 어려움을 겪는다.
-- personalization과 controllability 의 어려움 또한 존재
-- 구조적 제어를 위한 ControlNet, appearance 제어를 위한 Dreambooth, LoRA
-- 그러나 이 기술들은 정확한 제어가 어렵고 hyperparameter tuning 요소가 존재 & 추가 계산 부담
-- 이에 새로운 방법론인 DreaMoving 제안
-
-## 2. Architecture
-
-:::{figure-md}
-
-
-Figure 1. The overview of DreaMoving
-:::
-
-- LDM 기반 모델을 기반으로 3가지 주요 network로 구성
- - U-Net, Video ControlNet, Content Guider
-- AnimateDiff에서 영감을 받아 U-Net 각 block 이후 motion block을 추가
-- Plug-in : motion-controlling을 위한 **Video ControlNet** & identity preserving을 위한 **Content Guider**
-
-### 2.1 Data Collection and Preprocessing
-
-- 인터넷에서 human dance video 1000의 고품질 영상으로 훈련
-- temporal module 훈련은 변이나 특별한 효과 없는 연속적 frame이 필요하기 때문에 clip video로 split하여 6000개의 짧은 비디오를 획득한다.(8~10s)
-- text description을 위해서 Minigpt-v2([https://minigpt-v2.github.io/](https://minigpt-v2.github.io/))를 video-captioner로 사용
- - “[grounding] describe this frame in a detailed manner”의 명령으로 획득
- - subject와 background 내용에 대해 정확히 묘사
-
-### 2.2 Motion Block
-
-- temporal consistency와 motion fidelity 향상을 위해서 U-Net과 ControlNet를 motion block으로 통합.
-- motion block은 AnimateDiff로 확장. temporal sequence length는 64로 확장
-- 초기화 : AnimateDiff (mm_sd_v15.ckpt)
-- 개인 인물 dance video로 finetuning
-
-### 2.3 Content Guider
-
-- Content Guider는 인물의 appearance와 배경을 포함한 생성된 video의 내용을 제어하기 위해 고안됨.
-- 가장 간단한 방법은 text prompt이지만, 개인화된 인물 외관 묘사가 어렵다.
-- IP-Adapter에 영감을 받아 image prompt를 활용해 인물 외관에 대한 guidance를 주고 배경에 대해서는 text prompt 사용
-- 얼굴 이미지는 image encoder를 통해 encode
-- text feature & 인물 외관 feature는 마지막 content embedding에 concat된 후 cross-attention에 보냄
-
-:::{figure-md}
-
-
-Equation 1 Content Guider cross attentino output given query, text, face, cloth features
-:::
-
-- $Z$ : query features
-- $c_t$ : text features / $c_f$ : face features / $c_c$ : cloth features
-- $Z^\prime$ : cross-attention output
-
-## 2.4 Model Training
-
-**2.4.1 Content Guider Training**
-
-- Base Model : SD v1.5 기반
-- Image Encoder : OpenCLIP ViT-H14
-- reference face identity 보존을 위해 Arcface를 통해 얼굴 상관 feature 추출.
-- LAION-2B에서 human data 수집
-- 훈련 : 512x512 random crop & resize
-- GPU : 8 V100, 100k steps, 16 batch size/GPU 1장
-- Optimizer : AdamW
-- learning rate : 1e-4, decay 1e-2
-
-**2.4.2 Long-Frame Pretraining**
-
-- WebVid-10M validation set (5k video clips)에서 motion module의 sequence length를 16에서 64로 확장하기 위한 training stage 수행
- - WebVid-10M validation set (5k video clips) : 평균 18초, 총 13000 시간
-- U-Net motion module만 훈련하고 나머지는 freeze
-- ControlNet이나 image guidance 사용 안 함.
-- learning rate : 1e-4
-- resolution : 256x256 resize & center crop
-- batch size 1, 10k steps 이후 훈련 종료
-
-**2.4.3 Video ControlNet Training**
-
-- long-frame pretraining 이후, **Video ControlNet** 훈련 진행.
-- U-Net 고정 & **Video ControlNet의 (U-Net block과 motion block)**은 unfreeze
-- 수집한 6k human dance video data 훈련
-- DWPose나 ZoeDepth를 통한 human pose 또는 depth를 추출.
-- learning rate : 1e-4
-- resolution : 352x352
-- batch size 1, 25k steps 이후 훈련 종료
-
-**2.4.4 Expression Fine-Tuning**
-
-- 사람 표현을 더 낫게하기 위해 **Video ControlNet**을 포함한 **U-Net의 motion block** 구조에서 6k human dancing video data로 추가 fine-tuning
-- U-Net motion block weight만 update
-- learning rate : 5e-5
-- resolution : 512x512
-- batch size 1, 20k steps 이후 훈련 종료
-
-### 2.5 Model Inference
-
-입력 : text prompt, reference image, pose/depth sequence
-
-Video ControlNet control scale : 1 (pose/depth에서만)
-
-multi-controlnet을 통해 pose & depth 동시 사용 가능
-
-Eq 1의 face/body guidance strength : $\alpha_f,\alpha_c$는 적응하도록
-
-text prompt만 사용할 때 $\alpha_f=\alpha_c=0$
-
-
-:::{figure-md}
-
-
-Figure 2. The results of DreaMoving with text prompt as input
-:::
-
-:::{figure-md}
-
-
-Figure 3. The results of DreaMoving with text prompt and face image as inputs
-:::
-
-:::{figure-md}
-
-
-Figure 4. The results of DreaMoving with face and cloth images as inputs
-:::
-
-:::{figure-md}
-
-
-Figure 5. The results of DreaMoving with stylized image as input
-:::
+``` {admonition} Information
+- **Title:** DreaMoving: A Human Video Generation Framework based on Diffusion Models
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2311.17117](https://arxiv.org/abs/2312.05107)
+ - Code: [Official](https://github.com/dreamoving/dreamoving-project)
+ - Project Page : [https://dreamoving.github.io/dreamoving/](https://dreamoving.github.io/dreamoving/)
+
+- **Author:** Geonhak Song
+
+- **Last updated on {March. 13, 2024}**
+
+```
+
+# DreaMoving
+
+## Abstract
+
+- 고품질 customized human video 생성을 위해 제어가능한 diffusion 기반 video generation framework인 DreaMoving 제안
+- target identity와 posture sequence가 주어졌을 때, target identity moving이나 dancing video 생성이 가능하다.
+- 추가 제안 모듈 : motion-controlling을 위한 **Video ControlNet** & identity preserving을 위한 **Content Guider**
+
+## 1. Introduction
+
+- T2V의 진전에도 인간 중심 기반 생성에는 어려움을 겪는 중.
+- open-source human dance video dataset의 부족, text 묘사의 어려움으로 인해 frame간 일관성, 긴 길이, 다양성을 포함한 비디오 생성에 어려움을 겪는다.
+- personalization과 controllability 의 어려움 또한 존재
+- 구조적 제어를 위한 ControlNet, appearance 제어를 위한 Dreambooth, LoRA
+- 그러나 이 기술들은 정확한 제어가 어렵고 hyperparameter tuning 요소가 존재 & 추가 계산 부담
+- 이에 새로운 방법론인 DreaMoving 제안
+
+## 2. Architecture
+
+:::{figure-md}
+
+
+Figure 1. The overview of DreaMoving
+:::
+
+- LDM 기반 모델을 기반으로 3가지 주요 network로 구성
+ - U-Net, Video ControlNet, Content Guider
+- AnimateDiff에서 영감을 받아 U-Net 각 block 이후 motion block을 추가
+- Plug-in : motion-controlling을 위한 **Video ControlNet** & identity preserving을 위한 **Content Guider**
+
+### 2.1 Data Collection and Preprocessing
+
+- 인터넷에서 human dance video 1000의 고품질 영상으로 훈련
+- temporal module 훈련은 변이나 특별한 효과 없는 연속적 frame이 필요하기 때문에 clip video로 split하여 6000개의 짧은 비디오를 획득한다.(8~10s)
+- text description을 위해서 Minigpt-v2([https://minigpt-v2.github.io/](https://minigpt-v2.github.io/))를 video-captioner로 사용
+ - “[grounding] describe this frame in a detailed manner”의 명령으로 획득
+ - subject와 background 내용에 대해 정확히 묘사
+
+### 2.2 Motion Block
+
+- temporal consistency와 motion fidelity 향상을 위해서 U-Net과 ControlNet를 motion block으로 통합.
+- motion block은 AnimateDiff로 확장. temporal sequence length는 64로 확장
+- 초기화 : AnimateDiff (mm_sd_v15.ckpt)
+- 개인 인물 dance video로 finetuning
+
+### 2.3 Content Guider
+
+- Content Guider는 인물의 appearance와 배경을 포함한 생성된 video의 내용을 제어하기 위해 고안됨.
+- 가장 간단한 방법은 text prompt이지만, 개인화된 인물 외관 묘사가 어렵다.
+- IP-Adapter에 영감을 받아 image prompt를 활용해 인물 외관에 대한 guidance를 주고 배경에 대해서는 text prompt 사용
+- 얼굴 이미지는 image encoder를 통해 encode
+- text feature & 인물 외관 feature는 마지막 content embedding에 concat된 후 cross-attention에 보냄
+
+:::{figure-md}
+
+
+Equation 1 Content Guider cross attentino output given query, text, face, cloth features
+:::
+
+- $Z$ : query features
+- $c_t$ : text features / $c_f$ : face features / $c_c$ : cloth features
+- $Z^\prime$ : cross-attention output
+
+## 2.4 Model Training
+
+**2.4.1 Content Guider Training**
+
+- Base Model : SD v1.5 기반
+- Image Encoder : OpenCLIP ViT-H14
+- reference face identity 보존을 위해 Arcface를 통해 얼굴 상관 feature 추출.
+- LAION-2B에서 human data 수집
+- 훈련 : 512x512 random crop & resize
+- GPU : 8 V100, 100k steps, 16 batch size/GPU 1장
+- Optimizer : AdamW
+- learning rate : 1e-4, decay 1e-2
+
+**2.4.2 Long-Frame Pretraining**
+
+- WebVid-10M validation set (5k video clips)에서 motion module의 sequence length를 16에서 64로 확장하기 위한 training stage 수행
+ - WebVid-10M validation set (5k video clips) : 평균 18초, 총 13000 시간
+- U-Net motion module만 훈련하고 나머지는 freeze
+- ControlNet이나 image guidance 사용 안 함.
+- learning rate : 1e-4
+- resolution : 256x256 resize & center crop
+- batch size 1, 10k steps 이후 훈련 종료
+
+**2.4.3 Video ControlNet Training**
+
+- long-frame pretraining 이후, **Video ControlNet** 훈련 진행.
+- U-Net 고정 & **Video ControlNet의 (U-Net block과 motion block)**은 unfreeze
+- 수집한 6k human dance video data 훈련
+- DWPose나 ZoeDepth를 통한 human pose 또는 depth를 추출.
+- learning rate : 1e-4
+- resolution : 352x352
+- batch size 1, 25k steps 이후 훈련 종료
+
+**2.4.4 Expression Fine-Tuning**
+
+- 사람 표현을 더 낫게하기 위해 **Video ControlNet**을 포함한 **U-Net의 motion block** 구조에서 6k human dancing video data로 추가 fine-tuning
+- U-Net motion block weight만 update
+- learning rate : 5e-5
+- resolution : 512x512
+- batch size 1, 20k steps 이후 훈련 종료
+
+### 2.5 Model Inference
+
+입력 : text prompt, reference image, pose/depth sequence
+
+Video ControlNet control scale : 1 (pose/depth에서만)
+
+multi-controlnet을 통해 pose & depth 동시 사용 가능
+
+Eq 1의 face/body guidance strength : $\alpha_f,\alpha_c$는 적응하도록
+
+text prompt만 사용할 때 $\alpha_f=\alpha_c=0$
+
+
+:::{figure-md}
+
+
+Figure 2. The results of DreaMoving with text prompt as input
+:::
+
+:::{figure-md}
+
+
+Figure 3. The results of DreaMoving with text prompt and face image as inputs
+:::
+
+:::{figure-md}
+
+
+Figure 4. The results of DreaMoving with face and cloth images as inputs
+:::
+
+:::{figure-md}
+
+
+Figure 5. The results of DreaMoving with stylized image as input
+:::
diff --git a/_sources/docs/review/DreamBooth3D.md b/_sources/docs/review/DreamBooth3D.md
index ef30f892..df4255dc 100755
--- a/_sources/docs/review/DreamBooth3D.md
+++ b/_sources/docs/review/DreamBooth3D.md
@@ -1,547 +1,547 @@
-# Dream Booth 3D
-``` {admonition} Information
-- **Title:** DreamBooth3D: Subject-Driven Text-to-3D Generation
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2303.13508](https://arxiv.org/abs/2303.13508)
- - Project Page : [https://dreambooth3d.github.io/](https://dreambooth3d.github.io/)
-
-- **Author:** Jeongin Lee
-
-- **Last updated on {Sep. 3, 2024}**
-
-```
-
-## 0. Abstract
-
-- **DreamBooth3D : 피사체의 3-6개의 캐주얼한 촬영 이미지로부터 text-to-3D 생성 모델을 personalization (맞춤화)**
-
-
-- DreamBooth + DreamFusion 의 결합
- - DreamBooth : personalizing text-to-image models
- - DreamFusion : text-to-3D generation
-- 두 방법론을 나이브하게 결합시 subject의 input viewpoints 에 대해 오버피팅하는 개인화된 t2i 모델로 인해 Subject 에 대해 만족스럽지 못한 3D 결과물 생성
-- t2i 모델의 개인화 기능과 함께 NERF의 3D 일관성을 공동으로 활용하는 3단계 최적화 전략 (3-stage optimization strategy)을 통해 이를 극복
-- Subject 의 입력 이미지에서 볼 수 없는 새로운 포즈, 색상 등 에 대해 텍스트 중심 수정을 통해 고품질의 subject 중심의 3D 결과물 생성 가능
----
-
-## 1. Introduction
-
-- **도입**
- - 3D asset생성은 VR, 영화, 게임 등 다양한 분야에 응용 가능하나, 텍스트 프롬프트만으로 생성된 3D asset 의 정체성, 기하학적 구조, 외관을 정확하게 제어하기 어려움.
- - 특히, 특정 subject 의 특성을 반영하는 3D assets 를 생성하는 능력에 대한 개발 필요
- - T2I 모델 subject personalization (맞춤화, 개인화) 태스크에서 성공적인 결과를 보인 연구들은 많지만, 3D asset 생성이나 3D control 을 제공하지는 않음.
- - **DreamBooth3D**는 소수의 (3-6개) 캐주얼하게 촬영된 이미지로부터 subject 중심의 텍스트-3D 생성을 제안
-
- ⇒ NeRF 와 T2I 모델을 함께 최적화하여 subject 중심의 3D 자산을 생성하자 !
-
-- **문제점**
- - subject에 맞게 개인화된 T2I 모델 & **NeRF** 를 최적화 하는 것은 여러 실패 사례가 발생
- - 주요 문제 : 개인화된 T2I 모델이 제한된 주제 이미지의 카메라 뷰포인트에 과적합
- - 연속적인 임의의 뷰포인트에서 일관된 3D **NeRF** 결과물을 최적화하는 데 충분하지 않음.
-
-- **해결책**
- - **DreamBooth3D**는 효과적인 3단계 최적화 방식을 제안
- - **Dream Booth** , **Dream Fusion** 사용
- ---
- **[STEP 1️⃣]**
- - **DreamBooth** 모델을 부분적으로 미세 조정
- - **DreamFusion**을 사용하여 **NeRF** 최적화
- - 부분적으로 미세 조정된 DreamBooth 모델은 주어진 대상 뷰에 과적합 되지 않으며 모든 subject별 세부 정보를 캡처하지 않음
- - 결과적으로 생성된 **NeRF** 자산은 3D 일관성이 있지만 subject 에 대한 특성을 완전히 반영하지못함.
-
- **[STEP 2️⃣]**
- - **DreamBooth** 모델을 완전히 미세 조정하여 세부 사항을 캡처
- - 1단계에서 학습된 NeRF의 다중 뷰 렌더링을 완전히 학습된 **DreamBooth** 모델에 투입
- - 이를 통해 subject 별로 다중 뷰 가상 이미지 집합을 생성
-
- **[STEP 3️⃣]**
- - 1단계의 주어진 subject 이미지와 가상(pseudo) 다중 뷰 이미지를 사용하여 **DreamBooth** 모델을 추가로 최적화
- - 추가 최적화한 **DreamBooth** 로 NeRF 3D 볼륨을 최종 최적화
- - 최종 NeRF 최적화시 추가 규제항으로 pseudo 다중 뷰 데이터 세트에 대한 weak reconstruction loss를 사용
- - 3단계에 걸친 NeRF 및 T2I 모델의 합동 최적화는 **DreamBooth** 모델이 subject 의 특정 view point 에 과적합되는 것을 방지하는 동시에 동시에 결과 NeRF 모델이 대상의 정체성에 충실하도록 보장
- ---
-
-- **결과**
- - 실험 샘플 결과들을 통해 본 접근 방식이 입력 텍스트 프롬프트에 존재하는 컨텍스트를 존중하면서 주어진 대상과 유사성이 높은 현실적인 3D 자산을 생성할 수 있음을 입증
- - 여러 베이스라인과 비교할 때, 정량적 및 정성적 결과는 DreamBooth 3D 생성이 보다 3D 일관성이 있고 대상 세부 사항을 더 잘 포착한다는 것을 입증
-
----
-
-## 2. Related Work
-
-1. **Text-to-Image Generation.**
-- 텍스트 조건 반영 : 사용자가 제공한 자연어 텍스트 프롬프트에 정렬된 이미지를 생성하기 위해 사전 학습된 large language model (LLM) 을 활용
-- T2I diffusion 모델의 성공에 힘입어, 많은 작품들이 텍스트 기반 이미지 조작과 같은 다양한 작업에 사전 학습된 T2I 모델을 활용합니다
-2. **3D Generation.**
-- 최근 사전 학습된 대규모 T2I diffusion 모델을 활용하여 텍스트 프롬프트에서 3D 자산을 생성할 수 있는 text-to-3D 방법이 제안
-- 기존 방법론
- - 텍스트를 통해 t2i 모델로 이미지를 직접 reconstruction
-- 본 방법론
- - 입력 이미지를 직접 reconstruction 하지 않고 suject 개념을 제공하기 위한 입력 이미지 사용 → Recontextualization 수행 가능 (sleeping, jumping, color…etc)
- - 입력 이미지를 동일한 배경, 조명, 카메라 등으로 촬영할 필요가 없음.
-3. **Subject-driven Generation.**
-- Subject 중심 이미지 생성의 최근 발전을 통해 사용자는 특정 대상과 개념에 대해 이미지 생성을 개인화(맞춤화)
-- **DreamBooth**
- 희귀 토큰, 모델 finetuning, 규제를 위한 prior preservation loss를 사용하여 모델의 언어 비전 사전을 확장하여 이를 달성
-- **Textual Inversion**
- 입력 개념을 나타내는 사전 학습된 text-to-image 모델의 임베딩 공간에서 새로운 word 를 최적화함으로써 이를 달성
-
- :::{figure-md}
- 
-
- Textual Inversion \ (source: {https://arxiv.org/abs/2208.01618})
- :::
-
-**→** 이러한 방법론들은 3D asset 을 제공하지 않고 일관성 있는 3D 이미지를 생성할 수 없음.
-
-
-# **3. Approach**
-
- **Problem setup.**
-:::{figure-md}
-
-
-Input and Output
-:::
-
-- Input : subject 이미지 집합, 텍스트 프롬프트
- - $\left\{I_i \in \mathbb{R}^{n \times 3}\right\}(i \in\{1, \ldots, k\})$ : 각 n개의 픽셀, k 장의 subject 이미지들의 집합
- - context(맥락) 부여, 의미 변화를 위한 텍스트 프롬프트 T (ex) sleeping, standing…etc.
-
----
-🌟 **Goal**
-텍스트 프롬프트에 충실하면서 주어진 subject 의 identity (기하 형태 및 외관)을 반영하는 3D assets 생성
----
-
-- 3D volume 에서 radiance 필드를 인코딩하는 MLP 네트워크 $M$ 으로 구성된 Neural Radiance Fields (NeRF) 를 기반으로 3D assets 를 최적화
-- 본 문제는 **subject 이미지에 대한 반영이 필요**하기 때문에, 일반적인 multi-view 이미지 캡처가 필요한 3D reconstruction 설정에 비해 상당히 제한적이고 어려운 문제
-- T2I personalization 및 Text-to-3D 최적화의 최근 발전을 기반으로 기술을 구축
-
- ⇒ DreamBooth personalization + DreamFusion text-to-3D로 최적화를 사용
-
-
-## 3.1. Preliminaries
----
-
-### 3.1.1 **T2I diffusion models**
-
-- T2I diffusion models : Imagen, StableDiffusion and DALL-E 2 …etc..
-- T2I diffusion model $\mathcal{D}_\theta(\epsilon, \mathbf{c})$
- - input :초기 노이즈 $\epsilon$ , 프롬프트 텍스트 임베딩 $\mathbf{c}$
- - an initial noise $\epsilon \sim \mathcal{N}(0,1)$
- - text embedding $\mathbf{c}=\Theta(T)$ (a given prompt $T$ with a text encoder $\Theta$)
- - output : 프롬프트를 반영하여 생성한 이미지
-- T2I diffusion model 을 통해 생성된 이미지는 일반적으로 프롬프트와 일치하지만 생성된 이미지내에서 세부적인 제어가 어려움. → **DreamBooth** 를 통해 이를 해결
-
----
-
-### 3.1.2 **Dream Booth T2I Personalization.**
-:::{figure-md}
- 
-
-특정 피사체에 대한 소수의 이미지 집합 (3-5장) 을 통해 텍스트로 주어지는 Context 에 맞는 맞춤화 이미지 생성
-:::
-
-- $\left\{I_i\right\}$ 에서 네트워크를 파인튜닝하여 T2I diffusion 모델을 맞춤화, $\left\{I_i\right\}$ : a small set of casual captures
-- DreamBooth diffusion loss : T2I model 파인튜닝을 위해 사용
-
- $$
- \mathcal{L}_d=\mathbb{E}{\epsilon, t}\left[w_t\left\|\mathcal{D}_\theta\left(\alpha_t I_i+\sigma_t \epsilon, \mathbf{c}\right)-I_i\right\|^2\right],
- $$
-
- - $t \sim \mathcal{U}[0,1]$ : the time-step in the diffusion proces
- - $w_t, \alpha_t, \sigma_t$ : the corresponding scheduling parameters
-- **DreamBooth Class prior preserving loss**
-
- DreamBooth 는 $\left\{I_i\right\}$ 에 대한 **over fitting** 을 방지하여 다양성을 개선하고, **language drift** 현상을 피하기 위해 선택적으로 **class prior preserving loss 를 사용**
-
-- **최종 loss : reconstruction loss + class prior preservation loss**
-
-$$
-\mathbb{E}_{x, c, \epsilon, \epsilon^{\prime}, t}\left[w_t\left\|\hat{x_\theta} \left(\alpha_t x+\sigma_t \epsilon, c\right)-x\right\|_2^2+\lambda w_{t^{\prime}}\left\|\hat{x}_\theta\left(\alpha_{t^{\prime}} x_{p r}+\sigma_{t^{\prime}}\epsilon^{\prime}, c_{pr}\right)-x_{pr}\right\|_2^2\right]
-$$
-
-- **(example) over fitting**
-:::{figure-md}
- 
-
-over fitting
-:::
-
-- **(example) language-drift**
-:::{figure-md}
- 
-
-language-drift
-:::
-
-
----
-
-### 3.1.3 **DreamFusion**
-:::{figure-md}
-
-
-DreamFusion process / (source : [DreamFusion](https://pseudo-lab.github.io/pseudodiffusers/docs/review/DreamFusion.html))
-:::
-
-- T2I diffusion model을 사용하여 볼륨의 랜덤뷰가 프롬프트 $T$ 에 상응하도록 NeRF $\mathcal{M}_\phi$ ($\phi$ : parameters) 를 통해 표현된 볼륨을 최적화
-
-- normals : 밀도의 그래디언트로부터 계산된 nomals은 Lambertian shading 으로 기하학적 사실성을 개선시키기 위해 모델을 랜덤으로 relight 하는데 사용됨.
-
-- $\mathcal{M}_\phi$ : mapping (camera, light (location) → albedo &density)
- - 랜덤 뷰 $v$, 랜덤 조명(light) 방향이 주어지면 shaded(음영 처리된) 이미지 $\hat{I}v$ 로 볼륨 렌더링을 수행
-- 이 때 볼륨 렌더링한 이미지가 텍스트 프롬프트 $T$ 처럼 보이도록 NeRF $\phi$ 의 매개변수를 최적화하기 위해 DreamFusion 은 score distillation sampling ***(SDS)** 를 도입
-
-- **score distillation sampling (SDS)**
-
- $$
- \nabla_\phi \mathcal{L}_{SDS}=\mathbb{E}{\epsilon, t}\left[w_t\left(\mathcal{D}_\theta\left(\alpha_t \hat{I}_v+\sigma_t \epsilon, \mathbf{c}\right)-\hat{I}_v\right) \frac{\partial \hat{I}_v}{\partial \phi}\right] .
- $$
-
-- 렌더링된 이미지의 노이즈가 처리된 버전들을 T2I diffusion model의 낮은 에너지 상태로 push
-
-- 다양한 views를 랜덤으로 선택하고, NeRF 를 통해 역전파 함으로써,
-rendering 결과들이 T2I model $\mathcal{D}_\theta$ 로 주어진 프롬프트에 맞게 생성된 이미지처럼 보이도록 함.
-
-- **DreamFusion** 에서 사용된 실험 환경을 정확하게 동일하게 사용함.
-
-## 3.2 Failure of Naive Dreambooth+Fusion
----
-- **피사체(subject) 중심 text-to-3D 생성을 위한 직관적인 접근 방식**
-
- 1. subject에 대해 **T2I model 을 pesonalized(맞춤화)**
- 2. 맞춤화된 T2I model 을 **text-to-3D optimization** 을 위해 사용
-
-- **즉, DreamBooth 최적화(personalized) ⇒ DreamFusion 최적화**
-
-- **BUT**, **Naive Dreambooth+Fusion 의 결합은 불만족스러운 결과를 초래**
-
-:::{figure-md}
- 
-훈련된 이미지 내의 subject 의 뷰에 과적합된 예시
-:::
-
----
-> 핵심 문제 (KEY Issue)
-
-- **Dream Booth**가 **훈련된 뷰에 존재하는 subject 의 뷰에 과적합** 되어
-**이미지 생성에서 viewpoint 에 대한 다양성이 감소**하는 경향을 보임.
-
-- 미세 조정 단계가 증가할수록, Subject 유사성 증가 (👍)
-**BUT** input exemplar views에 유사하도록 viewpoints 생성 (👎)
- ⇒ 즉, 다양한 시점에서 이미지를 생성하는 능력이 저하됨.
----
-
-- 이런 DreamBooth 모델 기반의 NeRF SDS 손실은 일관된 3D NeRF 결과물을 얻기에 불충분
-
-- **DreamBooth+Fusion NeRF** 모델이 **서로 다른 view** 에 걸쳐 학습된 **동일한 대상에 대한 뷰**(예: face of a dog : 다양한 각도에서 본 동일한 dog face)를 가지고 있음.
- - **"Janus problem"** : 두 가지 상반되거나 연관된 측면을 동시에 다루어야 하는 문제
-
-
-## 3.3. Dreambooth3D Optimization
----
-:::{figure-md}
- 
-
-DreamBooth3D Overview
-:::
-
-- DreamBooth3D Overview
-
-**stage-1 (왼쪽)**: 먼저 DreamBooth를 부분적으로 훈련시키고, 결과 모델을 사용하여 초기 NeRF를 최적화
-
-**stage-2 (가운데)**: 초기 NeRF에서 랜덤 시점에 따라 다중 시점 이미지를 렌더링한 후, 완전히 훈련된 DreamBooth 모델을 사용하여 이를 가상 다중 시점 subject 이미지로 변환
-
-**stage-3 (오른쪽)**: 다중 시점 이미지를 사용하여 부분적인 DreamBooth를 추가로 미세 조정한 다음, 결과적으로 얻어진 다중 시점 DreamBooth를 사용하여 최종 NeRF 3D 자산을 SDS 손실과 다중 시점 재구성 손실을 통해 최적화
-
-- 위의 문제를 해결하고 성공적인 subject 맞춤 text-to-3D 생성을 위해 효율적인 3단계 최적화 방식을 기반으로 한 Dream-Booth3D 제안
-
----
-
-### **3.3.1 Stage 1️⃣: 3D with Partial DreamBooth**
-
-:::{figure-md}
- 
-
-Stage-1 : 3D with Partial DreamBooth
-:::
-
-- 입력된 Subject 이미지를 사용하여 DreamBooth 모델 $\hat{\mathcal{D}}_\theta$ 를 훈련
-
----
-🌟 **DreamBoothT2I 모델의 초기 체크포인트가 (=부분적으로 파인튜닝한 결과) 주어진 subject view에 과적합되지 않음을 확인**
-
- ⇒ partial DreamBooth (부분적으로 파인튜닝한 Dreambooth)
----
-
-- **partial DreamBooth** 모델 하에 DreamFusion은 더 일관된 3D NeRF를 생성가능
-- NeRF 최적화시 SDS 손실 사용 :
- - $\nabla_\phi \mathcal{L}_{SDS}=\mathbb{E}{\epsilon, t}\left[w_t\left(\hat{\mathcal{D}}_\theta^{\text {partial }}\left(\alpha_t \hat{I}_v+\sigma_t \epsilon, \mathbf{c}\right)-\hat{I}_v\right) \frac{\partial \hat{I}_v}{\partial \phi}\right]$
- - $\hat{\mathcal{D}}_\theta^{\text {partial }}$: **partial DreamBooth**
- - SDS 손실을 사용하여 주어진 텍스트 프롬프트에 대한 초기 NeRF 자산을 최적화
-- **partial DreamBooth** 모델과 NeRF 결과물은 입력된 subject 와 완전히 유사하지 않음
-
----
-
-🌟 즉, **Stage-1️⃣ 에서의 초기 NeRF** 는 **주어진 subject 와 부분적으로ㅁ 유사**하면서,
-**주어진 텍스트 프롬프트에 충실한** **subject class 3D 모델**
-
----
-
-### **3.3.2 Stage 2️⃣: Multi-view Data Generation**
-
-:::{figure-md}
- 
-
-Stage-2: Multi-view Data Generation
-:::
-
----
-
-🌟 **Stage-2 Multi-view Data Generation : 본 접근법의 가장 중요한 부분**
-
-일관성을 갖춘 **3D initial NeRF** 와 **fully-trained DreamBooth** 를 사용하여 **pseudo multi-view subject** 이미지들을 생성
-
----
-
-1. **Initial NeRF** 로부터 다양한 랜덤 viewpoints $\{v\}$을 따라 여러 이미지$\left\{\hat{I}v \in \mathbb{R}^{n \times 3}\right\}$ 를 렌더링하여 다중 시점 렌더링을 생성
-2. 각 **렌더링에 고정된 양의 노이즈를 추가하는 forward diffusion** 과정을 통해 $t_{pseudo}$로 전환
-3. reverse diffusion 과정을 실행하여 **fully-trained DreamBooth** 모델 $\hat{\mathcal{D}}_\theta$ 를 사용하여 샘플을 생성
- - 샘플링 과정은 각 뷰에 대해 독립적으로 수행
- - **Initial NeRF 결과물** 에 노이즈를 추가한 noisy render 를 조건으로 지정함으로써, 넓은 범위의 시점을 커버하면서 subject 를 잘 나타내는 이미지 생성 가능
- ⇒ 다양한 노이즈가 있는 이미지를 조건으로 학습시, 다양한 변형에 대한 학습 가능하기 때문
- - **BUT** reverse diffusion 과정은 다른 뷰에 다른 세부 사항을 추가할 수 있기 때문에 결과 이미지는 multi-view 에 대한 일관성이 없음.
-
- ⇒ 가상(pseudo) 다중 시점 이미지 집합 **(collection of pseudo multi-view images)**
-
-
----
-
-🔑 **Key insight**
-1. 초기 NeRF 이미지가 unseen views 에 가까울 경우,
- DreamBooth가 Subject 의 unseen views를 효과적으로 생성 가능
-
-2. 입력 이미지에 비해 Subject 와 더 유사한 출력 이미지를 효과적으로 생성가능**
-
----
-
-
-- 위 그림을 통해 체크할 부분
-
- :::{figure-md}
- 
-
- :::
-
- - **fully-trained DreamBooth** 를 사용한 Img2Img 변환의 샘플 출력
- - 입력 NeRF 렌더링의 시점을 유지하면서도 subject 이미지와 더 유사한 모습
- - 기존 연구들과 달리 Img2Img 변환을 DreamBooth, NeRF 3D assets 과 결합하여 사용 (기존 연구의 경우 Img2Img 변환을 이미지 editing 응용으로만 사용)
-
-### **3.3.3 Stage3️⃣: Final NeRF with Multi-view DreamBooth**
-
-:::{figure-md}
- 
-
-Stage-3 : Final NeRF with Multi-view DreamBooth
-SDS와 multi-view reconstruction 손실을 사용한 최종 NeRF 최적화
-:::
-
-> **새로운 데이터 $I^{\text{aug}}$ 생성**
-
-- 가상 다중 시점 이미지 $\left\{I_v^{\text {pseudo }}\right\}$, 입력 Subject 이미지 $\left\{I_i\right\}$ 의 결합을 통해 생성
-
-$$
-I^{\text {aug }}=\left\{I_v^{\text {pseudo }}\right\} \cup\left\{I_i\right\}
-$$
-
-> **$I^{\text {aug}}$ 를 사용하여 최종 Multi-view DreamBooth 모델을 최적화**
-
-1. 1단계에서 **partial DreamBooth** $\hat{\mathcal{D}}_{\theta^*}$ 준비
-2. 위의 증강 데이터 $I^{\text {aug}}$ 를 사용하여 $\hat{\mathcal{D}}_{\theta^*}$ 에 대한 **파인튜닝**을 추가 진행
-3. **Multi-view DreamBooth** $\hat{\mathcal{D}}_\theta^{\mathrm{multi}}$ 를 생성
-
-> $\hat{\mathcal{D}}_\theta^{\text {multi }}$ **모델을 사용하여 DreamFusion SDS Loss 와 함께 NeRF 3D assets 를 최적화**
-
-- 1단계의 **partial DreamBooth**에 비해 **multi-view DreamBooth** 의 뷰 일반화와 subject 보존 능력이 더 우수하기 때문에 **subject idendtity가 상당히 향상된 NeRF 모델 생성 가능**
-- **BUT** SDS 손실만 사용시 최적화된 NeRF assets 이
- - 주어진 subject 에 대해 우수한 기하학적 유사성 보유
- - **Color saturation artifacts 현상 다수 발생**
- - 이를 해결하기 위해 $\left\{I_v^{\mathrm{pseudo}}\right\}$ 를 사용한 새로운 **weak reconstruction loss** 도입
- - **** Color saturation artifacts :**
- - 색상의 과도한 포화(saturation)로 인해 비현실적이거나 왜곡된 색상 표현이 나타나는 결함 현상
- - 모델이 특정 색상을 과도하게 강조하는 경우 발생
- - 색상 값을 잘못 예측하여 비현실적인 색상 표현이 나타난 경우 발생
- - 다양한 시점에서 일관된 색상 표현을 유지하지 못한 경우 발생
-
----
-
-**Reconstruction loss**
-
-- $\left\{I_v^{\mathrm{pseudo}}\right\}$ 가 생성된 카메라 매개변수 $\left\{P_v\right\}$ 정보를 알고 있으므로,
-두 번째 NeRF MLP $\mathcal{F}\gamma$ 의 훈련을 **reconstruction loss** 를 통해 추가로 규제
-
- $$
- \mathcal{L}_{recon }=\left\|\Gamma\left(\mathcal{F}_\gamma, P_v\right)-I_v^{\text {pseudo }}\right\|_p,
- $$
-
- - $\Gamma\left(\mathcal{F}\gamma, P_v\right)$ : 카메라 시점 $P_v$ 를 따라 NeRF $\mathcal{F}\gamma$ 에서 이미지를 렌더링하는 함수
-- **Reconstruction loss 의 목적**
- - 생성된 볼륨의 색상 분포를 image exemplars 과 더 가깝게 조정
- - unseen views에서 subject 유사성을 향상
-
- **Final NeRF Loss function**
-
-$$
-\mathcal{L}=\lambda_{\text {recon }} \mathcal{L}_{\text {recon }}+\lambda_{\text {SDS }} \mathcal{L}_{\text {SDS }}+\lambda_{\text {nerf }} \mathcal{L}_{\text {nerf }}
-$$
-
-- $\mathcal{L}_{\text {nerf }}$ 는 Mip-NeRF360 [2]에서 사용된 추가적인 NeRF 정규화
-
----
-
-# 4. Experiments
----
-
- **Implementation Details.**
-
-- **사용 모델**:
- - T2I : Imagen T2I 모델
- - Text-encoding: T5-XXL
- - NeRF : DreamFusion
-- **훈련 시간**: 4core TPUv4, 각 프롬프트당 3단계 최적화를 완료하는 데 약 3시간 소요
-- **훈련 단계**:
- - **부분 DreamBooth 모델 ($D_θ^{partial}$)** : 150번의 반복훈련
- - **전체 DreamBooth 모델 ($D_θ$)** : 800번 반복 훈련시 최적의 성능
-- **pseudo multi-view data generation :**
-원점에서 고정된 반경으로 균일하게 샘플링한 20개의 이미지를 렌더링
-- **Stage-3 Multi-view DreamBooth** $\hat{\mathcal{D}}_\theta^{\mathrm{multi}}$:
-3단계에서 추가로 150번 반복하여 부분적으로 훈련된 $\hat{D}_{θ}^∗$ 모델을 Finetuning
-- **Hyperparams :** supplementary material 참고
----
- **Datasets.**
-
-- **훈련 데이터**: 공개된 이미지 컬렉션을 사용하여 personalized text-to-3D 모델을 훈련
- - 다양한 subject(개, 장난감, 배낭, 선글라스, 만화 캐릭터 등) 의 4-6개의 casual 이미지를 포함한 30개의 다른 이미지 컬렉션으로 구성
-- **희귀 객체 성능 분석**: "올빼미 장식품"과 같은 희귀한 대상의 성능을 분석하기 위해 추가 이미지 수집
-- 3-6개의 프롬프트에 대해 각 3D 모델을 최적화하여 3D contextualizations 문맥화 시연
----
- **Baselines.**
-
-- **Latent-NeRF**
- - RGB 픽셀 공간이 아닌 Stable Diffusion 의 latent feature 공간에서 SDS 손실을 통해 3D NeRF 모델을 학습
- - baseline 으로써 fully dreamboothed T2I model 를 사용하여 Latent-NeRF 실행
-- **DreamFusion+DreamBooth**: DreamBooth 확산 모델을 먼저 훈련한 후 DreamFusion을 사용하여 3D NeRF를 최적화하는 단일 단계 접근 방식
-- **본 연구의 3단계 최적화 기반 방법론** : "DreamBooth3D"
----
- **Evaluation Metrics.**
-
-- **CLIP R-Precision**
- - rendering된 장면들이 주어졌을 때 프롬프트와 얼마나 정확하게 일치하는지 비율을 나타냄.
- - CLIP ViT-B/16, ViT-B/32, ViT-L-14 모델을 평가에 사용
-- 추가적으로 user study 수행 (뒤에 언급)
-
-## 4.1. Results
-
-**Visual Results**
-
-:::{figure-md}
- 
-
-:::
-
-- **비교 결과**: DreamBooth3D, Latent-NeRF, DreamBooth+Fusion 기준 모델의 비교
- - Latent-NeRF : 일부 경우(오리)에서 적절히 작동하지만, 대부분의 경우 일관된 3D 모델을 생성하는 데 실패
- - DreamBooth+Fusion : 여러 시점에서 동일한 외형 및 구조를 보임
- - DreamBooth3D : 360도 일관된 3D Asset을 생성하며, 주어진 subject 의 기하학적 구조 및 외관의 세부 사항을 잘 반영함
----
-
- **Initial vs. Final NeRF**
-
-:::{figure-md}
- 
-
-:::
-
-- 1단계와 3단계에서 생성된 초기 NeRF와 최종 NeRF 결과
-- 초기 NeRF : 주어진 subject 와 부분적으로만 유사, 3D 일관성을 유지
-- 최종 NeRF : 주어진 subject 와 더 유사하, 일관된 3D 구조를 유지
-- 이러한 예시는 DreamBooth3D의 3단계 최적화가 필요함을 입증 (?)
-
----
- **User Study.**
-
-:::{figure-md}
- 
-
-:::
-
- → DreamBooth3D와 비교 모델들을 세가지측면에 대해 아래의 질문에 대한 답변으로 평가**
-
-1. **subject 충실도**: "어떤 3D 항목이 subject 와 더 유사하게 보입니까?"
-2. **3D 일관성과 타당성**: "어떤 3D 항목이 더 타당하고 일관된 기하학적 구조를 가지고 있습니까?"
-3. **프롬프트 충실도**: "어떤 비디오가 제공된 프롬프트를 더 잘 반영합니까?"
-- **연구 방법**
- - 3D 일관성과 주제 충실도 연구에서는 데이터셋의 30개 subject 각각에 대해 회전 비디오 결과를 제시하고 11명의 사용자가 각 쌍에 대해 응답
- - 프롬프트 충실도 연구에서는 54개의 고유한 프롬프트와 주제 쌍에 대해 비디오를 생성하고, 21명의 사용자가 응답
-- **최종 결과**
- - 최종 결과는 다수결 투표를 통해 산출
- - DreamBooth3D는 3D 일관성, 주제 충실도, 프롬프트 충실도에서 기준 모델들보다 유의미하게 더 선호됨.
-
-
-## 4.2. Sample Applications
-:::{figure-md}
- 
-
-:::
-
-- **Recontextualization. (재문맥화)**
- - 단순한 프롬프트를 사용하여 다양한 개 주제의 3D 모델로 재문맥화한 샘플 결과
- - 모든 subject 에서 텍스트 프롬프트에 주어진 문맥을 일관되게 반영
- - 출력된 3D 모델의 자세와 로컬 변형은 입력 이미지에 없는 포즈임에도 불구하고 매우 사실적
-
-:::{figure-md}
- 
-
-:::
-
-- **Color/Material Editing.**
- - 색상 편집 및 재질 편집
-- **Accessorization**
- - subject 에 액세서리 추가
-
-:::{figure-md}
- 
-
-:::
-
-- **Stylization**
- - 크림색 신발을 색상과 프릴 추가를 기반으로 스타일화
-- **Cartoon-to-3D**
- - 비사실적 피상체 이미지(예: 2D 평면 캐릭터)를 그럴듯한 3D 형태로 변환
- - 모든 subject 이미지가 정면임에도 불구하고, 그럴듯한 3D 결과물 생성
-
-
-## 4.3. Limitations
----
-:::{figure-md}
- 
-
-limitations
-:::
-
-1. 최적화된 3D 표현이 때때로 과도하게 포화되고 매끄럽게 처리되는 경우가 존재
- 1. 높은 가중치 가이던스를 가진 SDS 기반 최적화에 의해 발생
- 2. 64×64 픽셀이라는 상대적으로 낮은 이미지 해상도로 제한되어 발생
- 3. diffusion 과 NeRF 의 효율성 향상은 더 높은 해상도로 확장할 수 있는 가능성을 제공
-2. Janus problem : 최적화된 3D 표현은 입력 이미지에 시점 변화가 없으면 여러 불일치한 시점에서 정면으로 보이는 viewpoints 불일치 문제가 발생
-3. 선글라스와 같은 얇은 객체 구조를 재구성하는 데 어려움이 존재
-
-# 5. Conclusion
-
-- Subject 중심의 텍스트-3D 생성을 위한 방법인 DreamBooth3D를 제안
-- Subject 에 대한 소규모 casual 이미지 셋트가 주어지면, (카메라 포즈와 같은 추가 정보 없이)
-입력 텍스트 프롬프트에서 제공된 컨텍스트(자고 있는, 점프하는, 빨간 등)를 준수하는 subject 별 3D assets 를 생성
-- DreamBooth 데이터셋 에 대한 광범위한 실험을 통해 해당 방법이 주어진 subject 와 높은 유사성을 가지면서도 입력 텍스트 프롬프트에 나타난 컨텍스트를 잘 반영하는 현실적인 3D assets 을 생성할 수 있음을 입증
+# Dream Booth 3D
+``` {admonition} Information
+- **Title:** DreamBooth3D: Subject-Driven Text-to-3D Generation
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2303.13508](https://arxiv.org/abs/2303.13508)
+ - Project Page : [https://dreambooth3d.github.io/](https://dreambooth3d.github.io/)
+
+- **Author:** Jeongin Lee
+
+- **Last updated on {Sep. 3, 2024}**
+
+```
+
+## 0. Abstract
+
+- **DreamBooth3D : 피사체의 3-6개의 캐주얼한 촬영 이미지로부터 text-to-3D 생성 모델을 personalization (맞춤화)**
+
+
+- DreamBooth + DreamFusion 의 결합
+ - DreamBooth : personalizing text-to-image models
+ - DreamFusion : text-to-3D generation
+- 두 방법론을 나이브하게 결합시 subject의 input viewpoints 에 대해 오버피팅하는 개인화된 t2i 모델로 인해 Subject 에 대해 만족스럽지 못한 3D 결과물 생성
+- t2i 모델의 개인화 기능과 함께 NERF의 3D 일관성을 공동으로 활용하는 3단계 최적화 전략 (3-stage optimization strategy)을 통해 이를 극복
+- Subject 의 입력 이미지에서 볼 수 없는 새로운 포즈, 색상 등 에 대해 텍스트 중심 수정을 통해 고품질의 subject 중심의 3D 결과물 생성 가능
+---
+
+## 1. Introduction
+
+- **도입**
+ - 3D asset생성은 VR, 영화, 게임 등 다양한 분야에 응용 가능하나, 텍스트 프롬프트만으로 생성된 3D asset 의 정체성, 기하학적 구조, 외관을 정확하게 제어하기 어려움.
+ - 특히, 특정 subject 의 특성을 반영하는 3D assets 를 생성하는 능력에 대한 개발 필요
+ - T2I 모델 subject personalization (맞춤화, 개인화) 태스크에서 성공적인 결과를 보인 연구들은 많지만, 3D asset 생성이나 3D control 을 제공하지는 않음.
+ - **DreamBooth3D**는 소수의 (3-6개) 캐주얼하게 촬영된 이미지로부터 subject 중심의 텍스트-3D 생성을 제안
+
+ ⇒ NeRF 와 T2I 모델을 함께 최적화하여 subject 중심의 3D 자산을 생성하자 !
+
+- **문제점**
+ - subject에 맞게 개인화된 T2I 모델 & **NeRF** 를 최적화 하는 것은 여러 실패 사례가 발생
+ - 주요 문제 : 개인화된 T2I 모델이 제한된 주제 이미지의 카메라 뷰포인트에 과적합
+ - 연속적인 임의의 뷰포인트에서 일관된 3D **NeRF** 결과물을 최적화하는 데 충분하지 않음.
+
+- **해결책**
+ - **DreamBooth3D**는 효과적인 3단계 최적화 방식을 제안
+ - **Dream Booth** , **Dream Fusion** 사용
+ ---
+ **[STEP 1️⃣]**
+ - **DreamBooth** 모델을 부분적으로 미세 조정
+ - **DreamFusion**을 사용하여 **NeRF** 최적화
+ - 부분적으로 미세 조정된 DreamBooth 모델은 주어진 대상 뷰에 과적합 되지 않으며 모든 subject별 세부 정보를 캡처하지 않음
+ - 결과적으로 생성된 **NeRF** 자산은 3D 일관성이 있지만 subject 에 대한 특성을 완전히 반영하지못함.
+
+ **[STEP 2️⃣]**
+ - **DreamBooth** 모델을 완전히 미세 조정하여 세부 사항을 캡처
+ - 1단계에서 학습된 NeRF의 다중 뷰 렌더링을 완전히 학습된 **DreamBooth** 모델에 투입
+ - 이를 통해 subject 별로 다중 뷰 가상 이미지 집합을 생성
+
+ **[STEP 3️⃣]**
+ - 1단계의 주어진 subject 이미지와 가상(pseudo) 다중 뷰 이미지를 사용하여 **DreamBooth** 모델을 추가로 최적화
+ - 추가 최적화한 **DreamBooth** 로 NeRF 3D 볼륨을 최종 최적화
+ - 최종 NeRF 최적화시 추가 규제항으로 pseudo 다중 뷰 데이터 세트에 대한 weak reconstruction loss를 사용
+ - 3단계에 걸친 NeRF 및 T2I 모델의 합동 최적화는 **DreamBooth** 모델이 subject 의 특정 view point 에 과적합되는 것을 방지하는 동시에 동시에 결과 NeRF 모델이 대상의 정체성에 충실하도록 보장
+ ---
+
+- **결과**
+ - 실험 샘플 결과들을 통해 본 접근 방식이 입력 텍스트 프롬프트에 존재하는 컨텍스트를 존중하면서 주어진 대상과 유사성이 높은 현실적인 3D 자산을 생성할 수 있음을 입증
+ - 여러 베이스라인과 비교할 때, 정량적 및 정성적 결과는 DreamBooth 3D 생성이 보다 3D 일관성이 있고 대상 세부 사항을 더 잘 포착한다는 것을 입증
+
+---
+
+## 2. Related Work
+
+1. **Text-to-Image Generation.**
+- 텍스트 조건 반영 : 사용자가 제공한 자연어 텍스트 프롬프트에 정렬된 이미지를 생성하기 위해 사전 학습된 large language model (LLM) 을 활용
+- T2I diffusion 모델의 성공에 힘입어, 많은 작품들이 텍스트 기반 이미지 조작과 같은 다양한 작업에 사전 학습된 T2I 모델을 활용합니다
+2. **3D Generation.**
+- 최근 사전 학습된 대규모 T2I diffusion 모델을 활용하여 텍스트 프롬프트에서 3D 자산을 생성할 수 있는 text-to-3D 방법이 제안
+- 기존 방법론
+ - 텍스트를 통해 t2i 모델로 이미지를 직접 reconstruction
+- 본 방법론
+ - 입력 이미지를 직접 reconstruction 하지 않고 suject 개념을 제공하기 위한 입력 이미지 사용 → Recontextualization 수행 가능 (sleeping, jumping, color…etc)
+ - 입력 이미지를 동일한 배경, 조명, 카메라 등으로 촬영할 필요가 없음.
+3. **Subject-driven Generation.**
+- Subject 중심 이미지 생성의 최근 발전을 통해 사용자는 특정 대상과 개념에 대해 이미지 생성을 개인화(맞춤화)
+- **DreamBooth**
+ 희귀 토큰, 모델 finetuning, 규제를 위한 prior preservation loss를 사용하여 모델의 언어 비전 사전을 확장하여 이를 달성
+- **Textual Inversion**
+ 입력 개념을 나타내는 사전 학습된 text-to-image 모델의 임베딩 공간에서 새로운 word 를 최적화함으로써 이를 달성
+
+ :::{figure-md}
+
+
+ Textual Inversion \ (source: {https://arxiv.org/abs/2208.01618})
+ :::
+
+**→** 이러한 방법론들은 3D asset 을 제공하지 않고 일관성 있는 3D 이미지를 생성할 수 없음.
+
+
+# **3. Approach**
+
+ **Problem setup.**
+:::{figure-md}
+
+
+Input and Output
+:::
+
+- Input : subject 이미지 집합, 텍스트 프롬프트
+ - $\left\{I_i \in \mathbb{R}^{n \times 3}\right\}(i \in\{1, \ldots, k\})$ : 각 n개의 픽셀, k 장의 subject 이미지들의 집합
+ - context(맥락) 부여, 의미 변화를 위한 텍스트 프롬프트 T (ex) sleeping, standing…etc.
+
+---
+🌟 **Goal**
+텍스트 프롬프트에 충실하면서 주어진 subject 의 identity (기하 형태 및 외관)을 반영하는 3D assets 생성
+---
+
+- 3D volume 에서 radiance 필드를 인코딩하는 MLP 네트워크 $M$ 으로 구성된 Neural Radiance Fields (NeRF) 를 기반으로 3D assets 를 최적화
+- 본 문제는 **subject 이미지에 대한 반영이 필요**하기 때문에, 일반적인 multi-view 이미지 캡처가 필요한 3D reconstruction 설정에 비해 상당히 제한적이고 어려운 문제
+- T2I personalization 및 Text-to-3D 최적화의 최근 발전을 기반으로 기술을 구축
+
+ ⇒ DreamBooth personalization + DreamFusion text-to-3D로 최적화를 사용
+
+
+## 3.1. Preliminaries
+---
+
+### 3.1.1 **T2I diffusion models**
+
+- T2I diffusion models : Imagen, StableDiffusion and DALL-E 2 …etc..
+- T2I diffusion model $\mathcal{D}_\theta(\epsilon, \mathbf{c})$
+ - input :초기 노이즈 $\epsilon$ , 프롬프트 텍스트 임베딩 $\mathbf{c}$
+ - an initial noise $\epsilon \sim \mathcal{N}(0,1)$
+ - text embedding $\mathbf{c}=\Theta(T)$ (a given prompt $T$ with a text encoder $\Theta$)
+ - output : 프롬프트를 반영하여 생성한 이미지
+- T2I diffusion model 을 통해 생성된 이미지는 일반적으로 프롬프트와 일치하지만 생성된 이미지내에서 세부적인 제어가 어려움. → **DreamBooth** 를 통해 이를 해결
+
+---
+
+### 3.1.2 **Dream Booth T2I Personalization.**
+:::{figure-md}
+
+
+특정 피사체에 대한 소수의 이미지 집합 (3-5장) 을 통해 텍스트로 주어지는 Context 에 맞는 맞춤화 이미지 생성
+:::
+
+- $\left\{I_i\right\}$ 에서 네트워크를 파인튜닝하여 T2I diffusion 모델을 맞춤화, $\left\{I_i\right\}$ : a small set of casual captures
+- DreamBooth diffusion loss : T2I model 파인튜닝을 위해 사용
+
+ $$
+ \mathcal{L}_d=\mathbb{E}{\epsilon, t}\left[w_t\left\|\mathcal{D}_\theta\left(\alpha_t I_i+\sigma_t \epsilon, \mathbf{c}\right)-I_i\right\|^2\right],
+ $$
+
+ - $t \sim \mathcal{U}[0,1]$ : the time-step in the diffusion proces
+ - $w_t, \alpha_t, \sigma_t$ : the corresponding scheduling parameters
+- **DreamBooth Class prior preserving loss**
+
+ DreamBooth 는 $\left\{I_i\right\}$ 에 대한 **over fitting** 을 방지하여 다양성을 개선하고, **language drift** 현상을 피하기 위해 선택적으로 **class prior preserving loss 를 사용**
+
+- **최종 loss : reconstruction loss + class prior preservation loss**
+
+$$
+\mathbb{E}_{x, c, \epsilon, \epsilon^{\prime}, t}\left[w_t\left\|\hat{x_\theta} \left(\alpha_t x+\sigma_t \epsilon, c\right)-x\right\|_2^2+\lambda w_{t^{\prime}}\left\|\hat{x}_\theta\left(\alpha_{t^{\prime}} x_{p r}+\sigma_{t^{\prime}}\epsilon^{\prime}, c_{pr}\right)-x_{pr}\right\|_2^2\right]
+$$
+
+- **(example) over fitting**
+:::{figure-md}
+
+
+over fitting
+:::
+
+- **(example) language-drift**
+:::{figure-md}
+
+
+language-drift
+:::
+
+
+---
+
+### 3.1.3 **DreamFusion**
+:::{figure-md}
+
+
+DreamFusion process / (source : [DreamFusion](https://pseudo-lab.github.io/pseudodiffusers/docs/review/DreamFusion.html))
+:::
+
+- T2I diffusion model을 사용하여 볼륨의 랜덤뷰가 프롬프트 $T$ 에 상응하도록 NeRF $\mathcal{M}_\phi$ ($\phi$ : parameters) 를 통해 표현된 볼륨을 최적화
+
+- normals : 밀도의 그래디언트로부터 계산된 nomals은 Lambertian shading 으로 기하학적 사실성을 개선시키기 위해 모델을 랜덤으로 relight 하는데 사용됨.
+
+- $\mathcal{M}_\phi$ : mapping (camera, light (location) → albedo &density)
+ - 랜덤 뷰 $v$, 랜덤 조명(light) 방향이 주어지면 shaded(음영 처리된) 이미지 $\hat{I}v$ 로 볼륨 렌더링을 수행
+- 이 때 볼륨 렌더링한 이미지가 텍스트 프롬프트 $T$ 처럼 보이도록 NeRF $\phi$ 의 매개변수를 최적화하기 위해 DreamFusion 은 score distillation sampling ***(SDS)** 를 도입
+
+- **score distillation sampling (SDS)**
+
+ $$
+ \nabla_\phi \mathcal{L}_{SDS}=\mathbb{E}{\epsilon, t}\left[w_t\left(\mathcal{D}_\theta\left(\alpha_t \hat{I}_v+\sigma_t \epsilon, \mathbf{c}\right)-\hat{I}_v\right) \frac{\partial \hat{I}_v}{\partial \phi}\right] .
+ $$
+
+- 렌더링된 이미지의 노이즈가 처리된 버전들을 T2I diffusion model의 낮은 에너지 상태로 push
+
+- 다양한 views를 랜덤으로 선택하고, NeRF 를 통해 역전파 함으로써,
+rendering 결과들이 T2I model $\mathcal{D}_\theta$ 로 주어진 프롬프트에 맞게 생성된 이미지처럼 보이도록 함.
+
+- **DreamFusion** 에서 사용된 실험 환경을 정확하게 동일하게 사용함.
+
+## 3.2 Failure of Naive Dreambooth+Fusion
+---
+- **피사체(subject) 중심 text-to-3D 생성을 위한 직관적인 접근 방식**
+
+ 1. subject에 대해 **T2I model 을 pesonalized(맞춤화)**
+ 2. 맞춤화된 T2I model 을 **text-to-3D optimization** 을 위해 사용
+
+- **즉, DreamBooth 최적화(personalized) ⇒ DreamFusion 최적화**
+
+- **BUT**, **Naive Dreambooth+Fusion 의 결합은 불만족스러운 결과를 초래**
+
+:::{figure-md}
+
+훈련된 이미지 내의 subject 의 뷰에 과적합된 예시
+:::
+
+---
+> 핵심 문제 (KEY Issue)
+
+- **Dream Booth**가 **훈련된 뷰에 존재하는 subject 의 뷰에 과적합** 되어
+**이미지 생성에서 viewpoint 에 대한 다양성이 감소**하는 경향을 보임.
+
+- 미세 조정 단계가 증가할수록, Subject 유사성 증가 (👍)
+**BUT** input exemplar views에 유사하도록 viewpoints 생성 (👎)
+ ⇒ 즉, 다양한 시점에서 이미지를 생성하는 능력이 저하됨.
+---
+
+- 이런 DreamBooth 모델 기반의 NeRF SDS 손실은 일관된 3D NeRF 결과물을 얻기에 불충분
+
+- **DreamBooth+Fusion NeRF** 모델이 **서로 다른 view** 에 걸쳐 학습된 **동일한 대상에 대한 뷰**(예: face of a dog : 다양한 각도에서 본 동일한 dog face)를 가지고 있음.
+ - **"Janus problem"** : 두 가지 상반되거나 연관된 측면을 동시에 다루어야 하는 문제
+
+
+## 3.3. Dreambooth3D Optimization
+---
+:::{figure-md}
+
+
+DreamBooth3D Overview
+:::
+
+- DreamBooth3D Overview
+
+**stage-1 (왼쪽)**: 먼저 DreamBooth를 부분적으로 훈련시키고, 결과 모델을 사용하여 초기 NeRF를 최적화
+
+**stage-2 (가운데)**: 초기 NeRF에서 랜덤 시점에 따라 다중 시점 이미지를 렌더링한 후, 완전히 훈련된 DreamBooth 모델을 사용하여 이를 가상 다중 시점 subject 이미지로 변환
+
+**stage-3 (오른쪽)**: 다중 시점 이미지를 사용하여 부분적인 DreamBooth를 추가로 미세 조정한 다음, 결과적으로 얻어진 다중 시점 DreamBooth를 사용하여 최종 NeRF 3D 자산을 SDS 손실과 다중 시점 재구성 손실을 통해 최적화
+
+- 위의 문제를 해결하고 성공적인 subject 맞춤 text-to-3D 생성을 위해 효율적인 3단계 최적화 방식을 기반으로 한 Dream-Booth3D 제안
+
+---
+
+### **3.3.1 Stage 1️⃣: 3D with Partial DreamBooth**
+
+:::{figure-md}
+
+
+Stage-1 : 3D with Partial DreamBooth
+:::
+
+- 입력된 Subject 이미지를 사용하여 DreamBooth 모델 $\hat{\mathcal{D}}_\theta$ 를 훈련
+
+---
+🌟 **DreamBoothT2I 모델의 초기 체크포인트가 (=부분적으로 파인튜닝한 결과) 주어진 subject view에 과적합되지 않음을 확인**
+
+ ⇒ partial DreamBooth (부분적으로 파인튜닝한 Dreambooth)
+---
+
+- **partial DreamBooth** 모델 하에 DreamFusion은 더 일관된 3D NeRF를 생성가능
+- NeRF 최적화시 SDS 손실 사용 :
+ - $\nabla_\phi \mathcal{L}_{SDS}=\mathbb{E}{\epsilon, t}\left[w_t\left(\hat{\mathcal{D}}_\theta^{\text {partial }}\left(\alpha_t \hat{I}_v+\sigma_t \epsilon, \mathbf{c}\right)-\hat{I}_v\right) \frac{\partial \hat{I}_v}{\partial \phi}\right]$
+ - $\hat{\mathcal{D}}_\theta^{\text {partial }}$: **partial DreamBooth**
+ - SDS 손실을 사용하여 주어진 텍스트 프롬프트에 대한 초기 NeRF 자산을 최적화
+- **partial DreamBooth** 모델과 NeRF 결과물은 입력된 subject 와 완전히 유사하지 않음
+
+---
+
+🌟 즉, **Stage-1️⃣ 에서의 초기 NeRF** 는 **주어진 subject 와 부분적으로ㅁ 유사**하면서,
+**주어진 텍스트 프롬프트에 충실한** **subject class 3D 모델**
+
+---
+
+### **3.3.2 Stage 2️⃣: Multi-view Data Generation**
+
+:::{figure-md}
+
+
+Stage-2: Multi-view Data Generation
+:::
+
+---
+
+🌟 **Stage-2 Multi-view Data Generation : 본 접근법의 가장 중요한 부분**
+
+일관성을 갖춘 **3D initial NeRF** 와 **fully-trained DreamBooth** 를 사용하여 **pseudo multi-view subject** 이미지들을 생성
+
+---
+
+1. **Initial NeRF** 로부터 다양한 랜덤 viewpoints $\{v\}$을 따라 여러 이미지$\left\{\hat{I}v \in \mathbb{R}^{n \times 3}\right\}$ 를 렌더링하여 다중 시점 렌더링을 생성
+2. 각 **렌더링에 고정된 양의 노이즈를 추가하는 forward diffusion** 과정을 통해 $t_{pseudo}$로 전환
+3. reverse diffusion 과정을 실행하여 **fully-trained DreamBooth** 모델 $\hat{\mathcal{D}}_\theta$ 를 사용하여 샘플을 생성
+ - 샘플링 과정은 각 뷰에 대해 독립적으로 수행
+ - **Initial NeRF 결과물** 에 노이즈를 추가한 noisy render 를 조건으로 지정함으로써, 넓은 범위의 시점을 커버하면서 subject 를 잘 나타내는 이미지 생성 가능
+ ⇒ 다양한 노이즈가 있는 이미지를 조건으로 학습시, 다양한 변형에 대한 학습 가능하기 때문
+ - **BUT** reverse diffusion 과정은 다른 뷰에 다른 세부 사항을 추가할 수 있기 때문에 결과 이미지는 multi-view 에 대한 일관성이 없음.
+
+ ⇒ 가상(pseudo) 다중 시점 이미지 집합 **(collection of pseudo multi-view images)**
+
+
+---
+
+🔑 **Key insight**
+1. 초기 NeRF 이미지가 unseen views 에 가까울 경우,
+ DreamBooth가 Subject 의 unseen views를 효과적으로 생성 가능
+
+2. 입력 이미지에 비해 Subject 와 더 유사한 출력 이미지를 효과적으로 생성가능**
+
+---
+
+
+- 위 그림을 통해 체크할 부분
+
+ :::{figure-md}
+
+
+ :::
+
+ - **fully-trained DreamBooth** 를 사용한 Img2Img 변환의 샘플 출력
+ - 입력 NeRF 렌더링의 시점을 유지하면서도 subject 이미지와 더 유사한 모습
+ - 기존 연구들과 달리 Img2Img 변환을 DreamBooth, NeRF 3D assets 과 결합하여 사용 (기존 연구의 경우 Img2Img 변환을 이미지 editing 응용으로만 사용)
+
+### **3.3.3 Stage3️⃣: Final NeRF with Multi-view DreamBooth**
+
+:::{figure-md}
+
+
+Stage-3 : Final NeRF with Multi-view DreamBooth
+SDS와 multi-view reconstruction 손실을 사용한 최종 NeRF 최적화
+:::
+
+> **새로운 데이터 $I^{\text{aug}}$ 생성**
+
+- 가상 다중 시점 이미지 $\left\{I_v^{\text {pseudo }}\right\}$, 입력 Subject 이미지 $\left\{I_i\right\}$ 의 결합을 통해 생성
+
+$$
+I^{\text {aug }}=\left\{I_v^{\text {pseudo }}\right\} \cup\left\{I_i\right\}
+$$
+
+> **$I^{\text {aug}}$ 를 사용하여 최종 Multi-view DreamBooth 모델을 최적화**
+
+1. 1단계에서 **partial DreamBooth** $\hat{\mathcal{D}}_{\theta^*}$ 준비
+2. 위의 증강 데이터 $I^{\text {aug}}$ 를 사용하여 $\hat{\mathcal{D}}_{\theta^*}$ 에 대한 **파인튜닝**을 추가 진행
+3. **Multi-view DreamBooth** $\hat{\mathcal{D}}_\theta^{\mathrm{multi}}$ 를 생성
+
+> $\hat{\mathcal{D}}_\theta^{\text {multi }}$ **모델을 사용하여 DreamFusion SDS Loss 와 함께 NeRF 3D assets 를 최적화**
+
+- 1단계의 **partial DreamBooth**에 비해 **multi-view DreamBooth** 의 뷰 일반화와 subject 보존 능력이 더 우수하기 때문에 **subject idendtity가 상당히 향상된 NeRF 모델 생성 가능**
+- **BUT** SDS 손실만 사용시 최적화된 NeRF assets 이
+ - 주어진 subject 에 대해 우수한 기하학적 유사성 보유
+ - **Color saturation artifacts 현상 다수 발생**
+ - 이를 해결하기 위해 $\left\{I_v^{\mathrm{pseudo}}\right\}$ 를 사용한 새로운 **weak reconstruction loss** 도입
+ - **** Color saturation artifacts :**
+ - 색상의 과도한 포화(saturation)로 인해 비현실적이거나 왜곡된 색상 표현이 나타나는 결함 현상
+ - 모델이 특정 색상을 과도하게 강조하는 경우 발생
+ - 색상 값을 잘못 예측하여 비현실적인 색상 표현이 나타난 경우 발생
+ - 다양한 시점에서 일관된 색상 표현을 유지하지 못한 경우 발생
+
+---
+
+**Reconstruction loss**
+
+- $\left\{I_v^{\mathrm{pseudo}}\right\}$ 가 생성된 카메라 매개변수 $\left\{P_v\right\}$ 정보를 알고 있으므로,
+두 번째 NeRF MLP $\mathcal{F}\gamma$ 의 훈련을 **reconstruction loss** 를 통해 추가로 규제
+
+ $$
+ \mathcal{L}_{recon }=\left\|\Gamma\left(\mathcal{F}_\gamma, P_v\right)-I_v^{\text {pseudo }}\right\|_p,
+ $$
+
+ - $\Gamma\left(\mathcal{F}\gamma, P_v\right)$ : 카메라 시점 $P_v$ 를 따라 NeRF $\mathcal{F}\gamma$ 에서 이미지를 렌더링하는 함수
+- **Reconstruction loss 의 목적**
+ - 생성된 볼륨의 색상 분포를 image exemplars 과 더 가깝게 조정
+ - unseen views에서 subject 유사성을 향상
+
+ **Final NeRF Loss function**
+
+$$
+\mathcal{L}=\lambda_{\text {recon }} \mathcal{L}_{\text {recon }}+\lambda_{\text {SDS }} \mathcal{L}_{\text {SDS }}+\lambda_{\text {nerf }} \mathcal{L}_{\text {nerf }}
+$$
+
+- $\mathcal{L}_{\text {nerf }}$ 는 Mip-NeRF360 [2]에서 사용된 추가적인 NeRF 정규화
+
+---
+
+# 4. Experiments
+---
+
+ **Implementation Details.**
+
+- **사용 모델**:
+ - T2I : Imagen T2I 모델
+ - Text-encoding: T5-XXL
+ - NeRF : DreamFusion
+- **훈련 시간**: 4core TPUv4, 각 프롬프트당 3단계 최적화를 완료하는 데 약 3시간 소요
+- **훈련 단계**:
+ - **부분 DreamBooth 모델 ($D_θ^{partial}$)** : 150번의 반복훈련
+ - **전체 DreamBooth 모델 ($D_θ$)** : 800번 반복 훈련시 최적의 성능
+- **pseudo multi-view data generation :**
+원점에서 고정된 반경으로 균일하게 샘플링한 20개의 이미지를 렌더링
+- **Stage-3 Multi-view DreamBooth** $\hat{\mathcal{D}}_\theta^{\mathrm{multi}}$:
+3단계에서 추가로 150번 반복하여 부분적으로 훈련된 $\hat{D}_{θ}^∗$ 모델을 Finetuning
+- **Hyperparams :** supplementary material 참고
+---
+ **Datasets.**
+
+- **훈련 데이터**: 공개된 이미지 컬렉션을 사용하여 personalized text-to-3D 모델을 훈련
+ - 다양한 subject(개, 장난감, 배낭, 선글라스, 만화 캐릭터 등) 의 4-6개의 casual 이미지를 포함한 30개의 다른 이미지 컬렉션으로 구성
+- **희귀 객체 성능 분석**: "올빼미 장식품"과 같은 희귀한 대상의 성능을 분석하기 위해 추가 이미지 수집
+- 3-6개의 프롬프트에 대해 각 3D 모델을 최적화하여 3D contextualizations 문맥화 시연
+---
+ **Baselines.**
+
+- **Latent-NeRF**
+ - RGB 픽셀 공간이 아닌 Stable Diffusion 의 latent feature 공간에서 SDS 손실을 통해 3D NeRF 모델을 학습
+ - baseline 으로써 fully dreamboothed T2I model 를 사용하여 Latent-NeRF 실행
+- **DreamFusion+DreamBooth**: DreamBooth 확산 모델을 먼저 훈련한 후 DreamFusion을 사용하여 3D NeRF를 최적화하는 단일 단계 접근 방식
+- **본 연구의 3단계 최적화 기반 방법론** : "DreamBooth3D"
+---
+ **Evaluation Metrics.**
+
+- **CLIP R-Precision**
+ - rendering된 장면들이 주어졌을 때 프롬프트와 얼마나 정확하게 일치하는지 비율을 나타냄.
+ - CLIP ViT-B/16, ViT-B/32, ViT-L-14 모델을 평가에 사용
+- 추가적으로 user study 수행 (뒤에 언급)
+
+## 4.1. Results
+
+**Visual Results**
+
+:::{figure-md}
+
+
+:::
+
+- **비교 결과**: DreamBooth3D, Latent-NeRF, DreamBooth+Fusion 기준 모델의 비교
+ - Latent-NeRF : 일부 경우(오리)에서 적절히 작동하지만, 대부분의 경우 일관된 3D 모델을 생성하는 데 실패
+ - DreamBooth+Fusion : 여러 시점에서 동일한 외형 및 구조를 보임
+ - DreamBooth3D : 360도 일관된 3D Asset을 생성하며, 주어진 subject 의 기하학적 구조 및 외관의 세부 사항을 잘 반영함
+---
+
+ **Initial vs. Final NeRF**
+
+:::{figure-md}
+
+
+:::
+
+- 1단계와 3단계에서 생성된 초기 NeRF와 최종 NeRF 결과
+- 초기 NeRF : 주어진 subject 와 부분적으로만 유사, 3D 일관성을 유지
+- 최종 NeRF : 주어진 subject 와 더 유사하, 일관된 3D 구조를 유지
+- 이러한 예시는 DreamBooth3D의 3단계 최적화가 필요함을 입증 (?)
+
+---
+ **User Study.**
+
+:::{figure-md}
+
+
+:::
+
+ → DreamBooth3D와 비교 모델들을 세가지측면에 대해 아래의 질문에 대한 답변으로 평가**
+
+1. **subject 충실도**: "어떤 3D 항목이 subject 와 더 유사하게 보입니까?"
+2. **3D 일관성과 타당성**: "어떤 3D 항목이 더 타당하고 일관된 기하학적 구조를 가지고 있습니까?"
+3. **프롬프트 충실도**: "어떤 비디오가 제공된 프롬프트를 더 잘 반영합니까?"
+- **연구 방법**
+ - 3D 일관성과 주제 충실도 연구에서는 데이터셋의 30개 subject 각각에 대해 회전 비디오 결과를 제시하고 11명의 사용자가 각 쌍에 대해 응답
+ - 프롬프트 충실도 연구에서는 54개의 고유한 프롬프트와 주제 쌍에 대해 비디오를 생성하고, 21명의 사용자가 응답
+- **최종 결과**
+ - 최종 결과는 다수결 투표를 통해 산출
+ - DreamBooth3D는 3D 일관성, 주제 충실도, 프롬프트 충실도에서 기준 모델들보다 유의미하게 더 선호됨.
+
+
+## 4.2. Sample Applications
+:::{figure-md}
+
+
+:::
+
+- **Recontextualization. (재문맥화)**
+ - 단순한 프롬프트를 사용하여 다양한 개 주제의 3D 모델로 재문맥화한 샘플 결과
+ - 모든 subject 에서 텍스트 프롬프트에 주어진 문맥을 일관되게 반영
+ - 출력된 3D 모델의 자세와 로컬 변형은 입력 이미지에 없는 포즈임에도 불구하고 매우 사실적
+
+:::{figure-md}
+
+
+:::
+
+- **Color/Material Editing.**
+ - 색상 편집 및 재질 편집
+- **Accessorization**
+ - subject 에 액세서리 추가
+
+:::{figure-md}
+
+
+:::
+
+- **Stylization**
+ - 크림색 신발을 색상과 프릴 추가를 기반으로 스타일화
+- **Cartoon-to-3D**
+ - 비사실적 피상체 이미지(예: 2D 평면 캐릭터)를 그럴듯한 3D 형태로 변환
+ - 모든 subject 이미지가 정면임에도 불구하고, 그럴듯한 3D 결과물 생성
+
+
+## 4.3. Limitations
+---
+:::{figure-md}
+
+
+limitations
+:::
+
+1. 최적화된 3D 표현이 때때로 과도하게 포화되고 매끄럽게 처리되는 경우가 존재
+ 1. 높은 가중치 가이던스를 가진 SDS 기반 최적화에 의해 발생
+ 2. 64×64 픽셀이라는 상대적으로 낮은 이미지 해상도로 제한되어 발생
+ 3. diffusion 과 NeRF 의 효율성 향상은 더 높은 해상도로 확장할 수 있는 가능성을 제공
+2. Janus problem : 최적화된 3D 표현은 입력 이미지에 시점 변화가 없으면 여러 불일치한 시점에서 정면으로 보이는 viewpoints 불일치 문제가 발생
+3. 선글라스와 같은 얇은 객체 구조를 재구성하는 데 어려움이 존재
+
+# 5. Conclusion
+
+- Subject 중심의 텍스트-3D 생성을 위한 방법인 DreamBooth3D를 제안
+- Subject 에 대한 소규모 casual 이미지 셋트가 주어지면, (카메라 포즈와 같은 추가 정보 없이)
+입력 텍스트 프롬프트에서 제공된 컨텍스트(자고 있는, 점프하는, 빨간 등)를 준수하는 subject 별 3D assets 를 생성
+- DreamBooth 데이터셋 에 대한 광범위한 실험을 통해 해당 방법이 주어진 subject 와 높은 유사성을 가지면서도 입력 텍스트 프롬프트에 나타난 컨텍스트를 잘 반영하는 현실적인 3D assets 을 생성할 수 있음을 입증
- 정량적 및 정성적 평가에서 여러 기준 모델보다 우수한 성능을 보임을 확인
\ No newline at end of file
diff --git a/_sources/docs/review/DreamFusion.md b/_sources/docs/review/DreamFusion.md
index e17972bd..04ec6e34 100755
--- a/_sources/docs/review/DreamFusion.md
+++ b/_sources/docs/review/DreamFusion.md
@@ -1,402 +1,397 @@
-
-``` {admonition} Information
-- **Title:** DreamFusion: Text-to-3D using 2D Diffusion
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2209.14988](https://arxiv.org/abs/2209.14988)
- - Code:
- - [NonOfficial](https://github.com/ashawkey/stable-dreamfusion)
- - Project Page : [https://dreamfusion3d.github.io/](https://dreamfusion3d.github.io/)
-
-- **Author:** Geonhak Song
-
-- **Last updated on {July. 3, 2024}**
-```
-
-# **DreamFusion**
-
-## Abstract
-
-DreamFusion = NeRF + Score Distillation Sampling Loss를 활용한 Text-to-3D 모델
-
-**기존 한계**
-
-Text-to-Image 방식과 같이 큰 규모의 데이터로 학습시킨 것과 동일 방식의 3D 생성 모델을 만들기 위해서은 **대규모 label된 3D 데이터셋**과 3D 데이터를 효율적으로 처리할 수 있는 **3D diffusion model이 필요**하지만, 현재 이를 **충족시킬 수 없음**.
-
-**방법론**
-
-DreamFusion은 pretrained 2D Text-to-Image diffusion model을 활용하여 text-to-3D 합성을 수행할 수 있는 새로운 방법 제시.
-
-본 방법은 **parameteric image generation** 최적화를 위한 prior로 2D diffusion model을 활용할 수 있는 probability density distillation 기반의 loss를 도입.
-
-**결과**
-
-텍스트 기반으로 생성된 3D 모델은 임의의 각도와 조명에서 볼 수 있으며, 임의의 3D 환경에 합성.
-
-해당 접근 방식을 통해 추가적인 3D 학습 데이터나 image diffusion model의 수정 없이도 효과적으로 동작함.
-
-## 1. Introduction
-
-- 이미지 생성 모델은 text 기반으로 high-fidelity, diverse, controllable 이미지 합성을 지원한다.
- - 가능했던 이유 2가지
- - 1) large image-text dataset
- - 2) 큰 규모의 생성 모델
-- 이런 Diffusion Model을 다른 domain에 적용하려는 시도는 성공적이었지만, **많은 규모의 training data가 필요**.
-- 3D 합성 분야에서도 3D asset이 요구되지만 이는 이미지 대비 상대적으로 훨씬 더 많은 시간과 노력을 요하는 작업.
-- voxel, point cloud를 비롯한 explicit representation을 위한 방법이나 GAN 기반의 방법을 통해 3D generator를 만들려는 시도 또한 있었으나 이 방법들은 임의의 text를 기반으로 3D object synthesis가 어려운 상황.
-
-- 한편, inverse rendering인 NeRF를 기반 Text 기반 3D 생성 방법에 통합하려는 시도가 많이 있었는데 그중 대표적인 방법이 DreamField 이다.
-- DreamField (CVPR 2022) [[arxiv](https://arxiv.org/abs/2112.01455)] [[Official Project page](https://ajayj.com/dreamfields)]
-
-:::{figure-md}
-
-
-DreamField Figure 1
-:::
-
-- DreamField는 CLIP의 frozen image-text joint embedding model과 optimization기반 방법을 통해 NeRF를 학습.
-- 그러나 이 방법은 **부족한 현실성과 정확성에 대한 한계**를 보임.
-
-- 본 저자들은 Dream Fields에서 사용한 CLIP 대신 2D Diffusion model로부터 distill된 loss를 활용하여 사용.
-- 이는 **probability density distillation** 기반으로 구성되는데, 이는 **forward process의 diffusion 기반의 공유 평균을 가지는** **Gaussian distribution**과 **pretrained diffusion model로부터 학습된** **score function**간의 **KL divergence**를 **최소화**하는 방향을 의미.
-- **Score Distillation Sampling(SDS)방법**은 미분가능한 image parameterization을 기반으로 sampling 최적화가 가능하게 함.
-- 즉, NeRF와 SDS를 결합함으로써 Text prompt가 입력으로 주어진다면, DramFusion은 고품질이며 일관성있는 3D object와 scene들을 만들어낼 수 있다.
-
-:::{figure-md}
-
-
-DreamFusion Figure 1
-:::
-
-### 2. Diffusion Models and Score Distillation Sampling
-
-Data : $x$
-
-Forward process : $q$
-
-Reverse process : $p$
-
-Perturbed latent at timestep $t$: $z_t$
-
-Marginal distribution of the latent variables at timestep $t$ given an initial datapoint $x$ :
-$q(z_t | x ) = \mathcal{N} (\alpha_t x ,\sigma_t^2 \mathbf{I})$
-
-Generative model : $p$
-
-starting Random Noise : $p(z_T) = \mathcal{N} (0, \mathbf{I})$
-
-Transition $p_\phi (z_{t-1} | z_t ) = q(z_{t-1} |z_t, x = \hat{x_\phi} (z_t; t))$
-
-Posterior dist from forward process : $q(z_{t-1} |z_t, x)$
-
-A learned approximation of the optimal denoiser : $\hat{x_\phi} (z_t; t)$
-
-Latent : $z_t : \mathbb{E} [x|z_t] \approx \hat{x_\phi} (z_t; t) = (z_t - \sigma_t \epsilon_\phi (z_t ; t ) / \alpha_t)$
-
-예측된 noise는 smooth density에 대한 예측된 score function ($\nabla_{z_t} log p(z_t)$)과 연관
-
-ELBO로 생성 모델 학습은 $\phi$ parameter를 활용한 weighted denoising score matching objective로 간소화 가능
-
-:::{figure-md}
-
-
-DreamFusion Equation 1
-:::
-
-Diffusion 학습 (2가지 관점)
-
-1) latent -variable model 학습
-
-2) noise data에 상응하는 score function 학습
-
-- score function이 $s_\phi (z_t ;t ) = -\epsilon_\phi (z_t ; t) / \sigma_t$로 주어졌을 때, marginal dist 근사하는 $p_\phi (z_t;t)$ 사용
-
-Text-to-image diffusion model (text embedding : $y$)
-
-예측해야하는 noise 값 : $\epsilon_\phi (z_T ; t, y)$
-
-CFG : $w : \epsilon_\phi (z_T ; t, y) = (1+w) \epsilon_\phi (z_T ; t, y) - w \epsilon_\phi (z_T ; t)$
-
-CFG는 score function을 conditional density가 unconditional density에 비해 상대적으로 큰 영역을 선호하도록 조정. Diversity를 희생하여 sample fidelity 향상
-
-### 2.1 How can we sample in parameter space, not pixel space?
-
-- 저자들은 pixel 기반 diffusion model에서 sampling 되는 pixel sampling에는 관심이 없고, **랜덤한 각도에서 rendering할 때, 좋은 이미지를 만들어낼 수 있는 3D 모델을 생성하는데 관심이 있음.**
-- 이와 같은 모델을 **DIP (Differentiable image parameterization)**라 분류함.
-- 즉, 미분가능한 generator $g$는 parameter $\theta$를 통해 image **$x=g(\theta)$**로 변환할 수 있음.
-- DIP를 활용하여 기존 학습된 공간을 최적화 알고리즘을 통해 학습시킬 수 있는데, 3D에서는 3D volume의 parameter로 $\theta$, volumetric renderer $g$로 지정할 수 있다.
-- 다만, 해당 parameter들을 학습시키기 위해서, **diffusion model을 적용할 수 있는 loss function이 필요**.
-- **$x=g(\theta)$** 가 frozen diffusion model로부터 sample 결과인 것같은 $\theta$ 최적화를 진행 희망.
-- 여기서 저자들은 DeepDream과 비슷한 스타일의 differentiable loss func이 필요. 즉, 신뢰도 높은 이미지는 loss가 적고, 신뢰도 적은 이미지에서는 loss가 높게 설정.
-
-- 초기 diffusion training loss 재사용했으나 realistic sample 생성이 안 됨.
-- 아래 식 : $\mathcal{L}$ Gradient에 대한 식
-
-:::{figure-md}
-
-
-DreamFusion Equation 2
-:::
-
-- 일반적으로 U-Net Jacobian term은 계산 비용이 많이 사용되고, 작은 noise에 대해 제대로 작동되지 않음.
-
-- 저자들은 **U-Net Jacobian term을 생략**함으로써 diffusion model을 사용한 DIP 최적화에 효과적인 gradient로 유도할 수 있음을 발견.
-
-:::{figure-md}
-
-
-DreamFusion Equation 3
-:::
-
-- 이를 통해 해당 loss는 높은 density 영역으로 이동하기 위해 diffusion 모델의 score function을 따르는 방향으로 update.
-- Appendix A.4에서 diffusion model의 학습된 score function을 사용하여 weighted probability density distillation loss의 gradient임을 보여줌.
-
-:::{figure-md}
-
-
-DreamFusion Equation 4
-:::
-
-- 쉽게 적용 가능하고 diffusion model의 backpropagation이 필요 없음.
-
-:::{figure-md}
-
-
-DreamFusion Figure 2
-:::
-
-:::{figure-md}
-
-
-DreamFusion Figure 8
-:::
-
-
-## 3. The DreamFusion Algorithm
-
-:::{figure-md}
-
-
-DreamFusion Figure 3
-:::
-
-Text를 기반한 3D asset을 만드는 알고리즘 소개 단계
-
-Imagen 중 64x64 base model만 수정없이 사용
-
-### 3.1 Neural Rendering of a 3D Model
-
-:::{figure-md}
-
-
-NeRF Figure
-:::
-
-:::{figure-md}
-
-
-DreamFusion Equation 5
-:::
-
-
-NeRF 구성 2가지 : volumetic raytracer & MLP
-
-NeRF로부터 이미지를 Rendering하기 위해 ray casting.
-
-각 ray를 따라 샘플된 3D points $\mu$들을 MLP에 통과시켜 4개의 스칼라 output 획득.
-
-: (volumetric density $\tau$, RGB color $c$ ( alpha compositing )
-
-:::{figure-md}
-
-
-MipNeRF Figure
-:::
-
-본 방법에서는 **mip-NeRF 360** 사용(aliasing 감소 특화)
-
-
-
-**Shading**
-
-일반적인 radiance를 내보내는 NeRF와 달리, 본 논문에서는 각 point별 RGB albedo $\rho$ 사용
-
-:::{figure-md}
-
-
-DreamFusion Equation 6
-:::
-
-$\tau$ : volumetric density
-
-3D 포인트에 대한 마지막 shaded output color 계산을 위해서는 normal vector가 필요.
-
-normal vector는 3D coordinate $\mu$ 관점에 대해서 density $\tau$ 에 대한 negative gradient 를 normalizing을 통해 계산될 수 있음.
-
-$n = - \nabla_\mu \tau / \lVert \nabla_\mu \tau \rVert$
-
-normal : $n$
-
-material albedo : $\rho$
-
-some point light source with 3D coordinate : $l$ & color $l_\rho$
-
-ambient light color : $l_a$
-
-:::{figure-md}
-
-
-DreamFusion Equation 7
-:::
-
-추가 발견 내용 : 랜덤하게 albedo color $\rho$를 white (1,1,1)로 교체하여 textureless 음영 처리 결과물 생성할 수 있음.
-
-모델이 퇴화된 솔루션을 만드는 것을 방지하는 데 유익
-
-**Scene Structure**
-
-**1) 고정된 Bounding sphere**: NeRF 모델의 query를 고정된 bounding sphere 내에서만 수행하여 밀도가 카메라 근처에 채워지지 않도록 함.
-
-**2) 추가 환경 맵 생성**: 두 번째 MLP를 사용하여 배경 색상을 계산하고, 렌더링된 색상을 배경 색상 위에 합성.
-
-**3) 누적된 alpha 값 활용**: 누적된 alpha 값을 통해 배경과 렌더링된 광선 색상을 자연스럽게 합성.
-
-**Geometry regularizers**
-
-**1)** **opacity에 대한 regularization penalty 추가** : Mip-NeRF 360 모델에서 빈 공간에 대한 불필요한 채움을 방지하기 위해 진행. (Zero-shot text-guided object generation with dream fields. CVPR 2022)
-
-**2) Ref-NeRF에서 제안된 orientation loss의 수정 버전을 사용** : Density field에서 normal vector가 camera로부터 멀어지는 문제 방지를 위해 제안.
-
-Appendix A.2 참조
-
-### 3.2 Text-to-3D Synthesis
-
-각 text prompt에 대해 NeRF 초기 랜덤 초기화
-
-:::{figure-md}
-
-
-DreamFusion Figure 3-1
-:::
-
-DreamFusion의 각 iter 최적화
-
-(1) randomly sample a camera and light
-
-(2) render an image of the NeRF from that camera and shade with the light
-
-(3) compute gradients of the SDS loss with respect to the NeRF parameters
-
-(4) update the NeRF parameters using an optimizer
-
-**1. Random camera and light sampling**
-
-:::{figure-md}
-
-
-Spherical Coordinate Figure
-:::
-
-매 iteration, camera position은 spherical coordinate에서 무작위로 sample됨.
-
-elevation angle : $\phi_{cam} \in [-10, 90]$
-
-azimuth angle : $\theta_{cam} \in [0, 360]$
-
-origin으로부터 distance : $[1, 1.5]$
-
-focal length multiplier : $\lambda_{focal} \in \mathcal{U} (0.7, 1.35)$
-
-focal length : $\lambda_{focal} w$ ($w$ =64)
-
-point light position $l$은 camera position 중심 주변 분포에서 sample
-
-다양한 camera location & distance 사용
-
-**2. Rendering.**
-
-Camera pose와 light position이 주어졌을 때, 64x64 해상도의 shaded NeRF model를 render
-
-Rendering 세 가지 옵션 중 하나를 무작위로 선택:
-
-**1) 조명이 적용된 색상 렌더링 (illuminated color render)**: 조명이 적용된 상태에서의 색상 렌더링 (Fig 3. Color)
-
-**2) textureless render**: 텍스처 없이 음영 처리된 상태로 렌더링. ( Fig 3. Normal?)
-
-**3) rendering of the albedo**: 음영 없이 알베도 색상만을 렌더링. ( Fig 3. Albedo)
-
-**3. Diffusion loss with view-dependent conditioning**
-
-view-dependent text를 추가하는 것이 효과적
-
-높은 고도 각도 $\phi_{cam} > 60^{\circ}$ 일 때, "overhead view"
-
-$\phi_{cam} < 60^{\circ}$ 일 때, azimuth angle $\theta_{cam}$에 따라 “front view”, “side view”, “back view” text embedding
-
-pretrained 64x64 base text-to-image model (Imagen)
-
-T5-XXL text embedding
-
-weighting function $w(t) = \sigma_t^2$
-
-sample $t \sim \mathcal{U} (0.02, 0.98)$ 너무 높거나 낮은 noise level 피하기 위해 설정.
-
-CFG $w$=100, 높은 guidance weight가 향상된 sample quality를 줌
-
-**4. Optimization**
-
-TPUv4 (4 chips)
-
-15,000 iters, 1.5h
-
-Appendix A.2 optimization setting
-
-## 4. Experiments
-
-:::{figure-md}
-
-
-DreamFusion Figure 4
-:::
-
-:::{figure-md}
-
-
-DreamFusion Table 1
-:::
-
-- **일반적인 3D 복원 작업 평가**:
- - Chamfer Distance와 같은 참조 기반 평가 방법 사용.
- - PSNR은 보유된 사진과 렌더링된 보기의 품질을 비교.
-- **Zero-shot 텍스트-3D 생성 평가의 어려움**:
- - GT가 없어 참조 기반 평가 적용 어려움.
-- **대안적 평가 방법 CLIP R-Precision**:
- - CLIP R-Precision은 rendering된 장면들이 주어졌을 때 입력 캡션과 일치하는 비율을 나타냄. 특정 문장을 여러 명령어 세트 중에서 정확히 찾는지 평가.
- - object-centric COCO validation subset에서 153개 프롬프트 사용.
-- **Geo(Geometry) 평가**:
- - 기하학적 평가를 위해 textureless render에 대한 R-Precision 측정
-
-:::{figure-md}
-
-
-DreamFusion Figure 5
-:::
-
-**Ablation**
-
-:::{figure-md}
-
-
-DreamFusion Figure 6
-:::
-
-- **ViewAug (다양한 시야각):** 다양한 시야각을 고려하는 것이 3D 장면의 일관성을 높임.
-- **ViewDep (뷰 의존적 prompt):** prompt에 시야각 관련 정보를 추가하여 정확한 geometry 복원.
-- **Lighting (조명 최적화):** 무채색 albedo rendering 외에 lighting rendering optimization
-- **Textureless :** 매끄러운 표면을 만듦.
-
-**제한 사항:**
-
-- **SDS의 한계**
-- **세밀한 디테일 부족**
+
+``` {admonition} Information
+- **Title:** DreamFusion: Text-to-3D using 2D Diffusion
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2209.14988](https://arxiv.org/abs/2209.14988)
+ - Code:
+ - [NonOfficial](https://github.com/ashawkey/stable-dreamfusion)
+ - Project Page : [https://dreamfusion3d.github.io/](https://dreamfusion3d.github.io/)
+
+- **Presentor:** Geonhak Song
+
+- **Last updated on {July. 3, 2024}**
+```
+
+# **DreamFusion**
+
+## Abstract
+
+DreamFusion = NeRF + Score Distillation Sampling Loss를 활용한 Text-to-3D 모델
+
+**기존 한계**
+
+Text-to-Image 방식과 같이 큰 규모의 데이터로 학습시킨 것과 동일 방식의 3D 생성 모델을 만들기 위해서은 **대규모 label된 3D 데이터셋**과 3D 데이터를 효율적으로 처리할 수 있는 **3D diffusion model이 필요**하지만, 현재 이를 **충족시킬 수 없음**.
+
+**방법론**
+
+DreamFusion은 pretrained 2D Text-to-Image diffusion model을 활용하여 text-to-3D 합성을 수행할 수 있는 새로운 방법 제시.
+
+본 방법은 **parameteric image generation** 최적화를 위한 prior로 2D diffusion model을 활용할 수 있는 probability density distillation 기반의 loss를 도입.
+
+**결과**
+
+텍스트 기반으로 생성된 3D 모델은 임의의 각도와 조명에서 볼 수 있으며, 임의의 3D 환경에 합성.
+
+해당 접근 방식을 통해 추가적인 3D 학습 데이터나 image diffusion model의 수정 없이도 효과적으로 동작함.
+
+## 1. Introduction
+
+- 이미지 생성 모델은 text 기반으로 high-fidelity, diverse, controllable 이미지 합성을 지원한다.
+ - 가능했던 이유 2가지
+ - 1) large image-text dataset
+ - 2) 큰 규모의 생성 모델
+- 이런 Diffusion Model을 다른 domain에 적용하려는 시도는 성공적이었지만, **많은 규모의 training data가 필요**.
+- 3D 합성 분야에서도 3D asset이 요구되지만 이는 이미지 대비 상대적으로 훨씬 더 많은 시간과 노력을 요하는 작업.
+- voxel, point cloud를 비롯한 explicit representation을 위한 방법이나 GAN 기반의 방법을 통해 3D generator를 만들려는 시도 또한 있었으나 이 방법들은 임의의 text를 기반으로 3D object synthesis가 어려운 상황.
+
+- 한편, inverse rendering인 NeRF를 기반 Text 기반 3D 생성 방법에 통합하려는 시도가 많이 있었는데 그중 대표적인 방법이 DreamField 이다.
+- DreamField (CVPR 2022) [[arxiv](https://arxiv.org/abs/2112.01455)] [[Official Project page](https://ajayj.com/dreamfields)]
+
+:::{figure-md}
+
+
+DreamField Figure 1
+:::
+
+- DreamField는 CLIP의 frozen image-text joint embedding model과 optimization기반 방법을 통해 NeRF를 학습.
+- 그러나 이 방법은 **부족한 현실성과 정확성에 대한 한계**를 보임.
+
+- 본 저자들은 Dream Fields에서 사용한 CLIP 대신 2D Diffusion model로부터 distill된 loss를 활용하여 사용.
+- 이는 **probability density distillation** 기반으로 구성되는데, 이는 **forward process의 diffusion 기반의 공유 평균을 가지는** **Gaussian distribution**과 **pretrained diffusion model로부터 학습된** **score function**간의 **KL divergence**를 **최소화**하는 방향을 의미.
+- **Score Distillation Sampling(SDS)방법**은 미분가능한 image parameterization을 기반으로 sampling 최적화가 가능하게 함.
+- 즉, NeRF와 SDS를 결합함으로써 Text prompt가 입력으로 주어진다면, DramFusion은 고품질이며 일관성있는 3D object와 scene들을 만들어낼 수 있다.
+
+
+### 2. Diffusion Models and Score Distillation Sampling
+
+Data : $x$
+
+Forward process : $q$
+
+Reverse process : $p$
+
+Perturbed latent at timestep $t$: $z_t$
+
+Marginal distribution of the latent variables at timestep $t$ given an initial datapoint $x$ :
+$q(z_t | x ) = \mathcal{N} (\alpha_t x ,\sigma_t^2 \mathbf{I})$
+
+Generative model : $p$
+
+starting Random Noise : $p(z_T) = \mathcal{N} (0, \mathbf{I})$
+
+Transition $p_\phi (z_{t-1} | z_t ) = q(z_{t-1} |z_t, x = \hat{x_\phi} (z_t; t))$
+
+Posterior dist from forward process : $q(z_{t-1} |z_t, x)$
+
+A learned approximation of the optimal denoiser : $\hat{x_\phi} (z_t; t)$
+
+Latent : $z_t : \mathbb{E} [x|z_t] \approx \hat{x_\phi} (z_t; t) = (z_t - \sigma_t \epsilon_\phi (z_t ; t ) / \alpha_t)$
+
+예측된 noise는 smooth density에 대한 예측된 score function ($\nabla_{z_t} log p(z_t)$)과 연관
+
+ELBO로 생성 모델 학습은 $\phi$ parameter를 활용한 weighted denoising score matching objective로 간소화 가능
+
+:::{figure-md}
+
+
+DreamFusion Equation 1
+:::
+
+Diffusion 학습 (2가지 관점)
+
+1) latent -variable model 학습
+
+2) noise data에 상응하는 score function 학습
+
+- score function이 $s_\phi (z_t ;t ) = -\epsilon_\phi (z_t ; t) / \sigma_t$로 주어졌을 때, marginal dist 근사하는 $p_\phi (z_t;t)$ 사용
+
+Text-to-image diffusion model (text embedding : $y$)
+
+예측해야하는 noise 값 : $\epsilon_\phi (z_T ; t, y)$
+
+CFG : $w : \epsilon_\phi (z_T ; t, y) = (1+w) \epsilon_\phi (z_T ; t, y) - w \epsilon_\phi (z_T ; t)$
+
+CFG는 score function을 conditional density가 unconditional density에 비해 상대적으로 큰 영역을 선호하도록 조정. Diversity를 희생하여 sample fidelity 향상
+
+### 2.1 How can we sample in parameter space, not pixel space?
+
+- 저자들은 pixel 기반 diffusion model에서 sampling 되는 pixel sampling에는 관심이 없고, **랜덤한 각도에서 rendering할 때, 좋은 이미지를 만들어낼 수 있는 3D 모델을 생성하는데 관심이 있음.**
+- 이와 같은 모델을 **DIP (Differentiable image parameterization)**라 분류함.
+- 즉, 미분가능한 generator $g$는 parameter $\theta$를 통해 image **$x=g(\theta)$**로 변환할 수 있음.
+- DIP를 활용하여 기존 학습된 공간을 최적화 알고리즘을 통해 학습시킬 수 있는데, 3D에서는 3D volume의 parameter로 $\theta$, volumetric renderer $g$로 지정할 수 있다.
+- 다만, 해당 parameter들을 학습시키기 위해서, **diffusion model을 적용할 수 있는 loss function이 필요**.
+- **$x=g(\theta)$** 가 frozen diffusion model로부터 sample 결과인 것같은 $\theta$ 최적화를 진행 희망.
+- 여기서 저자들은 DeepDream과 비슷한 스타일의 differentiable loss func이 필요. 즉, 신뢰도 높은 이미지는 loss가 적고, 신뢰도 적은 이미지에서는 loss가 높게 설정.
+
+- 초기 diffusion training loss 재사용했으나 realistic sample 생성이 안 됨.
+- 아래 식 : $\mathcal{L}$ Gradient에 대한 식
+
+:::{figure-md}
+
+
+DreamFusion Equation 2
+:::
+
+- 일반적으로 U-Net Jacobian term은 계산 비용이 많이 사용되고, 작은 noise에 대해 제대로 작동되지 않음.
+
+- 저자들은 **U-Net Jacobian term을 생략**함으로써 diffusion model을 사용한 DIP 최적화에 효과적인 gradient로 유도할 수 있음을 발견.
+
+:::{figure-md}
+
+
+DreamFusion Equation 3
+:::
+
+- 이를 통해 해당 loss는 높은 density 영역으로 이동하기 위해 diffusion 모델의 score function을 따르는 방향으로 update.
+- Appendix A.4에서 diffusion model의 학습된 score function을 사용하여 weighted probability density distillation loss의 gradient임을 보여줌.
+
+:::{figure-md}
+
+
+DreamFusion Equation 4
+:::
+
+- 쉽게 적용 가능하고 diffusion model의 backpropagation이 필요 없음.
+
+:::{figure-md}
+
+
+DreamFusion Figure 2
+:::
+
+:::{figure-md}
+
+
+DreamFusion Figure 8
+:::
+
+
+## 3. The DreamFusion Algorithm
+
+:::{figure-md}
+
+
+DreamFusion Figure 3
+:::
+
+Text를 기반한 3D asset을 만드는 알고리즘 소개 단계
+
+Imagen 중 64x64 base model만 수정없이 사용
+
+### 3.1 Neural Rendering of a 3D Model
+
+:::{figure-md}
+
+
+NeRF Figure
+:::
+
+:::{figure-md}
+
+
+DreamFusion Equation 5
+:::
+
+
+NeRF 구성 2가지 : volumetic raytracer & MLP
+
+NeRF로부터 이미지를 Rendering하기 위해 ray casting.
+
+각 ray를 따라 샘플된 3D points $\mu$들을 MLP에 통과시켜 4개의 스칼라 output 획득.
+
+: (volumetric density $\tau$, RGB color $c$ ( alpha compositing )
+
+:::{figure-md}
+
+
+MipNeRF Figure
+:::
+
+본 방법에서는 **mip-NeRF 360** 사용(aliasing 감소 특화)
+
+
+
+**Shading**
+
+일반적인 radiance를 내보내는 NeRF와 달리, 본 논문에서는 각 point별 RGB albedo $\rho$ 사용
+
+:::{figure-md}
+
+
+DreamFusion Equation 6
+:::
+
+$\tau$ : volumetric density
+
+3D 포인트에 대한 마지막 shaded output color 계산을 위해서는 normal vector가 필요.
+
+normal vector는 3D coordinate $\mu$ 관점에 대해서 density $\tau$ 에 대한 negative gradient 를 normalizing을 통해 계산될 수 있음.
+
+$n = - \nabla_\mu \tau / \lVert \nabla_\mu \tau \rVert$
+
+normal : $n$
+
+material albedo : $\rho$
+
+some point light source with 3D coordinate : $l$ & color $l_\rho$
+
+ambient light color : $l_a$
+
+:::{figure-md}
+
+
+DreamFusion Equation 7
+:::
+
+추가 발견 내용 : 랜덤하게 albedo color $\rho$를 white (1,1,1)로 교체하여 textureless 음영 처리 결과물 생성할 수 있음.
+
+모델이 퇴화된 솔루션을 만드는 것을 방지하는 데 유익
+
+**Scene Structure**
+
+**1) 고정된 Bounding sphere**: NeRF 모델의 query를 고정된 bounding sphere 내에서만 수행하여 밀도가 카메라 근처에 채워지지 않도록 함.
+
+**2) 추가 환경 맵 생성**: 두 번째 MLP를 사용하여 배경 색상을 계산하고, 렌더링된 색상을 배경 색상 위에 합성.
+
+**3) 누적된 alpha 값 활용**: 누적된 alpha 값을 통해 배경과 렌더링된 광선 색상을 자연스럽게 합성.
+
+**Geometry regularizers**
+
+**1)** **opacity에 대한 regularization penalty 추가** : Mip-NeRF 360 모델에서 빈 공간에 대한 불필요한 채움을 방지하기 위해 진행. (Zero-shot text-guided object generation with dream fields. CVPR 2022)
+
+**2) Ref-NeRF에서 제안된 orientation loss의 수정 버전을 사용** : Density field에서 normal vector가 camera로부터 멀어지는 문제 방지를 위해 제안.
+
+Appendix A.2 참조
+
+### 3.2 Text-to-3D Synthesis
+
+각 text prompt에 대해 NeRF 초기 랜덤 초기화
+
+:::{figure-md}
+
+
+DreamFusion Figure 3-1
+:::
+
+DreamFusion의 각 iter 최적화
+
+(1) randomly sample a camera and light
+
+(2) render an image of the NeRF from that camera and shade with the light
+
+(3) compute gradients of the SDS loss with respect to the NeRF parameters
+
+(4) update the NeRF parameters using an optimizer
+
+**1. Random camera and light sampling**
+
+:::{figure-md}
+
+
+Spherical Coordinate Figure
+:::
+
+매 iteration, camera position은 spherical coordinate에서 무작위로 sample됨.
+
+elevation angle : $\phi_{cam} \in [-10, 90]$
+
+azimuth angle : $\theta_{cam} \in [0, 360]$
+
+origin으로부터 distance : $[1, 1.5]$
+
+focal length multiplier : $\lambda_{focal} \in \mathcal{U} (0.7, 1.35)$
+
+focal length : $\lambda_{focal} w$ ($w$ =64)
+
+point light position $l$은 camera position 중심 주변 분포에서 sample
+
+다양한 camera location & distance 사용
+
+**2. Rendering.**
+
+Camera pose와 light position이 주어졌을 때, 64x64 해상도의 shaded NeRF model를 render
+
+Rendering 세 가지 옵션 중 하나를 무작위로 선택:
+
+**1) 조명이 적용된 색상 렌더링 (illuminated color render)**: 조명이 적용된 상태에서의 색상 렌더링 (Fig 3. Color)
+
+**2) textureless render**: 텍스처 없이 음영 처리된 상태로 렌더링. ( Fig 3. Normal?)
+
+**3) rendering of the albedo**: 음영 없이 알베도 색상만을 렌더링. ( Fig 3. Albedo)
+
+**3. Diffusion loss with view-dependent conditioning**
+
+view-dependent text를 추가하는 것이 효과적
+
+높은 고도 각도 $\phi_{cam} > 60^{\circ}$ 일 때, "overhead view"
+
+$\phi_{cam} < 60^{\circ}$ 일 때, azimuth angle $\theta_{cam}$에 따라 “front view”, “side view”, “back view” text embedding
+
+pretrained 64x64 base text-to-image model (Imagen)
+
+T5-XXL text embedding
+
+weighting function $w(t) = \sigma_t^2$
+
+sample $t \sim \mathcal{U} (0.02, 0.98)$ 너무 높거나 낮은 noise level 피하기 위해 설정.
+
+CFG $w$=100, 높은 guidance weight가 향상된 sample quality를 줌
+
+**4. Optimization**
+
+TPUv4 (4 chips)
+
+15,000 iters, 1.5h
+
+Appendix A.2 optimization setting
+
+## 4. Experiments
+
+:::{figure-md}
+
+
+DreamFusion Figure 4
+:::
+
+:::{figure-md}
+
+
+DreamFusion Table 1
+:::
+
+- **일반적인 3D 복원 작업 평가**:
+ - Chamfer Distance와 같은 참조 기반 평가 방법 사용.
+ - PSNR은 보유된 사진과 렌더링된 보기의 품질을 비교.
+- **Zero-shot 텍스트-3D 생성 평가의 어려움**:
+ - GT가 없어 참조 기반 평가 적용 어려움.
+- **대안적 평가 방법 CLIP R-Precision**:
+ - CLIP R-Precision은 rendering된 장면들이 주어졌을 때 입력 캡션과 일치하는 비율을 나타냄. 특정 문장을 여러 명령어 세트 중에서 정확히 찾는지 평가.
+ - object-centric COCO validation subset에서 153개 프롬프트 사용.
+- **Geo(Geometry) 평가**:
+ - 기하학적 평가를 위해 textureless render에 대한 R-Precision 측정
+
+:::{figure-md}
+
+
+DreamFusion Figure 5
+:::
+
+**Ablation**
+
+:::{figure-md}
+
+
+DreamFusion Figure 6
+:::
+
+- **ViewAug (다양한 시야각):** 다양한 시야각을 고려하는 것이 3D 장면의 일관성을 높임.
+- **ViewDep (뷰 의존적 prompt):** prompt에 시야각 관련 정보를 추가하여 정확한 geometry 복원.
+- **Lighting (조명 최적화):** 무채색 albedo rendering 외에 lighting rendering optimization
+- **Textureless :** 매끄러운 표면을 만듦.
+
+**제한 사항:**
+
+- **SDS의 한계**
+- **세밀한 디테일 부족**
- **3D 복원이 근본적으로 어렵다**
\ No newline at end of file
diff --git a/_sources/docs/review/DreamGaussian.md b/_sources/docs/review/DreamGaussian.md
index b00a1a87..3d1eb950 100755
--- a/_sources/docs/review/DreamGaussian.md
+++ b/_sources/docs/review/DreamGaussian.md
@@ -1,623 +1,623 @@
-``` {admonition} Information
-- **Title:** DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation (ICLR 2024)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2309.16653](https://arxiv.org/abs/2309.16653)
- - Code: [https://github.com/dreamgaussian/dreamgaussian/tree/main](https://github.com/dreamgaussian/dreamgaussian/tree/main)
- - Project Page: [https://dreamgaussian.github.io/](https://dreamgaussian.github.io/)
-
-- **Author:** Kyeongmin Yu
-
-- **Last updated on Dec. 26, 2024**
-```
-
-# DreamGaussian
-
-
-# 1. Abstract
-
-
-
-# 2. Related Work
-
-## 2.1 3D representations
-
-
-
-Method Overview
-:::
-
-- 2-stage framework for 3D content generation
-for both Image-to-3D and Text-to-3D tasks.
- - SDS를 이용해 초기화 한 3D gaussian splatting을 이용하여 3D generation
- - 3D gaussians에서 textured mesh 추출
- - UV-space refinement를 통해 texture fine-tuning
-
-
-## 3.1 Generative Gaussian Splatting
-
-개별 3D gaussian의 위치와 형태는 center($\mathbf x$), scaling factor($\mathbf x$), rotation quaternion($\mathbf q$)으로 표현되며, opacity value($\alpha$), color feature($\mathbf c$)를 저장하여 volumetric rendering시 사용한다.
-
-$\Theta_i=\{\mathbf x_i, \mathbf s_i,\mathbf q_i, \alpha_i, \mathbf c_i\}$, $\mathbf x \in \Bbb R^3, \mathbf s\in \Bbb R^3, \mathbf q \in \Bbb R^4, \alpha\in \Bbb R, \mathbf c \in \Bbb R^3$
-original gaussian splatting에서는 spherical harmonics 계수를 이용하여 색을 표현하지만
-simple diffuse color를 모델링 하기 위해 간략화 → 재질 표현이 어려울 수 있다.
-
-3D Gaussians은 random position, unit scaling, no rotation으로 initialization 한 후, SDS를 이용해 최적화 한다.
-
-### Image-to-3D
-
-- 사전학습된 Zero-1-to-3 XL을 사용했으며 image $\tilde I^r_\text{RGB}$ 와 foreground mask $\tilde I^r_A$ 를 입력으로 사용한다.
-
- $$
- \triangledown_\Theta\mathcal L_\text{SDS}=\Bbb E_{t,p,\epsilon} \Big[w(t)(\epsilon_\phi(I^p_\text{RGB};t,\tilde I^r_\text{RGB},\triangle p)-\epsilon)\frac{\partial I^p_\text{RGB}}{\partial\Theta} \Big] \tag 1
- $$
-
- $w(t)$는 weighting function이고, $\epsilon_\phi(\cdot)$ 는 사전학습된 $\phi$를 이용해 예측된 noise를 뜻한다.
- $\triangle p$ 는 relative camera pose, $r$은 reference camera이다.
-
-- 추가적으로 reference view와 transparency 를 input에 align했다.
-
- $$
- \mathcal L_\text{Ref}=\lambda_\text{RGB}\|I^r_\text{RGB}-\tilde I_\text{RGB}^r \|^2_2 + \lambda_A\|I^r_A-\tilde I^r_A\|^2_2 \tag 2
- $$
-
-
-### Text-to-3D
-
-Stable diffusion을 활용하여 text-to-3D task를 수행했다.
-
-$$
-\triangledown_\Theta\mathcal L_\text{SDS}=\Bbb E_{t,p,\epsilon}\Big [ w(t)(\epsilon_\phi(I^p_\text{RGB};t,e)-\epsilon)\frac{\partial I^p_\text{RGB}}{\partial \Theta} \Big] \tag 3
-$$
-
-$e$는 주어진 text prompt의 CLIP embedding을 의미한다.
-
-### Discussion
-
-하지만 논문의 저자들은 SDS loss의 ambiguity 때문에 길게 학습하더라도 생성된 3D gaussians이 blurry하고 디테일이 부족하다고 한다. 이를 개선하기 위해 다음 단계인 mesh extraction과 texture refinement를 수행한다.
-
-## 3.2 Efficient Mesh Extraction
-
-block-wise local density query와 back-projected color를 이용해 textured mesh를 추출하는 효과적인 알고리즘을 제안한다.
-
-### Local Density Query
-
-marching cube algorithm을 적용하기 위해서는 local density grid가 필요하다. gaussian splatting 알고리즘의 주요 특징은 over-sized Gaussian 들은 최적화 과정에서 split 및 pruning된다는 점이다. 이는 효과적인 rasterization을 위해 culling technique을 적용 할 수 있는 근거가 된다. 또한 이 점은 block-wise density queries를 perform 할 때도 사용할 수 있다.
-
-먼저 3D space를 $(-1,1)^3$ 으로 맵핑한다. (그냥 최대, 최소값을 이용해 정규화) 그리고 이 공간을 $16^3$의 overlapping blocks(multiscale voxels)으로 나눈다. 그리고 각 블록의 외부에 위치한 gaussian들은 제외한다. 이를 통해 계산해야 할 gaussian의 총 개수를 효과적으로 줄일 수 있다. 그리고 각 블록의 내부에 $8^3$ dense grid를 만들어 최종적으로는 $128^3$의 dense grid를 만든다. grid position $\mathbf x$의 각 query는 남아있는 3D gaussian들의 opacity의 weighted sum으로 local density grid를 얻는다.
-
-$$
-d(\mathbf x)=\sum_i\alpha_i\text{exp}(-\frac{1}{2}(\mathbf x-\mathbf x_i)^T\Sigma_i^{-1}(\mathbf x-\mathbf x_i)) \tag{4}
-$$
-
-$\Sigma$는 covariance matrix로 scaling $\mathbf s$, rotation $\mathbf q$로 이루어져 있다. 이후에는 empirical threshold를 marching cube 알고리즘에 적용하여 mesh surface를 추출한다. [decimation과 remeshing](https://www.meshlab.net)을 이용해 후처리하여 더욱 자연스럽고(smoother), 간결한(compact) mesh를 만들었다.
-
-### Color Back-projection
-
-앞선 단계에서 mesh를 얻었기 때문에 rendered RGB 이미지를 mesh surface로 back-project하여 texture map으로 만들 수 있다.
-
-
-
-UV-space Texture Refinement
-:::
-
-앞선 back-projection된 coarse texture를 시작으로 texture 품질을 올리고자 했으나, SDS loss를 이용해
-UV-space를 직접 fine-tuning 하면 위의 그림과 같은 artifact가 발생하게된다. 이는 differentiable rasterization시 사용되는 mipmap texture sampling 기법때문이다. SDS와 같이 모호한 guidance를 이용하면 각 mipmap level에 따라 over-saturation된 color block으로 gradient가 전파 된다.
-
-- mipmap in rasterization
-
-
- :::{figure-md}
- 
-
- from widipedia
- :::
-
- :::{figure-md}
- 
-
- from unity document
- :::
-
- 위와 같은 고품질 렌더링와 렌더링 속도 향상을 위해 mipmap이라는 기법을 활용한다. 본 논문에서 texture mapping, rendering시 사용한 NVdiffrast도 mipmap을 활용하고 있다.
- mipmap은 texture를 여러 레벨의 화질으로 저장하는 방식으로 mipmap level은 특정 화질의 texture version을 의미한다. 카메라로 부터 멀리 떨어진 object는 저레벨의 mipmap을 사용해 렌더링 한다. 저레벨의 mipmap은 이미 정보손실이 일어난 상태이고 이를 이용해 렌더링 되었다면 gradient가 흐르는 방향이 왜곡 될수 있다.
-
- ---
-
-
-$$
-I^p_\text{fine}=f_\phi(I^p_\text{coarse}+\epsilon(t_\text{start});t_\text{start},c) \tag 5
-$$
-
-stage 2 의 학습은 image-to-image synthesis와 같은 방식으로 진행된다. initialization texture가 있으므로 임의의 camera view $p$ $p$
-
-:::{figure-md}
-
-
-from SDEdit
-:::
-
-$f_\phi(\cdot)$ 는 사전학습된 2D diffusion 을 통해 refined image를 얻는 multi-step denoising process를 의미한다. $\epsilon(t_\text{start})$ 는 timestep $t_\text{start}$의 랜덤 노이즈를 말한다. $c$ 는 image-to-3D를 위한 condition인 카메라 포즈 변화량 $\Delta p$ 이고, $e$는 text-to-3D의 condition을 말한다. 시작 timestep $t_\text{start}$는 noise 강도를 제한하기 위해 신중히 선택되어야 refined image의 original content를 유지하며 detail을 향상 시킬수 있다고 한다. refined image는 이후 pixel-wise MSE loss에 texture 최적화를 위해 사용된다.
-
-$$
-\mathcal L_\text{MSE}=\|I^p_\text{fine}-I^p_\text{coarse}\|^2_2 \tag 6
-$$
-
-image-to-3D task에서는 reference view RGBA loss $\mathcal L_\text{Ref}$ 를 적용했다.
-
-실험 결과에 따르면 50 step 정도 만에 대부분 detail이 좋아졌다고 하며 반복횟수를 늘릴수록 texture의 detail이 향상되었다고 합니다.
-
-# 4. Experiments
-
-## 4.1 Implementation Details
-
-- Number of iterations
- - first stage - 500 steps
- - second stage - 50 steps
-- 3D Gaussian initialization
- - number - 5000 for image-to-3D, 1000 for text-to-3D
- - opacity - 0.1
- - color - grey
- - radius - 0.5
-- Rendering resolution - 64 to 512 for gaussian splatting, 128 to 1024 for mesh
-- Loss weights in eq(2) - RGB, transperency 가중치($\lambda_\text{RGB}, \lambda_A$)는 0에서 부터 각각 10000, 1000로 linearly increasing
-- Camera pose sampling - fixed radius 2 for image-to-3D / 2.5 for text-to-3D,
- y-axis FOV 49 degree,
- azimuth in $[-180,180]$ degree, elevation in $[-30,30]$.
-
-:::{figure-md}
-
-
-Horizontal coordinates from wikipedia
-:::
-
-:::{figure-md}
-
-
-[출처](https://www.epd.gov.hk/eia/register/report/eiareport/eia_2522017/EIA/html/Appendix/Appendix%2011.1.pdf)
-:::
-
-- Background color - white or black randomly for gaussian splatting
-- Run-time - 1min/stage for image-to-3D
- 2min/stage for text-to-3D w. Stable Diffusion $512\times512$ resolution
-- Marching cube threshold - 1
-- GPU - NVIDIA V100(16GB), less than 8GB for this experiments
-
-## 4.2 Qualitative Comparison
-
-**Image-to-3D comparison**
-
-:::{figure-md}
-
-
-실험결과
-:::
-
-**Text-to-3D comparison**
-
-:::{figure-md}
-
-
-실험결과
-:::
-
-최적화를 진행하는 방법론 뿐만 아니라 inference-only 방법론들과 비교해도 매우 빠른 생성 속도를 보였다고 함.
-
-:::{figure-md}
-
-
-실험결과
-:::
-
-이렇게 뽑아낸 mesh는 blender와 같은 리깅 툴을 이용해 애니메이팅 가능.
-
-## 4.3 Quantitative Comparison
-
-:::{figure-md}
-
-
-실험결과
-:::
-:::{figure-md}
-
-
-실험결과
-:::
-
-## 4.4 Ablation Study
-
-:::{figure-md}
-
-
-실험결과
-:::
-
-논문에서 제안하는 파이프라인의 모든 과정이 필요함을 보여줌.
-
-- Periodical densificaiton of 3D Gaussians
-- Linear annealing of timestep t for SDS loss
-- Effect of the reference view loss $\mathcal L_{\text{Ref}}$
-
-# 5. Limitations and Conclusion
-
-- 3D content generation framework인 DreamGaussian을 통해 3D content 생성을 효율성을 증대.
-- 3D Gaussian으로 부터 mesh를 추출하는 알고리즘 제안.
-- texture fine-tuning stage를 통해 image나 text로 부터 고품질의 polygonal mesh생성 가능.
-
-:::{figure-md}
-
-
-실험결과
-:::
-
-아래와 같은 기존 방법론들의 문제점들을 여전히 가지고 있으나 score debiasing/ camera-conditioned 2D diffusion models/ BRDF auto-encoder와 같은 방법을 도입하면, 개선가능할 것으로 기대함.
-
-- Janus prob
-- over saturated texture
-- baked lighting
-
+``` {admonition} Information
+- **Title:** DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation (ICLR 2024)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2309.16653](https://arxiv.org/abs/2309.16653)
+ - Code: [https://github.com/dreamgaussian/dreamgaussian/tree/main](https://github.com/dreamgaussian/dreamgaussian/tree/main)
+ - Project Page: [https://dreamgaussian.github.io/](https://dreamgaussian.github.io/)
+
+- **Author:** Kyeongmin Yu
+
+- **Last updated on Dec. 26, 2024**
+```
+
+# DreamGaussian
+
+
+# 1. Abstract
+
+
+
+# 2. Related Work
+
+## 2.1 3D representations
+
+
+
+Method Overview
+:::
+
+- 2-stage framework for 3D content generation
+for both Image-to-3D and Text-to-3D tasks.
+ - SDS를 이용해 초기화 한 3D gaussian splatting을 이용하여 3D generation
+ - 3D gaussians에서 textured mesh 추출
+ - UV-space refinement를 통해 texture fine-tuning
+
+
+## 3.1 Generative Gaussian Splatting
+
+개별 3D gaussian의 위치와 형태는 center($\mathbf x$), scaling factor($\mathbf x$), rotation quaternion($\mathbf q$)으로 표현되며, opacity value($\alpha$), color feature($\mathbf c$)를 저장하여 volumetric rendering시 사용한다.
+
+$\Theta_i=\{\mathbf x_i, \mathbf s_i,\mathbf q_i, \alpha_i, \mathbf c_i\}$, $\mathbf x \in \Bbb R^3, \mathbf s\in \Bbb R^3, \mathbf q \in \Bbb R^4, \alpha\in \Bbb R, \mathbf c \in \Bbb R^3$
+original gaussian splatting에서는 spherical harmonics 계수를 이용하여 색을 표현하지만
+simple diffuse color를 모델링 하기 위해 간략화 → 재질 표현이 어려울 수 있다.
+
+3D Gaussians은 random position, unit scaling, no rotation으로 initialization 한 후, SDS를 이용해 최적화 한다.
+
+### Image-to-3D
+
+- 사전학습된 Zero-1-to-3 XL을 사용했으며 image $\tilde I^r_\text{RGB}$ 와 foreground mask $\tilde I^r_A$ 를 입력으로 사용한다.
+
+ $$
+ \triangledown_\Theta\mathcal L_\text{SDS}=\Bbb E_{t,p,\epsilon} \Big[w(t)(\epsilon_\phi(I^p_\text{RGB};t,\tilde I^r_\text{RGB},\triangle p)-\epsilon)\frac{\partial I^p_\text{RGB}}{\partial\Theta} \Big] \tag 1
+ $$
+
+ $w(t)$는 weighting function이고, $\epsilon_\phi(\cdot)$ 는 사전학습된 $\phi$를 이용해 예측된 noise를 뜻한다.
+ $\triangle p$ 는 relative camera pose, $r$은 reference camera이다.
+
+- 추가적으로 reference view와 transparency 를 input에 align했다.
+
+ $$
+ \mathcal L_\text{Ref}=\lambda_\text{RGB}\|I^r_\text{RGB}-\tilde I_\text{RGB}^r \|^2_2 + \lambda_A\|I^r_A-\tilde I^r_A\|^2_2 \tag 2
+ $$
+
+
+### Text-to-3D
+
+Stable diffusion을 활용하여 text-to-3D task를 수행했다.
+
+$$
+\triangledown_\Theta\mathcal L_\text{SDS}=\Bbb E_{t,p,\epsilon}\Big [ w(t)(\epsilon_\phi(I^p_\text{RGB};t,e)-\epsilon)\frac{\partial I^p_\text{RGB}}{\partial \Theta} \Big] \tag 3
+$$
+
+$e$는 주어진 text prompt의 CLIP embedding을 의미한다.
+
+### Discussion
+
+하지만 논문의 저자들은 SDS loss의 ambiguity 때문에 길게 학습하더라도 생성된 3D gaussians이 blurry하고 디테일이 부족하다고 한다. 이를 개선하기 위해 다음 단계인 mesh extraction과 texture refinement를 수행한다.
+
+## 3.2 Efficient Mesh Extraction
+
+block-wise local density query와 back-projected color를 이용해 textured mesh를 추출하는 효과적인 알고리즘을 제안한다.
+
+### Local Density Query
+
+marching cube algorithm을 적용하기 위해서는 local density grid가 필요하다. gaussian splatting 알고리즘의 주요 특징은 over-sized Gaussian 들은 최적화 과정에서 split 및 pruning된다는 점이다. 이는 효과적인 rasterization을 위해 culling technique을 적용 할 수 있는 근거가 된다. 또한 이 점은 block-wise density queries를 perform 할 때도 사용할 수 있다.
+
+먼저 3D space를 $(-1,1)^3$ 으로 맵핑한다. (그냥 최대, 최소값을 이용해 정규화) 그리고 이 공간을 $16^3$의 overlapping blocks(multiscale voxels)으로 나눈다. 그리고 각 블록의 외부에 위치한 gaussian들은 제외한다. 이를 통해 계산해야 할 gaussian의 총 개수를 효과적으로 줄일 수 있다. 그리고 각 블록의 내부에 $8^3$ dense grid를 만들어 최종적으로는 $128^3$의 dense grid를 만든다. grid position $\mathbf x$의 각 query는 남아있는 3D gaussian들의 opacity의 weighted sum으로 local density grid를 얻는다.
+
+$$
+d(\mathbf x)=\sum_i\alpha_i\text{exp}(-\frac{1}{2}(\mathbf x-\mathbf x_i)^T\Sigma_i^{-1}(\mathbf x-\mathbf x_i)) \tag{4}
+$$
+
+$\Sigma$는 covariance matrix로 scaling $\mathbf s$, rotation $\mathbf q$로 이루어져 있다. 이후에는 empirical threshold를 marching cube 알고리즘에 적용하여 mesh surface를 추출한다. [decimation과 remeshing](https://www.meshlab.net)을 이용해 후처리하여 더욱 자연스럽고(smoother), 간결한(compact) mesh를 만들었다.
+
+### Color Back-projection
+
+앞선 단계에서 mesh를 얻었기 때문에 rendered RGB 이미지를 mesh surface로 back-project하여 texture map으로 만들 수 있다.
+
+
+
+UV-space Texture Refinement
+:::
+
+앞선 back-projection된 coarse texture를 시작으로 texture 품질을 올리고자 했으나, SDS loss를 이용해
+UV-space를 직접 fine-tuning 하면 위의 그림과 같은 artifact가 발생하게된다. 이는 differentiable rasterization시 사용되는 mipmap texture sampling 기법때문이다. SDS와 같이 모호한 guidance를 이용하면 각 mipmap level에 따라 over-saturation된 color block으로 gradient가 전파 된다.
+
+- mipmap in rasterization
+
+
+ :::{figure-md}
+
+
+ from widipedia
+ :::
+
+ :::{figure-md}
+
+
+ from unity document
+ :::
+
+ 위와 같은 고품질 렌더링와 렌더링 속도 향상을 위해 mipmap이라는 기법을 활용한다. 본 논문에서 texture mapping, rendering시 사용한 NVdiffrast도 mipmap을 활용하고 있다.
+ mipmap은 texture를 여러 레벨의 화질으로 저장하는 방식으로 mipmap level은 특정 화질의 texture version을 의미한다. 카메라로 부터 멀리 떨어진 object는 저레벨의 mipmap을 사용해 렌더링 한다. 저레벨의 mipmap은 이미 정보손실이 일어난 상태이고 이를 이용해 렌더링 되었다면 gradient가 흐르는 방향이 왜곡 될수 있다.
+
+ ---
+
+
+$$
+I^p_\text{fine}=f_\phi(I^p_\text{coarse}+\epsilon(t_\text{start});t_\text{start},c) \tag 5
+$$
+
+stage 2 의 학습은 image-to-image synthesis와 같은 방식으로 진행된다. initialization texture가 있으므로 임의의 camera view $p$ $p$
+
+:::{figure-md}
+
+
+from SDEdit
+:::
+
+$f_\phi(\cdot)$ 는 사전학습된 2D diffusion 을 통해 refined image를 얻는 multi-step denoising process를 의미한다. $\epsilon(t_\text{start})$ 는 timestep $t_\text{start}$의 랜덤 노이즈를 말한다. $c$ 는 image-to-3D를 위한 condition인 카메라 포즈 변화량 $\Delta p$ 이고, $e$는 text-to-3D의 condition을 말한다. 시작 timestep $t_\text{start}$는 noise 강도를 제한하기 위해 신중히 선택되어야 refined image의 original content를 유지하며 detail을 향상 시킬수 있다고 한다. refined image는 이후 pixel-wise MSE loss에 texture 최적화를 위해 사용된다.
+
+$$
+\mathcal L_\text{MSE}=\|I^p_\text{fine}-I^p_\text{coarse}\|^2_2 \tag 6
+$$
+
+image-to-3D task에서는 reference view RGBA loss $\mathcal L_\text{Ref}$ 를 적용했다.
+
+실험 결과에 따르면 50 step 정도 만에 대부분 detail이 좋아졌다고 하며 반복횟수를 늘릴수록 texture의 detail이 향상되었다고 합니다.
+
+# 4. Experiments
+
+## 4.1 Implementation Details
+
+- Number of iterations
+ - first stage - 500 steps
+ - second stage - 50 steps
+- 3D Gaussian initialization
+ - number - 5000 for image-to-3D, 1000 for text-to-3D
+ - opacity - 0.1
+ - color - grey
+ - radius - 0.5
+- Rendering resolution - 64 to 512 for gaussian splatting, 128 to 1024 for mesh
+- Loss weights in eq(2) - RGB, transperency 가중치($\lambda_\text{RGB}, \lambda_A$)는 0에서 부터 각각 10000, 1000로 linearly increasing
+- Camera pose sampling - fixed radius 2 for image-to-3D / 2.5 for text-to-3D,
+ y-axis FOV 49 degree,
+ azimuth in $[-180,180]$ degree, elevation in $[-30,30]$.
+
+:::{figure-md}
+
+
+Horizontal coordinates from wikipedia
+:::
+
+:::{figure-md}
+
+
+[출처](https://www.epd.gov.hk/eia/register/report/eiareport/eia_2522017/EIA/html/Appendix/Appendix%2011.1.pdf)
+:::
+
+- Background color - white or black randomly for gaussian splatting
+- Run-time - 1min/stage for image-to-3D
+ 2min/stage for text-to-3D w. Stable Diffusion $512\times512$ resolution
+- Marching cube threshold - 1
+- GPU - NVIDIA V100(16GB), less than 8GB for this experiments
+
+## 4.2 Qualitative Comparison
+
+**Image-to-3D comparison**
+
+:::{figure-md}
+
+
+실험결과
+:::
+
+**Text-to-3D comparison**
+
+:::{figure-md}
+
+
+실험결과
+:::
+
+최적화를 진행하는 방법론 뿐만 아니라 inference-only 방법론들과 비교해도 매우 빠른 생성 속도를 보였다고 함.
+
+:::{figure-md}
+
+
+실험결과
+:::
+
+이렇게 뽑아낸 mesh는 blender와 같은 리깅 툴을 이용해 애니메이팅 가능.
+
+## 4.3 Quantitative Comparison
+
+:::{figure-md}
+
+
+실험결과
+:::
+:::{figure-md}
+
+
+실험결과
+:::
+
+## 4.4 Ablation Study
+
+:::{figure-md}
+
+
+실험결과
+:::
+
+논문에서 제안하는 파이프라인의 모든 과정이 필요함을 보여줌.
+
+- Periodical densificaiton of 3D Gaussians
+- Linear annealing of timestep t for SDS loss
+- Effect of the reference view loss $\mathcal L_{\text{Ref}}$
+
+# 5. Limitations and Conclusion
+
+- 3D content generation framework인 DreamGaussian을 통해 3D content 생성을 효율성을 증대.
+- 3D Gaussian으로 부터 mesh를 추출하는 알고리즘 제안.
+- texture fine-tuning stage를 통해 image나 text로 부터 고품질의 polygonal mesh생성 가능.
+
+:::{figure-md}
+
+
+실험결과
+:::
+
+아래와 같은 기존 방법론들의 문제점들을 여전히 가지고 있으나 score debiasing/ camera-conditioned 2D diffusion models/ BRDF auto-encoder와 같은 방법을 도입하면, 개선가능할 것으로 기대함.
+
+- Janus prob
+- over saturated texture
+- baked lighting
+
덧붙여 texture refinement를 진행하는 stage 2에서 blurry한 결과를 얻을 수 있으나 학습을 더 진행하면 개선된다고 함.
\ No newline at end of file
diff --git a/_sources/docs/review/DreamPose.md b/_sources/docs/review/DreamPose.md
index 5dcf277b..bf5cf791 100755
--- a/_sources/docs/review/DreamPose.md
+++ b/_sources/docs/review/DreamPose.md
@@ -1,423 +1,423 @@
-```{admonition} Information
-- **Title:** DreamPose: Fashion Image-to-Video Synthesis via Stable Diffusion
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2304.06025](https://arxiv.org/abs/2304.06025)
- - Project: [https://grail.cs.washington.edu/projects/dreampose/](https://grail.cs.washington.edu/projects/dreampose/)
-
-- **Author:** [Jeonghwa Yoo](https://www.linkedin.com/in/jeonghwa-yoo-8403a716b)
-
-- **Last updated on May. 08, 2023**
-```
-
-
-# DreamPose: Fashion Image-to-Video Synthesis via Stable Diffusion
-
-:::{figure-md}
-
-
-DreamPose 입출력
-:::
-
-
-
-
-# **1. Introduction**
-
-- DreamPose가 제안된 배경
- - 패션 사진은 온라인에 널리 퍼져 있지만, 전달할 수 있는 정보가 제한적이며 입었을 때 옷의 늘어진 모양이나 흐름 등 옷의 중요한 뉘앙스를 포착하지 못한다.
- - 패션 동영상은 이러한 모든 디테일을 보여주기에 소비자의 의사 결정에 유용한 정보를 제공하지만, 동영상이 있는 상품은 매우 드물다.
-- DreamPose
- - 본 논문에서는 포즈 시퀀스를 따라 패션 사진을 사실적인 애니메이션 비디오로 변환하는 방법인 DreamPose를 소개한다.
- - Stable diffusion을 기반으로 한다.
- - 하나 이상의 사람 이미지와 포즈 시퀀스가 주어지면, 포즈 시퀀스를 따라 고품질 비디오를 생성한다.
-- 기존 비디오 생성 모델들의 문제점
- - 이미지 생성 디퓨전 모델은 좋은 결과를 보여주었지만, 비디오 생성 디퓨전 모델은 동일한 품질의 결과를 얻지 못했으며, 텍스처 움직임이나 카툰과 같은 모양으로 제한된 경우가 많다.
- - 시간적 일관성이 떨어진다.
- - 모션 jitter가 발생한다.
- - 사실성(realism)이 부족하다.
- - 대상 비디오의 움직임이나 세부적인 물체 모양을 제어할 수 없다.
- - 기존 모델이 주로 텍스트에 기반으로 하기 때문에
-- DreamPose의 접근법
- - 이미지 및 포즈 시퀀스를 조건으로 받는 방식을 사용하여 fidelity와 프레임 간 일관성을 높일 수 있다.
- - 이미지 분포를 효과적으로 모델링하는 기존 사전 학습된 이미지 디퓨전 모델을 파인 튜닝하였다. → 이미지 애니메이션 태스크를 컨디셔닝 신호와 일치하는 이미지의 부분 공간을 찾는 것으로 단순화 할 수 있다.
- - 해당 태스크를 위해 스테이블 디퓨전의 인코더와 컨디셔닝 메커니즘을 재설계하였다.
- - 2-스테이지 파인튜닝 방식을 사용한다
- - UNet과 VAE를 하나 혹은 여러 입력 이미지에 대해서 파인튜닝
-- Contribution
- 1. DreamPose: 패션 이미지 애니메이션을 위해 이미지 및 포즈를 조건으로 하는 디퓨전 방식
- 2. 프레임 간 시간적 일관성을 크게 향상 시키는 간단하지만 효과적인 포즈 컨디셔닝 방식
- 3. 컨디셔닝 이미지의 fidelity를 높여주는 split CLIP-VAE 인코더
- 4. 이미지의 fidelity와 새로운 포즈에 대한 일반화 사이의 균형을 효과적으로 맞추는 파인튜닝 전략
-
-# 2. Related Work
-
-## 2.1. Diffusion models
-
-- 디퓨전 모델은 최근 text-to-image, 비디오 생성, 3D 생성 태스크에서 인상적인 결과를 보여주고 있다.
-- 하지만 이러한 모델을 처음부터 훈련하는 것은 비용이 많이 들고 많은 양의 데이터가 필요하다.
-- 스테이블 디퓨전과 같은 latent diffusion 모델은 디퓨전과 디노이징 과정을 latent space에서 수행하기 때문에 계산 요구 사항과 훈련 시간을 대폭 줄일 수 있다.
-- 스테이블 디퓨전과 그 사전 훈련된 체크포인트는 출시 이후 다양한 이미지 생성 작업에 사용되었다.
-- 본 논문에서도 사전 훈련된 스테이블 디퓨전 모델을 활용하고, subject에 특화된 파인튜닝을 한다.
-
-## 2.2. Still Image Animation
-
-- 하나 이상의 입력 이미지로부터 동영상을 생성하는 태스크
-- 기존에 디퓨전 기반이 아닌 접근 방식들은 배경 예측, 모션 표현, occlusion map이나 dense map 등 여러 개의 개별 네트워크로 구성되는 경우가 많았다.
- - 각 단계마다 별도의 훈련이 필요하고 ground-truth 모션이나 depth등의 ground-truth 데이터를 사용할 수 없거나 불완전할 가능성이 있다.
- - 모션이 크고 복잡할 경우에 groud-truth에 대한 예측은 도출하기 더 어렵고 오류가 발생하기 쉽다.
-- 최근 여러 방법들은 엔드 투 엔드 싱글 네트워크 접근 방식을 탐구하고 있다. (예: optical flow and warping, cross-attention 모듈, NeRF 표현을 사용한 애니메이션이 가능한 3D 휴먼 생성 등)
-
-## 2.3. Fashion Image Synthesis
-
-- 기존 pose-guided 패션 이미지 합성 방법
- - 일반적으로 GAN을 기반으로 했고, optical flow에 의존해 이미지 특징을 포즈에 맞추는 방법을 사용했다. → 큰 포즈 변화, 가려진 영역 합성, 의상 스타일 보존에 어려움을 겪는 경우가 많다.
- - 최근엔 어텐션 기반 메커니즘을 사용하여, 셀프/크로스 어텐션을 사용하여 이미지 특징을 목표 프레임에 맞추려고 하였다.
- - 디퓨전 기반
- - DiffFashion: 레퍼런스 이미지의 스타일을 트랜스퍼하여 의류 아이템을 편집하는 것을 목표로 한다.
- - PIDM: 포즈를 조건으로 넣어 사람 이미지를 생성한다 → 시간적 일관성을 위한 최적화는 하지 않는다.
-
-## 2.4. Diffusion Models for Video Synthesis
-
-- 많은 text-to-video 디퓨전 모델은 text-to-image 디퓨전 모델을 활용하여 적용한다.
-- 결과를 기대할만 하지만, 여전히 텍스트-이미지 모델과 같은 성능은 나오지 않고 있다.
-- 프레임 간의 시간적 일관성을 유지하는 것과 사실적인 모션을 생성하는 것이 어렵다.
-- 어떤 디퓨전 기반 방법들은 스크래치부터 학습하기 때문에 값비싼 컴퓨팅 리소스, 방대학 학습 데이터셋, 오랜 학습 시간이 필요하다.
-- Turn-A-Video는 텍스트와 이미지가 조건으로 들어왔을 때 비디오 생성을 위해 사전 학습된 텍스트-이미지 디퓨전 모델을 파인튜닝한다. → 이전 방법들과 마찬가지로 텍스처 깜빡거림(textural flickering), 구조적인 불일치가 나타난다.
-- 본 논문에서는 위의 문제를 해결하여 사람과 섬유의 움직임의 싱크를 맞추는 것을 목표로 한다.
-
-## 2.5. Conditioning Mechanisms for Diffusion Models
-
-- 텍스트를 조건으로 하는 이미지 생성 디퓨전 모델을 널리 사용되어 왔다.
-- 텍스트 컨디셔닝은 높은 수준의 디테일을 조절하는 데는 효과적이지만, 사람과 의상의 정확한 identity나 포즈에 대한 풍부하고 상세한 정보를 제공하는 것은 어렵다.
-- 여러 연구에서 사전 학습된 text-to-image 스테이블 디퓨전 모델을 위한 이미지 컨디셔닝 문제를 다루고 있다.
- - 이러한 모델에는 종종 어떤 종류의 텍스트 임베딩이 포함된다. (ex: DreamBooth: 피사체별 파인 튜닝을 수행하기 위해 고유한 텍스트 토큰을 학습)
- - 기존 이미지와 동영상의 모양을 편집하기 위해 텍스트를 통합하기도 한다.
- - PIDM은 별도의 텍스처 인코더를 사용하여 이미지 텍스처를 인코딩하고 입력된 노이즈 이미지와 대상 포즈를 연결한다.
-- DreamPose는 영상 속 피사체의 외형뿐만 아니라 구조와 움직임까지 제어할 수 있다.
-- PIDM과 마찬가지로 이미지 임베딩을 UNet의 크로스 어텐션 레이어에 직접 통합하지만, 이미지 임베딩에 대해 사전 학습된 두 개의 인코더(CLIP, VAE)를 혼합하여 사용한다. → 입력 노이즈에 연결된(concatenated) 멀티 포즈 입력 표현(multi-pose input representation)을 이용해 부드럽고 시간적으로 일관된 모션을 구현할 수 있다.
-
-# 3. Background
-
-- 디퓨전 모델
- - 디퓨전 모델은 품질, 다양성, 학습 안정성 측면에서 합성 태스크에서 GAN을 능가하는 최신 생성 모델이다.
- - 표준 이미지 디퓨전 모델은 정규 분포된 랜덤 노이즈에서 이미지를 반복적으로 복원하는 방법을 학습한다.
-- Latent diffusion model (ex. Stable Diffusion)
- :::{figure-md}
- 
-
- Latent Diffusion Model
- :::
-
-
-- 오토인코더의 인코딩된 latent space에서 작동하므로 최소한의 품질을 희생하면서 계산 복잡성을 절약한다.
-- 스테이블 디퓨전 모델은 VAE와 디노이징 UNet의 두 가지 모델로 구성된다.
- - VAE 오토인코더
- - 인코더 $\mathcal{E}$: 프레임 $x$를 컴팩트한 latent 표현 $z$로 추출 ($z=\mathcal{E}$$(x)$)
- - 디코더 $\mathcal{D}$: latent 표현에서 이미지를 복원 ($x’=\mathcal{D}(z)$)
- - 학습하는 동안, latent feature $z$는 결정론적 가우시안 프로세스에 의해 타임 스탬프 $T$로 디퓨즈되어 노이지 feature인 $\tilde{z}_T$를 만듦
- - 원본 이미지를 복구하기 위해 각 타임스탬프에 해당하는 latent feature의 노이즈를 반복적으로 예측하도록 시간으로 컨디셔닝된 UNet이 학습 된다.
- - UNet의 목적 함수
-
- $$
- \begin{align}{\cal L}_{D M}=\mathbb{R}_{z,\epsilon\in{\mathcal{N}}(0,1)}[||\epsilon-\epsilon_{\theta}({\tilde{z}}_{t},t,c)]|_{2}^{2}]\end{align}
- $$
-
- - c: 컨디셔닝 정보의 임베딩 (텍스트, 이미지, 세그멘테이션 마스크등, 스테이블 디퓨전에서는 CLIP 텍스트 인코더로부터 얻어짐
- - 예측된 latent $z’$은 예측된 이미지 $x’ = \mathcal{D}(z')$를 복구하도록 디코딩 된다.
-- Classifier-free guidance
- - Implicit classifier를 통해 예측된 노이즈 분포를 조건으로 주어진 분포로 밀어붙이는 샘플링 메커니즘이다.
- - 이는 랜덤한 확률로 실제 조건으로 주어진 입력을 널 입력(∅)으로 대체하는 훈련 방식인 드롭아웃을 통해 달성된다.
- - 인퍼런스하는 동안 조건으로 주어진 예측은 스칼라 가중치 s를 사용하여 unconditional한 예측을 조건부로 가이드하는 데 사용된다.
-
- $$
- \begin{align}\epsilon_{\theta}=\epsilon_{\theta}(\tilde{z}_{t},t,\emptyset)+s\cdot(\epsilon_{\theta}(\tilde{z}_{t},t,\mathrm{c})-\epsilon_{\theta}(\tilde{z}_{t},t,\emptyset))\end{align}
- $$
-
- - $\epsilon_{\theta}(\tilde{z}_{t},t,\emptyset)$: 조건이 없는 경우에 노이즈 벡터
- - $\epsilon_{\theta}(\tilde{z}_{t},t,c)$: 조건이 있는 경우에 노이즈 벡터
-
- → 조건을 Null로 줬을 때의 모델의 예측값과 조건을 줬을 때의 모델이 예측값을 보간한다.
-
-
-# **4. Method**
-
-- 본 논문에서는 단일 이미지와 포즈 시퀀스로부터 사실적인 애니메이션 동영상을 만드는 것을 목표로 한다.
-- 이를 위해 패션 동영상 컬렉션에서 사전 학습된 스테이블 디퓨전을 패션 동영상 컬렉션에 맞게 파인튜닝한다.
-- 추가 컨디셔닝 신호(이미지 및 포즈)를 받고 동영상으로 볼 수 있는 시간적으로 일관된 콘텐츠를 출력하기 위해 스테이블 디퓨전의 구조를 조정하는 작업이 포함된다.
-
-## **4.1. Overview**
-
-- 입출력
- - 입력: 입력 이미지 $x_0$, 포즈 $\{p_1, …, p_n\}$
- - 출력: 비디오 $\{x'_1, …, x’_N\}$ ($x’_i$: 입력 포즈 $p_i$에 해당하는 i 번째 예측된 프레임)
-- 입력 이미지와 포즈 시퀀스를 조건으로 하는 사전 훈련된 latent diffusion model을 사용한다.
-- 추론 시에는 일반적인 디퓨전 샘플링 절차를 통해 각 프레임을 독립적으로 생성한다.
- - 균일하게 분포된 가우시안 노이즈로 시작하여 두 조건 신호로 디퓨전 모델을 반복적으로 쿼리하여 noisy latent의 노이즈를 제거한다.
-- 마지막으로 예측된 디노이즈된 latent $z’_i$를 디코딩하여 예측된 비디오 프레임 $x’_i=\mathcal{D}(z’_i)$를 만든다.
-
-## 4.2. Architecture
-
-- 이미지 애니메이션을 위해 원래의 text-to-image 스테이블 디퓨전 모델을 수정하고 파인튜닝한다. (조건: 이미지, 포즈)
-- 이미지 애니메이션의 목표
- 1. 제공된 입력 이미지에 대한 충실도
- 2. 시각적 품질
- 3. 생성된 프레임의 전반적인 시간적인 안정성
-- 이러한 목표를 달성하기 위해 아키텍처를 아래와 같이 구성하였다.
-
- :::{figure-md}
- 
-
- DreamPose Architecture
- :::
-
-
-### **4.2.1 Split CLIP-VAE Encoder**
-
-:::{figure-md}
-
-
-DreamPose Encoder
-:::
-
-
-- 해당 모듈-컨디셔닝 어댑터(custom conditioning adapter)의 필요성
- - 이미지를 조건으로 넣기 위한 이전 연구 (ex: [InstructPix2Pix](https://arxiv.org/abs/2211.09800))는 주로 조건으로 들어오는 이미지 신호를 디노이징 U-Net에 대한 입력 노이즈와 concat한다.
- - 이는 원하는 출력 이미지와 공간적으로(spatially) 정렬된 조건 신호에 대한 조건화에 효과적이지만, DreamPose의 경우에는 네트워크가 입력 이미지와 공간적으로 정렬되지 않은 이미지를 생성하는 것을 목표로 한다.
- - 따라서 해당 태스크에는 다른 방법이 필요하고, 이를 위해 맞춤형 컨디셔닝 어댑터를 구현하였다.
- - 맞춤형 컨디셔닝 어댑터는 CLIP 텍스트 인코더를 사용하여 이미지 조건화를 대체하는 맞춤형 컨디셔닝 어댑터(custom conditioning adapter)를 구현하였다.
- - 이 어댑터는 사전 학습된 CLIP 이미지 및 VAE 인코더에서 인코딩된 정보를 결합한다.
-- 디퓨전 기반 파인튜닝
- - 목표: 입력 신호를 원래 네트워크 학습에 사용된 신호와 최대한 유사하게 만들어 학습 기울기를 가능한 한 의미 있게 만드는 것 → 학습된 prior 값의 손실을 방지하는 데 도움이 된다.
- - 이러한 이유로 대부분의 디퓨전 기반 파인튜닝 체계는 모든 원래 컨디셔닝 신호를 유지하고 새로운 컨디셔닝 신호와 상호 작용하는 네트워크 가중치를 0으로 초기화한다.
-- VAE Encoder의 필요성
- - 스테이블 디퓨전이 텍스트 프롬프트의 CLIP 임베딩으로 컨디셔닝 되고 CLIP이 텍스트와 이미지를 공유 임베딩 스페이스(shared embedding space)로 인코딩한다는 점을 감안할 때 CLIP 컨디셔닝을 조건으로 주어진 이미지에서 파생된 임베딩으로 간단히 대체하는 것이 자연스러워 보일 수 있다.
- - 하지만 실제로는 CLIP 이미지 임베딩만으로는 조건으로 주어진 이미지에서 세밀한 디테일을 캡처하기에 충분하지 않다.
- - 따라서 스테이블 디퓨전의 VAE에서 인코딩된 latent 임베딩을 추가로 입력한다.
- - 이를 통해 디퓨전의 출력 도메인과 일치하는 추가적인 장점을 가지게 된다.
-- 어댑터 $\mathcal{A}$
- - 스테이블 디퓨전 아키텍처는 기본적으로 컨디셔닝 신호로 VAE latent를 지원하지 않기 때문에 어댑터 모듈 $\mathcal{A}$를 추가한다.
- - 해당 어댑터는 CLIP과 VAE 임베딩을 결합하여 네트워크의 일반적인 cross-attention 연산에 사용되는 하나의 임베딩을 생성한다.
- - 이 어댑터는 두 신호를 함께 혼합하고 디노이징 U-Net의 cross-attention 모듈에서 예상하는 일반적인 모양으로 출력을 변환한다.
-- 디퓨전 기반 파인튜닝에서 언급했 듯이 학습에서 네트워크의 충격을 완화하기 위해 처음에는 VAE 임베딩에 해당하는 가중치는 0으로 설정되어 네트워크가 CLIP 임베딩으로만 학습을 시작한다.
-- 최종 이미지 컨디셔닝 신호 $c_I$를 다음과 같이 정의한다.
-
-$$
-\begin{align}c_{I}={\mathcal{A}}(c_{\mathrm{CLIP}},c_{\mathrm{VAE}})\end{align}
-$$
-
-### 4.2.2 Modified UNet
-
-:::{figure-md}
-
-
-Modified UNet
-:::
-
-
-- 이미지 컨디셔닝과 달리 포즈 컨디셔닝은 이미지와 정렬 된다.
-- Noisy latent $\tilde{z}_i$를 타겟 포즈 표현 $c_p$와 concat한다.
-- 실제 비디오에서 추정된 포즈의 노이즈를 고려하고 생성된 프레임에서의 시간적 일관성을 극대화하기 위해, $c_p$를 다섯 개의 연속된 포즈 프레임으로 구성하였다. 즉, $c_p = \{p_{i-2}, p_{i-1}, pi, p_{i+1}, p_{i+2}\}$ → 개별 포즈로 네트워크를 학습하는 것보다 연속 포즈로 학습하면 전반적인 움직임의 부드러움과 시간적 일관성이 증가한다.
-- 구조적으로 0으로 초기화된 10개의 추가 입력 채널을 받아들이도록 UNet 입력 레이어를 수정하고 noisy latent에 해당하는 원래 채널은 사전 학습된 가중치에서 수정되지 않는다.
-
-### 4.2.3 **Finetuning**
-
-- 스테이블 디퓨전 모델의 대부분의 레이어 weight는 미리 학습된 text-to-image 스테이블 디퓨전 체크포인트로 초기화된다.
-- 이 때, CLIP 이미지 인코더는 별도의 미리 학습된 체크포인트에서 로드된다.
-- 새로운 레이어는 초기에 새로운 컨디셔닝 신호가 네트워크 출력에 기여하지 않도록 초기화 된다.
-- 초기화 후 DreamPose는 아래의 두 단계로 파인튜닝된다.
-
- :::{figure-md}
- 
-
- Two-phase Finetuning
- :::
-
- 1. Full Dataset Finetuning
- - 전체 훈련 데이터셋에 대한 UNet과 어댑터 모듈을 파인 튜닝하여 입력 이미지 및 포즈와 일치하는 프레임을 합성한다.
- 2. Subset-Specific Finetuning
- - 하나 이상의 피사체별 입력 이미지에 대해 UNet과 어댑터 모듈을 파인튜닝한 다음 VAE 디코더를 통해 기본 모델을 개선하여 추론에 사용되는 피사체별 맞춤형 모델을 생성한다.
-- 다른 이미지 조건부 디퓨전 방법과 마찬가지로, 입력 이미지의 사람과 의상의 identity를 보존하고 프레임 간에 일관성을 유지하려면 샘플별 파인튜닝이 필수적이었다.
-- 그러나 단순히 단일 프레임과 포즈 쌍에 대해 훈련하면 텍스처 고착(texture-sticking)과 같은 아티팩트가 출력 비디오에 발생한다.
-- 이를 방지하기 위해 각 단계에서 랜덤 크롭을 추가하는 등의 방법으로 이미지-포즈쌍을 증강한다.
-- VAE 디코더를 파인튜닝하는 것이 더 선명하고 사실적인 디테일을 복구하는 데 중요하다.
-
- :::{figure-md}
- 
-
- VAE 파인튜닝의 중요성
- :::
-
-
-## 4.4. Pose and Image Classifier-Free Guidance
-
-- 추론시 단일 입력 이미지와 피사체별 모델(subject-specific model)을 사용하는 일련의 포즈에서 프레임별로 동영상을 생성한다.
-- 이중(dual) classifier-free guidance를 사용하여 추론 시에 이미지 컨디셔닝 $c_I$와 포즈 컨디셔닝 $c_p$의 강도를 조절한다.
-- 이중 classfier-free guidance는 식 (3)에서 다음과 같이 수정된다.
-
- $$
- \begin{align*}
- {\epsilon_{\theta}(z_{t},c_{I},c_{p})} & {= \epsilon_{\theta}(z_{t},\emptyset,\emptyset)} \\
- {} & {+\, s_{I}(\epsilon_{\theta}(z_{t},c_{I},\mathcal{\emptyset})-\epsilon_{\theta}(z_{t},\emptyset,\emptyset))} \\
- {} & {+\, s_{p}(\epsilon_{\theta}(z_{t},\mathcal{c}_{I},\mathcal{c}_p)-\epsilon_{\theta}(z_{t},\mathcal{c}_{I},\emptyset))}
- \end{align*}
- $$
-
- - $s_I$, $s_p$: 가이던스 웨이트
- - $c_I$: 이미지 컨디셔닝
- - $c_p$: 포즈 컨디셔닝
-
- → 이미지 컨디셔닝이 있는 경우와 없는 경우의 노이즈 벡터 차이를 계산하고, 포즈 컨디셔닝이 있는 경우와 없는 경우의 노이즈 벡터 차이를 계산해서 이를 가이던스 웨이트를 통해 강도를 조정해서 반영
-
-- $s_I$가 크면 입력 이미지에 높은 외관 충실도를 보장하고, $s_p$가 크면 입력 포즈에 대한 정렬을 보장한다.
-- 이중 classifier-free guidance는 포즈 및 이미지 가이드를 강화하는 것 에외도, 피사체별 모델 파인튜닝 후 하나의 입력 포즈에 대한 오버피팅을 방지한다.
-
-# 5. Experiments
-
-## 5.1. Implementation Details
-
-- 입력 이미지 resolution: 512x512
-- GPU: NVIDIA A100 2개
-- 첫 번째 훈련 단계
- - 전체 훈련 데이터셋 사용
- - 5 epoch
- - 5e-6 learning rate
- - 배치사이즈: 16 (4 gradient accumulation step)
- - Dropout: 포즈 입력 5%, 이미지 입력 5%
-- 두 번째 훈련 단계
- - 특정 샘플 프레임 사용
- - 500 step
- - 1e-5 learning rate
- - Dropout 적용 X
-- VAE 디코더 파인튜닝
- - 1500 step
- - 5e-5 learning rate
-- 추론 시에는 PNDM 샘플러 사용 (100step)
-
-## 5.2. Dataset
-
-- UBC Fashion 데이터셋 사용
-- Split
- - Train: 339개의 영상
- - Test: 100개의 영상
-- 각 비디오의 프레임 속도는 초당 30프레임이며 길이는 약 12초
-- 학습 중에는 학습 비디오로부터 랜덤으로 프레임 쌍을 샘플링 하였다.
-- DensePose를 이용해서 포즈를 계산하였다.
-
-# 6. Results
-
-## 6.1. Comparisons
-
-- 공개적으로 사용 가능한 두 가지 최신 비디오 합성 방법인 MRAA(Motion Representations for Articulated Animation)과 Thin-Plate Spline Mothion Model(TPSMM)과 수치적 및 정성적인 비교를 하였다.
-- 제공된 훈련 스크립트와 권장 에폭 수를 사용하여 두 가지 모델을 UBC 패션 데이터셋을 이용해서 스크래치부터 학습하였다.
-- 평가를 위해서는 AVD 모드에서 제공된 테스트 스크립트를 사용하였다.
-- PIDM과도 정성적인 비교를 하였다. PIDM의 경우 훈련 스크립트를 사용할 수 없어서 DeepFashion 데이터셋에 대해 학습된 체크포인트를 통해 비교하였다.
-- 100개의 디노이징 스텝을 사용하여 PIDM과 DreamPose를 실행하였다.
-
-### 6.1.1 Quantitative Analysis
-
-:::{figure-md}
-
-
-정량적 성능 비교
-:::
-
-- 256 픽셀 해상도의 100개의 고유한 패션 동영상으로 구성된 UBC 패션 테스트 셋에 대해 모든 모델을 테스트 하였다.
-- 각 동영상에 대해 입력 프레임에서 최소 50프레임 이상 떨어져 있는 50개의 프레임을 추출하여 테스트하였다.
-- MRAA와 TPSMM은 모두 driving video에서 추출된 feautre에 의존하는 반면, DreamPose는 UV-포즈 시퀀스에만 의존한다는 점에 유의하라.
-- 그럼에도 불구하고 DreamPose 모델은 네 가지 정량적 지표 모두에서 두 가지 방법보다 정량적으로 우수한 성능을 보였다.
-
-### 6.2.2 Qualitative Analysis
-
-:::{figure-md}
-
-
-정성적 성능 비교
-:::
-
-
-- MRAA와 TPSMM은 새로운 포즈를 취할 때 인물의 identity, 옷감 주름, 미세한 패턴이 손실되는 반면 DreamPose는 디테일을 정확하게 유지한다.
-- 포즈를 크게 변경하는 동안 MRAA는 팔 다리가 분리 될 수 있다.
-- PIDM과의 비교
- :::{figure-md}
- 
-
- PIDM과의 비교
- :::
-
- - DreamPose는 얼굴의 identity와 의상 패턴 모두 더 충실도 높은 결과를 생성한다.
- - PIDM은 사실적인 얼굴을 합성하지만, 원본 인물의 identity와 일치하지 않고, identity와 옷차림이 프레임마다 달랐다. → PIDM이 비디오 합성에서는 잘 동작하지 않는다.
-
-## 6.2. Ablation Studies
-
-- 아래 네 가지 변형에 대해 성능을 비교한다.
- 1. $\text{Ours}_{\text{CLIP}}$: 듀얼 CLIP-VAE 인코더 대신에 사전 학습된 CLIP 이미지 인코더를 사용 → CLIP-VAE 인코더 효과 테스트
- 2. $\text{Ours}_{\text{NO-VAE-FT}}$: VAE 디코더를 파인튜닝하지 않은 버전 → 디코더 파인튜닝 효과 테스트
- 3. $\text{Ours}_{\text{1-pose}}$: 5개의 연결된 연속 포즈 대신 하나의 대상 포즈만 노이즈에 연결한 버전 → 연결된 5개의 프레임 효과 테스트
- 4. $\text{Ours}_{\text{Full}}$: 논문에서 제안한 모든 방법이 다 적용된 DreamPose
-
-**Quantitative Comparison**
-
-:::{figure-md}
-
-
-Ablation Studies - 정량적 비교
-:::
-
-**Qualitative Comparison**
-
-:::{figure-md}
-
-
-Ablation Studies - 정성적 비교
-:::
-
-- 기존의 스테이블 디퓨전에서는 인물의 identity에 대한 디테일을 보존할 수 없었다.
-- 텍스트 인코더를 CLIP 인코더로 교체한 결과 대부분의 이미지 디테일은 캡처할 수 있지만, 여전히 외형에 대한 정보 손실이 발생한다.
-- VAE 디코더를 파인튜닝하면 디테일의 선명도가 크게 향상되고 입력 포즈에 대한 오버피팅이 발생하지 않는다.
-- 한 가지 포즈만 입력하면 팔과 머리카락 주변에서의 피사체의 형태가 눈에 띄게 깜박이는 현상이 나타났다.
-
-## 6.3. Multiple Input Images
-
-- DreamPose는 피사체에 대한 입력 이미지를 여러 장 넣어서 파인튜닝할 수 있다.
-- 피사체의 입력 이미지를 추가하면 품질과 시점의 일관성이 향상된다.
-
- :::{figure-md}
- 
-
- Multiple Input Images 결과
- :::
-
-
-
-# **7. Limitations & Future Work**
-
-- 실패 사례
-
- :::{figure-md}
- 
-
- 실패 사례 예시
- :::
-
- - 드문 경우지만 팔다리가 옷 속으로 사라지고(왼쪽), hallucinate feature가 보이고(중간)와 대상 포즈가 뒤를 향할 때 방향이 잘못 정렬 되는 경우(오른쪽)가 관찰된다.
-- 또한 단순한 패턴의 옷에서 사실적인 결과를 생성하지만 일부 결과는 크고 복잡한 패턴에서 약간의 깜박임 동작을 보인다.
-- 다른 디퓨전 모델과 마찬가지로 파인튜닝 및 추론 시간이 GAN 또는 VAE에 비해 느리다.
- - 특정 피사체에 대한 모델 파인튜닝은 프레임당 18초의 렌더링 시간 외의 UNet의 경우 약 10분, VAE 디코더의 경우 약 20분이 소요된다.
-
-# 8. Conclusion
-
-- 스틸 패션 이미지 애니메이션을 위한 새로운 디퓨전 기반 방법인 DreamPose를 제안하였다.
+```{admonition} Information
+- **Title:** DreamPose: Fashion Image-to-Video Synthesis via Stable Diffusion
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2304.06025](https://arxiv.org/abs/2304.06025)
+ - Project: [https://grail.cs.washington.edu/projects/dreampose/](https://grail.cs.washington.edu/projects/dreampose/)
+
+- **Author:** [Jeonghwa Yoo](https://www.linkedin.com/in/jeonghwa-yoo-8403a716b)
+
+- **Last updated on May. 08, 2023**
+```
+
+
+# DreamPose: Fashion Image-to-Video Synthesis via Stable Diffusion
+
+:::{figure-md}
+
+
+DreamPose 입출력
+:::
+
+
+
+
+# **1. Introduction**
+
+- DreamPose가 제안된 배경
+ - 패션 사진은 온라인에 널리 퍼져 있지만, 전달할 수 있는 정보가 제한적이며 입었을 때 옷의 늘어진 모양이나 흐름 등 옷의 중요한 뉘앙스를 포착하지 못한다.
+ - 패션 동영상은 이러한 모든 디테일을 보여주기에 소비자의 의사 결정에 유용한 정보를 제공하지만, 동영상이 있는 상품은 매우 드물다.
+- DreamPose
+ - 본 논문에서는 포즈 시퀀스를 따라 패션 사진을 사실적인 애니메이션 비디오로 변환하는 방법인 DreamPose를 소개한다.
+ - Stable diffusion을 기반으로 한다.
+ - 하나 이상의 사람 이미지와 포즈 시퀀스가 주어지면, 포즈 시퀀스를 따라 고품질 비디오를 생성한다.
+- 기존 비디오 생성 모델들의 문제점
+ - 이미지 생성 디퓨전 모델은 좋은 결과를 보여주었지만, 비디오 생성 디퓨전 모델은 동일한 품질의 결과를 얻지 못했으며, 텍스처 움직임이나 카툰과 같은 모양으로 제한된 경우가 많다.
+ - 시간적 일관성이 떨어진다.
+ - 모션 jitter가 발생한다.
+ - 사실성(realism)이 부족하다.
+ - 대상 비디오의 움직임이나 세부적인 물체 모양을 제어할 수 없다.
+ - 기존 모델이 주로 텍스트에 기반으로 하기 때문에
+- DreamPose의 접근법
+ - 이미지 및 포즈 시퀀스를 조건으로 받는 방식을 사용하여 fidelity와 프레임 간 일관성을 높일 수 있다.
+ - 이미지 분포를 효과적으로 모델링하는 기존 사전 학습된 이미지 디퓨전 모델을 파인 튜닝하였다. → 이미지 애니메이션 태스크를 컨디셔닝 신호와 일치하는 이미지의 부분 공간을 찾는 것으로 단순화 할 수 있다.
+ - 해당 태스크를 위해 스테이블 디퓨전의 인코더와 컨디셔닝 메커니즘을 재설계하였다.
+ - 2-스테이지 파인튜닝 방식을 사용한다
+ - UNet과 VAE를 하나 혹은 여러 입력 이미지에 대해서 파인튜닝
+- Contribution
+ 1. DreamPose: 패션 이미지 애니메이션을 위해 이미지 및 포즈를 조건으로 하는 디퓨전 방식
+ 2. 프레임 간 시간적 일관성을 크게 향상 시키는 간단하지만 효과적인 포즈 컨디셔닝 방식
+ 3. 컨디셔닝 이미지의 fidelity를 높여주는 split CLIP-VAE 인코더
+ 4. 이미지의 fidelity와 새로운 포즈에 대한 일반화 사이의 균형을 효과적으로 맞추는 파인튜닝 전략
+
+# 2. Related Work
+
+## 2.1. Diffusion models
+
+- 디퓨전 모델은 최근 text-to-image, 비디오 생성, 3D 생성 태스크에서 인상적인 결과를 보여주고 있다.
+- 하지만 이러한 모델을 처음부터 훈련하는 것은 비용이 많이 들고 많은 양의 데이터가 필요하다.
+- 스테이블 디퓨전과 같은 latent diffusion 모델은 디퓨전과 디노이징 과정을 latent space에서 수행하기 때문에 계산 요구 사항과 훈련 시간을 대폭 줄일 수 있다.
+- 스테이블 디퓨전과 그 사전 훈련된 체크포인트는 출시 이후 다양한 이미지 생성 작업에 사용되었다.
+- 본 논문에서도 사전 훈련된 스테이블 디퓨전 모델을 활용하고, subject에 특화된 파인튜닝을 한다.
+
+## 2.2. Still Image Animation
+
+- 하나 이상의 입력 이미지로부터 동영상을 생성하는 태스크
+- 기존에 디퓨전 기반이 아닌 접근 방식들은 배경 예측, 모션 표현, occlusion map이나 dense map 등 여러 개의 개별 네트워크로 구성되는 경우가 많았다.
+ - 각 단계마다 별도의 훈련이 필요하고 ground-truth 모션이나 depth등의 ground-truth 데이터를 사용할 수 없거나 불완전할 가능성이 있다.
+ - 모션이 크고 복잡할 경우에 groud-truth에 대한 예측은 도출하기 더 어렵고 오류가 발생하기 쉽다.
+- 최근 여러 방법들은 엔드 투 엔드 싱글 네트워크 접근 방식을 탐구하고 있다. (예: optical flow and warping, cross-attention 모듈, NeRF 표현을 사용한 애니메이션이 가능한 3D 휴먼 생성 등)
+
+## 2.3. Fashion Image Synthesis
+
+- 기존 pose-guided 패션 이미지 합성 방법
+ - 일반적으로 GAN을 기반으로 했고, optical flow에 의존해 이미지 특징을 포즈에 맞추는 방법을 사용했다. → 큰 포즈 변화, 가려진 영역 합성, 의상 스타일 보존에 어려움을 겪는 경우가 많다.
+ - 최근엔 어텐션 기반 메커니즘을 사용하여, 셀프/크로스 어텐션을 사용하여 이미지 특징을 목표 프레임에 맞추려고 하였다.
+ - 디퓨전 기반
+ - DiffFashion: 레퍼런스 이미지의 스타일을 트랜스퍼하여 의류 아이템을 편집하는 것을 목표로 한다.
+ - PIDM: 포즈를 조건으로 넣어 사람 이미지를 생성한다 → 시간적 일관성을 위한 최적화는 하지 않는다.
+
+## 2.4. Diffusion Models for Video Synthesis
+
+- 많은 text-to-video 디퓨전 모델은 text-to-image 디퓨전 모델을 활용하여 적용한다.
+- 결과를 기대할만 하지만, 여전히 텍스트-이미지 모델과 같은 성능은 나오지 않고 있다.
+- 프레임 간의 시간적 일관성을 유지하는 것과 사실적인 모션을 생성하는 것이 어렵다.
+- 어떤 디퓨전 기반 방법들은 스크래치부터 학습하기 때문에 값비싼 컴퓨팅 리소스, 방대학 학습 데이터셋, 오랜 학습 시간이 필요하다.
+- Turn-A-Video는 텍스트와 이미지가 조건으로 들어왔을 때 비디오 생성을 위해 사전 학습된 텍스트-이미지 디퓨전 모델을 파인튜닝한다. → 이전 방법들과 마찬가지로 텍스처 깜빡거림(textural flickering), 구조적인 불일치가 나타난다.
+- 본 논문에서는 위의 문제를 해결하여 사람과 섬유의 움직임의 싱크를 맞추는 것을 목표로 한다.
+
+## 2.5. Conditioning Mechanisms for Diffusion Models
+
+- 텍스트를 조건으로 하는 이미지 생성 디퓨전 모델을 널리 사용되어 왔다.
+- 텍스트 컨디셔닝은 높은 수준의 디테일을 조절하는 데는 효과적이지만, 사람과 의상의 정확한 identity나 포즈에 대한 풍부하고 상세한 정보를 제공하는 것은 어렵다.
+- 여러 연구에서 사전 학습된 text-to-image 스테이블 디퓨전 모델을 위한 이미지 컨디셔닝 문제를 다루고 있다.
+ - 이러한 모델에는 종종 어떤 종류의 텍스트 임베딩이 포함된다. (ex: DreamBooth: 피사체별 파인 튜닝을 수행하기 위해 고유한 텍스트 토큰을 학습)
+ - 기존 이미지와 동영상의 모양을 편집하기 위해 텍스트를 통합하기도 한다.
+ - PIDM은 별도의 텍스처 인코더를 사용하여 이미지 텍스처를 인코딩하고 입력된 노이즈 이미지와 대상 포즈를 연결한다.
+- DreamPose는 영상 속 피사체의 외형뿐만 아니라 구조와 움직임까지 제어할 수 있다.
+- PIDM과 마찬가지로 이미지 임베딩을 UNet의 크로스 어텐션 레이어에 직접 통합하지만, 이미지 임베딩에 대해 사전 학습된 두 개의 인코더(CLIP, VAE)를 혼합하여 사용한다. → 입력 노이즈에 연결된(concatenated) 멀티 포즈 입력 표현(multi-pose input representation)을 이용해 부드럽고 시간적으로 일관된 모션을 구현할 수 있다.
+
+# 3. Background
+
+- 디퓨전 모델
+ - 디퓨전 모델은 품질, 다양성, 학습 안정성 측면에서 합성 태스크에서 GAN을 능가하는 최신 생성 모델이다.
+ - 표준 이미지 디퓨전 모델은 정규 분포된 랜덤 노이즈에서 이미지를 반복적으로 복원하는 방법을 학습한다.
+- Latent diffusion model (ex. Stable Diffusion)
+ :::{figure-md}
+
+
+ Latent Diffusion Model
+ :::
+
+
+- 오토인코더의 인코딩된 latent space에서 작동하므로 최소한의 품질을 희생하면서 계산 복잡성을 절약한다.
+- 스테이블 디퓨전 모델은 VAE와 디노이징 UNet의 두 가지 모델로 구성된다.
+ - VAE 오토인코더
+ - 인코더 $\mathcal{E}$: 프레임 $x$를 컴팩트한 latent 표현 $z$로 추출 ($z=\mathcal{E}$$(x)$)
+ - 디코더 $\mathcal{D}$: latent 표현에서 이미지를 복원 ($x’=\mathcal{D}(z)$)
+ - 학습하는 동안, latent feature $z$는 결정론적 가우시안 프로세스에 의해 타임 스탬프 $T$로 디퓨즈되어 노이지 feature인 $\tilde{z}_T$를 만듦
+ - 원본 이미지를 복구하기 위해 각 타임스탬프에 해당하는 latent feature의 노이즈를 반복적으로 예측하도록 시간으로 컨디셔닝된 UNet이 학습 된다.
+ - UNet의 목적 함수
+
+ $$
+ \begin{align}{\cal L}_{D M}=\mathbb{R}_{z,\epsilon\in{\mathcal{N}}(0,1)}[||\epsilon-\epsilon_{\theta}({\tilde{z}}_{t},t,c)]|_{2}^{2}]\end{align}
+ $$
+
+ - c: 컨디셔닝 정보의 임베딩 (텍스트, 이미지, 세그멘테이션 마스크등, 스테이블 디퓨전에서는 CLIP 텍스트 인코더로부터 얻어짐
+ - 예측된 latent $z’$은 예측된 이미지 $x’ = \mathcal{D}(z')$를 복구하도록 디코딩 된다.
+- Classifier-free guidance
+ - Implicit classifier를 통해 예측된 노이즈 분포를 조건으로 주어진 분포로 밀어붙이는 샘플링 메커니즘이다.
+ - 이는 랜덤한 확률로 실제 조건으로 주어진 입력을 널 입력(∅)으로 대체하는 훈련 방식인 드롭아웃을 통해 달성된다.
+ - 인퍼런스하는 동안 조건으로 주어진 예측은 스칼라 가중치 s를 사용하여 unconditional한 예측을 조건부로 가이드하는 데 사용된다.
+
+ $$
+ \begin{align}\epsilon_{\theta}=\epsilon_{\theta}(\tilde{z}_{t},t,\emptyset)+s\cdot(\epsilon_{\theta}(\tilde{z}_{t},t,\mathrm{c})-\epsilon_{\theta}(\tilde{z}_{t},t,\emptyset))\end{align}
+ $$
+
+ - $\epsilon_{\theta}(\tilde{z}_{t},t,\emptyset)$: 조건이 없는 경우에 노이즈 벡터
+ - $\epsilon_{\theta}(\tilde{z}_{t},t,c)$: 조건이 있는 경우에 노이즈 벡터
+
+ → 조건을 Null로 줬을 때의 모델의 예측값과 조건을 줬을 때의 모델이 예측값을 보간한다.
+
+
+# **4. Method**
+
+- 본 논문에서는 단일 이미지와 포즈 시퀀스로부터 사실적인 애니메이션 동영상을 만드는 것을 목표로 한다.
+- 이를 위해 패션 동영상 컬렉션에서 사전 학습된 스테이블 디퓨전을 패션 동영상 컬렉션에 맞게 파인튜닝한다.
+- 추가 컨디셔닝 신호(이미지 및 포즈)를 받고 동영상으로 볼 수 있는 시간적으로 일관된 콘텐츠를 출력하기 위해 스테이블 디퓨전의 구조를 조정하는 작업이 포함된다.
+
+## **4.1. Overview**
+
+- 입출력
+ - 입력: 입력 이미지 $x_0$, 포즈 $\{p_1, …, p_n\}$
+ - 출력: 비디오 $\{x'_1, …, x’_N\}$ ($x’_i$: 입력 포즈 $p_i$에 해당하는 i 번째 예측된 프레임)
+- 입력 이미지와 포즈 시퀀스를 조건으로 하는 사전 훈련된 latent diffusion model을 사용한다.
+- 추론 시에는 일반적인 디퓨전 샘플링 절차를 통해 각 프레임을 독립적으로 생성한다.
+ - 균일하게 분포된 가우시안 노이즈로 시작하여 두 조건 신호로 디퓨전 모델을 반복적으로 쿼리하여 noisy latent의 노이즈를 제거한다.
+- 마지막으로 예측된 디노이즈된 latent $z’_i$를 디코딩하여 예측된 비디오 프레임 $x’_i=\mathcal{D}(z’_i)$를 만든다.
+
+## 4.2. Architecture
+
+- 이미지 애니메이션을 위해 원래의 text-to-image 스테이블 디퓨전 모델을 수정하고 파인튜닝한다. (조건: 이미지, 포즈)
+- 이미지 애니메이션의 목표
+ 1. 제공된 입력 이미지에 대한 충실도
+ 2. 시각적 품질
+ 3. 생성된 프레임의 전반적인 시간적인 안정성
+- 이러한 목표를 달성하기 위해 아키텍처를 아래와 같이 구성하였다.
+
+ :::{figure-md}
+
+
+ DreamPose Architecture
+ :::
+
+
+### **4.2.1 Split CLIP-VAE Encoder**
+
+:::{figure-md}
+
+
+DreamPose Encoder
+:::
+
+
+- 해당 모듈-컨디셔닝 어댑터(custom conditioning adapter)의 필요성
+ - 이미지를 조건으로 넣기 위한 이전 연구 (ex: [InstructPix2Pix](https://arxiv.org/abs/2211.09800))는 주로 조건으로 들어오는 이미지 신호를 디노이징 U-Net에 대한 입력 노이즈와 concat한다.
+ - 이는 원하는 출력 이미지와 공간적으로(spatially) 정렬된 조건 신호에 대한 조건화에 효과적이지만, DreamPose의 경우에는 네트워크가 입력 이미지와 공간적으로 정렬되지 않은 이미지를 생성하는 것을 목표로 한다.
+ - 따라서 해당 태스크에는 다른 방법이 필요하고, 이를 위해 맞춤형 컨디셔닝 어댑터를 구현하였다.
+ - 맞춤형 컨디셔닝 어댑터는 CLIP 텍스트 인코더를 사용하여 이미지 조건화를 대체하는 맞춤형 컨디셔닝 어댑터(custom conditioning adapter)를 구현하였다.
+ - 이 어댑터는 사전 학습된 CLIP 이미지 및 VAE 인코더에서 인코딩된 정보를 결합한다.
+- 디퓨전 기반 파인튜닝
+ - 목표: 입력 신호를 원래 네트워크 학습에 사용된 신호와 최대한 유사하게 만들어 학습 기울기를 가능한 한 의미 있게 만드는 것 → 학습된 prior 값의 손실을 방지하는 데 도움이 된다.
+ - 이러한 이유로 대부분의 디퓨전 기반 파인튜닝 체계는 모든 원래 컨디셔닝 신호를 유지하고 새로운 컨디셔닝 신호와 상호 작용하는 네트워크 가중치를 0으로 초기화한다.
+- VAE Encoder의 필요성
+ - 스테이블 디퓨전이 텍스트 프롬프트의 CLIP 임베딩으로 컨디셔닝 되고 CLIP이 텍스트와 이미지를 공유 임베딩 스페이스(shared embedding space)로 인코딩한다는 점을 감안할 때 CLIP 컨디셔닝을 조건으로 주어진 이미지에서 파생된 임베딩으로 간단히 대체하는 것이 자연스러워 보일 수 있다.
+ - 하지만 실제로는 CLIP 이미지 임베딩만으로는 조건으로 주어진 이미지에서 세밀한 디테일을 캡처하기에 충분하지 않다.
+ - 따라서 스테이블 디퓨전의 VAE에서 인코딩된 latent 임베딩을 추가로 입력한다.
+ - 이를 통해 디퓨전의 출력 도메인과 일치하는 추가적인 장점을 가지게 된다.
+- 어댑터 $\mathcal{A}$
+ - 스테이블 디퓨전 아키텍처는 기본적으로 컨디셔닝 신호로 VAE latent를 지원하지 않기 때문에 어댑터 모듈 $\mathcal{A}$를 추가한다.
+ - 해당 어댑터는 CLIP과 VAE 임베딩을 결합하여 네트워크의 일반적인 cross-attention 연산에 사용되는 하나의 임베딩을 생성한다.
+ - 이 어댑터는 두 신호를 함께 혼합하고 디노이징 U-Net의 cross-attention 모듈에서 예상하는 일반적인 모양으로 출력을 변환한다.
+- 디퓨전 기반 파인튜닝에서 언급했 듯이 학습에서 네트워크의 충격을 완화하기 위해 처음에는 VAE 임베딩에 해당하는 가중치는 0으로 설정되어 네트워크가 CLIP 임베딩으로만 학습을 시작한다.
+- 최종 이미지 컨디셔닝 신호 $c_I$를 다음과 같이 정의한다.
+
+$$
+\begin{align}c_{I}={\mathcal{A}}(c_{\mathrm{CLIP}},c_{\mathrm{VAE}})\end{align}
+$$
+
+### 4.2.2 Modified UNet
+
+:::{figure-md}
+
+
+Modified UNet
+:::
+
+
+- 이미지 컨디셔닝과 달리 포즈 컨디셔닝은 이미지와 정렬 된다.
+- Noisy latent $\tilde{z}_i$를 타겟 포즈 표현 $c_p$와 concat한다.
+- 실제 비디오에서 추정된 포즈의 노이즈를 고려하고 생성된 프레임에서의 시간적 일관성을 극대화하기 위해, $c_p$를 다섯 개의 연속된 포즈 프레임으로 구성하였다. 즉, $c_p = \{p_{i-2}, p_{i-1}, pi, p_{i+1}, p_{i+2}\}$ → 개별 포즈로 네트워크를 학습하는 것보다 연속 포즈로 학습하면 전반적인 움직임의 부드러움과 시간적 일관성이 증가한다.
+- 구조적으로 0으로 초기화된 10개의 추가 입력 채널을 받아들이도록 UNet 입력 레이어를 수정하고 noisy latent에 해당하는 원래 채널은 사전 학습된 가중치에서 수정되지 않는다.
+
+### 4.2.3 **Finetuning**
+
+- 스테이블 디퓨전 모델의 대부분의 레이어 weight는 미리 학습된 text-to-image 스테이블 디퓨전 체크포인트로 초기화된다.
+- 이 때, CLIP 이미지 인코더는 별도의 미리 학습된 체크포인트에서 로드된다.
+- 새로운 레이어는 초기에 새로운 컨디셔닝 신호가 네트워크 출력에 기여하지 않도록 초기화 된다.
+- 초기화 후 DreamPose는 아래의 두 단계로 파인튜닝된다.
+
+ :::{figure-md}
+
+
+ Two-phase Finetuning
+ :::
+
+ 1. Full Dataset Finetuning
+ - 전체 훈련 데이터셋에 대한 UNet과 어댑터 모듈을 파인 튜닝하여 입력 이미지 및 포즈와 일치하는 프레임을 합성한다.
+ 2. Subset-Specific Finetuning
+ - 하나 이상의 피사체별 입력 이미지에 대해 UNet과 어댑터 모듈을 파인튜닝한 다음 VAE 디코더를 통해 기본 모델을 개선하여 추론에 사용되는 피사체별 맞춤형 모델을 생성한다.
+- 다른 이미지 조건부 디퓨전 방법과 마찬가지로, 입력 이미지의 사람과 의상의 identity를 보존하고 프레임 간에 일관성을 유지하려면 샘플별 파인튜닝이 필수적이었다.
+- 그러나 단순히 단일 프레임과 포즈 쌍에 대해 훈련하면 텍스처 고착(texture-sticking)과 같은 아티팩트가 출력 비디오에 발생한다.
+- 이를 방지하기 위해 각 단계에서 랜덤 크롭을 추가하는 등의 방법으로 이미지-포즈쌍을 증강한다.
+- VAE 디코더를 파인튜닝하는 것이 더 선명하고 사실적인 디테일을 복구하는 데 중요하다.
+
+ :::{figure-md}
+
+
+ VAE 파인튜닝의 중요성
+ :::
+
+
+## 4.4. Pose and Image Classifier-Free Guidance
+
+- 추론시 단일 입력 이미지와 피사체별 모델(subject-specific model)을 사용하는 일련의 포즈에서 프레임별로 동영상을 생성한다.
+- 이중(dual) classifier-free guidance를 사용하여 추론 시에 이미지 컨디셔닝 $c_I$와 포즈 컨디셔닝 $c_p$의 강도를 조절한다.
+- 이중 classfier-free guidance는 식 (3)에서 다음과 같이 수정된다.
+
+ $$
+ \begin{align*}
+ {\epsilon_{\theta}(z_{t},c_{I},c_{p})} & {= \epsilon_{\theta}(z_{t},\emptyset,\emptyset)} \\
+ {} & {+\, s_{I}(\epsilon_{\theta}(z_{t},c_{I},\mathcal{\emptyset})-\epsilon_{\theta}(z_{t},\emptyset,\emptyset))} \\
+ {} & {+\, s_{p}(\epsilon_{\theta}(z_{t},\mathcal{c}_{I},\mathcal{c}_p)-\epsilon_{\theta}(z_{t},\mathcal{c}_{I},\emptyset))}
+ \end{align*}
+ $$
+
+ - $s_I$, $s_p$: 가이던스 웨이트
+ - $c_I$: 이미지 컨디셔닝
+ - $c_p$: 포즈 컨디셔닝
+
+ → 이미지 컨디셔닝이 있는 경우와 없는 경우의 노이즈 벡터 차이를 계산하고, 포즈 컨디셔닝이 있는 경우와 없는 경우의 노이즈 벡터 차이를 계산해서 이를 가이던스 웨이트를 통해 강도를 조정해서 반영
+
+- $s_I$가 크면 입력 이미지에 높은 외관 충실도를 보장하고, $s_p$가 크면 입력 포즈에 대한 정렬을 보장한다.
+- 이중 classifier-free guidance는 포즈 및 이미지 가이드를 강화하는 것 에외도, 피사체별 모델 파인튜닝 후 하나의 입력 포즈에 대한 오버피팅을 방지한다.
+
+# 5. Experiments
+
+## 5.1. Implementation Details
+
+- 입력 이미지 resolution: 512x512
+- GPU: NVIDIA A100 2개
+- 첫 번째 훈련 단계
+ - 전체 훈련 데이터셋 사용
+ - 5 epoch
+ - 5e-6 learning rate
+ - 배치사이즈: 16 (4 gradient accumulation step)
+ - Dropout: 포즈 입력 5%, 이미지 입력 5%
+- 두 번째 훈련 단계
+ - 특정 샘플 프레임 사용
+ - 500 step
+ - 1e-5 learning rate
+ - Dropout 적용 X
+- VAE 디코더 파인튜닝
+ - 1500 step
+ - 5e-5 learning rate
+- 추론 시에는 PNDM 샘플러 사용 (100step)
+
+## 5.2. Dataset
+
+- UBC Fashion 데이터셋 사용
+- Split
+ - Train: 339개의 영상
+ - Test: 100개의 영상
+- 각 비디오의 프레임 속도는 초당 30프레임이며 길이는 약 12초
+- 학습 중에는 학습 비디오로부터 랜덤으로 프레임 쌍을 샘플링 하였다.
+- DensePose를 이용해서 포즈를 계산하였다.
+
+# 6. Results
+
+## 6.1. Comparisons
+
+- 공개적으로 사용 가능한 두 가지 최신 비디오 합성 방법인 MRAA(Motion Representations for Articulated Animation)과 Thin-Plate Spline Mothion Model(TPSMM)과 수치적 및 정성적인 비교를 하였다.
+- 제공된 훈련 스크립트와 권장 에폭 수를 사용하여 두 가지 모델을 UBC 패션 데이터셋을 이용해서 스크래치부터 학습하였다.
+- 평가를 위해서는 AVD 모드에서 제공된 테스트 스크립트를 사용하였다.
+- PIDM과도 정성적인 비교를 하였다. PIDM의 경우 훈련 스크립트를 사용할 수 없어서 DeepFashion 데이터셋에 대해 학습된 체크포인트를 통해 비교하였다.
+- 100개의 디노이징 스텝을 사용하여 PIDM과 DreamPose를 실행하였다.
+
+### 6.1.1 Quantitative Analysis
+
+:::{figure-md}
+
+
+정량적 성능 비교
+:::
+
+- 256 픽셀 해상도의 100개의 고유한 패션 동영상으로 구성된 UBC 패션 테스트 셋에 대해 모든 모델을 테스트 하였다.
+- 각 동영상에 대해 입력 프레임에서 최소 50프레임 이상 떨어져 있는 50개의 프레임을 추출하여 테스트하였다.
+- MRAA와 TPSMM은 모두 driving video에서 추출된 feautre에 의존하는 반면, DreamPose는 UV-포즈 시퀀스에만 의존한다는 점에 유의하라.
+- 그럼에도 불구하고 DreamPose 모델은 네 가지 정량적 지표 모두에서 두 가지 방법보다 정량적으로 우수한 성능을 보였다.
+
+### 6.2.2 Qualitative Analysis
+
+:::{figure-md}
+
+
+정성적 성능 비교
+:::
+
+
+- MRAA와 TPSMM은 새로운 포즈를 취할 때 인물의 identity, 옷감 주름, 미세한 패턴이 손실되는 반면 DreamPose는 디테일을 정확하게 유지한다.
+- 포즈를 크게 변경하는 동안 MRAA는 팔 다리가 분리 될 수 있다.
+- PIDM과의 비교
+ :::{figure-md}
+
+
+ PIDM과의 비교
+ :::
+
+ - DreamPose는 얼굴의 identity와 의상 패턴 모두 더 충실도 높은 결과를 생성한다.
+ - PIDM은 사실적인 얼굴을 합성하지만, 원본 인물의 identity와 일치하지 않고, identity와 옷차림이 프레임마다 달랐다. → PIDM이 비디오 합성에서는 잘 동작하지 않는다.
+
+## 6.2. Ablation Studies
+
+- 아래 네 가지 변형에 대해 성능을 비교한다.
+ 1. $\text{Ours}_{\text{CLIP}}$: 듀얼 CLIP-VAE 인코더 대신에 사전 학습된 CLIP 이미지 인코더를 사용 → CLIP-VAE 인코더 효과 테스트
+ 2. $\text{Ours}_{\text{NO-VAE-FT}}$: VAE 디코더를 파인튜닝하지 않은 버전 → 디코더 파인튜닝 효과 테스트
+ 3. $\text{Ours}_{\text{1-pose}}$: 5개의 연결된 연속 포즈 대신 하나의 대상 포즈만 노이즈에 연결한 버전 → 연결된 5개의 프레임 효과 테스트
+ 4. $\text{Ours}_{\text{Full}}$: 논문에서 제안한 모든 방법이 다 적용된 DreamPose
+
+**Quantitative Comparison**
+
+:::{figure-md}
+
+
+Ablation Studies - 정량적 비교
+:::
+
+**Qualitative Comparison**
+
+:::{figure-md}
+
+
+Ablation Studies - 정성적 비교
+:::
+
+- 기존의 스테이블 디퓨전에서는 인물의 identity에 대한 디테일을 보존할 수 없었다.
+- 텍스트 인코더를 CLIP 인코더로 교체한 결과 대부분의 이미지 디테일은 캡처할 수 있지만, 여전히 외형에 대한 정보 손실이 발생한다.
+- VAE 디코더를 파인튜닝하면 디테일의 선명도가 크게 향상되고 입력 포즈에 대한 오버피팅이 발생하지 않는다.
+- 한 가지 포즈만 입력하면 팔과 머리카락 주변에서의 피사체의 형태가 눈에 띄게 깜박이는 현상이 나타났다.
+
+## 6.3. Multiple Input Images
+
+- DreamPose는 피사체에 대한 입력 이미지를 여러 장 넣어서 파인튜닝할 수 있다.
+- 피사체의 입력 이미지를 추가하면 품질과 시점의 일관성이 향상된다.
+
+ :::{figure-md}
+
+
+ Multiple Input Images 결과
+ :::
+
+
+
+# **7. Limitations & Future Work**
+
+- 실패 사례
+
+ :::{figure-md}
+
+
+ 실패 사례 예시
+ :::
+
+ - 드문 경우지만 팔다리가 옷 속으로 사라지고(왼쪽), hallucinate feature가 보이고(중간)와 대상 포즈가 뒤를 향할 때 방향이 잘못 정렬 되는 경우(오른쪽)가 관찰된다.
+- 또한 단순한 패턴의 옷에서 사실적인 결과를 생성하지만 일부 결과는 크고 복잡한 패턴에서 약간의 깜박임 동작을 보인다.
+- 다른 디퓨전 모델과 마찬가지로 파인튜닝 및 추론 시간이 GAN 또는 VAE에 비해 느리다.
+ - 특정 피사체에 대한 모델 파인튜닝은 프레임당 18초의 렌더링 시간 외의 UNet의 경우 약 10분, VAE 디코더의 경우 약 20분이 소요된다.
+
+# 8. Conclusion
+
+- 스틸 패션 이미지 애니메이션을 위한 새로운 디퓨전 기반 방법인 DreamPose를 제안하였다.
- 한 장의 이미지와 포즈 시퀀스가 주어졌을 때, 섬유, 패턴, 사람의 identity를 애니메이션 하는 사실적인 사실적인 패션 동영상을 생성하는 방법을 증명하였다.
\ No newline at end of file
diff --git a/_sources/docs/review/GIGAGAN.md b/_sources/docs/review/GIGAGAN.md
index db1ce62b..cb2c74e0 100755
--- a/_sources/docs/review/GIGAGAN.md
+++ b/_sources/docs/review/GIGAGAN.md
@@ -1,294 +1,294 @@
-```{admonition} Information
-- **Title:** Scaling up GANs for Text-to-Image Synthesis (CVPR 2023)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2303.05511](https://arxiv.org/abs/2303.05511)
- - Code: [NON Official:](https://github.com/lucidrains/gigagan-pytorch)
-
-- **Author:** Seunghwan Ji
-
-- **Last updated on April. 14, 2024**
-```
-
-# Scaling up GANs for Text-to-Image Synthesis
-
-## Abstract
-
-- 최근 이미지 생성 task의 모델 성능이 꾸준히 발전중
-- 기존에는 stylegan과 같은 GAN 모델이 주를 이뤘지만 최근 DALLE, Stable Diffusion등 **Diffusion 기반**의 모델 베이스로 추세가 급격하게 바뀌어버림
-- *“GAN 모델로 Diffusion의 성능을 잡는것은 정말 무리일까?”*
-- GigaGAN은
- - **gan 기반의 모델**로 1. **속도점 이점**과 **2. 다양한 extra editing**이 가능하다. (contribution)
- 1. 속도적 이점
- 1. 512px의 이미지를 0.13초만에 생성할 수 있다.
- 2. 16-megapixel(1600만 픽셀, 4k)의 이미지를 3.66초만에 생성할 수 있다.
- 2. 다양한 활용성
- 1. latent space 상 에서의 image editing이 가능하다. (latent interpolation, style mixing …)
-
-## Introduction
-
-- 최근 Diffusion 기반의 모델들이 이미지 생성 분야에서 좋은 성능을 보여주고 있다.
-- Diffusion은
- - 기본적으로 학습과 생성 시 iteration이 들어가는데 iteration은 **학습의 안정성을 키워주는 장점**이 있지만, **computation cost가 매우 증가**한다는 단점이 있다.
-- 반면에 GAN은
- - 이미지 생성 시 single forward pass만 필요하므로 **cost가 크지 않다는 장점**이 있지만 single 혹은 multiple object의 생성에는 성능이 뛰어나지만 **class가 명확히 정의되지않은 이미지 즉, open world image의 생성에는 어려움**이 있다.
-- ***“GAN을 더 develop한다면 Diffusion 모델을 넘어설 수 있을까?”***
-- gigaGAN은?
- 1. 속도적 장점
- - 0.13 s/img (512 size), 3.66s / img (4k)
- 2. latent space상에서의 editing 가능(**style mixing, interpolation, prompt mixing** like stylegan2)
-
-## Methods
-
-:::{figure-md}
-
-
-Overall Architecture
-:::
-
-**Base Architecture**
-
-- Base Model은 stylegan2로 선정
-- $G = M\times \tilde{G}$
-- $M$(mapping network) : gaussian distribution에서의 noise를 좀더 disentangle된 w space로 mapping 시키는 network
- - gigagan에서는 mapping network의 input으로 z와 함께 text condition(c)도 함께 사용
- - output : $w$ (vector)
-- $\tilde{G}$ : 피라미드 구조의 convolution block들로 random constant 값으로부터 output image $X$를 생성하는 generator.
- - 이때 $w$ vector는 각 layer마다 입력으로 들어가서 feature map의 분포를 scaling함으로써 style을 반영(modulation, demodulation in stylegan2)
-
-**Sample-adaptive kernel selection**
-
-:::{figure-md}
-
-
-Sample Adaptive Kernel Selection
-:::
-
-- 도입 배경
- - 단순히 convolution layer의 kernel size만 scaling up을 하면 학습이 안되는 현상
- - GAN 기반 모델이 (1)**text-condition**의 (2)**오픈 이미지** 생성에 한계를 보이는 이유는 convolution network의 구조 때문이다.
- - convolution 연산은 구조상 같은 레이어상에 있는 하나의 filter가 **text condition 주입부터 이미지의 생성까지 모든 부분에 참여**하는데 이 부분이 모델의 표현력을 떨어트릴 수 있다.
-- kernel selection method 적용
-- 레이어마다 $\{k_{i}\in R^{C_{in}\times C_{out}\times K\times K}\}$차원의 N개의 kernel set을 두고 style vector w의 affine layer를 거친 weight를 **각 kernel값에 weighted summation한 값을 최종 filter로 사용**
-
- :::{figure-md}
- 
-
- Equation of kernel selection method affine layer
- :::
-
-- 이 때 kernel weight 계산에 softmax를 사용하는데 얘는 differentiable하므로 gradient update 가능
-- 또, 실제로 N개의 kernel을 모두 filter로 사용할 때보다 computation cost가 굉장히 절약된다는 장점
-
-**Interleaving attention with convolution**
-
-- 도입 배경
- - convolution filter는 receptive field 내부의 local feature 캡처에는 탁월하지만 field 외부의 부분은 학습할 수 없다.
-
- :::{figure-md}
- 
-
- Receptive Field in Convolution Networks
- :::
-
- - 이러한 한계점을 극복하기위해 **attention layer**($g_{attn}$)를 추가
- - 단순히 stylegan2에 attention layer를 추가하면 학습에 이상이 생김
- - 원인은 attention layer에서 사용하는 **dot product가 Lipschitz함수가 아니기 때문**
- - lipschitz 함수란
- - lipschitz 함수란, **두 점 사이의 거리를 일정 비 이상으로 증가시키지 않는 함수**
-
- :::{figure-md}
- 
-
- lipschitz Function
- :::
-
- - **Lipschitz 함수를 만족하지 못함으로써 discriminator의 학습이 unstable**하게 되고 때문에 학습에 실패한다.
- - Lipschitz 연속성을 만족시키기 위해 attention의 **dot product를 L2-distance로 대체**
-
-**Advanced setting**
-
-- 모델의 성능 향상을 위해 stylegan2과 같은 hyper parameter를 사용하고, L2 distance logit의 초기값을 unit normal distribution, scale down, …
-- $\tilde{G}$의 각 convolution block 마다 attentnion layer(self + cross)를 적용
- - self attention: 이미지 자신의 global feature 학습용
- - cross attention: 이미지에 text condition 주입용
-
-**Generator design**
-
-:::{figure-md}
-
-
-GIGAGAN Architecture
-:::
-
-- text embedding
- - pretrained model : **clip**(frozen; $R^{C\times 768}$, c is # of tokens)
- - 후에 text encoding에 추가적인 유연성을 위해 mapping network($T$)를 추가
- - text mapping network($T$)의 output은 input size와 동일하게 $R^{C\times 768}$
- - 이때 output $t$를 두 파트로 나눠 사용하는데
- - $R^{C-1\times 768}$ : word i index의 local feature를 catch
- - $R^{768}$ : word를 global하게 embedding하는 vector
- - $t_{global}$은 latent mapping network($M$)의 input으로 사용
- - $t_{local}$은 Generator의 input으로 각 block에 cross attention에 적용
-- Generator의 layer는 총 5개의 피라미드 구조
-- $\{x_{i}\}_{i=0}^{L-1} = \{x_{0},x_{1}, ..., x_{4}\}$ , $\{S_{i}\}_{i=0}^{L-1} = \{64, 32, 16, 8, 4\}$
-- $x_{0} = X$(output image)
-
-**Discriminator Design**
-
-:::{figure-md}
-
-
-Discriminator of GIGAGAN
-:::
-
-- 2 branch의 구조
- 1. text conditioning을 학습
- 2. image generating을 학습
-- $t_{D}$: text c로부터 pretrained text encoder(CLIP)를 통과시켜 추출한 embedding 값
-- stylegan에서는 low res의 이미지들은 loss에 반영하지 않았지만, gigagan에서는 **이미지의 low feature 표현의 개선**을 위해 모든 scale의 이미지를 모두 loss에 반영
-- 이때 feature extractor $\Phi$
- - $\Phi_{i\rightarrow j}:R^{X_{i}\times X_{i}\times3}\rightarrow R^{X_{j}^{D}\times X_{j}^{D}\times C_{j}}$
- - self attention + conv(with stride=2)
- - 각 level에서는 **이전 level에서의 feature map을 공유**해서 사용하고 **low resolution에서 계산이 일어나기때문에** computation resource가 크지 않다.
-- multi scale의 loss 계산을 위해 **ms-i/o loss**(multi scale input, output adversarial loss)를 사용
- - $V_{MS-I/O}(G, D) = \sum_{i=0}^{L-1}\sum_{j=i+1}^{L}V_{GAN}(G_{i}, D_{ij}) + V_{match}({G_{i}, D_{ij}})$
- - $V_{GAN}$: standard gan loss
- - $D_{ij}(x, c) = \psi _{j}(\phi_{i\rightarrow j}(x_{i}), t_{D}) + Conv_{1\times 1}(\phi_{i\rightarrow j}(x_{i}))$:
- - image의 feature map $\phi(x)$에 $t_{D}$를 심은 값과 원본 $\phi(x)$의 합
- - 앞부분은 text conditioning model을 학습, 뒷부분은 unconditional image generator를 학습
- - $V_{match}$(Matching aware loss)
- - 앞의 gan loss는 생성된 이미지가 얼마나 리얼한지, 그리고 condition $c$에 얼마나 가까운지에 대한 loss
- - 하지만 학습 초반에는 condition $c$에 상관없이 이미지의 퀄리티로만 분류를 해버림
- - 그래서 discriminator 학습 과정에서 conditioning을 강제로 따르도록 하기위해 $c$를 랜덤으로 샘플링($\hat{c}$)해 image의 fake pair로 지정
-
- :::{figure-md}
- 
-
- Matching aware loss
- :::
-
-- CLIP contrastive loss
- - pretrained CLIP을 사용해 contrastive learning
- - contrastive learning
-
- :::{figure-md}
- 
-
- constrastive learning
- :::
-
- - 가까운 class는 가깝게(positive), 그 외 class는 멀게(negative)
- - condition $c_{0}$에 대해 생성된 이미지의 feature vector는 condition $c_{0}$의 feature 벡터와는 가깝게 (positive), 나머지 condition의 feature vector와는 멀게(negative) 학습되어야한다.
-
- :::{figure-md}
- 
-
- CLIP Loss
- :::
-
-- Vision-aided adversarial loss
- - [https://arxiv.org/abs/2112.09130](https://arxiv.org/abs/2112.09130)
- - stylegan에서 discriminator는 training data에 overfitting되는 경향이 있음
- - 이부분을 해결하기위해 생성된 image를 SOTA의 vision 모델을 사용해 뽑아낸 feature map을 Discriminator에 같이 추가해 real / fake를 분류
-
-**GAN based upsampler**
-
-- gigagan은 upsampling 모델에 적용이 가능하다
-- 64x64의 이미지를 3번 downsampling + 6번 upsampling 모델을 통과시켜 1024x1024의 이미지를 생성할 수 있다.
-- 이때 upsampling 부분에 gigagan의 Generator 부분을 적용
-- upsampling model에 적용할때에는 LPIPS loss를 추가하고, 이미지 생성과정중에 stylegan과 동일하게 gaussian noise를 추가해 real함을 추가
-
-## Experiments
-
-Training and evaluation details
-
-1. Dataset : LAION2D-en, COYO-700m
-2. upsampler(128 → 1024) : Adobe’s internal Stock images
-3. Pretrained text encoder : CLIP ViT-L/14
-4. CLIP score : OpenCLIP ViT-G/14
-5. machine : A100 gpu, etc.
-
-1. **각각의 method가 정말 효과가 있는가?**
-
- :::{figure-md}
- 
-
- Table1
- :::
-
- - 단순 scaling up보다 위 method들을 추가하면 **비교적 낮은 FiD와 CLIP score 수치를 보여준다**.
-2. **Text2Image 모델과 성능 비교**
-
- :::{figure-md}
- 
-
- Table2
- :::
-
- - FiD와 inference time을 보면 어느정도 균형을 이루며 경쟁력을 보이고 있다.
-3. Distilled diffusion과 비교
-
- :::{figure-md}
- 
-
- Table3
- :::
-
- - diffutsion의 속도 개선을 위해 distilation한 모델
- - 수치적으로도 우위에 있고, inference time도 여전히 더 빠르다.
-4. Upscaler
-
- !:::{figure-md}
- 
-
- Table4
- :::
-
- :::{figure-md}
- 
-
- Super Resolution
- :::
-
-5. 그 외
- - stylegan에 연구된 technique(t**runcation trick, style mixing, latent interpolation** 등) 적용 가능
-- truncation trick
-
- :::{figure-md}
- 
-
- Truncation Trick
- :::
-
-- style mixing
-
- :::{figure-md}
- 
-
- Style Mixing
- :::
-
-- latent interpolation
-
- :::{figure-md}
- 
-
- Latent Interpolation
- :::
-
-
-Limitation
-
-- score 상으로는 어느정도 좋은 성능을 보이지만 **실제로 DALLE2 ,Imagen과 같은 SOTA diffusion 모델과 비교하면 develop이 필요함**
-
- :::{figure-md}
- 
-
- Failure Cases
- :::
-
-
----
-
-## 주요 질의응답
+```{admonition} Information
+- **Title:** Scaling up GANs for Text-to-Image Synthesis (CVPR 2023)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2303.05511](https://arxiv.org/abs/2303.05511)
+ - Code: [NON Official:](https://github.com/lucidrains/gigagan-pytorch)
+
+- **Author:** Seunghwan Ji
+
+- **Last updated on April. 14, 2024**
+```
+
+# Scaling up GANs for Text-to-Image Synthesis
+
+## Abstract
+
+- 최근 이미지 생성 task의 모델 성능이 꾸준히 발전중
+- 기존에는 stylegan과 같은 GAN 모델이 주를 이뤘지만 최근 DALLE, Stable Diffusion등 **Diffusion 기반**의 모델 베이스로 추세가 급격하게 바뀌어버림
+- *“GAN 모델로 Diffusion의 성능을 잡는것은 정말 무리일까?”*
+- GigaGAN은
+ - **gan 기반의 모델**로 1. **속도점 이점**과 **2. 다양한 extra editing**이 가능하다. (contribution)
+ 1. 속도적 이점
+ 1. 512px의 이미지를 0.13초만에 생성할 수 있다.
+ 2. 16-megapixel(1600만 픽셀, 4k)의 이미지를 3.66초만에 생성할 수 있다.
+ 2. 다양한 활용성
+ 1. latent space 상 에서의 image editing이 가능하다. (latent interpolation, style mixing …)
+
+## Introduction
+
+- 최근 Diffusion 기반의 모델들이 이미지 생성 분야에서 좋은 성능을 보여주고 있다.
+- Diffusion은
+ - 기본적으로 학습과 생성 시 iteration이 들어가는데 iteration은 **학습의 안정성을 키워주는 장점**이 있지만, **computation cost가 매우 증가**한다는 단점이 있다.
+- 반면에 GAN은
+ - 이미지 생성 시 single forward pass만 필요하므로 **cost가 크지 않다는 장점**이 있지만 single 혹은 multiple object의 생성에는 성능이 뛰어나지만 **class가 명확히 정의되지않은 이미지 즉, open world image의 생성에는 어려움**이 있다.
+- ***“GAN을 더 develop한다면 Diffusion 모델을 넘어설 수 있을까?”***
+- gigaGAN은?
+ 1. 속도적 장점
+ - 0.13 s/img (512 size), 3.66s / img (4k)
+ 2. latent space상에서의 editing 가능(**style mixing, interpolation, prompt mixing** like stylegan2)
+
+## Methods
+
+:::{figure-md}
+
+
+Overall Architecture
+:::
+
+**Base Architecture**
+
+- Base Model은 stylegan2로 선정
+- $G = M\times \tilde{G}$
+- $M$(mapping network) : gaussian distribution에서의 noise를 좀더 disentangle된 w space로 mapping 시키는 network
+ - gigagan에서는 mapping network의 input으로 z와 함께 text condition(c)도 함께 사용
+ - output : $w$ (vector)
+- $\tilde{G}$ : 피라미드 구조의 convolution block들로 random constant 값으로부터 output image $X$를 생성하는 generator.
+ - 이때 $w$ vector는 각 layer마다 입력으로 들어가서 feature map의 분포를 scaling함으로써 style을 반영(modulation, demodulation in stylegan2)
+
+**Sample-adaptive kernel selection**
+
+:::{figure-md}
+
+
+Sample Adaptive Kernel Selection
+:::
+
+- 도입 배경
+ - 단순히 convolution layer의 kernel size만 scaling up을 하면 학습이 안되는 현상
+ - GAN 기반 모델이 (1)**text-condition**의 (2)**오픈 이미지** 생성에 한계를 보이는 이유는 convolution network의 구조 때문이다.
+ - convolution 연산은 구조상 같은 레이어상에 있는 하나의 filter가 **text condition 주입부터 이미지의 생성까지 모든 부분에 참여**하는데 이 부분이 모델의 표현력을 떨어트릴 수 있다.
+- kernel selection method 적용
+- 레이어마다 $\{k_{i}\in R^{C_{in}\times C_{out}\times K\times K}\}$차원의 N개의 kernel set을 두고 style vector w의 affine layer를 거친 weight를 **각 kernel값에 weighted summation한 값을 최종 filter로 사용**
+
+ :::{figure-md}
+
+
+ Equation of kernel selection method affine layer
+ :::
+
+- 이 때 kernel weight 계산에 softmax를 사용하는데 얘는 differentiable하므로 gradient update 가능
+- 또, 실제로 N개의 kernel을 모두 filter로 사용할 때보다 computation cost가 굉장히 절약된다는 장점
+
+**Interleaving attention with convolution**
+
+- 도입 배경
+ - convolution filter는 receptive field 내부의 local feature 캡처에는 탁월하지만 field 외부의 부분은 학습할 수 없다.
+
+ :::{figure-md}
+
+
+ Receptive Field in Convolution Networks
+ :::
+
+ - 이러한 한계점을 극복하기위해 **attention layer**($g_{attn}$)를 추가
+ - 단순히 stylegan2에 attention layer를 추가하면 학습에 이상이 생김
+ - 원인은 attention layer에서 사용하는 **dot product가 Lipschitz함수가 아니기 때문**
+ - lipschitz 함수란
+ - lipschitz 함수란, **두 점 사이의 거리를 일정 비 이상으로 증가시키지 않는 함수**
+
+ :::{figure-md}
+
+
+ lipschitz Function
+ :::
+
+ - **Lipschitz 함수를 만족하지 못함으로써 discriminator의 학습이 unstable**하게 되고 때문에 학습에 실패한다.
+ - Lipschitz 연속성을 만족시키기 위해 attention의 **dot product를 L2-distance로 대체**
+
+**Advanced setting**
+
+- 모델의 성능 향상을 위해 stylegan2과 같은 hyper parameter를 사용하고, L2 distance logit의 초기값을 unit normal distribution, scale down, …
+- $\tilde{G}$의 각 convolution block 마다 attentnion layer(self + cross)를 적용
+ - self attention: 이미지 자신의 global feature 학습용
+ - cross attention: 이미지에 text condition 주입용
+
+**Generator design**
+
+:::{figure-md}
+
+
+GIGAGAN Architecture
+:::
+
+- text embedding
+ - pretrained model : **clip**(frozen; $R^{C\times 768}$, c is # of tokens)
+ - 후에 text encoding에 추가적인 유연성을 위해 mapping network($T$)를 추가
+ - text mapping network($T$)의 output은 input size와 동일하게 $R^{C\times 768}$
+ - 이때 output $t$를 두 파트로 나눠 사용하는데
+ - $R^{C-1\times 768}$ : word i index의 local feature를 catch
+ - $R^{768}$ : word를 global하게 embedding하는 vector
+ - $t_{global}$은 latent mapping network($M$)의 input으로 사용
+ - $t_{local}$은 Generator의 input으로 각 block에 cross attention에 적용
+- Generator의 layer는 총 5개의 피라미드 구조
+- $\{x_{i}\}_{i=0}^{L-1} = \{x_{0},x_{1}, ..., x_{4}\}$ , $\{S_{i}\}_{i=0}^{L-1} = \{64, 32, 16, 8, 4\}$
+- $x_{0} = X$(output image)
+
+**Discriminator Design**
+
+:::{figure-md}
+
+
+Discriminator of GIGAGAN
+:::
+
+- 2 branch의 구조
+ 1. text conditioning을 학습
+ 2. image generating을 학습
+- $t_{D}$: text c로부터 pretrained text encoder(CLIP)를 통과시켜 추출한 embedding 값
+- stylegan에서는 low res의 이미지들은 loss에 반영하지 않았지만, gigagan에서는 **이미지의 low feature 표현의 개선**을 위해 모든 scale의 이미지를 모두 loss에 반영
+- 이때 feature extractor $\Phi$
+ - $\Phi_{i\rightarrow j}:R^{X_{i}\times X_{i}\times3}\rightarrow R^{X_{j}^{D}\times X_{j}^{D}\times C_{j}}$
+ - self attention + conv(with stride=2)
+ - 각 level에서는 **이전 level에서의 feature map을 공유**해서 사용하고 **low resolution에서 계산이 일어나기때문에** computation resource가 크지 않다.
+- multi scale의 loss 계산을 위해 **ms-i/o loss**(multi scale input, output adversarial loss)를 사용
+ - $V_{MS-I/O}(G, D) = \sum_{i=0}^{L-1}\sum_{j=i+1}^{L}V_{GAN}(G_{i}, D_{ij}) + V_{match}({G_{i}, D_{ij}})$
+ - $V_{GAN}$: standard gan loss
+ - $D_{ij}(x, c) = \psi _{j}(\phi_{i\rightarrow j}(x_{i}), t_{D}) + Conv_{1\times 1}(\phi_{i\rightarrow j}(x_{i}))$:
+ - image의 feature map $\phi(x)$에 $t_{D}$를 심은 값과 원본 $\phi(x)$의 합
+ - 앞부분은 text conditioning model을 학습, 뒷부분은 unconditional image generator를 학습
+ - $V_{match}$(Matching aware loss)
+ - 앞의 gan loss는 생성된 이미지가 얼마나 리얼한지, 그리고 condition $c$에 얼마나 가까운지에 대한 loss
+ - 하지만 학습 초반에는 condition $c$에 상관없이 이미지의 퀄리티로만 분류를 해버림
+ - 그래서 discriminator 학습 과정에서 conditioning을 강제로 따르도록 하기위해 $c$를 랜덤으로 샘플링($\hat{c}$)해 image의 fake pair로 지정
+
+ :::{figure-md}
+
+
+ Matching aware loss
+ :::
+
+- CLIP contrastive loss
+ - pretrained CLIP을 사용해 contrastive learning
+ - contrastive learning
+
+ :::{figure-md}
+
+
+ constrastive learning
+ :::
+
+ - 가까운 class는 가깝게(positive), 그 외 class는 멀게(negative)
+ - condition $c_{0}$에 대해 생성된 이미지의 feature vector는 condition $c_{0}$의 feature 벡터와는 가깝게 (positive), 나머지 condition의 feature vector와는 멀게(negative) 학습되어야한다.
+
+ :::{figure-md}
+
+
+ CLIP Loss
+ :::
+
+- Vision-aided adversarial loss
+ - [https://arxiv.org/abs/2112.09130](https://arxiv.org/abs/2112.09130)
+ - stylegan에서 discriminator는 training data에 overfitting되는 경향이 있음
+ - 이부분을 해결하기위해 생성된 image를 SOTA의 vision 모델을 사용해 뽑아낸 feature map을 Discriminator에 같이 추가해 real / fake를 분류
+
+**GAN based upsampler**
+
+- gigagan은 upsampling 모델에 적용이 가능하다
+- 64x64의 이미지를 3번 downsampling + 6번 upsampling 모델을 통과시켜 1024x1024의 이미지를 생성할 수 있다.
+- 이때 upsampling 부분에 gigagan의 Generator 부분을 적용
+- upsampling model에 적용할때에는 LPIPS loss를 추가하고, 이미지 생성과정중에 stylegan과 동일하게 gaussian noise를 추가해 real함을 추가
+
+## Experiments
+
+Training and evaluation details
+
+1. Dataset : LAION2D-en, COYO-700m
+2. upsampler(128 → 1024) : Adobe’s internal Stock images
+3. Pretrained text encoder : CLIP ViT-L/14
+4. CLIP score : OpenCLIP ViT-G/14
+5. machine : A100 gpu, etc.
+
+1. **각각의 method가 정말 효과가 있는가?**
+
+ :::{figure-md}
+
+
+ Table1
+ :::
+
+ - 단순 scaling up보다 위 method들을 추가하면 **비교적 낮은 FiD와 CLIP score 수치를 보여준다**.
+2. **Text2Image 모델과 성능 비교**
+
+ :::{figure-md}
+
+
+ Table2
+ :::
+
+ - FiD와 inference time을 보면 어느정도 균형을 이루며 경쟁력을 보이고 있다.
+3. Distilled diffusion과 비교
+
+ :::{figure-md}
+
+
+ Table3
+ :::
+
+ - diffutsion의 속도 개선을 위해 distilation한 모델
+ - 수치적으로도 우위에 있고, inference time도 여전히 더 빠르다.
+4. Upscaler
+
+ !:::{figure-md}
+
+
+ Table4
+ :::
+
+ :::{figure-md}
+
+
+ Super Resolution
+ :::
+
+5. 그 외
+ - stylegan에 연구된 technique(t**runcation trick, style mixing, latent interpolation** 등) 적용 가능
+- truncation trick
+
+ :::{figure-md}
+
+
+ Truncation Trick
+ :::
+
+- style mixing
+
+ :::{figure-md}
+
+
+ Style Mixing
+ :::
+
+- latent interpolation
+
+ :::{figure-md}
+
+
+ Latent Interpolation
+ :::
+
+
+Limitation
+
+- score 상으로는 어느정도 좋은 성능을 보이지만 **실제로 DALLE2 ,Imagen과 같은 SOTA diffusion 모델과 비교하면 develop이 필요함**
+
+ :::{figure-md}
+
+
+ Failure Cases
+ :::
+
+
+---
+
+## 주요 질의응답
diff --git a/_sources/docs/review/GLIDE.md b/_sources/docs/review/GLIDE.md
index 7e08b7b7..513fff34 100755
--- a/_sources/docs/review/GLIDE.md
+++ b/_sources/docs/review/GLIDE.md
@@ -1,187 +1,187 @@
-``` {admonition} Information
-- **Title:** GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models (ICML 2022)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2112.10741](https://arxiv.org/abs/2112.10741)
-
-- **Author:** Sehwan Park
-
-- **Last updated on Oct. 20, 2023**
-```
-
-
-
-# GLIDE
-
-## Abstract
-
-* GLIDE 기법이 DALL-E보다 human-evaluator 평가가 더 우수하다고 한다.
-
-* classifier-free Guidance vs CLIP-Guidance(classifier-free Guidance를 결국 사용.)
-
-* powerful한 text-driven image editing이 가능.
-
-
-
-## 1. Introduction
-
- Natural language로 부터 realistic한 image를 만드는 많은 방법들이 생겨나고 있다. 하지만 text prompts에 정확히 대응하는 photorealistic한 image를 생성하기에는 어려움을 겪고 있다.
-
- Diffusion model이 DDPM, DDIM 논문을 통해 생성모델의 중심으로 떠오르며 unconditional한 image에 대해서는 SOTA를 찍었다고 한다. 자연스럽게 class-conditional한 image 생성에 대해서도 연구가 이루어졌는데, Diffusion models beat gans on image synthesis라는 논문에서 저자들은 noise한 image에 대해 class를 예측하는 classifier를 추가하여 sampling과정에서 label에 해당하는 이미지를 생성하도록 gradient를 control시키는 classifier guidance 방법을 소개한다. 이후, classifier없이 guidance를 줄 수 있는 classifier-free guidance 방법이 소개되었다.
-
-이 논문에서는 classifier-free guidance 방법과 기존 diffusion model을 활용하여 text-conditional image synthesis를 잘 수행했다고 보여준다. 추가적으로 pretrained CLIP 모델을 활용하여 CLIP guidance라는 방법을 제시하며 classifier-free guidance와 비교를 한다. 결과적으로는 classifier-free guidance가 더 좋은 성능을 보인다고 한다.
-
-text prompt를 zero-shot으로 생성하는데에 있어 좋은 성능을 보였으나, 복잡한 prompt에 대한 photorealistc한 image를 생성하는데는 어려움을 겪을 수 있다고 한다. 그래서 이 논문에서는 text-conditional image generation뿐만 아니라 기존 image를 text-prompt를 통해 편집할 수 있는 image impainting기능도 가능하도록 했다고 한다.
-
-:::{figure-md}
-
-
-
-GLIDE text to image
-:::
-
-:::{figure-md}
-
-
-
-GLIDE image impainting
-:::
-
-## 2. Background
-
-### 2.1 Diffusion Models
-
-* DDPM
-
-DDPM에서는 임의의 time step t로 부터 noise가 껴있는 image $x_t$의 $\epsilon_t$가 얼만큼인지 예측한다. 예측한 $\epsilon_t$를 이용하여 noise가 일부 제거된 이전 step의 mean($\mu_{\theta}(x_t)$)을 구할 수 있고 variance($\sum_{\theta}(x_t)$)는 constant한 값으로 고정시킨다. DDPM에서 제시한 forward process와 reverse process는 다음과 같다.
-
-$$
-q(x_t|x_{t-1}) = \mathcal{N}(x_t; \sqrt{\alpha_{t}}x_{t-1}, (1-\alpha_t)\mathcal{I})
-$$
-$$
-p_{\theta}(x_{t-1}|x_t) := \mathcal{N}(\mu_{\theta}(x_t), \sum_{\theta}(x_t))
-$$
-
-* Score-based generative modeling through stochastic differential equations
-
-해당 논문에서는 결국 score를 구하는 것과 epsilon을 구하는 것이 결국 같은 방향성을 띤다라고 주장한다.
-
-:::{figure-md}
-
-
-
-Proof of proportional relationship to finding score and epsilon
-:::
-
-* Improved-DDPM
-
-$\sum_{\theta}$를 constant값으로 고정시킨 이전 DDPM과 달리 해당 논문에서는 $\sum_{\theta}$ learnable parameter로 설정하여 더 적은 diffusion step만으로 더 좋은 quality의 sample을 만들어낼 수 있다고 제시한다.
-
-### 2.2 Guided Diffusion
-
-Diffusion model beat GANS on Image Synthesis(Dharwial et al.)에서는 diffusion model을 통해 class-conditional한 image생성을 제시한다. 이 논문에서의 가장 핵심적인 기술이 classifier-guidance이다. noise한 image로부터 epsilon을 예측하는 model은 그대로 유지하되, 해당 noise image가 어떤 class에 속하는지 분류하는 별도의 classifier를 설정한다. 이 classifier의 score를 통해 class-conditional한 전체 과정의 score에게 guide를 주는 방법을 제시한다.
-
-:::{figure-md}
-
-
-
-Classifier guidance
-:::
-
-:::{figure-md}
-
-
-
-Classifier guidance
-:::
-
-### 2.3 Classifier-free guidance
-
-classifier를 통해 class-conditional한 image생성을 하는 방법이 위에 소개되었는데, 이 방법은 noise한 image에 대해서 classifiy를 해야하므로 pretrained model을 사용할 수 없고 모델 규모가 너무 heavy해지는 등 몇몇 문제점을 가지고 있었다. 이 방법에 대한 개선점을 Classifier-Free Diffusion Guidance(Ho et al.)에서 Classifer-free guidance라는 기법으로 제시한다. 위의 score 식에서 약간의 변형을 통해 classifier 없이 단일 model만으로 guidance를 줄 수 있는 방법을 제시한다.
-
-:::{figure-md}
-
-
-
-Classifier-free guidance
-:::
-
-### 2.4 CLIP guidance
-
-CLIP은 텍스트와 이미지 사이의 joint representation을 학습할 수 있는 모델이다. Image encoder f(x)와 Text encoder g(c)로 이루어져 있다. (x,c) 즉 이미지와 이미지 캡션 쌍으로 이루어진 대규모 데이터를 이용해 contrastive learning을 진행시킨 모델이다. 같은 의미를 가진 positive pair에 대해서는 f(x) · g(c)(유사도)가 커지도록 negative pair에 대해서는 f(x) · g(c)가 작아지도록 하는 것이다. CLIP guidance에서는 classifier guidance에서 classifier대신에 pretrained CLIP모델을 사용한다. 따라서 guidance를 주는 방식도 classifier대신 CLIP모델을 통해 구한 noise한 image x와 주어진 text간의 유사도를 이용한다.
-
-:::{figure-md}
-
-
-
-CLIP
-:::
-
-:::{figure-md}
-
-
-
-CLIP guidance
-:::
-
-## 3. Training
-
-실험에서 3.5 billion parameter의 text-conditional diffusion model을 64x64 resolution을 위해 사용했고 또다른 1.5 billion parameter의 text-conditional upsampling diffusion model을 256x256으로 resolution을 증가시키는데 사용하였다고 한다. 또한, CLIP guidance를 위해 noised 64x64 ViT-L CLIP model을 사용했다고 한다.
-
-### 3.1 Text-Conditional Diffusion Models
-
-Improved DDPM의 ADM model을 base로 text-conditioning을 추가하여 학습을 진행하였다. 주어진 noised image $x_t$로부터 $x_{t-1}$을 예측하는 $p_{\theta}(x_{t-1}|x_t,c)$를 수행해야한다. text를 condition으로 주기 위해서 우선 주어진 text를 K개의 token으로 encoding한 후, Transformer model에 input값으로 넣어준다. Transformer output의 마지막 embedding token과 positional encoding을 통해 나온 time step embedding token을 연산하고자 하는 크기에 맞게 linear projection하여 더한 후, residual block을 거친 image와 AdaIN기법을 통해 residual block의 output을 도출한다. Transformer output의 마지막 layer는 연산하고자 하는 크기에 맞게 linear projection하여 residual block뒤에 붙는 attention block에 이용한다.
-
-학습 데이터셋은 DALL-E와 같은 데이터셋을 사용하였고 model architecture로는 기존 ADM model보다 더 scale up된 model과 1.2B paremeters를 갖는 Transformer를 사용했다고 한다. 게다가 64x64 image를 256x256 image로 upsampling하는 Upsampler model도 학습시켰다고 한다. upsampler model은 Improved DDPM에서의 ImageNet Upsampler와 거의 비슷하다고 한다.
-
-### 3.2. Fine-tuning for classifier-free guidance
-
-처음 training을 진행했을때는, text를 condition으로 준 conditional image generation에 맞춰 training을 진행했다고 한다. 이 후, unconditional image generation의 성능을 위해 데이터셋의 약 20%의 text condition에 empty sequence를 주고 training을 진행했다고 한다.
-
-### 3.3. Image Inpainting
-
-이전 연구에서는, impainting을 위해 diffusion model로 학습시키는 과정을 거치지 않았다. diffusion model로 sampling을 한 후, 알려진 영역에 대해서는 $q(x_t|x_0)$로 대체하는 방식을 사용했기에 model이 sampling을 하는 과정에서 전체 context를 참조할 수 없다는 단점이 있었다.
-
-이 논문에서는 fine-tuning과정에서 training example의 임의의 부분을 지운다음, 남은 부분은 모델에 추가적인 조건 정보로서 마스크 채널과 함께 입력되도록 설계하였다.
-
-### 3.4. Noised CLIP models
-
-classifier guidance에 더 적합하게 훈련시키기 위해 clip guidance를 사용해서 classifier-free guidance와 비교했음을 위에서 언급했다. clip guidance를 사용하기 위해 저자들은 noise image에 대해 학습시킨 Noised CLIP models를 사용했음을 밝힌다. 위에서 언급했듯이 결과는 classifier-free guidance가 더 좋았다고 한다.
-
-:::{figure-md}
-
-
-
-comparison between CLIP guidance and classifier-free guidance
-:::
-
-## 4. Results
-
-:::{figure-md}
-
-
-
-Quantitive Results
-:::
-
-논문에서는 classifier-free guidance와 CLIP guidance에 대해 Precision과 Recall, FID와 IS, CLIP score와 FID 간의 명확한 trade-off 를 관찰하고 있다고 언급한다.
-
-위의 (a)와 (b)에 대해서는 classifier-free guidance가 거의 최적으로 수행되었으며, classifier-free guidance가 훨씬 강력한 방법임을 보여주고 있다. 반면, (c)에서는 CLIP guidance가 CLIP 점수를 classifier-free guidance에 비해 상당히 향상시킬 수 있는 것으로 보인다. 저자들은 CLIP guidance가 주로 CLIP 모델의 평가에 따라 이미지를 생성하는 데 중점을 둘 수 있지만, 특정 prompt 또는 caption과 일치시키는 데 뛰어나지 않을 수 있다는 가설을 제시한다. 이 가설을 확인하기 위해 저자들은 인간 평가자를 활용한 실험을 진행하였고 인간들이 CLIP 점수와 다른 의견을 가지며, classifier-free guida nce가 해당 prompt와 더 일치하는 더 높은 품질의 샘플을 생성한다고 판단했다.
-
-:::{figure-md}
-
-
-
-Zero-shot FID results
-:::
-
-Table1은 Unguided, CLIP guidance, Classifier-free guidance 기법을 각각 적용한 256x256 resolution image에 대해 human evaluation을 진행한 결과이다. Classifier-free guidance를 적용한 결과가 photorealism, caption 항목에 대해 압도적인 결과를 보임을 알 수 있다.
-
-Table2는 GLIDE와 다른 text-conditional image generation model들을 비교한 표이다. MS-COCO dataset에 대해 생성된 image의 FID score를 구하였다. GLIDE model이 MS-COCO에 대해 학습한 경험이 없음에도 불구하고 Zero-shot FID 부분을 보면 상당히 좋은 result를 보임을 알 수 있다.
-
-:::{figure-md}
-
-
-
-final results
-:::
+``` {admonition} Information
+- **Title:** GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models (ICML 2022)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2112.10741](https://arxiv.org/abs/2112.10741)
+
+- **Author:** Sehwan Park
+
+- **Last updated on Oct. 20, 2023**
+```
+
+
+
+# GLIDE
+
+## Abstract
+
+* GLIDE 기법이 DALL-E보다 human-evaluator 평가가 더 우수하다고 한다.
+
+* classifier-free Guidance vs CLIP-Guidance(classifier-free Guidance를 결국 사용.)
+
+* powerful한 text-driven image editing이 가능.
+
+
+
+## 1. Introduction
+
+ Natural language로 부터 realistic한 image를 만드는 많은 방법들이 생겨나고 있다. 하지만 text prompts에 정확히 대응하는 photorealistic한 image를 생성하기에는 어려움을 겪고 있다.
+
+ Diffusion model이 DDPM, DDIM 논문을 통해 생성모델의 중심으로 떠오르며 unconditional한 image에 대해서는 SOTA를 찍었다고 한다. 자연스럽게 class-conditional한 image 생성에 대해서도 연구가 이루어졌는데, Diffusion models beat gans on image synthesis라는 논문에서 저자들은 noise한 image에 대해 class를 예측하는 classifier를 추가하여 sampling과정에서 label에 해당하는 이미지를 생성하도록 gradient를 control시키는 classifier guidance 방법을 소개한다. 이후, classifier없이 guidance를 줄 수 있는 classifier-free guidance 방법이 소개되었다.
+
+이 논문에서는 classifier-free guidance 방법과 기존 diffusion model을 활용하여 text-conditional image synthesis를 잘 수행했다고 보여준다. 추가적으로 pretrained CLIP 모델을 활용하여 CLIP guidance라는 방법을 제시하며 classifier-free guidance와 비교를 한다. 결과적으로는 classifier-free guidance가 더 좋은 성능을 보인다고 한다.
+
+text prompt를 zero-shot으로 생성하는데에 있어 좋은 성능을 보였으나, 복잡한 prompt에 대한 photorealistc한 image를 생성하는데는 어려움을 겪을 수 있다고 한다. 그래서 이 논문에서는 text-conditional image generation뿐만 아니라 기존 image를 text-prompt를 통해 편집할 수 있는 image impainting기능도 가능하도록 했다고 한다.
+
+:::{figure-md}
+
+
+
+GLIDE text to image
+:::
+
+:::{figure-md}
+
+
+
+GLIDE image impainting
+:::
+
+## 2. Background
+
+### 2.1 Diffusion Models
+
+* DDPM
+
+DDPM에서는 임의의 time step t로 부터 noise가 껴있는 image $x_t$의 $\epsilon_t$가 얼만큼인지 예측한다. 예측한 $\epsilon_t$를 이용하여 noise가 일부 제거된 이전 step의 mean($\mu_{\theta}(x_t)$)을 구할 수 있고 variance($\sum_{\theta}(x_t)$)는 constant한 값으로 고정시킨다. DDPM에서 제시한 forward process와 reverse process는 다음과 같다.
+
+$$
+q(x_t|x_{t-1}) = \mathcal{N}(x_t; \sqrt{\alpha_{t}}x_{t-1}, (1-\alpha_t)\mathcal{I})
+$$
+$$
+p_{\theta}(x_{t-1}|x_t) := \mathcal{N}(\mu_{\theta}(x_t), \sum_{\theta}(x_t))
+$$
+
+* Score-based generative modeling through stochastic differential equations
+
+해당 논문에서는 결국 score를 구하는 것과 epsilon을 구하는 것이 결국 같은 방향성을 띤다라고 주장한다.
+
+:::{figure-md}
+
+
+
+Proof of proportional relationship to finding score and epsilon
+:::
+
+* Improved-DDPM
+
+$\sum_{\theta}$를 constant값으로 고정시킨 이전 DDPM과 달리 해당 논문에서는 $\sum_{\theta}$ learnable parameter로 설정하여 더 적은 diffusion step만으로 더 좋은 quality의 sample을 만들어낼 수 있다고 제시한다.
+
+### 2.2 Guided Diffusion
+
+Diffusion model beat GANS on Image Synthesis(Dharwial et al.)에서는 diffusion model을 통해 class-conditional한 image생성을 제시한다. 이 논문에서의 가장 핵심적인 기술이 classifier-guidance이다. noise한 image로부터 epsilon을 예측하는 model은 그대로 유지하되, 해당 noise image가 어떤 class에 속하는지 분류하는 별도의 classifier를 설정한다. 이 classifier의 score를 통해 class-conditional한 전체 과정의 score에게 guide를 주는 방법을 제시한다.
+
+:::{figure-md}
+
+
+
+Classifier guidance
+:::
+
+:::{figure-md}
+
+
+
+Classifier guidance
+:::
+
+### 2.3 Classifier-free guidance
+
+classifier를 통해 class-conditional한 image생성을 하는 방법이 위에 소개되었는데, 이 방법은 noise한 image에 대해서 classifiy를 해야하므로 pretrained model을 사용할 수 없고 모델 규모가 너무 heavy해지는 등 몇몇 문제점을 가지고 있었다. 이 방법에 대한 개선점을 Classifier-Free Diffusion Guidance(Ho et al.)에서 Classifer-free guidance라는 기법으로 제시한다. 위의 score 식에서 약간의 변형을 통해 classifier 없이 단일 model만으로 guidance를 줄 수 있는 방법을 제시한다.
+
+:::{figure-md}
+
+
+
+Classifier-free guidance
+:::
+
+### 2.4 CLIP guidance
+
+CLIP은 텍스트와 이미지 사이의 joint representation을 학습할 수 있는 모델이다. Image encoder f(x)와 Text encoder g(c)로 이루어져 있다. (x,c) 즉 이미지와 이미지 캡션 쌍으로 이루어진 대규모 데이터를 이용해 contrastive learning을 진행시킨 모델이다. 같은 의미를 가진 positive pair에 대해서는 f(x) · g(c)(유사도)가 커지도록 negative pair에 대해서는 f(x) · g(c)가 작아지도록 하는 것이다. CLIP guidance에서는 classifier guidance에서 classifier대신에 pretrained CLIP모델을 사용한다. 따라서 guidance를 주는 방식도 classifier대신 CLIP모델을 통해 구한 noise한 image x와 주어진 text간의 유사도를 이용한다.
+
+:::{figure-md}
+
+
+
+CLIP
+:::
+
+:::{figure-md}
+
+
+
+CLIP guidance
+:::
+
+## 3. Training
+
+실험에서 3.5 billion parameter의 text-conditional diffusion model을 64x64 resolution을 위해 사용했고 또다른 1.5 billion parameter의 text-conditional upsampling diffusion model을 256x256으로 resolution을 증가시키는데 사용하였다고 한다. 또한, CLIP guidance를 위해 noised 64x64 ViT-L CLIP model을 사용했다고 한다.
+
+### 3.1 Text-Conditional Diffusion Models
+
+Improved DDPM의 ADM model을 base로 text-conditioning을 추가하여 학습을 진행하였다. 주어진 noised image $x_t$로부터 $x_{t-1}$을 예측하는 $p_{\theta}(x_{t-1}|x_t,c)$를 수행해야한다. text를 condition으로 주기 위해서 우선 주어진 text를 K개의 token으로 encoding한 후, Transformer model에 input값으로 넣어준다. Transformer output의 마지막 embedding token과 positional encoding을 통해 나온 time step embedding token을 연산하고자 하는 크기에 맞게 linear projection하여 더한 후, residual block을 거친 image와 AdaIN기법을 통해 residual block의 output을 도출한다. Transformer output의 마지막 layer는 연산하고자 하는 크기에 맞게 linear projection하여 residual block뒤에 붙는 attention block에 이용한다.
+
+학습 데이터셋은 DALL-E와 같은 데이터셋을 사용하였고 model architecture로는 기존 ADM model보다 더 scale up된 model과 1.2B paremeters를 갖는 Transformer를 사용했다고 한다. 게다가 64x64 image를 256x256 image로 upsampling하는 Upsampler model도 학습시켰다고 한다. upsampler model은 Improved DDPM에서의 ImageNet Upsampler와 거의 비슷하다고 한다.
+
+### 3.2. Fine-tuning for classifier-free guidance
+
+처음 training을 진행했을때는, text를 condition으로 준 conditional image generation에 맞춰 training을 진행했다고 한다. 이 후, unconditional image generation의 성능을 위해 데이터셋의 약 20%의 text condition에 empty sequence를 주고 training을 진행했다고 한다.
+
+### 3.3. Image Inpainting
+
+이전 연구에서는, impainting을 위해 diffusion model로 학습시키는 과정을 거치지 않았다. diffusion model로 sampling을 한 후, 알려진 영역에 대해서는 $q(x_t|x_0)$로 대체하는 방식을 사용했기에 model이 sampling을 하는 과정에서 전체 context를 참조할 수 없다는 단점이 있었다.
+
+이 논문에서는 fine-tuning과정에서 training example의 임의의 부분을 지운다음, 남은 부분은 모델에 추가적인 조건 정보로서 마스크 채널과 함께 입력되도록 설계하였다.
+
+### 3.4. Noised CLIP models
+
+classifier guidance에 더 적합하게 훈련시키기 위해 clip guidance를 사용해서 classifier-free guidance와 비교했음을 위에서 언급했다. clip guidance를 사용하기 위해 저자들은 noise image에 대해 학습시킨 Noised CLIP models를 사용했음을 밝힌다. 위에서 언급했듯이 결과는 classifier-free guidance가 더 좋았다고 한다.
+
+:::{figure-md}
+
+
+
+comparison between CLIP guidance and classifier-free guidance
+:::
+
+## 4. Results
+
+:::{figure-md}
+
+
+
+Quantitive Results
+:::
+
+논문에서는 classifier-free guidance와 CLIP guidance에 대해 Precision과 Recall, FID와 IS, CLIP score와 FID 간의 명확한 trade-off 를 관찰하고 있다고 언급한다.
+
+위의 (a)와 (b)에 대해서는 classifier-free guidance가 거의 최적으로 수행되었으며, classifier-free guidance가 훨씬 강력한 방법임을 보여주고 있다. 반면, (c)에서는 CLIP guidance가 CLIP 점수를 classifier-free guidance에 비해 상당히 향상시킬 수 있는 것으로 보인다. 저자들은 CLIP guidance가 주로 CLIP 모델의 평가에 따라 이미지를 생성하는 데 중점을 둘 수 있지만, 특정 prompt 또는 caption과 일치시키는 데 뛰어나지 않을 수 있다는 가설을 제시한다. 이 가설을 확인하기 위해 저자들은 인간 평가자를 활용한 실험을 진행하였고 인간들이 CLIP 점수와 다른 의견을 가지며, classifier-free guida nce가 해당 prompt와 더 일치하는 더 높은 품질의 샘플을 생성한다고 판단했다.
+
+:::{figure-md}
+
+
+
+Zero-shot FID results
+:::
+
+Table1은 Unguided, CLIP guidance, Classifier-free guidance 기법을 각각 적용한 256x256 resolution image에 대해 human evaluation을 진행한 결과이다. Classifier-free guidance를 적용한 결과가 photorealism, caption 항목에 대해 압도적인 결과를 보임을 알 수 있다.
+
+Table2는 GLIDE와 다른 text-conditional image generation model들을 비교한 표이다. MS-COCO dataset에 대해 생성된 image의 FID score를 구하였다. GLIDE model이 MS-COCO에 대해 학습한 경험이 없음에도 불구하고 Zero-shot FID 부분을 보면 상당히 좋은 result를 보임을 알 수 있다.
+
+:::{figure-md}
+
+
+
+final results
+:::
diff --git a/_sources/docs/review/HyperDreamBooth.md b/_sources/docs/review/HyperDreamBooth.md
index 19eb7e26..8be0e639 100755
--- a/_sources/docs/review/HyperDreamBooth.md
+++ b/_sources/docs/review/HyperDreamBooth.md
@@ -1,175 +1,175 @@
-``` {admonition} Information
-- **Title:** HyperDreamBooth: HyperNetworks for Fast Personalization of Text-to-Image Models
-
-- **Reference**
- - Paper: [https://arxiv.org/pdf/2307.06949.pdf](https://arxiv.org/pdf/2307.06949.pdf)
-
-- **Author:** Hyoungseo Cho
-
-- **Last updated on Oct. 10, 2023**
-```
-
-# HyperDreamBooth
-
-## Introduction
-
-Personalization 는 Generative AI 분야에서 떠오르고 있는 주제입니다. 이는 high-fidelity와 identity를 유지한 상태로 다양한 맥락과 스타일을 생성할 수 있도록 합니다. 본 논문은 [Dreambooth](https://pseudo-lab.github.io/text-to-image-generation-feat-diffusion/docs/review/dreambooth.html) 를 기반으로 진행되었기 때문에 [Dreambooth](https://pseudo-lab.github.io/text-to-image-generation-feat-diffusion/docs/review/dreambooth.html) 논문을 먼저 읽어 보시기를 추천드립니다.
-
-:::{figure-md}
-
-
-HyperDreamBooth
-:::
-
-## Contribution
-
-본 논문의 Contribution은 크게 3가지로 볼 수 있습니다. Lighweight DreamBooth (LiDB), New HyperNetwork architecture 그리고 rank-relaxed finetuning 입니다. 위 3가지 방법을 활용하여 기존 DreamBooth의 핵심 능력을 유지하면서 크기를 줄이고 속도를 높일 수 있었습니다.
-
-## Related Work
-
-**Text-to-image Models**
-본 논문에서는 Stable Diffusion 모델을 활용하여 HyperDreamBooth를 구현했지만, 이 부분은 다른 텍스트-이미지 모델 (Imagen, DALL-E2 등) 도 적용이 가능합니다. - -**Personalization of Generative Models**
-Generative Adversarial Network 기반의 기술들은 fidelity가 떨어지거나 다양한 문맥을 제공하지 못하는 문제가 있습니다. 이에 따라 HyperNetwork를 도입한 연구를 진행했습니다. - -**T2I Personalization via Finetuning**
-다음으로, text-to-image personalization을 위한 Finetuning에 대한 연구가 있습니다. CustomDiffusion, SVDiff, LoRA, StyleDrop, DreamArtist 등의 예시가 있습니다. 하지만 이는 속도 측면에서 느리다는 단점을 가지고 있습니다. - -이러한 관련 연구들을 볼 때, HyperDreamBooth는 속도와 효율성 측면에서 큰 발전을 이루었다고 볼 수 있습니다. - -:::{figure-md} -
-
-HyperDreamBooth Training and Fast Fine-Tuning
-:::
-
-## Prelimiaries
-
-**Latent Diffusion Models (LDM)**
-본 논문에서는 Stable Diffusion 모델을 활용하여 HyperDreamBooth를 구현했지만, 이 부분은 다른 텍스트-이미지 모델 (Imagen, DALL-E2 등) 도 적용이 가능합니다. - -**DreamBooth**
-이전에 나온 DreamBooth는 특정 주제의 이미지를 생성하기 위해 T2I denoising 네트워크를 finetuning하는 전략을 활용했습니다. 이 방법은 HyperDreamBooth의 영감원 중 하나로 활용되었습니다. - -**Low Rank Adaptation (LoRA)**
-LoRA는 모델의 가중치를 낮은 랭크의 행렬로 근사화하여 모델의 크기와 복잡성을 줄이는 방법입니다. 본 논문에서는 이 LoRA 기술을 활용하여 더 빠르고 효율적인 personalization이 가능하도록 합니다. - -## Method - -위에서 살펴 본 Contribution의 내용을 자세히 살펴보도록 하겠습니다. - -### Lightweight DreamBooth (LiDB) - -HyperdreamBooth 의 핵심 기술 중 하나인 Lightweight DreamBooth, 줄여서 LiDB에 대해 설명드리겠습니다. LiDB는 rank-1 LoRA residuals의 가중치 공간을 더 세분화하는 것이 핵심 아이디어입니다. 분해 과정에서 rank-1 LoRA weight-space 내에서 random orthogonal basis를 활용하여 decompose 합니다. - -:::{figure-md} -
-
-Lightweight DreamBooth
-:::
-
-이 접근 방식은 LoRA의 A와 B 행렬을 각각 두 개의 행렬로 분해하는 것으로도 이해할 수 있습니다. 더 구체적으로 살펴보면, A 행렬은 $A_{aux}$ 와 $A_{train}$ 으로 분해되며, B 행렬은 $B_{aux}$ 와 $B_{train}$ 으로 분해할 수 있습니다. 여기서 $aux$ 레이어는 행별로 직교하는 벡터로 무작위 초기화되고 freeze 되어 있으며, $train$ 레이어는 학습되는 가중치입니다. 따라서 LiDB 선형 레이어의 weight-residual은 다음과 같이 표현할 수 있습니다.
-
-$$
-\Delta W_x = A_{aux} A_{train} B_{train} B_{aux}
-$$
-
-여기서 $aux$ 레이어는 experimentally fix 되었으며 이 과정을 통해 trainable parameter 개수는 약 30K개, 사이즈는 약 120KB로 경량화 할 수 있습니다. 이렇게 작은 크기와 변수만으로 fidelity, editability, style 그리고 diversity 등을 유지할 수 있다는 것이 포인트입니다.
-
-### HyperNetwork
-
-:::{figure-md}
-
-
-HyperNetwork Architecture
-:::
-
-다음은 Hypernetwork 입니다. 본 논문에서는 사전에 훈련된 T2I 모델을 빠르게 personalization 하기 위해 HyperNetwork를 제안합니다. 여기서 $\tilde{\theta}$ 는 모든 LiDB residual 행렬을 나타내며, 각 T2I 모델의 cross-attention 및 self-attention 레이어에 대한 $A_{train}$ 및 $B_{train}$ 입니다. 이 핵심 아이디어는 주어진 이미지 x를 입력으로 받고, 이 이미지를 사용하여 LiDB의 low-rank residual인 $\hat{\theta}$ 을 예측하는 HyperNetwork $H_{\eta}$ 를 돌입하는 것입니다.HyperNetwork는 도메인 특화 이미지 데이터셋에서 훈련되며, 일반적인 확산 노이즈 제거 손실과 가중치 공간 손실을 가지고 있습니다.
-
-$$
-L(x) = \alpha \left\| D_\hat{\theta} (x + {\epsilon} , c) - x \right\|_{2}^{2} + \beta \left\|\hat{\theta} - {\theta} \right\|_{2}^{2}
-$$
-
-여기서 $x$ 는 reference image를 의미합니다. HyperDreamBooth의 목표는 주어진 참조 이미지 x를 기반으로 해당 이미지와 유사한 새로운 이미지를 생성하는 것입니다. $\theta$ 는 $x$ 에 대한 pre-optimized 된 가중치 paramters입니다. 이러한 가중치는 HyperDreamBooth 모델을 personalization 하기 위해 이미지 $x$ 와 관련된 텍스트와 함께 조정됩니다. $D_{\theta}$ 는 diffusion model을 나타냅니다. 이 모델은 이미지 $x + \epsilon$ 및 Supervisory Text Prompt $c$ 로 조건이 설정된 상태에서 사용됩니다. 이 모델은 이미지 생성 및 개인화에 사용됩니다. $\alpha$ 와 $\beta$ 는 상대적인 loss의 가중치를 제어하기 위한 hyperparameters 입니다. 이러한 hyperparameters 는 각 loss 항목의 중요성을 조절하는 데 사용됩니다.
-
-
-**Supervisory Text Prompt**
-Supervisory Text Prompt는 이미지 생성을 지원하기 위한 텍스트 입력입니다. 주어진 텍스트 프롬프트는 이미지 생성에 대한 지시사항 또는 조건을 제공합니다. HyperDreamBooth에서는 "a [V] face" 와 같은 텍스트 프롬프트를 사용하여 개인화된 이미지를 생성합니다. [V] 는 드물지만 다양한 의미 수정을 삽입할 수 있는 역할을 합니다. - -**HyperNetwork Architecture**
-HyperNetwork는 HyperDreamBooth에서 사용되는 모델로, 개인화된 이미지 생성을 위한 가중치를 예측하는 역할을 합니다. HyperNetwork는 보통 다른 신경망 구조로 구성되며, 주어진 이미지를 입력으로 받아서 T2I 모델의 가중치를 예측합니다. 이러한 개인화된 이미지 생성을 위한 핵심 구성 요소 중 하나입니다. 여기서 예측한 가중치를 이후 Stable Diffusion 모델의 가중치에 더하여 개인화를 실행합니다. - -**Iterative Prediction**
-HyperDreamBooth에서 사용되는 HyperNetwork는 반복적 예측을 수행합니다. 이것은 HyperNetwork가 초기 예측을 한 후에도 추가 반복적인 예측 단계를 통해 결과를 개선하려고 시도하는 것을 의미합니다. 초기 HyperNetwork 예측은 방향성이 올바르고 대상과 얼굴과 유사한 semantic 특성을 생성하지만 미세만 세부 정보를 충분히 잡아내지 못할 수 있습니다. 따라서 반복적인 예측을 통해 초기 예측을 fine-tuning하고 더 나은 이미지를 생성합니다. 이 때에 image encoding은 단 한 번만 수행되며, 추출된 특징 f는 반복적인 예측 과정에서 사용됩니다. - -:::{figure-md} -
-
-HyperNetwork + Fast Finetuning
-:::
-
-### Rank-Relaxed Fast Finetuning
-초기 HyperNetwork를 실행하고 나면 semantic 속성과 방향성에 대해서 올바르게 생성이 되지만 세부적인 detail은 잘 잡아내지 못합니다. 이를 위해 마지막으로 fast finetuning 단계를 제안합니다. 이 단계를 통해, DreamBooth보다 훨씬 빠르지만 강한 subject fidelity, editability 그리고 style diversity를 동일하게 유지할 수 있습니다.
-먼저 HyperNetwork를 사용하여 개인화된 diffusion model 가중치를 예측합니다. 이후 diffusion model의 가중치를 초기화된 이미지 x와 함께 주어진 텍스트 지시어 c에 대한 diffusion noise loss $L(x)$ 를 최소화하도록 조정합니다. 여기서 주요한 점은 ***rank-relaxed*** 의 개념입니다. 이것은 초기 모델의 rank(주로 1)를 완화하여 더 높은 rank로 LoRA 모델을 fine tuning 하는 것을 의미합니다. 구체적으로, HyperNetwork의 예측된 가중치 모델의 전체 가중치에 추가하고 더 높은 rank로 LoRA fine tuning을 수행합니다. 이를 통해 모델은 주체의 고주파수 세부 사항을 더 잘 근사화할 수 있으며 이로 인해 다른 낮은 rank로 제한된 업데이트보다 더 높은 주제 충실도를 달성할 수 있습니다. 이러한 rank-relaxed의 개념은 HyperDreamBooth를 다른 방식보다 더 우수하게 만드는 요인입니다. 여기서도 동일한 Supervisory Text Prompt "a [V] face" 를 사용하는데 이 프롬프트는 이미지 개인화를 지원하며 모델이 얼굴에 관련된 다양한 특성과 스타일을 캡처하는 데 도움이 됩니다. 그리고 HyperNetwork의 초기화된 가중치를 고려할 때, fast finetuning 단계를 40번의 반복으로 완료할 수 있습니다. 이는 DreamBooth 및 LoRA DreamBooth와 비교했을 때 25배 빠른 속도라는 것을 의미합니다.
-
-## Experiments
-
-본 HyperDreamBooth는 Stable Diffusion v1.5 을 활용하여 구현했습니다. 이 모델에서는 Stable Diffusion v1.5의 다양한 요소 중 하나인 diffusion UNet의 cross and self-attention 레이어에 대한 LoRA 가중치를 예측합니다. 또한 텍스트 정보를 활용하기 위해 CLIP 텍스트 인코더도 예측합니다. 이미지 생성 모델을 개인화하기 위해 시각화에 사용되는 모든 얼굴 이미지는 SFHQ(Synthetic Face Headquarters) 데이터셋을 활용했습니다. 모델을 훈련시키기 위해 CelebA-HQ 데이터셋에서 15,000개의 실제 얼굴 이미지가 활용되었습니다.
-
-:::{figure-md}
-
-
-Result Gallery
-:::
-
-왼쪽 위에서 오른쪽 아래로 "인스타그램 셀카 [V] 얼굴", "Pixar 캐릭터 [V] 얼굴", "bark skin의 [V] 얼굴", "록 스타 [V] 얼굴", 가장 오른쪽: " 전문적인 [V] 얼굴 촬영" 프롬프트를 활용했습니다.
-
-:::{figure-md}
-
-
-Qualitative Comparison
-:::
-
-:::{figure-md}
-
-
-Comparisons Table
-:::
-
-## Comparisons
-
-Hyperdreambooth, DreamBooth 그리고 Textual Inversion의 무작위 생성된 샘플을 비교한 이미지와 표입니다. 정량적 평가를 위해 DINO와 같은 지표를 활용했습니다.
-
-:::{figure-md}
-
-
-Comparisons with DreamBooth
-:::
-
-위 표는 DreamBooth와 비교하는 부분입니다. DreamBooth의 hyperparameter를 다르게 조정하여 비교했습니다. 그 결과 학습률을 증가시키고 반복 횟수(iterations)를 감소시키면 결과의 저하가 있었습니다. DreamBooth-Agg-1은 400번의 반복을 시행하고, DreamBooth-Agg-2는 일반적인 Dreambooth의 1200번 대신 40번의 반복을 사용했습니다.
-
-
-:::{figure-md}
-
-
-HyperNetwork Ablation
-:::
-
-위 부분은 여러 가지 구성 요소로 나누어 실험한 표입니다. 실험 중에는 하이퍼네트워크를 사용하지 않는 경우, 하이퍼네트워크 예측만 사용하고 fast-finetuning을 사용하지 않은 경우, 반복 예측 없이 전체 방법을 1번만 사용한 경우를 비교합니다. 결과적으로 전체 방법이 모든 신뢰성 지표에서 가장 우수한 결과를 달성한다는 것을 보여주고 있습니다.
-
-:::{figure-md}
-
-
-User Study
-:::
-
-얼굴 인식 메트릭 이 특정 시나리오에서 상대적으로 약하다고 합니다. 얼굴 인식 네트워크가 실제 이미지에만 훈련되어 있고 다양한 스타일에서 동일한 사람을 인식하도록 훈련되어 있지 않기 때문이라고 주장하며 이를 보완하기 위해 user study를 진행했습니다. 여기서도 HyperDreamBooth, DreamBooth, Textual Inversion을 비교하고 사용자들의 평가를 받았습니다.
-
-## Follow-ups
-
-하지만 여전히 follow-ups가 존재합니다. 먼저 **semantic directional error** 라고 하는 초기 예측에서 잘못된 시맨틱 정보가 나올 수 있는 에러입니다. 잘못된 눈 색깔이나 헤어 타입, 성별 등이 나올 수 있습니다. 다음으로 **incorrect subject detail capture** 라는 오류가 있습니다. 다음은 **underfitting** 입니다. Fast finetuning 단계에서 identity는 지켜지더라도 유사하지 않은 샘플이 생성될 수 있습니다. 다음으로 HyperNetwork와 fast-finetuning 모두 일부 스타일에 대해 낮은 editability 가 나올 수 있습니다. 이러한 문제점은 빛, 포즈 등으로 인해 OOD인 샘플에서 나타날 수 있습니다.
-
-## Conclusion
-
+``` {admonition} Information
+- **Title:** HyperDreamBooth: HyperNetworks for Fast Personalization of Text-to-Image Models
+
+- **Reference**
+ - Paper: [https://arxiv.org/pdf/2307.06949.pdf](https://arxiv.org/pdf/2307.06949.pdf)
+
+- **Author:** Hyoungseo Cho
+
+- **Last updated on Oct. 10, 2023**
+```
+
+# HyperDreamBooth
+
+## Introduction
+
+Personalization 는 Generative AI 분야에서 떠오르고 있는 주제입니다. 이는 high-fidelity와 identity를 유지한 상태로 다양한 맥락과 스타일을 생성할 수 있도록 합니다. 본 논문은 [Dreambooth](https://pseudo-lab.github.io/text-to-image-generation-feat-diffusion/docs/review/dreambooth.html) 를 기반으로 진행되었기 때문에 [Dreambooth](https://pseudo-lab.github.io/text-to-image-generation-feat-diffusion/docs/review/dreambooth.html) 논문을 먼저 읽어 보시기를 추천드립니다.
+
+:::{figure-md}
+
+
+HyperDreamBooth
+:::
+
+## Contribution
+
+본 논문의 Contribution은 크게 3가지로 볼 수 있습니다. Lighweight DreamBooth (LiDB), New HyperNetwork architecture 그리고 rank-relaxed finetuning 입니다. 위 3가지 방법을 활용하여 기존 DreamBooth의 핵심 능력을 유지하면서 크기를 줄이고 속도를 높일 수 있었습니다.
+
+## Related Work
+
+**Text-to-image Models**
+본 논문에서는 Stable Diffusion 모델을 활용하여 HyperDreamBooth를 구현했지만, 이 부분은 다른 텍스트-이미지 모델 (Imagen, DALL-E2 등) 도 적용이 가능합니다. + +**Personalization of Generative Models**
+Generative Adversarial Network 기반의 기술들은 fidelity가 떨어지거나 다양한 문맥을 제공하지 못하는 문제가 있습니다. 이에 따라 HyperNetwork를 도입한 연구를 진행했습니다. + +**T2I Personalization via Finetuning**
+다음으로, text-to-image personalization을 위한 Finetuning에 대한 연구가 있습니다. CustomDiffusion, SVDiff, LoRA, StyleDrop, DreamArtist 등의 예시가 있습니다. 하지만 이는 속도 측면에서 느리다는 단점을 가지고 있습니다. + +이러한 관련 연구들을 볼 때, HyperDreamBooth는 속도와 효율성 측면에서 큰 발전을 이루었다고 볼 수 있습니다. + +:::{figure-md} +
+
+HyperDreamBooth Training and Fast Fine-Tuning
+:::
+
+## Prelimiaries
+
+**Latent Diffusion Models (LDM)**
+본 논문에서는 Stable Diffusion 모델을 활용하여 HyperDreamBooth를 구현했지만, 이 부분은 다른 텍스트-이미지 모델 (Imagen, DALL-E2 등) 도 적용이 가능합니다. + +**DreamBooth**
+이전에 나온 DreamBooth는 특정 주제의 이미지를 생성하기 위해 T2I denoising 네트워크를 finetuning하는 전략을 활용했습니다. 이 방법은 HyperDreamBooth의 영감원 중 하나로 활용되었습니다. + +**Low Rank Adaptation (LoRA)**
+LoRA는 모델의 가중치를 낮은 랭크의 행렬로 근사화하여 모델의 크기와 복잡성을 줄이는 방법입니다. 본 논문에서는 이 LoRA 기술을 활용하여 더 빠르고 효율적인 personalization이 가능하도록 합니다. + +## Method + +위에서 살펴 본 Contribution의 내용을 자세히 살펴보도록 하겠습니다. + +### Lightweight DreamBooth (LiDB) + +HyperdreamBooth 의 핵심 기술 중 하나인 Lightweight DreamBooth, 줄여서 LiDB에 대해 설명드리겠습니다. LiDB는 rank-1 LoRA residuals의 가중치 공간을 더 세분화하는 것이 핵심 아이디어입니다. 분해 과정에서 rank-1 LoRA weight-space 내에서 random orthogonal basis를 활용하여 decompose 합니다. + +:::{figure-md} +
+
+Lightweight DreamBooth
+:::
+
+이 접근 방식은 LoRA의 A와 B 행렬을 각각 두 개의 행렬로 분해하는 것으로도 이해할 수 있습니다. 더 구체적으로 살펴보면, A 행렬은 $A_{aux}$ 와 $A_{train}$ 으로 분해되며, B 행렬은 $B_{aux}$ 와 $B_{train}$ 으로 분해할 수 있습니다. 여기서 $aux$ 레이어는 행별로 직교하는 벡터로 무작위 초기화되고 freeze 되어 있으며, $train$ 레이어는 학습되는 가중치입니다. 따라서 LiDB 선형 레이어의 weight-residual은 다음과 같이 표현할 수 있습니다.
+
+$$
+\Delta W_x = A_{aux} A_{train} B_{train} B_{aux}
+$$
+
+여기서 $aux$ 레이어는 experimentally fix 되었으며 이 과정을 통해 trainable parameter 개수는 약 30K개, 사이즈는 약 120KB로 경량화 할 수 있습니다. 이렇게 작은 크기와 변수만으로 fidelity, editability, style 그리고 diversity 등을 유지할 수 있다는 것이 포인트입니다.
+
+### HyperNetwork
+
+:::{figure-md}
+
+
+HyperNetwork Architecture
+:::
+
+다음은 Hypernetwork 입니다. 본 논문에서는 사전에 훈련된 T2I 모델을 빠르게 personalization 하기 위해 HyperNetwork를 제안합니다. 여기서 $\tilde{\theta}$ 는 모든 LiDB residual 행렬을 나타내며, 각 T2I 모델의 cross-attention 및 self-attention 레이어에 대한 $A_{train}$ 및 $B_{train}$ 입니다. 이 핵심 아이디어는 주어진 이미지 x를 입력으로 받고, 이 이미지를 사용하여 LiDB의 low-rank residual인 $\hat{\theta}$ 을 예측하는 HyperNetwork $H_{\eta}$ 를 돌입하는 것입니다.HyperNetwork는 도메인 특화 이미지 데이터셋에서 훈련되며, 일반적인 확산 노이즈 제거 손실과 가중치 공간 손실을 가지고 있습니다.
+
+$$
+L(x) = \alpha \left\| D_\hat{\theta} (x + {\epsilon} , c) - x \right\|_{2}^{2} + \beta \left\|\hat{\theta} - {\theta} \right\|_{2}^{2}
+$$
+
+여기서 $x$ 는 reference image를 의미합니다. HyperDreamBooth의 목표는 주어진 참조 이미지 x를 기반으로 해당 이미지와 유사한 새로운 이미지를 생성하는 것입니다. $\theta$ 는 $x$ 에 대한 pre-optimized 된 가중치 paramters입니다. 이러한 가중치는 HyperDreamBooth 모델을 personalization 하기 위해 이미지 $x$ 와 관련된 텍스트와 함께 조정됩니다. $D_{\theta}$ 는 diffusion model을 나타냅니다. 이 모델은 이미지 $x + \epsilon$ 및 Supervisory Text Prompt $c$ 로 조건이 설정된 상태에서 사용됩니다. 이 모델은 이미지 생성 및 개인화에 사용됩니다. $\alpha$ 와 $\beta$ 는 상대적인 loss의 가중치를 제어하기 위한 hyperparameters 입니다. 이러한 hyperparameters 는 각 loss 항목의 중요성을 조절하는 데 사용됩니다.
+
+
+**Supervisory Text Prompt**
+Supervisory Text Prompt는 이미지 생성을 지원하기 위한 텍스트 입력입니다. 주어진 텍스트 프롬프트는 이미지 생성에 대한 지시사항 또는 조건을 제공합니다. HyperDreamBooth에서는 "a [V] face" 와 같은 텍스트 프롬프트를 사용하여 개인화된 이미지를 생성합니다. [V] 는 드물지만 다양한 의미 수정을 삽입할 수 있는 역할을 합니다. + +**HyperNetwork Architecture**
+HyperNetwork는 HyperDreamBooth에서 사용되는 모델로, 개인화된 이미지 생성을 위한 가중치를 예측하는 역할을 합니다. HyperNetwork는 보통 다른 신경망 구조로 구성되며, 주어진 이미지를 입력으로 받아서 T2I 모델의 가중치를 예측합니다. 이러한 개인화된 이미지 생성을 위한 핵심 구성 요소 중 하나입니다. 여기서 예측한 가중치를 이후 Stable Diffusion 모델의 가중치에 더하여 개인화를 실행합니다. + +**Iterative Prediction**
+HyperDreamBooth에서 사용되는 HyperNetwork는 반복적 예측을 수행합니다. 이것은 HyperNetwork가 초기 예측을 한 후에도 추가 반복적인 예측 단계를 통해 결과를 개선하려고 시도하는 것을 의미합니다. 초기 HyperNetwork 예측은 방향성이 올바르고 대상과 얼굴과 유사한 semantic 특성을 생성하지만 미세만 세부 정보를 충분히 잡아내지 못할 수 있습니다. 따라서 반복적인 예측을 통해 초기 예측을 fine-tuning하고 더 나은 이미지를 생성합니다. 이 때에 image encoding은 단 한 번만 수행되며, 추출된 특징 f는 반복적인 예측 과정에서 사용됩니다. + +:::{figure-md} +
+
+HyperNetwork + Fast Finetuning
+:::
+
+### Rank-Relaxed Fast Finetuning
+초기 HyperNetwork를 실행하고 나면 semantic 속성과 방향성에 대해서 올바르게 생성이 되지만 세부적인 detail은 잘 잡아내지 못합니다. 이를 위해 마지막으로 fast finetuning 단계를 제안합니다. 이 단계를 통해, DreamBooth보다 훨씬 빠르지만 강한 subject fidelity, editability 그리고 style diversity를 동일하게 유지할 수 있습니다.
+먼저 HyperNetwork를 사용하여 개인화된 diffusion model 가중치를 예측합니다. 이후 diffusion model의 가중치를 초기화된 이미지 x와 함께 주어진 텍스트 지시어 c에 대한 diffusion noise loss $L(x)$ 를 최소화하도록 조정합니다. 여기서 주요한 점은 ***rank-relaxed*** 의 개념입니다. 이것은 초기 모델의 rank(주로 1)를 완화하여 더 높은 rank로 LoRA 모델을 fine tuning 하는 것을 의미합니다. 구체적으로, HyperNetwork의 예측된 가중치 모델의 전체 가중치에 추가하고 더 높은 rank로 LoRA fine tuning을 수행합니다. 이를 통해 모델은 주체의 고주파수 세부 사항을 더 잘 근사화할 수 있으며 이로 인해 다른 낮은 rank로 제한된 업데이트보다 더 높은 주제 충실도를 달성할 수 있습니다. 이러한 rank-relaxed의 개념은 HyperDreamBooth를 다른 방식보다 더 우수하게 만드는 요인입니다. 여기서도 동일한 Supervisory Text Prompt "a [V] face" 를 사용하는데 이 프롬프트는 이미지 개인화를 지원하며 모델이 얼굴에 관련된 다양한 특성과 스타일을 캡처하는 데 도움이 됩니다. 그리고 HyperNetwork의 초기화된 가중치를 고려할 때, fast finetuning 단계를 40번의 반복으로 완료할 수 있습니다. 이는 DreamBooth 및 LoRA DreamBooth와 비교했을 때 25배 빠른 속도라는 것을 의미합니다.
+
+## Experiments
+
+본 HyperDreamBooth는 Stable Diffusion v1.5 을 활용하여 구현했습니다. 이 모델에서는 Stable Diffusion v1.5의 다양한 요소 중 하나인 diffusion UNet의 cross and self-attention 레이어에 대한 LoRA 가중치를 예측합니다. 또한 텍스트 정보를 활용하기 위해 CLIP 텍스트 인코더도 예측합니다. 이미지 생성 모델을 개인화하기 위해 시각화에 사용되는 모든 얼굴 이미지는 SFHQ(Synthetic Face Headquarters) 데이터셋을 활용했습니다. 모델을 훈련시키기 위해 CelebA-HQ 데이터셋에서 15,000개의 실제 얼굴 이미지가 활용되었습니다.
+
+:::{figure-md}
+
+
+Result Gallery
+:::
+
+왼쪽 위에서 오른쪽 아래로 "인스타그램 셀카 [V] 얼굴", "Pixar 캐릭터 [V] 얼굴", "bark skin의 [V] 얼굴", "록 스타 [V] 얼굴", 가장 오른쪽: " 전문적인 [V] 얼굴 촬영" 프롬프트를 활용했습니다.
+
+:::{figure-md}
+
+
+Qualitative Comparison
+:::
+
+:::{figure-md}
+
+
+Comparisons Table
+:::
+
+## Comparisons
+
+Hyperdreambooth, DreamBooth 그리고 Textual Inversion의 무작위 생성된 샘플을 비교한 이미지와 표입니다. 정량적 평가를 위해 DINO와 같은 지표를 활용했습니다.
+
+:::{figure-md}
+
+
+Comparisons with DreamBooth
+:::
+
+위 표는 DreamBooth와 비교하는 부분입니다. DreamBooth의 hyperparameter를 다르게 조정하여 비교했습니다. 그 결과 학습률을 증가시키고 반복 횟수(iterations)를 감소시키면 결과의 저하가 있었습니다. DreamBooth-Agg-1은 400번의 반복을 시행하고, DreamBooth-Agg-2는 일반적인 Dreambooth의 1200번 대신 40번의 반복을 사용했습니다.
+
+
+:::{figure-md}
+
+
+HyperNetwork Ablation
+:::
+
+위 부분은 여러 가지 구성 요소로 나누어 실험한 표입니다. 실험 중에는 하이퍼네트워크를 사용하지 않는 경우, 하이퍼네트워크 예측만 사용하고 fast-finetuning을 사용하지 않은 경우, 반복 예측 없이 전체 방법을 1번만 사용한 경우를 비교합니다. 결과적으로 전체 방법이 모든 신뢰성 지표에서 가장 우수한 결과를 달성한다는 것을 보여주고 있습니다.
+
+:::{figure-md}
+
+
+User Study
+:::
+
+얼굴 인식 메트릭 이 특정 시나리오에서 상대적으로 약하다고 합니다. 얼굴 인식 네트워크가 실제 이미지에만 훈련되어 있고 다양한 스타일에서 동일한 사람을 인식하도록 훈련되어 있지 않기 때문이라고 주장하며 이를 보완하기 위해 user study를 진행했습니다. 여기서도 HyperDreamBooth, DreamBooth, Textual Inversion을 비교하고 사용자들의 평가를 받았습니다.
+
+## Follow-ups
+
+하지만 여전히 follow-ups가 존재합니다. 먼저 **semantic directional error** 라고 하는 초기 예측에서 잘못된 시맨틱 정보가 나올 수 있는 에러입니다. 잘못된 눈 색깔이나 헤어 타입, 성별 등이 나올 수 있습니다. 다음으로 **incorrect subject detail capture** 라는 오류가 있습니다. 다음은 **underfitting** 입니다. Fast finetuning 단계에서 identity는 지켜지더라도 유사하지 않은 샘플이 생성될 수 있습니다. 다음으로 HyperNetwork와 fast-finetuning 모두 일부 스타일에 대해 낮은 editability 가 나올 수 있습니다. 이러한 문제점은 빛, 포즈 등으로 인해 OOD인 샘플에서 나타날 수 있습니다.
+
+## Conclusion
+
본 연구에서는 HyperDreamBooth라는 새로운 방법을 소개했습니다. 이 방법은 텍스트에서 이미지로 변환하는 diffusion model을 빠르고 가벼운 방식으로 개인화하는 것을 목표로 합니다. HyperDreamBooth는 HyperNetwork라는 구성 요소를 활용하여 diffusion model의 가벼운 파라미터인 LiDB(Lightweight DreamBooth)파라미터를 생성하며, 이어서 DreamBooth 및 기타 최적화 기반 개인화 작업에 비해 크기와 속도를 상당히 줄이면서 fast rank-relaxed fine tuning을 수행합니다. 이를 통해 모델의 무결성을 유지하면서 다양한 스타일과 의미적 수정이 적용된 다양한 고품질 이미지를 생성할 수 있음을 입증하였습니다.
\ No newline at end of file
diff --git a/_sources/docs/review/I-DDPM.md b/_sources/docs/review/I-DDPM.md
index ea072620..e26ff1cc 100755
--- a/_sources/docs/review/I-DDPM.md
+++ b/_sources/docs/review/I-DDPM.md
@@ -1,220 +1,220 @@
-```{admonition} Information
-- **Title:** Improved Denoising Diffusion Probabilistic Models (CVPR 2021)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2102.09672](https://arxiv.org/abs/2102.09672)
-
-- **Author:** Seunghwan Ji
-
-- **Last updated on Aug. 6, 2023**
-```
-# I-DDPM
-
-## Abstract
-
-- DDPM을 약간 수정함으로써 High Quality를 유지하고, Log Likelihood수치도 개선할 수 있는 향상된 모델을 제안
-- Sampling시 Base 보다 더 적은 Step으로 비슷한 퀄리티의 결과를 낼 수 있는 방법을 제안
-- Model의 Scale과 Diffusion Step에 따른 Sample Quailty와 Likelihood 수치간의 관계를 연구
-
-## 1. Introduction
-
-- 최근 DDPM(Ho et al.) 모델은 Generate 분야에서 High Quality의 이미지를 생성해내는 수준까지 왔다.
-- 하지만, Image의 Quality에 반해 log-likelihood 수치는 다른 generative 모델에비해 현저히 떨어졌다. (e.g. VAE)
-- 또 DDPM이 Diversity가 낮은 Dataset(CIFAR-10, LSUN)에서는 잘 동작했지만, High Diversity Dataset에서의 동작은 증명되지 못했다.
-- I-DDPM에서는
- 1. Log-Likelihood 수치 개선
- 2. ImageNet같은 Diversity가 높은 Dataset에서도 잘 동작
- 3. Reverse Process에서의 Loss Term 개선
-
- 한 모델을 제안하였다.
-
-- 추가로 연구 과정 중, I-DDPM이 Base (DDPM) 모델에 비해 훨씬 더 적은 Step으로 비슷한 Quality를 내는 것을 확인
-
-**Log-Likelihood 값이 중요한 이유**
-
-- 기존 연구들에서 Loglikelihood 수치와 Sample의 Quality간의 연관성을 보이는 연구들이 많았다.
- - *Data의 Distribution에 대해 Model이 학습한 정도를 수치화한 느낌*
-- 수치가 좋아지면 Sample Quality도 따라 증가하는 경향을 보였다.
-- 따라서 DDPM에서도 LogLikelihood 수치를 개선한다면 Sample Quality도 따라서 더 증가할 가능성이 있지 않을까?
-- [https://angeloyeo.github.io/2020/07/17/MLE.html](https://angeloyeo.github.io/2020/07/17/MLE.html)
-
-## 2. Denoising Diffusion Probabilistic Models
-
-**DDPM**
-
-- Process
- - Forward Process
- :::{figure-md}
- 
-
- Equation 1
- :::
- - Reverse Process
- :::{figure-md}
- 
-
- Equation 2
- :::
-
-
-- Forward Process에서 입힌 Noise를 Neural Model의 Reverse Process로 예측하도록 학습하는 형태
-- 이 때 Noising & Denoising에 관한 (Hyper) Parameter로 ${B_{t}}$와 $\tilde{B_{t}}$를 사용
- - ${B_{t}}$ : time step 에 따른 noising할 정도
- - $\tilde{B_{t}}$ : Reverse Step에서 Denoising을 위한 Parameter로 아래와같이 정의
- :::{figure-md}
- 
-
- Equation 3
- :::
-
-- 하지만 DDPM에서는 $\tilde{B_{t}}$ 대신 ${B_{t}}$를 사용해도 비슷한 수치를 보여서 ${B_{t}}$ (constant)로 고정
-
-## 3. Improving the Log-likelihood
-
-- 위의 문장 ($\tilde{B_{t}}$ 대신 ${B_{t}}$를 사용)에서 의문점
- - 사실 ${B_{t}}$와 $\tilde{B_{t}}$는 정 반대의 역할을 하는 Parameter인데 왜 비슷한 결과를 보였고, 결국 같은 값으로 Fix를 하는게 맞을까?
- :::{figure-md}
- 
-
- Figure 1
- :::
-
- - Diffusion Step간 ${B_{t}}$와 $\tilde{B_{t}}$의 차이를 비교해보면 Diffusion Step이 커질수록 두개의 값은 거의 동일해진다. (Figure.1)
- :::{figure-md}
- 
-
- Figure 2
- :::
-
- - 하지만 Figure.2를 보면 모델의 성능은 대부분 Step 초반에 결정되는데, Step 초반에는 두 값의 차이가 큰 것을 확인할 수 있다.
- - *Model의 성능이 결정되는 부분 = Loss 가 급격하게 떨어지는 부분*
-
- ⇒ 따라서, ${B_{t}}$와 $\tilde{B_{t}}$를 동일한 값으로 두고 $\tilde{B_{t}}$를 Non Trainable Parameter로 두는것은 설계의 Miss
-
- - 하지만, $\tilde{B_{t}}$ 자체를 학습하기에는 값의 범위가 너무 작아서 ${B_{t}}$와 $\tilde{B_{t}}$의 Interpolation 값을 Predict하도록 설계
- :::{figure-md}
- 
-
- Figure 3
- :::
-
- - Hybrid Loss
- - $L_{hyprid} = L_{simple} + λL_{vlb}$
-- Noise Schedule
- - DDPM의 경우 High Resolution 이미지에대해 잘 동작하지만, Low-Resolution (e.g. 32x32, 64x64)의 이미지에 대해서는 잘 동작하지 않는것을 확인
- - Noise Scheduling에서 Linear mode의 Limitation이 있음을 지적
- :::{figure-md}
- 
-
- Equation 4
- :::
-
- - Step이 거듭날수록 Linear schedule(상단)의 이미지가 너무 빠르게 Noisy해짐
- - 추가로 Reverse Process의 20%를 Skip해도 성능에 큰 영향이 없음을 확인
-
- ⇒ 결국 Linear mode를 사용하면 특정 Step 이후의 Noise는 학습에 의미있는 영향을 미치지 못한다.
-
- - I-DDPM에서는 이러한 scheduling Equation을 새로 정의
- :::{figure-md}
- 
-
- Equation 5
- :::
-
- - 새로 정의한 식은 중간 단계에서는 Noise가 강하게 입혀지지만 0과 T 부근에서는 비교적 덜 Noisy해짐
- :::{figure-md}
- 
-
- Figure 3
- :::
-
-- Gradient Noise
- - Model을 $L_{vlb}$를 Direct로 최적화하도록 설계하면 Best
- - 하지만 아래 이미지와같이 Loss 자체가 unstable해서 직접 최적화에는 어려움이 있음
- :::{figure-md}
- 
-
- Figure 4
- :::
-
- - 따라서 $L_{vlb}$의 Variance를 줄이기위해(=stable) Importance Sampling 기법을 도입
- - 위 Fig.2에서 보면 학습 말기는 Loss의 변화에 큰 영향이 없으므로 확률적으로 학습 초반의 데이터를 좀더 sampling해서 학습하도록 설계
- - 실제로 적용해본 결과 $L_{hybrid}$보다 더 낮은 Loss 를 보임
- - $L_{hybrid}$에 Importance Sampling을 적용하면?
- - 적용 전보다 좋지 않은 결과를 보인다..
-
-**Result**
-
-:::{figure-md}
-
-
-Table 1
-:::
-
-:::{figure-md}
-
-
-Table 2
-:::
-
-- DDPM에서 다소 취약했던 ImageNet 64x64와 CIDAR-10 데이터를 기준
- - $L_{vlb}$의 경우 Importance sampling을 적용한 결과
-
-:::{figure-md}
-
-
-Table 3
-:::
-
-- Convolution 모델이나 Diffusion 모델중에서는 뛰어나지만, Fully Transformer 모델에 비해서는 다소 부족한 면이 있음
-
-## 4. Improcing Sampling Speed
-
-- Sampling Speed를 높이기 위한 방법을 제안
- - Training 시에는 전체 Step(1, … , T)을 학습
- - Sampling 시에는 몇몇 Step만 Sampling
-- 결과는?
-
-:::{figure-md}
-
-
-Figure 5
-:::
-
-:::{figure-md}
-
-
-Figure 6
-:::
-
-⇒ 100 Step만 가도 Full Model과 비슷한 FiD값을 보임
-
-## 5. Comparison to GANs
-
-- Class Conditional Generation + P&R Metric으로 GAN 모델(BigGAN)과 성능을 비교
- :::{figure-md}
- 
-
- Figure 7
- :::
-
-
- - Big-GAN Deep 모델보다 생성 타겟에 대한 FiD 수치나 Recall metric에서 더 뛰어난 성능을 보임
-
-## 6. Scaling Model Size
-
-- 다양한 Capacity를 가진 모델의 FiD와 NLL 값을 비교
-
-:::{figure-md}
-
-
-Figure 8
-:::
-
-:::{figure-md}
-
-
-Figure 9
-:::
-
-⇒ 모델의 크기와 학습량 모두 Step에 어느정도 비례함
+```{admonition} Information
+- **Title:** Improved Denoising Diffusion Probabilistic Models (CVPR 2021)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2102.09672](https://arxiv.org/abs/2102.09672)
+
+- **Author:** Seunghwan Ji
+
+- **Last updated on Aug. 6, 2023**
+```
+# I-DDPM
+
+## Abstract
+
+- DDPM을 약간 수정함으로써 High Quality를 유지하고, Log Likelihood수치도 개선할 수 있는 향상된 모델을 제안
+- Sampling시 Base 보다 더 적은 Step으로 비슷한 퀄리티의 결과를 낼 수 있는 방법을 제안
+- Model의 Scale과 Diffusion Step에 따른 Sample Quailty와 Likelihood 수치간의 관계를 연구
+
+## 1. Introduction
+
+- 최근 DDPM(Ho et al.) 모델은 Generate 분야에서 High Quality의 이미지를 생성해내는 수준까지 왔다.
+- 하지만, Image의 Quality에 반해 log-likelihood 수치는 다른 generative 모델에비해 현저히 떨어졌다. (e.g. VAE)
+- 또 DDPM이 Diversity가 낮은 Dataset(CIFAR-10, LSUN)에서는 잘 동작했지만, High Diversity Dataset에서의 동작은 증명되지 못했다.
+- I-DDPM에서는
+ 1. Log-Likelihood 수치 개선
+ 2. ImageNet같은 Diversity가 높은 Dataset에서도 잘 동작
+ 3. Reverse Process에서의 Loss Term 개선
+
+ 한 모델을 제안하였다.
+
+- 추가로 연구 과정 중, I-DDPM이 Base (DDPM) 모델에 비해 훨씬 더 적은 Step으로 비슷한 Quality를 내는 것을 확인
+
+**Log-Likelihood 값이 중요한 이유**
+
+- 기존 연구들에서 Loglikelihood 수치와 Sample의 Quality간의 연관성을 보이는 연구들이 많았다.
+ - *Data의 Distribution에 대해 Model이 학습한 정도를 수치화한 느낌*
+- 수치가 좋아지면 Sample Quality도 따라 증가하는 경향을 보였다.
+- 따라서 DDPM에서도 LogLikelihood 수치를 개선한다면 Sample Quality도 따라서 더 증가할 가능성이 있지 않을까?
+- [https://angeloyeo.github.io/2020/07/17/MLE.html](https://angeloyeo.github.io/2020/07/17/MLE.html)
+
+## 2. Denoising Diffusion Probabilistic Models
+
+**DDPM**
+
+- Process
+ - Forward Process
+ :::{figure-md}
+
+
+ Equation 1
+ :::
+ - Reverse Process
+ :::{figure-md}
+
+
+ Equation 2
+ :::
+
+
+- Forward Process에서 입힌 Noise를 Neural Model의 Reverse Process로 예측하도록 학습하는 형태
+- 이 때 Noising & Denoising에 관한 (Hyper) Parameter로 ${B_{t}}$와 $\tilde{B_{t}}$를 사용
+ - ${B_{t}}$ : time step 에 따른 noising할 정도
+ - $\tilde{B_{t}}$ : Reverse Step에서 Denoising을 위한 Parameter로 아래와같이 정의
+ :::{figure-md}
+
+
+ Equation 3
+ :::
+
+- 하지만 DDPM에서는 $\tilde{B_{t}}$ 대신 ${B_{t}}$를 사용해도 비슷한 수치를 보여서 ${B_{t}}$ (constant)로 고정
+
+## 3. Improving the Log-likelihood
+
+- 위의 문장 ($\tilde{B_{t}}$ 대신 ${B_{t}}$를 사용)에서 의문점
+ - 사실 ${B_{t}}$와 $\tilde{B_{t}}$는 정 반대의 역할을 하는 Parameter인데 왜 비슷한 결과를 보였고, 결국 같은 값으로 Fix를 하는게 맞을까?
+ :::{figure-md}
+
+
+ Figure 1
+ :::
+
+ - Diffusion Step간 ${B_{t}}$와 $\tilde{B_{t}}$의 차이를 비교해보면 Diffusion Step이 커질수록 두개의 값은 거의 동일해진다. (Figure.1)
+ :::{figure-md}
+
+
+ Figure 2
+ :::
+
+ - 하지만 Figure.2를 보면 모델의 성능은 대부분 Step 초반에 결정되는데, Step 초반에는 두 값의 차이가 큰 것을 확인할 수 있다.
+ - *Model의 성능이 결정되는 부분 = Loss 가 급격하게 떨어지는 부분*
+
+ ⇒ 따라서, ${B_{t}}$와 $\tilde{B_{t}}$를 동일한 값으로 두고 $\tilde{B_{t}}$를 Non Trainable Parameter로 두는것은 설계의 Miss
+
+ - 하지만, $\tilde{B_{t}}$ 자체를 학습하기에는 값의 범위가 너무 작아서 ${B_{t}}$와 $\tilde{B_{t}}$의 Interpolation 값을 Predict하도록 설계
+ :::{figure-md}
+
+
+ Figure 3
+ :::
+
+ - Hybrid Loss
+ - $L_{hyprid} = L_{simple} + λL_{vlb}$
+- Noise Schedule
+ - DDPM의 경우 High Resolution 이미지에대해 잘 동작하지만, Low-Resolution (e.g. 32x32, 64x64)의 이미지에 대해서는 잘 동작하지 않는것을 확인
+ - Noise Scheduling에서 Linear mode의 Limitation이 있음을 지적
+ :::{figure-md}
+
+
+ Equation 4
+ :::
+
+ - Step이 거듭날수록 Linear schedule(상단)의 이미지가 너무 빠르게 Noisy해짐
+ - 추가로 Reverse Process의 20%를 Skip해도 성능에 큰 영향이 없음을 확인
+
+ ⇒ 결국 Linear mode를 사용하면 특정 Step 이후의 Noise는 학습에 의미있는 영향을 미치지 못한다.
+
+ - I-DDPM에서는 이러한 scheduling Equation을 새로 정의
+ :::{figure-md}
+
+
+ Equation 5
+ :::
+
+ - 새로 정의한 식은 중간 단계에서는 Noise가 강하게 입혀지지만 0과 T 부근에서는 비교적 덜 Noisy해짐
+ :::{figure-md}
+
+
+ Figure 3
+ :::
+
+- Gradient Noise
+ - Model을 $L_{vlb}$를 Direct로 최적화하도록 설계하면 Best
+ - 하지만 아래 이미지와같이 Loss 자체가 unstable해서 직접 최적화에는 어려움이 있음
+ :::{figure-md}
+
+
+ Figure 4
+ :::
+
+ - 따라서 $L_{vlb}$의 Variance를 줄이기위해(=stable) Importance Sampling 기법을 도입
+ - 위 Fig.2에서 보면 학습 말기는 Loss의 변화에 큰 영향이 없으므로 확률적으로 학습 초반의 데이터를 좀더 sampling해서 학습하도록 설계
+ - 실제로 적용해본 결과 $L_{hybrid}$보다 더 낮은 Loss 를 보임
+ - $L_{hybrid}$에 Importance Sampling을 적용하면?
+ - 적용 전보다 좋지 않은 결과를 보인다..
+
+**Result**
+
+:::{figure-md}
+
+
+Table 1
+:::
+
+:::{figure-md}
+
+
+Table 2
+:::
+
+- DDPM에서 다소 취약했던 ImageNet 64x64와 CIDAR-10 데이터를 기준
+ - $L_{vlb}$의 경우 Importance sampling을 적용한 결과
+
+:::{figure-md}
+
+
+Table 3
+:::
+
+- Convolution 모델이나 Diffusion 모델중에서는 뛰어나지만, Fully Transformer 모델에 비해서는 다소 부족한 면이 있음
+
+## 4. Improcing Sampling Speed
+
+- Sampling Speed를 높이기 위한 방법을 제안
+ - Training 시에는 전체 Step(1, … , T)을 학습
+ - Sampling 시에는 몇몇 Step만 Sampling
+- 결과는?
+
+:::{figure-md}
+
+
+Figure 5
+:::
+
+:::{figure-md}
+
+
+Figure 6
+:::
+
+⇒ 100 Step만 가도 Full Model과 비슷한 FiD값을 보임
+
+## 5. Comparison to GANs
+
+- Class Conditional Generation + P&R Metric으로 GAN 모델(BigGAN)과 성능을 비교
+ :::{figure-md}
+
+
+ Figure 7
+ :::
+
+
+ - Big-GAN Deep 모델보다 생성 타겟에 대한 FiD 수치나 Recall metric에서 더 뛰어난 성능을 보임
+
+## 6. Scaling Model Size
+
+- 다양한 Capacity를 가진 모델의 FiD와 NLL 값을 비교
+
+:::{figure-md}
+
+
+Figure 8
+:::
+
+:::{figure-md}
+
+
+Figure 9
+:::
+
+⇒ 모델의 크기와 학습량 모두 Step에 어느정도 비례함
diff --git a/_sources/docs/review/IP_Adapter.md b/_sources/docs/review/IP_Adapter.md
index ffe00058..96277950 100755
--- a/_sources/docs/review/IP_Adapter.md
+++ b/_sources/docs/review/IP_Adapter.md
@@ -1,385 +1,385 @@
-``` {admonition} Information
-- **Title:** IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2308.06721](https://arxiv.org/abs/2308.06721)
- - Code: [https://github.com/tencent-ailab/IP-Adapter](https://github.com/tencent-ailab/IP-Adapter)
- - Project Page : [https://ip-adapter.github.io](https://ip-adapter.github.io)
-
-- **Author:** Kyeongmin Yu
-
-- **Last updated on Sep. 21, 2024**
-```
-
-# IP-Adapter
-
-> 📌 문제상황 \
-> text-to-image diffusion model(T2I diffusion model)이 생성하는 이미지 품질은 훌륭하지만 text prompt를 통해 원하는 형태의 이미지를 생성하는 것이 어렵다. 복잡한 prompt engineering을 시도하거나, image prompt를 활용할 수도 있지만 사전학습된 모델을 fine-tuning하게 되면 많은 리소스가 필요할 뿐만 아니라 해당 방식은 범용성, 호환성도 떨어진다. \
-> \
-> 📌 해결방안 \
-> **cross-attention을 text features와 image features로 decoupling한다.** 기존 학습된 diffusion model은 text feature에 맞춰 학습된 상태이므로 기존 layer에 image feature를 넣게 되면 image feature와 text feature를 align을 수행하게 되므로 기존 cross-attention layer 하나를 통해 image-feature와 text-feature를 결합하는 것은 적절하지 않다. \
-> \
-> 📌 논문의 강점
-> - 어떤 모델 구조에도 활용가능하다.
-> - 적은 수의 파라미터(22M)만 추가적으로 학습하므로 가볍다.
-> - 기존 controllable tools에 덧붙여 쓸 수도 있다.
-
-:::{figure-md}
-
-
-IP-Adapter를 활용한 이미지 합성 [출처](https://arxiv.org/abs/2308.06721)
-:::
-
-# Introduction
-
-**:image prompt의 필요성과 기존 연구에서 image prompt를 사용해 이미지를 생성하려는 시도의 종류와 장단점을 말한다.**
-
-복잡한 scene이나 concept을 입력할때 이미지 형태로 입력하는 것이 간편하고 효과적이다.
-image prompt + text prompt(“an image is worth a thousand words”)
-
-
-:::{figure-md}
-
-
-“내츄럴 풍으로 카페를 꾸미고 여러 식물을 두어 장식하고 싶어. 내가 좋아하는 식물은 스노우 사파이어, 호야, 자미오쿨카스등 이고, 의자와 테이블은 원목을 선호해.”
-:::
-
-
-DALL-E2는 처음으로 image prompt를 지원한 모델으로, T2I prior model이 image embedding을 조건으로 이미지를 생성하도록 했다. 하지만 기존 대부분의 T2I 모델은 주로 text를 조건으로 이미지를 생성하는 방식이었다. 예를 들어 stable diffusion(SD) 모델의 경우 CLIP text encoder로 부터 text embedding을 뽑아내 사용했다.
-
-본 논문에서는 “image prompt를 기존 T2I 모델에서 사용할 수 있는지”, image prompt를 사용한 T2I 이미지 생성을 단순한 방식으로 가능케 한다.
-
-:::{figure-md}
-
-
-비교를 위한 DALL-E2(unCLIP) 구조 [출처](https://arxiv.org/abs/2204.06125)
-:::
-
-:::{figure-md}
-
-
-비교를 위한 Stable Diffusion의 구조 구조 [출처](https://arxiv.org/abs/2112.10752)
-:::
-
-
-SD Image Variations와 Stable UnCLIP과 같은 기존 연구에서 image prompt를 사용한 이미지 생성을 위해 text-conditioned diffusion models을 image embedding을 사용해 직접 fine-tuning하려는 시도를 했다. 하지만 많은 양의 컴퓨터 리소스 사용과 기존 T2I 생성능력 저하, 재사용성 저하라는 단점이 있었다. 또한 해당 방식은 ControlNet과 같은 기존 structural control tools과 호환되지 않았다. 이는 downstream application에 치명적이다.
-
-이를 피하기 위해 diffusion model 자체를 fine-tuning하지 않고 text encoder를 image encoder로 교체하는 방식도 있었지만 text prompt를 지원할 수 없게 되고 이미지 품질이 충분하지 않다는 단점이 있었다.
-
-최근에는 T2I base model을 건드리지 않고 추가적인 네트워크를 이용해 image prompt를 지원하는 연구들이 있었다. ControlNet, T2I-Adapter와 같은 연구들은 대부분 sketch, depth map, segmenation map 등의 추가적인 입력을 활용했다. 또한 T2I-Adapter나 Uni-ControlNet 같이reference image를 입력해 style 이나 concept을 전달하려는 시도도 있었다. 이런 흐름의 연구들은 CLIP image encoder에서 image embedding을 추출하여 추가 trainable network에 새로운 feature들을 mapping하여 text feature와 융합하고자 했다. 기존 text feature대신 text feature+image feature를 디퓨전 모델 내 UNet 구조에 넣어 prompt에 넣은 이미지에 적합한(faithful) 이미지를 생성하고자 했다. 이런 연구들을 통해 image prompt의 가능성을 볼수 있었지만 그 충실도가 충분하지 않았다. 또한 이미지 품질이 fine-tuning된 image prompt model보다 나빴다.
-
-
-:::{figure-md}
-
-
-기존 모델과 IP-Adapter 비교 [출처](https://arxiv.org/abs/2308.06721)
-:::
-
-
-**image prompt를 지원하는 기존 방식**
-
-- input image embedding to T2I model
-- base model fine-tuning
-- text encoder → image encoder
-- additional network
-
-본 논문에서는 앞서 언급한 문제점의 원인을 T2I model내의 cross-attention이라고 보고 있다. **사전학습된 cross-attention에서 key, value projection weights은 text feature에 맞게 훈련되어 잇는 상태이다.**
-결과적으로 image feature와 text feature를 cross-attention layer에서 합쳐지는데 이때 image-specific 특성들이 무시되어 reference image에 아주 충실한 이미지를 생성하지 못하고 coarse-grained controllable generation(e.g., image style)만 달성 가능해진다.
-
-마지막으로 앞선 연구의 문제점들을 극복한 효과적인 image prompt adapter, IP-Adapter를 제안한다. 특히 IP-Adapter의 경우 decoupled cross-attention mechanism을 사용해 text feature와 image feature를 분리한다. image feature를 위해 base model내 모든 UNet cross-attention layer에 cross-attention layer 를 추가하여 훈련단계에서는 적은 수의 파라미터(22M)만 훈련한다. 본 논문에서 제안하는 IP-Adapter는 매우 가볍고 효과적이다. 또한 일반화 능력(generalization capability)가 높고 text prompt와도 잘 어울린다(compatible).
-
-**IP-Adapter에서 제안하는 방식**
-
-- additional cross-attention layer in UNet of diffusion model
-- reusable and flexible (base + IP-Adapter + ControlNet가능)
-- multimodal compatibility (image prompt + text prompt)
-
-# Related Works
-
-### Text-to-Image Diffusion Models
-
-large T2I model은 크게 autoregressive models, diffusion models 두 부류로 나눌 수 있다. DALLE, CogView, Make-A-Scene과 같은 초기 연구들은 autoregressive model 이었다. autoregressive model은 VQ-VAE와 같은 image tokenizer를 사용해 image들을 token화 하여 autoregressive transformer에 text token을 이용해 image token을 예측하게 하는 방식으로 학습했다. 하지만 autoregressive model은 파라미터 수가 많고 고화질 이미지를 생성하기 위해 많은 리소스가 필요했다.
-
-최근에는 diffusion models(DM)이 등장하여 T2I 생성모델의 state-of-the-art를 달성했다. 이전에 GLIDE는 cascaded diffusion 구조를 통해 64x64 → 256x256 이미지를 생성했다.
-DALL-E2의 경우, text prompt로 이미지를 생성하도록 학습된 모델을 활용해 image embedding을 조건으로 이미지를 생성했다. DALL-E2는 text prompt를 통한 이미지 생성을 지원하지 않았다. text 이해도를 높이기 위해 Imagen은 거대 transformer language model인 T5를 도입했다. Re-Imagen의 경우 드물거나 학습한적없는 entity에 대한 image에 대한 충성도를 개선했다.
-SD는 latent diffusion model로 pixel space가 아닌 latent space상에서 동작하게 하여 diffusion model만 사용하여 고품질의 이미지를 생성할 수 있게 했다. text 일치도(alignment)를 높이기 위해 eDiff-I의 경우 T2I diffusion model과 유사한 디자인을 채택하여 T5 text, CLIP text embedding, CLIP image embedding등 멀티모달 조건을 활용했다. Versatile Diffusion은 unified multi-flow diffusion framework를 이용해 T2I, I2T, 등 다양한 생성방식을 하나의 모델로 가능하게 했다. controllable image 생성 면에서는 Composer가 image embedding을 활용한 joint fine-tuning을 시도했었다. RAPHAEL은 mixture of experts(MoEs) 전략을 사용해 T2I model의 이미지 품질을 향상시켰다.
-
-DALL-E2는 image prompt를 통해 해당 풍의 이미지들을 생성할 수 있다는 점에서 매력적이다. 또한 image prompt를 T2I model에서 지원하고자 하는 연구들이 있다. SD Image Variants model은 변경한 SD를 fine-tuning하여 text feature를 CLIP image encoder의 image embedding으로 교체할 수 있게 했다. Stable unCLIP 또한 SD를 fine-tuning하여 time embedding에 image embedding을 추가했다. 기존 모델을 fine-tuning하는 방식은 고품질의 이미지를 생성 할 수 있다는 장점이 있지만 비교적 training cost가 높으며 기존 tools(e.g.,ControlNet)과 호환되지 않는다는 단점이 있다.
-
-### Adapters for Large Models
-
-거대한 사전학습된 모델 전체를 fine-tuning하는 것은 비효율적이다. 이 대안으로 떠오르는 것이 adapter를 사용하는 것인데, 기존 모델은 freeze시켜 학습하는 파라미터 수를 줄일 수 있다. adapter는 NLP에서 오랫동안 사용되던 방식이다. 최근에는 LLM의 vision-language 이해를 위해 adapter를 사용하고 있다.
-
-T2I model의 최근 인기로 인해 adapter들도 여기에 추가적인 control을 주는 방향으로 사용되고 있다. ControlNet(아래 사진 참고)의 경우 사전학습된 T2I diffusion model에 task-specific한 입력
-(e.g.,canny edge)을 추가적으로 넣기위해 adapter를 사용할 수 있다는 것을 보여주었다. 유사한 시기에 T2I-Adapter(아래 사진 참고)도 등장했는데 보다 간단하고 가벼운 형태로 색이나 구조적인 면에서
-fine-grained control을 주고자 했다. fine-tuning에 사용되는 비용을 줄이기 위해 Uni-ControlNet은 multi-scale condition injection을 사용했다.
-
-structural control외에 이미지 집합을 통해 content나 style을 조절하고자 한 연구도 있다. ControlNet Shuffle의 경우 이미지들을 recompose하도록 학습하여 사용자가 제공한 이미지들을 바탕으로 이미지를 생성 할 수 있었다. 또한 ControlNet Reference-only의 경우, 학습없이 SD에 feature injection을 통해 이미지를 변형했다. T2I-Adapter의 최근 버전의 경우, CLIP image encoder로 부터 reference image의 image feature를 text feature에 더해줌으로서 style adapter로서의 역할도 가능하다. Uni-ControlNet(아래 사진 참고)의 global control adapter 또한 CLIP image encoder로 부터 추출한 image embedding을 작은 네트워크를 통해 projection하 condition embedding으로 projection하여 사용한다. SeeCoder(아래 사진 참고)는 기존 text encoder를 semantic context encoder로 교체하여 image variants를 생성하고자 했다.
-
-
-**ControlNet**
-
-:::{figure-md}
-
-
-비교를 위한 ControlNet의 작동 방식 [출처](https://arxiv.org/abs/2302.05543)
-:::
-
-:::{figure-md}
-
-
-ControlNet preprocessor[ContentShuffleDetector](https://github.com/pytorch/pytorch/blob/main/torch/nn/modules/pixelshuffle.py)
-:::
-
-**Uni-ControlNet**
-:::{figure-md}
-
-
-Uni-ControlNet Architecture [출처](https://arxiv.org/abs/2305.16322)
-:::
-
-**T2I-Adapter**
-
-:::{figure-md}
-
-
-비교를 위한 T2I Adapter의 작동 방식 [출처](https://arxiv.org/abs/2302.08453) [PixelUnshuffle](https://pytorch.org/docs/stable/generated/torch.nn.PixelUnshuffle.html)
-:::
-
-:::{figure-md}
-
-
-T2I Adapter의 장점 [출처](https://arxiv.org/abs/2302.08453)
-:::
-
-:::{figure-md}
-
-
-T2I-adapter의 결과는 기존 모델의 각 층의 feature map 크기가 맞도록 더해짐 [출처](https://arxiv.org/abs/2302.08453)
-:::
-
-**SeeCoder**
-:::{figure-md}
-
-
-SeeCoder Architecture [출처](https://arxiv.org/abs/2305.16223)
-:::
-
-# Method
-
-### Preliminaries
-
-
-> 📌 생성모델의 일종인 diffusion model의 이미지 생성단계
-> 1. **diffusion process (forward process)** \
- T step의 fixed Markov chain을 통해데이터에 gaussian noise를 점차 추가.
-> 2. **denoising process** \
- gaussian noise로 부터 learnable model을 통해 sample을 생성.
-
-
-일반적으로 noise 예측을 위한 diffusion model($\epsilon_\theta$)의 training objective는 아래와 같이 단순한 variant of variational bound 로 표현된다.
-
-$$
-L_{\text{simple}}=\Bbb E_{x_0, \epsilon\sim \mathcal N(0,I),c,t}\|\epsilon-\epsilon_\theta(x_t, \mathbf c,t)\|^2 \tag{1}
-$$
-
-$x_0$ 는 real data, $\mathbf c$ 는 추가조건, $t$ 는 time step을 말하며 $[0,T]$ 내에 속한다. $x_t=\alpha_t x_0+\sigma_t\epsilon$은 step t에 해당하는 noisy data를 말하고, $\alpha_t, \sigma_t$는 diffusino process를 결정하는 predefined function이다. $\epsilon_\theta$가 한번 학습되고 나면 랜덤 노이즈로부터 이미지를 반복적으로 생성할 수 있다. 일반적으로 생성 속도를 높이기 위해 DDIM, PNDM, DPM-solver와 같은 fast sampler를 inference시 사용한다.
-
-conditional diffusion model에서 classifier guidance를 통해 이미지 정확도(fidelity)와 다양성(sample diversity)를 밸런싱할 수 있다. 이는 따로 학습된 classifier의 gradient를 활용하는데, classifier를 따로 학습하는 번거로움을 지우기 위해 classifier-free guidance를 사용하기도 한다. 이런 접근에서 conditional, unconditional diffusion models는 학습시 랜덤하게 조건 $c$ 를 배제하여 합동 학습(joint training)된다. sampling단계 에서는 conditional model과 unconditional model의 prediction을 모두 이용하여 noise를 계산한다.
-
-$$
-\hat \epsilon_\theta(x_t,\mathbf c,t)=\mathcal w \epsilon_\theta(x_t,\mathbf c, t)+(1-\mathcal w)\epsilon_\theta(x_t,t) \tag{2}
-$$
-
-$\mathcal w$은 guidance scale 혹은 guidance weight로 불리는데 condition $c$의 영향력을 조절하기 위한 상수값이다. T2I diffusion model의 경우 image-text 일치성을 높이는데 classifier-free guidance가 큰 역할을 한다.
-
-본 논문에서는 open-source SD에 IP-Adapter를 덧붙여 실험을 진행했다. SD는 latent diffusion model로 frozen CLIP text encoder로 뽑아낸 text feature를 condition으로 사용한다. diffusion model은 Unet에 attention layer가 추가된 형태이다. Imagen과 같은 pixel-based diffusion model과 비교해 SD는 사전학습된 auto-encoder model을 활용해 latent space에서 동작하므로 효율적이다.
-
-### Image Prompt Adapter
-
-:::{figure-md}
-
-
-IP-Adapter의 동작방식 [출처](https://arxiv.org/abs/2308.06721)
-:::
-
-:::{figure-md}
-
-
-비교를 위한 Stable Diffusion의 구조 [출처](https://arxiv.org/abs/2112.10752)
-:::
-
-**Image Encoder**
-
-pretained CLIP image encoder를 사용해 image prompt에서 image feature를 뽑아냈다. CLIP은 multimodal model로 거대 image-text pair 데이터셋으로 contrastive learning시킨 모델이다. CLIP image encoder를 통해 global image embedding을 얻었다. 이는 image로 부터 풍부한 내용(content)와 스타일을 담은 image caption과 잘 조정되어(well-aligned) 있다. 학습단계에서 CLIP image encoder는 frozen되어 학습되지 않는다.
-
-**Decoupled Cross-Attention**
-
-image feature는 사전학습된 UNet에 decoupled cross-attention을 통해 결합된다. 초기 SD model에서는 CLIP text encoder를 통해 뽑아낸 text feature를 UNet의 cross-attention layer에 넣었다.
-
-$$
-\mathbf Z'=\text{Attention}(\mathbf{Q,K,V})=\text{Softmax}(\frac{\mathbf {QK}^T}{\sqrt{d}})\mathbf V, \tag{3}
-$$
-
-query feature는 $Z$, text feature는 $c_t$, cross-attention의 결과는 $Z’$이고, $\mathbf{Q=ZW_q, K=c_t W_k, V=c_t W_v}$는 attention 연산의 각각 query, key, value 행렬이다. $\mathbf{W_q, W_k, W_v}$는 linear projection layers의 학습가능한 weigth matrices다.
-
-image feature를 이미지 생성에 반영하는 직관적인 방법은 cross-attention시 text feature+image feature로 결합(concatenate)하여 처리하는 것이다. 하지만 이 방법은 충분하지 않다는 것을 발견하여 decoupled cross-attention을 제안한다. 이는 cross-attention 에서 image feature와 text feature를 따로 처리하는 것이다. 구체적으로는 기존 cross-attention layer가 존재하던 곳에 새로운 cross-attention layer를 추가하여 image feature를 처리하도록 했다. image feature $c_i$가 주어질때 새로운 attention layer의 결과는 다음과 같다.
-
-$$
-\mathbf Z''=\text{Attention}(\mathbf{Q,K',V'})=\text{Softmax}(\frac{\mathbf{Q(K')}^T}{\sqrt{d}})\mathbf V', \tag{4}
-$$
-
-$\mathbf{Q=ZW_q}$, $\mathbf{K'=c_t W'_k}$ , $\mathbf{V'=c_t W'_v}$ 는 image feature를 위한 query, key, value 행렬이다. 여기서 핵심은 text cross-attention과 image cross-attention에서 동일한 qeury를 사용했다는 점이다. 결과적으로는 각 cross-attention layer 마다 2개의 파라미터 $\mathbf{W'_k,W'_v}$ 를 추가하게 된다. 수렴속도를 높이기 위해 $\mathbf{W'_k,W'_v}$는 $\mathbf{W_k,W_v}$로 초기화했다. 그러면 두 cross-attention layer의 결과를 더함으로써 최종 결과를 구할 수 있다. decoupled cross-attention의 최종적인 형태는 다음과 같다.
-
-$$
-\mathbf Z^\text{new}=\text{Softmax}(\frac{\mathbf {QK}^T}{\sqrt{d}})\mathbf V + \text{Softmax}(\frac{\mathbf {Q(K')}^T}{\sqrt{d}})\mathbf V' \tag{5}
-$$
-
-$$ \text{where} \space \mathbf{Q=ZW}_q,\space \mathbf{k=c}_t\mathbf W_k,\space \mathbf{K'=c}_i\mathbf W'_k, \space \mathbf{V'=c}_i\mathbf W'_v
-$$
-
-사전학습한 UNet은 freeze시키고 훈련을 진행하므로 $\mathbf{W'_k,W'_v}$ **만** 학습된다.
-
-
-
-**Training and Inference**
-
-학습시 IP-Adapter만 최적화하고 기존 사전학습된 diffusion model은 고정한다. IP-Adapter는 image-text pair dataset으로 학습시키며 original SD와 동일한 objective를 사용한다.
-
-$$
-L_{\text{simple}}=\Bbb E_{x_0, \epsilon\sim \mathcal N(0,I),c_t,c_i,t}\|\epsilon-\epsilon_\theta(x_t,\mathbf {c_t,c_i},t)\|^2 \tag{6}
-$$
-
-또 random하게 image condition을 drop하여 inference 단계에서 classifier-free guidance를 사용할 수 있도록 한다.
-
-$$
-\hat \epsilon_\theta(x_t,\mathbf {c_t,c_i},t)=\mathcal w \epsilon_\theta(x_t,\mathbf {c_t,c_i}, t)+(1-\mathcal w)\epsilon_\theta(x_t,t) \tag{7}
-$$
-
-image condition이 drop되면 CLIP image embedding은 0으로 처리했다. text cross-attention과 image cross-attention을 detach되며 inference시 image condition의 가중치도 조절할 수 있다. $\lambda$ 가 0이 되면 기존 T2I 모델이 된다.
-
-$$
-\mathbf Z^\text{new}=\text{Softmax}(\mathbf {Q,K,V})+ \lambda\cdot\text{Softmax}(\mathbf {Q,K',V'})\tag{8}
-$$
-
-# Experiments
-
-### Experimental Setup
-
-| 항목 | 값 |
-|--------|:------:|
-| base model | SD v1.5 |
-| image encoder | OpenCLIP ViT-H/14 |
-| resolution | 512x512 (resized and center crop) |
-| optimizer | AdamW |
-| learning rate | 0.0001 |
-| weight decay | 0.01 |
-| libraries | Hugging Face diffusers,\\ DeepSpeed SeRO-2 |
-| GPU | 8 V100 |
-| training step | 1M |
-| batch size | 8 per GPU |
-| classifier-free guidance | 0.05 |
-| training data | LAION-2B, COYO-700M |
-| sampler for inference | DDIM (50steps) |
-| guidance scale | 7.5 |
-| $\lambda$ | 1.0 for only image prompt |
-
-### Comparison with Existing Methods
-
-**Quantitative Comparison**
-:::{figure-md}
-
-
-실험결과 [출처](https://arxiv.org/abs/2308.06721)
-:::
-
-**Qualitative Comparison**
-:::{figure-md}
-
-
-실험결과 [출처](https://arxiv.org/abs/2308.06721)
-:::
-
-(실험 결과를 보고 IP-Adapter를 활용해 생성한 이미지가 reference와 지나치게 유사하다는 생각이 들었습니다. 몇몇은 그냥 좌우반전을 한것처럼 느껴졌습니다. 흔히 GAN에서 말하는 Model Collapse와 같은 현상이 아닌가 싶어 다양성이 낮아보이는 결과가 의아했으나, conclusion에서 이 단점을 언급합니다.)
-
-### More Results
-
-**Generalizable to Custom Models**
-:::{figure-md}
-
-
-실험결과 [출처](https://arxiv.org/abs/2308.06721)
-:::
-
-**Structure Control**
-:::{figure-md}
-
-
-실험결과 [출처](https://arxiv.org/abs/2308.06721)
-:::
-
-**Image-to-Image Inpainting**
-:::{figure-md}
-
-
-실험결과 [출처](https://arxiv.org/abs/2308.06721)
-:::
-
-**Multimodal Prompts**
-:::{figure-md}
-
-
-실험결과 [출처](https://arxiv.org/abs/2308.06721)
-:::
-
-### Ablation Study
-
-**Importance of Decoupled Cross-Attention**
-:::{figure-md}
-
-
-실험결과 [출처](https://arxiv.org/abs/2308.06721)
-:::
-
-**Comparison of Fine-grained Features and Global Features**
-:::{figure-md}
-
-
-실험결과 [출처](https://arxiv.org/abs/2308.06721)
-:::
-
-IP-Adapter는 CLIP image encoder로 부터 추출한 global image embedding를 사용하기 때문에 reference image의 일부 특성을 잃어버릴 수 있다. 따라서 fine-grained feature를 위한 IP-Adapter를 디자인했다. 첫번째로 CLIP image encoder에서 penultimate layer에서 grid feature를 뽑아낸다. 이후 작은 query network를 이용해 feature를 학습한다. grid feature로 부터 정보를 뽑아내기 위해 lightweight transformer를 사용해 learnable 16 token들을 정의한다. 이 token feature들을 query network의 cross-attention layer에 입력으로 넣어준다.
-
-두 adapter의 생성 결과를 비교하면 finer-grained feature를 이용하면 보다 image prompt와 가까운 결과를 얻을 수 있다. finer-grained feature는 spatial structure information을 학습하여 생성된 이미지의 diversity를 낮추는 결과를 초래할 수 있으나 추가적인 조건(text prompt, structure map)을 활용하면 다양한 이미지를 만들 수 있다. 예를 들어 위의 그림과 같이 사진+pose를 통해 이미지를 생성 할 수 있다.
-
-# Conclusion
-
-본 연구에서는 사전 학습된 T2I diffusion model에 image prompt capability를 달성하기 위해 IP-Adapter를 제안한다. IP-Adapter의 핵심 디자인은 decoupled cross-attention으로 image feature를 분리하여 cross-attention을 수행한다. 고작 22M parameter가 추가된 IP-Adapter는 qualitative, quantitative experimental results 모두에서 비등하거나 나은 성능을 보인다. 또한 IP-Adapter는 확장성이 좋아 한번 훈련된 뒤, 다른 custom model, structural controllable tools에 곧바로 덧붙여 사용할 수도 있다. 더욱 중요한 점은 image prompt를 text prompt와 더애 멀티모달 이미지 생성을 가능케한다는 점이다.
-
-IP-Adapter는 효과적이지만 reference image와 content, style이 유사한 이미지만 생성할 수 있다는 단점이 있을 수 있다. 때문에 Textual Inversion이나 DreamBooth와 같이 특정 이미지 집합 풍의 이미지를 생성하지는 못한다. 미래에 consistency를 향상시킨 더 강력한 Image prompt adapter를 개발하는 것이 목표다.
-
-**Textural Inversion**
-:::{figure-md}
-
-
-Textural Inversion 동작방식 [출처](https://arxiv.org/abs/2308.06721)
-:::
-
-:::{figure-md}
-
-
-Textural Inversion 실험결과 [출처](https://arxiv.org/abs/2308.06721)
-:::
-
-**DreamBooth**
-:::{figure-md}
-
-
-DreamBooth 동작 방식 [출처](https://arxiv.org/abs/2308.06721)
-:::
-
-:::{figure-md}
-
-
-DreamBooth 실험결과 [출처](https://arxiv.org/abs/2308.06721)
+``` {admonition} Information
+- **Title:** IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2308.06721](https://arxiv.org/abs/2308.06721)
+ - Code: [https://github.com/tencent-ailab/IP-Adapter](https://github.com/tencent-ailab/IP-Adapter)
+ - Project Page : [https://ip-adapter.github.io](https://ip-adapter.github.io)
+
+- **Author:** Kyeongmin Yu
+
+- **Last updated on Sep. 21, 2024**
+```
+
+# IP-Adapter
+
+> 📌 문제상황 \
+> text-to-image diffusion model(T2I diffusion model)이 생성하는 이미지 품질은 훌륭하지만 text prompt를 통해 원하는 형태의 이미지를 생성하는 것이 어렵다. 복잡한 prompt engineering을 시도하거나, image prompt를 활용할 수도 있지만 사전학습된 모델을 fine-tuning하게 되면 많은 리소스가 필요할 뿐만 아니라 해당 방식은 범용성, 호환성도 떨어진다. \
+> \
+> 📌 해결방안 \
+> **cross-attention을 text features와 image features로 decoupling한다.** 기존 학습된 diffusion model은 text feature에 맞춰 학습된 상태이므로 기존 layer에 image feature를 넣게 되면 image feature와 text feature를 align을 수행하게 되므로 기존 cross-attention layer 하나를 통해 image-feature와 text-feature를 결합하는 것은 적절하지 않다. \
+> \
+> 📌 논문의 강점
+> - 어떤 모델 구조에도 활용가능하다.
+> - 적은 수의 파라미터(22M)만 추가적으로 학습하므로 가볍다.
+> - 기존 controllable tools에 덧붙여 쓸 수도 있다.
+
+:::{figure-md}
+
+
+IP-Adapter를 활용한 이미지 합성 [출처](https://arxiv.org/abs/2308.06721)
+:::
+
+# Introduction
+
+**:image prompt의 필요성과 기존 연구에서 image prompt를 사용해 이미지를 생성하려는 시도의 종류와 장단점을 말한다.**
+
+복잡한 scene이나 concept을 입력할때 이미지 형태로 입력하는 것이 간편하고 효과적이다.
+image prompt + text prompt(“an image is worth a thousand words”)
+
+
+:::{figure-md}
+
+
+“내츄럴 풍으로 카페를 꾸미고 여러 식물을 두어 장식하고 싶어. 내가 좋아하는 식물은 스노우 사파이어, 호야, 자미오쿨카스등 이고, 의자와 테이블은 원목을 선호해.”
+:::
+
+
+DALL-E2는 처음으로 image prompt를 지원한 모델으로, T2I prior model이 image embedding을 조건으로 이미지를 생성하도록 했다. 하지만 기존 대부분의 T2I 모델은 주로 text를 조건으로 이미지를 생성하는 방식이었다. 예를 들어 stable diffusion(SD) 모델의 경우 CLIP text encoder로 부터 text embedding을 뽑아내 사용했다.
+
+본 논문에서는 “image prompt를 기존 T2I 모델에서 사용할 수 있는지”, image prompt를 사용한 T2I 이미지 생성을 단순한 방식으로 가능케 한다.
+
+:::{figure-md}
+
+
+비교를 위한 DALL-E2(unCLIP) 구조 [출처](https://arxiv.org/abs/2204.06125)
+:::
+
+:::{figure-md}
+
+
+비교를 위한 Stable Diffusion의 구조 구조 [출처](https://arxiv.org/abs/2112.10752)
+:::
+
+
+SD Image Variations와 Stable UnCLIP과 같은 기존 연구에서 image prompt를 사용한 이미지 생성을 위해 text-conditioned diffusion models을 image embedding을 사용해 직접 fine-tuning하려는 시도를 했다. 하지만 많은 양의 컴퓨터 리소스 사용과 기존 T2I 생성능력 저하, 재사용성 저하라는 단점이 있었다. 또한 해당 방식은 ControlNet과 같은 기존 structural control tools과 호환되지 않았다. 이는 downstream application에 치명적이다.
+
+이를 피하기 위해 diffusion model 자체를 fine-tuning하지 않고 text encoder를 image encoder로 교체하는 방식도 있었지만 text prompt를 지원할 수 없게 되고 이미지 품질이 충분하지 않다는 단점이 있었다.
+
+최근에는 T2I base model을 건드리지 않고 추가적인 네트워크를 이용해 image prompt를 지원하는 연구들이 있었다. ControlNet, T2I-Adapter와 같은 연구들은 대부분 sketch, depth map, segmenation map 등의 추가적인 입력을 활용했다. 또한 T2I-Adapter나 Uni-ControlNet 같이reference image를 입력해 style 이나 concept을 전달하려는 시도도 있었다. 이런 흐름의 연구들은 CLIP image encoder에서 image embedding을 추출하여 추가 trainable network에 새로운 feature들을 mapping하여 text feature와 융합하고자 했다. 기존 text feature대신 text feature+image feature를 디퓨전 모델 내 UNet 구조에 넣어 prompt에 넣은 이미지에 적합한(faithful) 이미지를 생성하고자 했다. 이런 연구들을 통해 image prompt의 가능성을 볼수 있었지만 그 충실도가 충분하지 않았다. 또한 이미지 품질이 fine-tuning된 image prompt model보다 나빴다.
+
+
+:::{figure-md}
+
+
+기존 모델과 IP-Adapter 비교 [출처](https://arxiv.org/abs/2308.06721)
+:::
+
+
+**image prompt를 지원하는 기존 방식**
+
+- input image embedding to T2I model
+- base model fine-tuning
+- text encoder → image encoder
+- additional network
+
+본 논문에서는 앞서 언급한 문제점의 원인을 T2I model내의 cross-attention이라고 보고 있다. **사전학습된 cross-attention에서 key, value projection weights은 text feature에 맞게 훈련되어 잇는 상태이다.**
+결과적으로 image feature와 text feature를 cross-attention layer에서 합쳐지는데 이때 image-specific 특성들이 무시되어 reference image에 아주 충실한 이미지를 생성하지 못하고 coarse-grained controllable generation(e.g., image style)만 달성 가능해진다.
+
+마지막으로 앞선 연구의 문제점들을 극복한 효과적인 image prompt adapter, IP-Adapter를 제안한다. 특히 IP-Adapter의 경우 decoupled cross-attention mechanism을 사용해 text feature와 image feature를 분리한다. image feature를 위해 base model내 모든 UNet cross-attention layer에 cross-attention layer 를 추가하여 훈련단계에서는 적은 수의 파라미터(22M)만 훈련한다. 본 논문에서 제안하는 IP-Adapter는 매우 가볍고 효과적이다. 또한 일반화 능력(generalization capability)가 높고 text prompt와도 잘 어울린다(compatible).
+
+**IP-Adapter에서 제안하는 방식**
+
+- additional cross-attention layer in UNet of diffusion model
+- reusable and flexible (base + IP-Adapter + ControlNet가능)
+- multimodal compatibility (image prompt + text prompt)
+
+# Related Works
+
+### Text-to-Image Diffusion Models
+
+large T2I model은 크게 autoregressive models, diffusion models 두 부류로 나눌 수 있다. DALLE, CogView, Make-A-Scene과 같은 초기 연구들은 autoregressive model 이었다. autoregressive model은 VQ-VAE와 같은 image tokenizer를 사용해 image들을 token화 하여 autoregressive transformer에 text token을 이용해 image token을 예측하게 하는 방식으로 학습했다. 하지만 autoregressive model은 파라미터 수가 많고 고화질 이미지를 생성하기 위해 많은 리소스가 필요했다.
+
+최근에는 diffusion models(DM)이 등장하여 T2I 생성모델의 state-of-the-art를 달성했다. 이전에 GLIDE는 cascaded diffusion 구조를 통해 64x64 → 256x256 이미지를 생성했다.
+DALL-E2의 경우, text prompt로 이미지를 생성하도록 학습된 모델을 활용해 image embedding을 조건으로 이미지를 생성했다. DALL-E2는 text prompt를 통한 이미지 생성을 지원하지 않았다. text 이해도를 높이기 위해 Imagen은 거대 transformer language model인 T5를 도입했다. Re-Imagen의 경우 드물거나 학습한적없는 entity에 대한 image에 대한 충성도를 개선했다.
+SD는 latent diffusion model로 pixel space가 아닌 latent space상에서 동작하게 하여 diffusion model만 사용하여 고품질의 이미지를 생성할 수 있게 했다. text 일치도(alignment)를 높이기 위해 eDiff-I의 경우 T2I diffusion model과 유사한 디자인을 채택하여 T5 text, CLIP text embedding, CLIP image embedding등 멀티모달 조건을 활용했다. Versatile Diffusion은 unified multi-flow diffusion framework를 이용해 T2I, I2T, 등 다양한 생성방식을 하나의 모델로 가능하게 했다. controllable image 생성 면에서는 Composer가 image embedding을 활용한 joint fine-tuning을 시도했었다. RAPHAEL은 mixture of experts(MoEs) 전략을 사용해 T2I model의 이미지 품질을 향상시켰다.
+
+DALL-E2는 image prompt를 통해 해당 풍의 이미지들을 생성할 수 있다는 점에서 매력적이다. 또한 image prompt를 T2I model에서 지원하고자 하는 연구들이 있다. SD Image Variants model은 변경한 SD를 fine-tuning하여 text feature를 CLIP image encoder의 image embedding으로 교체할 수 있게 했다. Stable unCLIP 또한 SD를 fine-tuning하여 time embedding에 image embedding을 추가했다. 기존 모델을 fine-tuning하는 방식은 고품질의 이미지를 생성 할 수 있다는 장점이 있지만 비교적 training cost가 높으며 기존 tools(e.g.,ControlNet)과 호환되지 않는다는 단점이 있다.
+
+### Adapters for Large Models
+
+거대한 사전학습된 모델 전체를 fine-tuning하는 것은 비효율적이다. 이 대안으로 떠오르는 것이 adapter를 사용하는 것인데, 기존 모델은 freeze시켜 학습하는 파라미터 수를 줄일 수 있다. adapter는 NLP에서 오랫동안 사용되던 방식이다. 최근에는 LLM의 vision-language 이해를 위해 adapter를 사용하고 있다.
+
+T2I model의 최근 인기로 인해 adapter들도 여기에 추가적인 control을 주는 방향으로 사용되고 있다. ControlNet(아래 사진 참고)의 경우 사전학습된 T2I diffusion model에 task-specific한 입력
+(e.g.,canny edge)을 추가적으로 넣기위해 adapter를 사용할 수 있다는 것을 보여주었다. 유사한 시기에 T2I-Adapter(아래 사진 참고)도 등장했는데 보다 간단하고 가벼운 형태로 색이나 구조적인 면에서
+fine-grained control을 주고자 했다. fine-tuning에 사용되는 비용을 줄이기 위해 Uni-ControlNet은 multi-scale condition injection을 사용했다.
+
+structural control외에 이미지 집합을 통해 content나 style을 조절하고자 한 연구도 있다. ControlNet Shuffle의 경우 이미지들을 recompose하도록 학습하여 사용자가 제공한 이미지들을 바탕으로 이미지를 생성 할 수 있었다. 또한 ControlNet Reference-only의 경우, 학습없이 SD에 feature injection을 통해 이미지를 변형했다. T2I-Adapter의 최근 버전의 경우, CLIP image encoder로 부터 reference image의 image feature를 text feature에 더해줌으로서 style adapter로서의 역할도 가능하다. Uni-ControlNet(아래 사진 참고)의 global control adapter 또한 CLIP image encoder로 부터 추출한 image embedding을 작은 네트워크를 통해 projection하 condition embedding으로 projection하여 사용한다. SeeCoder(아래 사진 참고)는 기존 text encoder를 semantic context encoder로 교체하여 image variants를 생성하고자 했다.
+
+
+**ControlNet**
+
+:::{figure-md}
+
+
+비교를 위한 ControlNet의 작동 방식 [출처](https://arxiv.org/abs/2302.05543)
+:::
+
+:::{figure-md}
+
+
+ControlNet preprocessor[ContentShuffleDetector](https://github.com/pytorch/pytorch/blob/main/torch/nn/modules/pixelshuffle.py)
+:::
+
+**Uni-ControlNet**
+:::{figure-md}
+
+
+Uni-ControlNet Architecture [출처](https://arxiv.org/abs/2305.16322)
+:::
+
+**T2I-Adapter**
+
+:::{figure-md}
+
+
+비교를 위한 T2I Adapter의 작동 방식 [출처](https://arxiv.org/abs/2302.08453) [PixelUnshuffle](https://pytorch.org/docs/stable/generated/torch.nn.PixelUnshuffle.html)
+:::
+
+:::{figure-md}
+
+
+T2I Adapter의 장점 [출처](https://arxiv.org/abs/2302.08453)
+:::
+
+:::{figure-md}
+
+
+T2I-adapter의 결과는 기존 모델의 각 층의 feature map 크기가 맞도록 더해짐 [출처](https://arxiv.org/abs/2302.08453)
+:::
+
+**SeeCoder**
+:::{figure-md}
+
+
+SeeCoder Architecture [출처](https://arxiv.org/abs/2305.16223)
+:::
+
+# Method
+
+### Preliminaries
+
+
+> 📌 생성모델의 일종인 diffusion model의 이미지 생성단계
+> 1. **diffusion process (forward process)** \
+ T step의 fixed Markov chain을 통해데이터에 gaussian noise를 점차 추가.
+> 2. **denoising process** \
+ gaussian noise로 부터 learnable model을 통해 sample을 생성.
+
+
+일반적으로 noise 예측을 위한 diffusion model($\epsilon_\theta$)의 training objective는 아래와 같이 단순한 variant of variational bound 로 표현된다.
+
+$$
+L_{\text{simple}}=\Bbb E_{x_0, \epsilon\sim \mathcal N(0,I),c,t}\|\epsilon-\epsilon_\theta(x_t, \mathbf c,t)\|^2 \tag{1}
+$$
+
+$x_0$ 는 real data, $\mathbf c$ 는 추가조건, $t$ 는 time step을 말하며 $[0,T]$ 내에 속한다. $x_t=\alpha_t x_0+\sigma_t\epsilon$은 step t에 해당하는 noisy data를 말하고, $\alpha_t, \sigma_t$는 diffusino process를 결정하는 predefined function이다. $\epsilon_\theta$가 한번 학습되고 나면 랜덤 노이즈로부터 이미지를 반복적으로 생성할 수 있다. 일반적으로 생성 속도를 높이기 위해 DDIM, PNDM, DPM-solver와 같은 fast sampler를 inference시 사용한다.
+
+conditional diffusion model에서 classifier guidance를 통해 이미지 정확도(fidelity)와 다양성(sample diversity)를 밸런싱할 수 있다. 이는 따로 학습된 classifier의 gradient를 활용하는데, classifier를 따로 학습하는 번거로움을 지우기 위해 classifier-free guidance를 사용하기도 한다. 이런 접근에서 conditional, unconditional diffusion models는 학습시 랜덤하게 조건 $c$ 를 배제하여 합동 학습(joint training)된다. sampling단계 에서는 conditional model과 unconditional model의 prediction을 모두 이용하여 noise를 계산한다.
+
+$$
+\hat \epsilon_\theta(x_t,\mathbf c,t)=\mathcal w \epsilon_\theta(x_t,\mathbf c, t)+(1-\mathcal w)\epsilon_\theta(x_t,t) \tag{2}
+$$
+
+$\mathcal w$은 guidance scale 혹은 guidance weight로 불리는데 condition $c$의 영향력을 조절하기 위한 상수값이다. T2I diffusion model의 경우 image-text 일치성을 높이는데 classifier-free guidance가 큰 역할을 한다.
+
+본 논문에서는 open-source SD에 IP-Adapter를 덧붙여 실험을 진행했다. SD는 latent diffusion model로 frozen CLIP text encoder로 뽑아낸 text feature를 condition으로 사용한다. diffusion model은 Unet에 attention layer가 추가된 형태이다. Imagen과 같은 pixel-based diffusion model과 비교해 SD는 사전학습된 auto-encoder model을 활용해 latent space에서 동작하므로 효율적이다.
+
+### Image Prompt Adapter
+
+:::{figure-md}
+
+
+IP-Adapter의 동작방식 [출처](https://arxiv.org/abs/2308.06721)
+:::
+
+:::{figure-md}
+
+
+비교를 위한 Stable Diffusion의 구조 [출처](https://arxiv.org/abs/2112.10752)
+:::
+
+**Image Encoder**
+
+pretained CLIP image encoder를 사용해 image prompt에서 image feature를 뽑아냈다. CLIP은 multimodal model로 거대 image-text pair 데이터셋으로 contrastive learning시킨 모델이다. CLIP image encoder를 통해 global image embedding을 얻었다. 이는 image로 부터 풍부한 내용(content)와 스타일을 담은 image caption과 잘 조정되어(well-aligned) 있다. 학습단계에서 CLIP image encoder는 frozen되어 학습되지 않는다.
+
+**Decoupled Cross-Attention**
+
+image feature는 사전학습된 UNet에 decoupled cross-attention을 통해 결합된다. 초기 SD model에서는 CLIP text encoder를 통해 뽑아낸 text feature를 UNet의 cross-attention layer에 넣었다.
+
+$$
+\mathbf Z'=\text{Attention}(\mathbf{Q,K,V})=\text{Softmax}(\frac{\mathbf {QK}^T}{\sqrt{d}})\mathbf V, \tag{3}
+$$
+
+query feature는 $Z$, text feature는 $c_t$, cross-attention의 결과는 $Z’$이고, $\mathbf{Q=ZW_q, K=c_t W_k, V=c_t W_v}$는 attention 연산의 각각 query, key, value 행렬이다. $\mathbf{W_q, W_k, W_v}$는 linear projection layers의 학습가능한 weigth matrices다.
+
+image feature를 이미지 생성에 반영하는 직관적인 방법은 cross-attention시 text feature+image feature로 결합(concatenate)하여 처리하는 것이다. 하지만 이 방법은 충분하지 않다는 것을 발견하여 decoupled cross-attention을 제안한다. 이는 cross-attention 에서 image feature와 text feature를 따로 처리하는 것이다. 구체적으로는 기존 cross-attention layer가 존재하던 곳에 새로운 cross-attention layer를 추가하여 image feature를 처리하도록 했다. image feature $c_i$가 주어질때 새로운 attention layer의 결과는 다음과 같다.
+
+$$
+\mathbf Z''=\text{Attention}(\mathbf{Q,K',V'})=\text{Softmax}(\frac{\mathbf{Q(K')}^T}{\sqrt{d}})\mathbf V', \tag{4}
+$$
+
+$\mathbf{Q=ZW_q}$, $\mathbf{K'=c_t W'_k}$ , $\mathbf{V'=c_t W'_v}$ 는 image feature를 위한 query, key, value 행렬이다. 여기서 핵심은 text cross-attention과 image cross-attention에서 동일한 qeury를 사용했다는 점이다. 결과적으로는 각 cross-attention layer 마다 2개의 파라미터 $\mathbf{W'_k,W'_v}$ 를 추가하게 된다. 수렴속도를 높이기 위해 $\mathbf{W'_k,W'_v}$는 $\mathbf{W_k,W_v}$로 초기화했다. 그러면 두 cross-attention layer의 결과를 더함으로써 최종 결과를 구할 수 있다. decoupled cross-attention의 최종적인 형태는 다음과 같다.
+
+$$
+\mathbf Z^\text{new}=\text{Softmax}(\frac{\mathbf {QK}^T}{\sqrt{d}})\mathbf V + \text{Softmax}(\frac{\mathbf {Q(K')}^T}{\sqrt{d}})\mathbf V' \tag{5}
+$$
+
+$$ \text{where} \space \mathbf{Q=ZW}_q,\space \mathbf{k=c}_t\mathbf W_k,\space \mathbf{K'=c}_i\mathbf W'_k, \space \mathbf{V'=c}_i\mathbf W'_v
+$$
+
+사전학습한 UNet은 freeze시키고 훈련을 진행하므로 $\mathbf{W'_k,W'_v}$ **만** 학습된다.
+
+
+
+**Training and Inference**
+
+학습시 IP-Adapter만 최적화하고 기존 사전학습된 diffusion model은 고정한다. IP-Adapter는 image-text pair dataset으로 학습시키며 original SD와 동일한 objective를 사용한다.
+
+$$
+L_{\text{simple}}=\Bbb E_{x_0, \epsilon\sim \mathcal N(0,I),c_t,c_i,t}\|\epsilon-\epsilon_\theta(x_t,\mathbf {c_t,c_i},t)\|^2 \tag{6}
+$$
+
+또 random하게 image condition을 drop하여 inference 단계에서 classifier-free guidance를 사용할 수 있도록 한다.
+
+$$
+\hat \epsilon_\theta(x_t,\mathbf {c_t,c_i},t)=\mathcal w \epsilon_\theta(x_t,\mathbf {c_t,c_i}, t)+(1-\mathcal w)\epsilon_\theta(x_t,t) \tag{7}
+$$
+
+image condition이 drop되면 CLIP image embedding은 0으로 처리했다. text cross-attention과 image cross-attention을 detach되며 inference시 image condition의 가중치도 조절할 수 있다. $\lambda$ 가 0이 되면 기존 T2I 모델이 된다.
+
+$$
+\mathbf Z^\text{new}=\text{Softmax}(\mathbf {Q,K,V})+ \lambda\cdot\text{Softmax}(\mathbf {Q,K',V'})\tag{8}
+$$
+
+# Experiments
+
+### Experimental Setup
+
+| 항목 | 값 |
+|--------|:------:|
+| base model | SD v1.5 |
+| image encoder | OpenCLIP ViT-H/14 |
+| resolution | 512x512 (resized and center crop) |
+| optimizer | AdamW |
+| learning rate | 0.0001 |
+| weight decay | 0.01 |
+| libraries | Hugging Face diffusers,\\ DeepSpeed SeRO-2 |
+| GPU | 8 V100 |
+| training step | 1M |
+| batch size | 8 per GPU |
+| classifier-free guidance | 0.05 |
+| training data | LAION-2B, COYO-700M |
+| sampler for inference | DDIM (50steps) |
+| guidance scale | 7.5 |
+| $\lambda$ | 1.0 for only image prompt |
+
+### Comparison with Existing Methods
+
+**Quantitative Comparison**
+:::{figure-md}
+
+
+실험결과 [출처](https://arxiv.org/abs/2308.06721)
+:::
+
+**Qualitative Comparison**
+:::{figure-md}
+
+
+실험결과 [출처](https://arxiv.org/abs/2308.06721)
+:::
+
+(실험 결과를 보고 IP-Adapter를 활용해 생성한 이미지가 reference와 지나치게 유사하다는 생각이 들었습니다. 몇몇은 그냥 좌우반전을 한것처럼 느껴졌습니다. 흔히 GAN에서 말하는 Model Collapse와 같은 현상이 아닌가 싶어 다양성이 낮아보이는 결과가 의아했으나, conclusion에서 이 단점을 언급합니다.)
+
+### More Results
+
+**Generalizable to Custom Models**
+:::{figure-md}
+
+
+실험결과 [출처](https://arxiv.org/abs/2308.06721)
+:::
+
+**Structure Control**
+:::{figure-md}
+
+
+실험결과 [출처](https://arxiv.org/abs/2308.06721)
+:::
+
+**Image-to-Image Inpainting**
+:::{figure-md}
+
+
+실험결과 [출처](https://arxiv.org/abs/2308.06721)
+:::
+
+**Multimodal Prompts**
+:::{figure-md}
+
+
+실험결과 [출처](https://arxiv.org/abs/2308.06721)
+:::
+
+### Ablation Study
+
+**Importance of Decoupled Cross-Attention**
+:::{figure-md}
+
+
+실험결과 [출처](https://arxiv.org/abs/2308.06721)
+:::
+
+**Comparison of Fine-grained Features and Global Features**
+:::{figure-md}
+
+
+실험결과 [출처](https://arxiv.org/abs/2308.06721)
+:::
+
+IP-Adapter는 CLIP image encoder로 부터 추출한 global image embedding를 사용하기 때문에 reference image의 일부 특성을 잃어버릴 수 있다. 따라서 fine-grained feature를 위한 IP-Adapter를 디자인했다. 첫번째로 CLIP image encoder에서 penultimate layer에서 grid feature를 뽑아낸다. 이후 작은 query network를 이용해 feature를 학습한다. grid feature로 부터 정보를 뽑아내기 위해 lightweight transformer를 사용해 learnable 16 token들을 정의한다. 이 token feature들을 query network의 cross-attention layer에 입력으로 넣어준다.
+
+두 adapter의 생성 결과를 비교하면 finer-grained feature를 이용하면 보다 image prompt와 가까운 결과를 얻을 수 있다. finer-grained feature는 spatial structure information을 학습하여 생성된 이미지의 diversity를 낮추는 결과를 초래할 수 있으나 추가적인 조건(text prompt, structure map)을 활용하면 다양한 이미지를 만들 수 있다. 예를 들어 위의 그림과 같이 사진+pose를 통해 이미지를 생성 할 수 있다.
+
+# Conclusion
+
+본 연구에서는 사전 학습된 T2I diffusion model에 image prompt capability를 달성하기 위해 IP-Adapter를 제안한다. IP-Adapter의 핵심 디자인은 decoupled cross-attention으로 image feature를 분리하여 cross-attention을 수행한다. 고작 22M parameter가 추가된 IP-Adapter는 qualitative, quantitative experimental results 모두에서 비등하거나 나은 성능을 보인다. 또한 IP-Adapter는 확장성이 좋아 한번 훈련된 뒤, 다른 custom model, structural controllable tools에 곧바로 덧붙여 사용할 수도 있다. 더욱 중요한 점은 image prompt를 text prompt와 더애 멀티모달 이미지 생성을 가능케한다는 점이다.
+
+IP-Adapter는 효과적이지만 reference image와 content, style이 유사한 이미지만 생성할 수 있다는 단점이 있을 수 있다. 때문에 Textual Inversion이나 DreamBooth와 같이 특정 이미지 집합 풍의 이미지를 생성하지는 못한다. 미래에 consistency를 향상시킨 더 강력한 Image prompt adapter를 개발하는 것이 목표다.
+
+**Textural Inversion**
+:::{figure-md}
+
+
+Textural Inversion 동작방식 [출처](https://arxiv.org/abs/2308.06721)
+:::
+
+:::{figure-md}
+
+
+Textural Inversion 실험결과 [출처](https://arxiv.org/abs/2308.06721)
+:::
+
+**DreamBooth**
+:::{figure-md}
+
+
+DreamBooth 동작 방식 [출처](https://arxiv.org/abs/2308.06721)
+:::
+
+:::{figure-md}
+
+
+DreamBooth 실험결과 [출처](https://arxiv.org/abs/2308.06721)
:::
\ No newline at end of file
diff --git a/_sources/docs/review/LCM-LoRA.md b/_sources/docs/review/LCM-LoRA.md
index ef1f6dff..034d393e 100755
--- a/_sources/docs/review/LCM-LoRA.md
+++ b/_sources/docs/review/LCM-LoRA.md
@@ -1,217 +1,217 @@
-```{admonition} Information
-- **Title:** LCM-LoRA: A Universal Stable-Diffusion Acceleration Module
-
-- **Reference**
- - Paper: [https://arxiv.org/pdf/2403.12036](https://arxiv.org/pdf/2311.05556)
- - Code: [Official](https://github.com/luosiallen/latent-consistency-model)
-
-- **Author:** Donghyun Han
-
-- **Last updated on Oct. 02, 2024**
-```
-
-# LCM-LoRA: A Universal Stable-Diffusion Acceleration Module
-
-## Proposal
-
-- Latent Consistency Models(LCMs)에 Low Rank Adaptation (LoRA)을 적용하였다.
-- LoRA를 이용하여 Stable Diffusion에 대한 추가적인 학습 없이도 fine-tuning 가능. (Accelerate 효과 극대화)
-- 이전의 다양한 PF-ODE (Probability-Flow ODE) solver를 사용한 방법론들보다 더 generalized 된 성능
-
-## 1. Introduction
-
-### 기존 연구의 한계점
-
-Latent Diffusion Models(LDMs)은 image generation 분야에서 좋은 성능을 보이고 있다. 그러나 아직까지는 느린 reverse process 때문에 사용자가 직접 사용하기에는 무리가 있다.
-따라서 LDMs을 가속화(Accelerate)하기 위한 기법들이 제안되어 왔는데 크게 2가지로 나눌 수 있다:
-
-1. DDIM, DPM-Solver, DPM-Solver++ 등 **ODE-Solver 기반 방법론**.
-2. LDM을 경량화 하기 위한 **Distillation 기반 방법론**.
-
-ODE-Solver 방법론은 sampling step을 줄일 수 있지만 Classifier-free Guidance(CFG) 등을 사용할 때 Computation 적으로 Overhead가 있을 수 있다.
-Distillation 방법론 또한 Distillation 시 Computation적으로 Overhead가 있어 한계가 있다.
- ex)[Guided Distill](https://arxiv.org/pdf/2210.03142) : 2 stage의 distillation 방식 + high resolution image 생성 한계
-
-### LCMs 기반 연구
-
-이에 반해 Consistency Models(CMs)에서 영감을 받은 Latent Consistency Models(LCMs)은 매우 좋은 대안이다. backward process를 augmented Probability Flow ODE(PF-ODE) problem으로 접근하여 반복적인 step을 획기적으로 줄일 수 있었다. LCMs은 1~4 step만으로도 높은 퀄리티의 고해상도 이미지를 생성해낼 수 있으며 큰 리소스가 필요하지 않다.
-
-그러나 LCMs을 기반으로 하는 방법론은 새로운 데이터셋에 대해 finetuning이 필요하거나 pretrained LDMs을 필요로 하는 한계가 존재한다.
-
-따라서 본 연구는 추가 학습없이 Stable Diffusion(SD)이나 SD-LoRA 등에 plug-in 해서 사용할 수 있는 LCM-LoRA를 제안한다. LCM-LoRA는 새로운 종류의 neural network 기반 PF-ODE Solver이며, 강력한 일반화 성능을 보여준다.
-
-## 2. Related Work
-
-### Consistency Models
-
-CMs은 sampling step을 획기적으로 줄이면서도 Quality를 유지할 수 있는 방법론이다.
-
-:::{figure-md}
-
-
-Consistency Models
-:::
-
-CMs의 핵심은 PF-ODE의 궤적의 points가 solution에 mapping 되는 function $(f: (x_t,t) \mapsto x_\epsilon)$을 추정하는 것이다.
-쉽게 말해 어떤 step의 noise image 던지 $x_0$ (정확히는 $x_\epsilon$)의 결과가 나오는 function을 추정한다. 또한 각 timestep에 관한function의 결과값은 self-consistency를 만족해야 한다.
-
-$$
-f(x_t,t)=f(x_{t'},t'), \forall t, t' \in [\epsilon, T].
-$$
-
-$\epsilon$은 매우작은 양수 값이다. 이때 $f_\theta(x,\epsilon)=x$를 만족하는 model $f_\theta$는 다음과 같이 정의한다:
-
-$$
-f_\theta(x,t)=c_{skip}(t)x+c_{out}(t)F_\theta(x,t).
-$$
-
-$c_{skip}(\epsilon)=1$, $c_{out}(\epsilon)=0$ 이기 때문에 $f_\theta(x,\epsilon)=x$를 만족한다. 위 수식은 미분 가능함을 증명하기 위한 수식이다. $F_\theta$는 심층신경망을 의미한다.
-
-CMs은 scratch부터 학습하는 방식과 Distillation 방식으로 나뉘는데 보편적으로 Distillation이 사용된다. Distillation 방식은 지수평균이동(Exponential Moving Average, EMA)를 통해 self-consistency를 학습할 수 있다:
-
-$$
-L(\theta,\theta^-;\Phi)=\mathbb{E}_{x,t}\bigg[d\bigg(f_\theta(x_{t_{n+1}},t_{n+1}),f_{\theta^-}(\hat{x}^\phi_{t_n},t_n)\bigg)\bigg].
-$$
-
-$\theta^-$는 $\theta$에 대한 EMA를 의미하며 $d(\cdot, \cdot)$은 두 sample 사이의 거리를 측정하는 지표이다. $\hat{x}^{\phi}_{t_n}$는 $x_{t_{n+1}}$에 대한 $x_{t_n}$을 추정한 값으로 다음과 같다:
-
-$$
-\hat{x}^{\phi}_{t_n} \leftarrow x_{t_{n+1}}+(t_n-t_{n+1})\Phi(x_{t_{n+1}},t_{n+1};\phi)
-$$
-
-$\Phi$는 numerical PF-ODE를 의미한다. (보통 DDIM을 사용하는 것 같다) 즉 $x_{t_n}$을 PF-ODE로 예측한 값을 입력으로 하는 예측값과 $x_{t_{n+1}}$을 입력으로 하는 예측값이 같도록 self-consistency를 비교하는 것이 핵심이다.
-
-### Latent Consistency Models
-
-:::{figure-md}
-
-
-Latent Diffusion Models
-:::
-
-LCMs은 CMs에 condition을 추가해주고 $F_\theta(x,t)$를 $\epsilon-Prediction$의 수식으로 치환한다. ($\mu$나 $v$ prediction을 사용해도 됨.) 추가로 LDMs 기반이기 때문에 latent $z$에 대한 수식으로 변경해준다.
-
-$$f_\theta(z,c,t)=c_{skip}(t)z+c_{out}(t)\bigg(\frac{z-\sigma(t)\hat{\epsilon}_\theta(z,c,t)}{\alpha(t)}\bigg). (\epsilon-Prediction)$$
-$$L_{CD}(\theta,\theta^-;\psi)=\mathbb{E}_{z,c,n}\bigg[d\bigg(f_\theta(z_{t_{n+1}},c,t_{n+1}),f_{\theta^-}(\hat{z}^\psi_{t_n},c,t_n)\bigg)\bigg].$$
-$n$은 timestep이지만 기존$t$와는 다른 timestep $[t,T]$에 대한 하위 간격이다. $(t_1=\epsilon
-
-Low Rank Adaptation
-:::
-
-위의 그림과 같이 원본 모델 weight는 freeze, LoRA는 rank를 r로 낮추어 finetuning한다. 이때 LoRA의 A는 random Gauissian으로, B는 zero로 weight initializing 한다.
-
-:::{figure-md}
-
-
-Low Rank Adaptation matrix
-:::
-
-위 그림처럼 기존에는 d x d의 매우 큰 weight를 finetuning 해야 했지만, LoRA는 r만큼 압축된 weight matrix만 finetuning 하면 되기 때문에 훨씬 효율적이고 때에 따라 Fully fine-tuning 하는 방법들보다 더 좋은 성능을 보여주기도 한다. (그림은 [이곳](https://ffighting.net/deep-learning-paper-review/language-model/lora/)을 참고하였습니다.)
-
-원본 논문의 LoRA는 LLM을 target으로 만들어졌기 때문에 Transformer의 query, key, value에 대한 parameter로 사용하였지만 Diffusion이나 다른 모델의 finetuning시에도 간단하게 사용 가능하다.
-
-## Task Arithmetic in Pretrained Models
-
-task Arithmetic은 특정 task에서 학습된 Model의 가중치를 task vector라 보고 각 task vector를 조합하여 새로운 task vector를 생성하는 방법론이다.
-
-:::{figure-md}
-
-
-Task Arithmetic
-:::
-
-pre-trained parameter를 $\theta_{pre}$, fine-tuning parameter를 $\theta_{ft}$라고 할때 task vector $\tau$는 $\theta_{ft}-\theta_{pre}$로 정의할 수 있다.
-이를 다양하게 조합하고 특히 d)처럼 task 간 analogy를 고려하여 연산하는 경우 새로운 task에 대한 성능을 높일 수 있다.
-
-# 3. LCM-LoRA
-
-## 3.1 LoRA Distillation for LCM
-
-LCMs의 Latent Consistency Distillation에 대한 pseudo code는 다음과 같다:
-
-:::{figure-md}
-
-
-Latent Consistency Distillation
-:::
-
-논문의 저자는 LCMs의 Distillation은 LDMs에 관한 일종의 fine-tuning으로 보고 LoRA를 적용하는 방법을 제안하였다.
-pre-trained 된 weight matrix $W_0$에 대하여 기울기 업데이트는 $W_0+\Delta W=W_0+BA, W_0\in \mathbb{R}^{d\times k}, B\in \mathbb{R}^{d\times r}, A\in \mathbb{R}^{r\times k}$ 로 표현할 수 있으며 rank $r \leq \min{(d,k)}$ 로 작은 값을 갖는다. $W_0$의 weight는 고정되며 input $x$ 에 대한 forward pass는 다음과 같다:
-
-$$h=W_0x+\Delta Wx=W_0x+BAx. \tag{1}$$
-
-위와같이 LCMs에 LoRA를 적용할 경우 학습 parameter를 크게 줄일 수 있어 효율적이다.
-
-:::{figure-md}
-
-
-compare trainable parameter
-:::
-
-따라서 LCM-loRA는 기존 LCMs 보다 더 큰 모델의 훈련과 실사용이 가능하다. LCMs의 경우 SD-V1.5나 SD-V2.1의 base Stable Diffusion을 사용했지만, LCM-LoRA는 SDXL과 SSD-1B(Segmind)을 확장하여 사용하였다. large Model에서도 LCD을 적용했을 때 잘 적응하는 모습을 볼 수 있었다.
-
-:::{figure-md}
-
-
-1024 x 1024 resolution image results with CFG scale w=7.5
-:::
-
-## 3.2 LCM-LoRA as Universal Acceleration Module
-
-LCM-LoRA는 sampling step을 줄이는 distillation에 LoRA를 적용하였다. LoRA는 이외에도 custionized datasets에 대해 fine-tuning할 때 주로 쓰이는데 이같은 style에 대한 LoRA와 LCM-LoRA가 추가 학습없이 바로 합쳐져 사용할 수 있음을 발견했다. 저자는 이 발견이 task arithmetic에 대한 관점으로 해석할 수 있다고 주장하였다.
-
-:::{figure-md}
-
-
-Style LoRA with LCM-LoRA
-:::
-
-LCM-LoRA의 fine-tuned parameter를 $\tau_{LCM}$이라 할 때, $\tau_{LCM}$은 acceleration vector라 할수 있다. 그리고 custom dataset에서 학습한 LoRA의 fine-tuned parameter를 $\tau'$이라 할 때, $\tau'$은 style vector라 할 수 있다. LCMs를 통해 custom dataset에 대한 image를 생성할 때, 파라미터는 다음과 같이 조합된다:
-
-$$\theta'_{LCM}=\theta_{pre}+\tau'_{LCM} \tag{2}$$
-$$\tau'_{LCM}=\lambda_1\tau'+\lambda_2\tau_{LCM} \tag{3}$$
-
-파라미터는 단순한 선형 결합을 통해 이루어지며 $\lambda_1$과 $\lambda_2$는 하이퍼파라미터다. 추가적인 학습없이 다음과 같은 결과를 얻을 수 있었다:
-
-:::{figure-md}
-
-
-fine-tuning with LCM-LoRA
-:::
-
-# 4. Conclusion
-
-- training-free acceleration module인 LCM-LoRA를 제안.
-- PF-ODE를 예측하며 Stable Diffusion 및 SD LoRA에 fast inference, minimal step을 제공함.
-- 강력한 일반화 성능 증명.
+```{admonition} Information
+- **Title:** LCM-LoRA: A Universal Stable-Diffusion Acceleration Module
+
+- **Reference**
+ - Paper: [https://arxiv.org/pdf/2403.12036](https://arxiv.org/pdf/2311.05556)
+ - Code: [Official](https://github.com/luosiallen/latent-consistency-model)
+
+- **Author:** Donghyun Han
+
+- **Last updated on Oct. 02, 2024**
+```
+
+# LCM-LoRA: A Universal Stable-Diffusion Acceleration Module
+
+## Proposal
+
+- Latent Consistency Models(LCMs)에 Low Rank Adaptation (LoRA)을 적용하였다.
+- LoRA를 이용하여 Stable Diffusion에 대한 추가적인 학습 없이도 fine-tuning 가능. (Accelerate 효과 극대화)
+- 이전의 다양한 PF-ODE (Probability-Flow ODE) solver를 사용한 방법론들보다 더 generalized 된 성능
+
+## 1. Introduction
+
+### 기존 연구의 한계점
+
+Latent Diffusion Models(LDMs)은 image generation 분야에서 좋은 성능을 보이고 있다. 그러나 아직까지는 느린 reverse process 때문에 사용자가 직접 사용하기에는 무리가 있다.
+따라서 LDMs을 가속화(Accelerate)하기 위한 기법들이 제안되어 왔는데 크게 2가지로 나눌 수 있다:
+
+1. DDIM, DPM-Solver, DPM-Solver++ 등 **ODE-Solver 기반 방법론**.
+2. LDM을 경량화 하기 위한 **Distillation 기반 방법론**.
+
+ODE-Solver 방법론은 sampling step을 줄일 수 있지만 Classifier-free Guidance(CFG) 등을 사용할 때 Computation 적으로 Overhead가 있을 수 있다.
+Distillation 방법론 또한 Distillation 시 Computation적으로 Overhead가 있어 한계가 있다.
+ ex)[Guided Distill](https://arxiv.org/pdf/2210.03142) : 2 stage의 distillation 방식 + high resolution image 생성 한계
+
+### LCMs 기반 연구
+
+이에 반해 Consistency Models(CMs)에서 영감을 받은 Latent Consistency Models(LCMs)은 매우 좋은 대안이다. backward process를 augmented Probability Flow ODE(PF-ODE) problem으로 접근하여 반복적인 step을 획기적으로 줄일 수 있었다. LCMs은 1~4 step만으로도 높은 퀄리티의 고해상도 이미지를 생성해낼 수 있으며 큰 리소스가 필요하지 않다.
+
+그러나 LCMs을 기반으로 하는 방법론은 새로운 데이터셋에 대해 finetuning이 필요하거나 pretrained LDMs을 필요로 하는 한계가 존재한다.
+
+따라서 본 연구는 추가 학습없이 Stable Diffusion(SD)이나 SD-LoRA 등에 plug-in 해서 사용할 수 있는 LCM-LoRA를 제안한다. LCM-LoRA는 새로운 종류의 neural network 기반 PF-ODE Solver이며, 강력한 일반화 성능을 보여준다.
+
+## 2. Related Work
+
+### Consistency Models
+
+CMs은 sampling step을 획기적으로 줄이면서도 Quality를 유지할 수 있는 방법론이다.
+
+:::{figure-md}
+
+
+Consistency Models
+:::
+
+CMs의 핵심은 PF-ODE의 궤적의 points가 solution에 mapping 되는 function $(f: (x_t,t) \mapsto x_\epsilon)$을 추정하는 것이다.
+쉽게 말해 어떤 step의 noise image 던지 $x_0$ (정확히는 $x_\epsilon$)의 결과가 나오는 function을 추정한다. 또한 각 timestep에 관한function의 결과값은 self-consistency를 만족해야 한다.
+
+$$
+f(x_t,t)=f(x_{t'},t'), \forall t, t' \in [\epsilon, T].
+$$
+
+$\epsilon$은 매우작은 양수 값이다. 이때 $f_\theta(x,\epsilon)=x$를 만족하는 model $f_\theta$는 다음과 같이 정의한다:
+
+$$
+f_\theta(x,t)=c_{skip}(t)x+c_{out}(t)F_\theta(x,t).
+$$
+
+$c_{skip}(\epsilon)=1$, $c_{out}(\epsilon)=0$ 이기 때문에 $f_\theta(x,\epsilon)=x$를 만족한다. 위 수식은 미분 가능함을 증명하기 위한 수식이다. $F_\theta$는 심층신경망을 의미한다.
+
+CMs은 scratch부터 학습하는 방식과 Distillation 방식으로 나뉘는데 보편적으로 Distillation이 사용된다. Distillation 방식은 지수평균이동(Exponential Moving Average, EMA)를 통해 self-consistency를 학습할 수 있다:
+
+$$
+L(\theta,\theta^-;\Phi)=\mathbb{E}_{x,t}\bigg[d\bigg(f_\theta(x_{t_{n+1}},t_{n+1}),f_{\theta^-}(\hat{x}^\phi_{t_n},t_n)\bigg)\bigg].
+$$
+
+$\theta^-$는 $\theta$에 대한 EMA를 의미하며 $d(\cdot, \cdot)$은 두 sample 사이의 거리를 측정하는 지표이다. $\hat{x}^{\phi}_{t_n}$는 $x_{t_{n+1}}$에 대한 $x_{t_n}$을 추정한 값으로 다음과 같다:
+
+$$
+\hat{x}^{\phi}_{t_n} \leftarrow x_{t_{n+1}}+(t_n-t_{n+1})\Phi(x_{t_{n+1}},t_{n+1};\phi)
+$$
+
+$\Phi$는 numerical PF-ODE를 의미한다. (보통 DDIM을 사용하는 것 같다) 즉 $x_{t_n}$을 PF-ODE로 예측한 값을 입력으로 하는 예측값과 $x_{t_{n+1}}$을 입력으로 하는 예측값이 같도록 self-consistency를 비교하는 것이 핵심이다.
+
+### Latent Consistency Models
+
+:::{figure-md}
+
+
+Latent Diffusion Models
+:::
+
+LCMs은 CMs에 condition을 추가해주고 $F_\theta(x,t)$를 $\epsilon-Prediction$의 수식으로 치환한다. ($\mu$나 $v$ prediction을 사용해도 됨.) 추가로 LDMs 기반이기 때문에 latent $z$에 대한 수식으로 변경해준다.
+
+$$f_\theta(z,c,t)=c_{skip}(t)z+c_{out}(t)\bigg(\frac{z-\sigma(t)\hat{\epsilon}_\theta(z,c,t)}{\alpha(t)}\bigg). (\epsilon-Prediction)$$
+$$L_{CD}(\theta,\theta^-;\psi)=\mathbb{E}_{z,c,n}\bigg[d\bigg(f_\theta(z_{t_{n+1}},c,t_{n+1}),f_{\theta^-}(\hat{z}^\psi_{t_n},c,t_n)\bigg)\bigg].$$
+$n$은 timestep이지만 기존$t$와는 다른 timestep $[t,T]$에 대한 하위 간격이다. $(t_1=\epsilon
+
+Low Rank Adaptation
+:::
+
+위의 그림과 같이 원본 모델 weight는 freeze, LoRA는 rank를 r로 낮추어 finetuning한다. 이때 LoRA의 A는 random Gauissian으로, B는 zero로 weight initializing 한다.
+
+:::{figure-md}
+
+
+Low Rank Adaptation matrix
+:::
+
+위 그림처럼 기존에는 d x d의 매우 큰 weight를 finetuning 해야 했지만, LoRA는 r만큼 압축된 weight matrix만 finetuning 하면 되기 때문에 훨씬 효율적이고 때에 따라 Fully fine-tuning 하는 방법들보다 더 좋은 성능을 보여주기도 한다. (그림은 [이곳](https://ffighting.net/deep-learning-paper-review/language-model/lora/)을 참고하였습니다.)
+
+원본 논문의 LoRA는 LLM을 target으로 만들어졌기 때문에 Transformer의 query, key, value에 대한 parameter로 사용하였지만 Diffusion이나 다른 모델의 finetuning시에도 간단하게 사용 가능하다.
+
+## Task Arithmetic in Pretrained Models
+
+task Arithmetic은 특정 task에서 학습된 Model의 가중치를 task vector라 보고 각 task vector를 조합하여 새로운 task vector를 생성하는 방법론이다.
+
+:::{figure-md}
+
+
+Task Arithmetic
+:::
+
+pre-trained parameter를 $\theta_{pre}$, fine-tuning parameter를 $\theta_{ft}$라고 할때 task vector $\tau$는 $\theta_{ft}-\theta_{pre}$로 정의할 수 있다.
+이를 다양하게 조합하고 특히 d)처럼 task 간 analogy를 고려하여 연산하는 경우 새로운 task에 대한 성능을 높일 수 있다.
+
+# 3. LCM-LoRA
+
+## 3.1 LoRA Distillation for LCM
+
+LCMs의 Latent Consistency Distillation에 대한 pseudo code는 다음과 같다:
+
+:::{figure-md}
+
+
+Latent Consistency Distillation
+:::
+
+논문의 저자는 LCMs의 Distillation은 LDMs에 관한 일종의 fine-tuning으로 보고 LoRA를 적용하는 방법을 제안하였다.
+pre-trained 된 weight matrix $W_0$에 대하여 기울기 업데이트는 $W_0+\Delta W=W_0+BA, W_0\in \mathbb{R}^{d\times k}, B\in \mathbb{R}^{d\times r}, A\in \mathbb{R}^{r\times k}$ 로 표현할 수 있으며 rank $r \leq \min{(d,k)}$ 로 작은 값을 갖는다. $W_0$의 weight는 고정되며 input $x$ 에 대한 forward pass는 다음과 같다:
+
+$$h=W_0x+\Delta Wx=W_0x+BAx. \tag{1}$$
+
+위와같이 LCMs에 LoRA를 적용할 경우 학습 parameter를 크게 줄일 수 있어 효율적이다.
+
+:::{figure-md}
+
+
+compare trainable parameter
+:::
+
+따라서 LCM-loRA는 기존 LCMs 보다 더 큰 모델의 훈련과 실사용이 가능하다. LCMs의 경우 SD-V1.5나 SD-V2.1의 base Stable Diffusion을 사용했지만, LCM-LoRA는 SDXL과 SSD-1B(Segmind)을 확장하여 사용하였다. large Model에서도 LCD을 적용했을 때 잘 적응하는 모습을 볼 수 있었다.
+
+:::{figure-md}
+
+
+1024 x 1024 resolution image results with CFG scale w=7.5
+:::
+
+## 3.2 LCM-LoRA as Universal Acceleration Module
+
+LCM-LoRA는 sampling step을 줄이는 distillation에 LoRA를 적용하였다. LoRA는 이외에도 custionized datasets에 대해 fine-tuning할 때 주로 쓰이는데 이같은 style에 대한 LoRA와 LCM-LoRA가 추가 학습없이 바로 합쳐져 사용할 수 있음을 발견했다. 저자는 이 발견이 task arithmetic에 대한 관점으로 해석할 수 있다고 주장하였다.
+
+:::{figure-md}
+
+
+Style LoRA with LCM-LoRA
+:::
+
+LCM-LoRA의 fine-tuned parameter를 $\tau_{LCM}$이라 할 때, $\tau_{LCM}$은 acceleration vector라 할수 있다. 그리고 custom dataset에서 학습한 LoRA의 fine-tuned parameter를 $\tau'$이라 할 때, $\tau'$은 style vector라 할 수 있다. LCMs를 통해 custom dataset에 대한 image를 생성할 때, 파라미터는 다음과 같이 조합된다:
+
+$$\theta'_{LCM}=\theta_{pre}+\tau'_{LCM} \tag{2}$$
+$$\tau'_{LCM}=\lambda_1\tau'+\lambda_2\tau_{LCM} \tag{3}$$
+
+파라미터는 단순한 선형 결합을 통해 이루어지며 $\lambda_1$과 $\lambda_2$는 하이퍼파라미터다. 추가적인 학습없이 다음과 같은 결과를 얻을 수 있었다:
+
+:::{figure-md}
+
+
+fine-tuning with LCM-LoRA
+:::
+
+# 4. Conclusion
+
+- training-free acceleration module인 LCM-LoRA를 제안.
+- PF-ODE를 예측하며 Stable Diffusion 및 SD LoRA에 fast inference, minimal step을 제공함.
+- 강력한 일반화 성능 증명.
diff --git a/_sources/docs/review/LLM_grounded_Diffusion.md b/_sources/docs/review/LLM_grounded_Diffusion.md
index add227e1..98313f1e 100755
--- a/_sources/docs/review/LLM_grounded_Diffusion.md
+++ b/_sources/docs/review/LLM_grounded_Diffusion.md
@@ -1,223 +1,223 @@
-``` {admonition} Information
-- **Title:** LLM-grounded Diffusion: Enhancing Prompt Understanding of Text-to-Image Diffusion Models with Large Language Models
-- **Reference**
- - Paper: [https://arxiv.org/pdf/2305.13655]
- - Code: [https://github.com/TonyLianLong/LLM-groundedDiffusion](https://github.com/TonyLianLong/LLM-groundedDiffusion)
- - Project Page: [https://llm-grounded-diffusion.github.io/](https://llm-grounded-diffusion.github.io/)
-- **Author:** Sehwan Park
-- **Last updated on May. 24, 2024**
-```
-
-
-
-# LLM Grounded Diffusion
-
-## Abstract
-
-최근의 text-to-image generation 모델을 큰 발전을 이루었다. 하지만 이러한 모델들은 여전히 numeracy와 spatial reasoning을 요구하는 복잡한 프롬프트를 잘 반영하지 못하고 이미지를 생성하는 문제들이 있다. 그래서 본 논문에서는 LLM과 레이아웃 기반 이미지 생성모델을 활용하여 Diffusion model에서 프롬프트 이해 능력을 향상시키는 방법을 제안한다.
-
-## Introduction
-
-:::{figure-md}
-
-
-
-Limitation in Diffusion Model
-:::
-
-Diffusion model의 등장과 발전에 따라 T2I(Text to Image) generation 모델은 크게 발전되어왔다. 최근의 SDXL 모델을 보면 상당한 quality의 이미지를 생성하는 것을 볼 수 있다. 그럼에도 불구하고, diffusion model은 복잡한 프롬프트를 잘 반영해서 이미지를 생성하는 것에 취약한 점을 보인다. 위의 figure를 보면 크게 Negation, Generative Numeracy, Attribute Binding, Spatial Relationships에서 큰 문제점을 보임을 알 수 있다.
-
-가장 단순히 위의 문제를 해결하는 방법은 복잡한 프롬프트가 포함된 대규모의 multi-modal dataset을 가지고 모델을 훈련하는 방법이다. 하지만 이러한 방법은 시간과 리소스 측면에서 좋지못한 면이 있으며, 좋은 quality의 multi-modal dataset을 대규모로 확보하는 것 조차 쉽지 않은 일이다.
-
-이러한 문제를 피하면서 위의 figure의 대표적인 문제점을 해결하기 위해 본 논문에서는 LLM 및 Layout to Image Generation 모델을 활용하여 training-free 방법으로 접근한다.
-
-:::{figure-md}
-
-
-
-Overview of LLM-Grounded Diffusion
-:::
-
-* Stage1
-
- 주어진 prompt에 대해서 LLM을 활용하여 표현되어야 할 foreground object에 대한 layout을 생성한다. prompt로 부터 foreground object들을 해당 attribute과 함께 parsing을 하고 reasoning을 통해 올바른 bounding box coordinate을 얻는 것이 목표인 단계이다. LLM의 In-Context Learning(7-shot)을 활용하여 LLM을 Layout Generator로써 활용한다.
-
-* Stage2
-
- Stage1으로 부터 각각의 foreground object에 대한 caption과 bounding box coordinate을 기반으로 실제 해당 bounding box에 해당 caption이 생성되도록 하는 단계이다. 이 과정에서 training-free 방법을 적용하기 위해 Stable Diffusion의 inference과정에서 attention map을 manipulate 하는 방법을 통해 Layout to image generation을 가능케한다.
-
-본 논문의 main contribution은 다음과 같다.
-
-1. We propose a training-free two-stage generation pipeline that introduces LLMs to improve the prompt understanding ability of text-to-image diffusion models.
-2. We introduce layout-grounded Stable Diffusion, a novel controller that steers an off-the-shelf diffusion model to generate images grounded on instance-level box layouts from the LLM.
-3. LMD enables instruction-based scene specification and allows broader language support in the prompts.
-4. We propose a benchmark to assess the prompt understanding ability of a text-to-image model and demonstrate the superior performance of LMD over recent baselines.
-
-
-
-## LLM-grounded Diffusion
-
-1. LLM-based Layout Generation
-
- 이 단계는 위의 stage1과 같은 단계로써 LLM을 통해 prompt로 부터 각 foreground object의 caption과 bounding box의 coordinate을 얻는 단계이다.
-
- :::{figure-md}
-
- 
-
- Overview Prompt
- :::
-
- 우선 이 단계에서의 prompt는 다음과 같이 구성되어 있다. prompt의 가장 윗단인 Instruction을 보면 LLM에게 정보를 주는 말들로 이루어져 있으며 Task specification과 supporting details로 이루어져 있음을 알 수 있다. LLM에게 직접적으로 해야할 일들과 정보를 주는 prompt라고 볼 수 있다.
-
- :::{figure-md}
-
- 
-
- In-context Examples
- :::
-
- Overview Prompt의 In-context Examples에 관련된 부분이다. 이 부분을 통해 input prompt로 부터 원하는 형태로 output값을 얻을 수 있다. LLM을 직접 학습시키지 않고 few shot example을 통해 LLM으로 부터 원하는 결과를 이끌어내는 방법을 취한 부분이다. Gpt 3.5같은 경우에는 7-shot을 사용했고, Gpt4 같은 경우는 1-shot만으로도 충분히 원하는 형태로 결과를 얻을 수 있었다고 한다. 결과는 Objects 부분에 나와있다. Foreground Object에 대한 caption값과 해당 bounding box의 coordinate값으로 이루어져 있음을 알 수 있다.
-
-2. Layout-grounded Stable Diffusion
-
- 이 단계에서는 LLM이 생성한 레이아웃을 기반으로 이미지 생성을 하기 위해 컨트롤러를 도입한다. 이전의 training-free 방법을 택했던 work들의 경우, regional denoising 혹은 inference과정에서의 단순한 attention manipulation을 통해 semantic guidance를 적용하지만, 이러한 방법들은 의미 있는 영역 내 객체의 수(generative numeracy)를 제어하는 능력이 부족하다. 이는 다른 인스턴스들간의 구별이 latent space나 attention map에서 어렵기 때문에 발생하며, 이는 인스턴스 수준의 control을 힘들게 하는 요인이다. 반면, LMD(LLM-grounded Diffusion)는 각 개별 경계 상자에 대해 마스킹된 잠재 변수를 먼저 생성하고, 이러한 마스킹된 잠재 변수를 prior로 사용하여 전체 이미지 생성을 안내함으로써 인스턴스 수준의 control이 가능토록 한다. 이를통해 각 객체 인스턴스의 정확한 배치와 속성 결합을 허용한다.
-
- :::{figure-md}
-
- 
-
- Overall image generation with masked latents as priors
- :::
-
- Stage2는 크게 step1,2로 나눠진다. step1의 경우에는 stage1에서 구한 각각의 box들에 대해서 box내의 object들에 대한 latent map을 구하는 과정이다. stage2는 stage1에서 구한 각 box에 대한 latent map을 compose하여 전체적인 image를 생성하는 과정이다.
-
- * step1
-
- 예를 들어, 위의 그림처럼 gray cat에 관한 bounding box가 stage1을 통해 구해졌다면, box안에 gray cat이 그려지도록 유도를 할 수 있을 것이다. 그러는 과정에서 저 box에 gray cat이 생성되도록 하는 마치 Ground Truth latent map을 얻을 수 있게 된다. 모든 object들에 대해 이러한 방법으로 denoising 과정에서 모든 step의 latent map을 구하는 것이다. 모든 단일 box에 대해 그 box에 해당 caption object가 생성되도록 하는 GT latent map을 구하는 게 step1의 과정이라고 생각하면 된다. 사실 상 LMD의 핵심은 step1에서 진행된다고 볼 수 있다.
-
- 크게 보자면, 각 foreground object에 대해서 $Z_T$ 부터 $Z_0$까지 denoising을 거치면서 모든 step t에 대한 latent map을 구하면 된다. 이 때, 가장 중요한 것은 foreground object가 실제 box안에서 잘 생성되도록 하는것이 선행이 되어야 한다. 이를 유도하기 위해 저자들은 각 denoising step마다 box내부에 해당 foreground object가 생성되도록 attention manipulation을 진행한다.
-
-
- $$
- A_{uv}^{(i)} = Softmax(q_u^TK_v)
- $$
-
- 식(1)과 같이 pixel값들과 prompt내에서의 text token 간의 cross-attention map을 나타낼 수 있다. u는 이미지 내의 모든 각 pixel들을 의미하고 v는 각 text token을 의미한다.
-
- 구성되는 프롬프트에 대해 예시를 들어 정리하자면, 전체 프롬프트가 "A realistic photo of a gray cat and an orange dog on the grass" 였다고 하자. 그러면 각 foreground object에 대해서 프롬프트를 따로 생성한다. “[background prompt] with [box caption]” (e.g., “a realistic image of an indoor scene with a gray cat”) 형태로 각 foreground object에 대한 프롬프트를 구성한다.
-
- :::{figure-md}
-
- 
-
- Overview of attention manipulation
- :::
-
- Object와 Bounding box를 align하기 위해서는 위의 그림에서 보이듯이 box 내부 pixel의 object에 관한 token과의 attention은 증가되고 다른 token과의 attention은 감소되면 된다. 위의 그림을 예시로 보면 "a gray cat"이라는 token과는 box내부 pixel들이 attention이 증가하고, 다른 token과는 attention이 감소하도록 유도되면 된다. 이 방법을 유도 하기 위해 본 논문의 저자들은 energy function을 사용한다.
-
-
- $$
- E(A_i, i, v) = -\text{Topk}_u (A_{uv} \cdot b^{(i)}) + \omega \text{Topk}_u (A_{uv} \cdot (1 - b^{(i)}))
- $$
- 식(2)의 Energy function을 보면 foreground object i에 대한 token v가 정해져 있을 때, box 내부 pixel이 token v와의 attention값이 크고 box 외부 pixel이 token v와의 attention값이 작으면 Energy function값이 최소가 됨을 알 수 있다. 정리하자면 위의 Energy function값이 최대한 작아지면 box 내부의 pixel들의 object token에 대한 attention이 증가되고, box와 foreground object간의 align이 잘 이루어지게 되는 것이다.
-
-
- $$
- z^{(i)}_t \leftarrow z^{(i)}_t - \eta \nabla z^{(i)}_t \sum_{v \in V_i} E(A^{(i)}, i, v)
- $$
-
- $$
- z^{(i)}_{t-1} \leftarrow \text{Denoise}(z^{(i)}_t)
- $$
-
-
-
- Energy function이 최소가 되도록 하기 위해 본 논문은 식(3)과 같은 optimize과정을 거친다. 방법은 단순하다. Gradient Descent를 생각해보면 parameter로 loss function을 표현하고 loss function이 최소가 되도록 parameter들을 optimize하면서 유도한다. 이 방법 역시 같다. Energy function을 최소로 만드는 것이 목표이기에 이는 loss function과 같은 역할을 하게 된다. 그리고 Energy function의 식들은 $z_t$에 대해 표현이 가능하기에, Energy function을 통해 z_t를 optimize하여 Energy function이 최소화가 되도록 유도한다. Energy function 최소화는 각 denoising timestep마다 5회 반복되며, denoising 단계가 다섯 번 진행될 때마다 선형적으로 감소하여 반복 횟수가 1회로 줄어든다. 또한, 30step 후에는 guidance를 수행하지 않는다.
-
- guidance가 진행되면서 denoising이 다 끝나고 나면 모든 step에 대한 latent map을 얻을 수 있게 되고, attention map을 얻을 수 있게 된다. 이 때 attention map을 SAM을 통해 segment를 진행하거나 threshold값을 설정하여 Foreground mask를 구하게 된다. 이후에 구한 모든 time step에 대한 latent map에 Foreground Mask와 pixel wise곱을 해주어서 masked latent를 구하게 된다.
-
- * step2
-
- step2에서는 step1에서 구한 각 foreground object들을 compose하여 처음에 주어진 prompt에 대한 이미지를 잘 생성하는 것이 목표인 단계이다. 기존 work에 의하면 diffusion model은 denoising의 초기 단계에서 semantic한 정보들을 생성하며, 이후 단계에서부터 fine-detail한 부분을 생성한다. 이 점을 이용해서 compose를 하는 step2에서는 단순히 latent map을 compose한다음 denoising을 진행하는 것이 아니라, step의 절반 지점까지는 latent map을 compose하면서 step1과 마찬가지로 optimize를 진행하며 foreground object들이 실제로 원하는 위치에 생성되도록 유도를 하게 된다. 이후부터는 fine-detail한 부분을 생성하여 자연스러운 이미지를 만들기 위해 compose나 optimize를 하지 않고 이미지를 생성하게 된다. Compose관련 식과 optimize를 위한 step2에서의 Energy function은 아래와 같다.
-
-
- $$
- z^{(\text{comp})}_t \leftarrow \text{LatentCompose}(z^{(\text{comp})}_t, \hat{z}^{(i)}_t, m^{(i)}) \quad \forall i
- $$
-
- $$
- E^{(\text{comp})}(A^{(\text{comp})}, A^{(i)}, i, v) = E(A^{(\text{comp})}, i, v) + \lambda \sum_{u \in V'_i} \left| A^{(\text{comp})}_{uv} - A^{(i)}_{uv} \right|
- $$
-
- 최종적으로 denoising이 다 진행된 이후, decoder를 통해 latent space에서 pixel space로 변환되어 최종 이미지가 생성된다.
-
-## Evaluation
-
-Evaluation 같은 경우는 Qualitive한 결과와 Quantitive한 결과로 나누어서 보여준다. Introduction에서 소개한 기존 T2I model의 문제점 4가지를 잘 해결하고자 하는 것이 이 work의 목표이었기에 4가지 항목에 대해 평가를 진행한다. 데이터 같은 경우는 Negation, Attribute Binding, Generative Numeracy, Spatial Relationships를 각각 평가하기 위한 100개씩의 데이터를 수집해서 진행을 하였다고 한다. Evaluation metric이 존재하진 않고 Quantitive한 결과를 위해서 OWL-VIT detector를 활용하여 object들에 대한 bounding box값을 얻은 후에, 생성된 이미지가 prompt에 잘 맞게 생성되어있는지를 확인하였다고 한다. 추가적으로 Ablation study에 대한 다양한 결과들도 포함되어 있다.
-
-:::{figure-md}
-
-
-
-Qualititive Results1 of LMD
-:::
-
-:::{figure-md}
-
-
-
-Qualititive Results2 of LMD
-:::
-
-기존 Stable Diffusion XL 모델과 비교하여 LMD가 얼마나 prompt에 잘 대응하는 이미지를 생성하는지를 보여주는 결과이다. Introduction에서 언급했듯이 기존 SDXL모델은 이미지의 전반적인 부분은 잘 생성하지만 numarcy, spatial relationship, attribute matching등을 잘 만족시키지 못하는 경우가 발생한다. 하지만 LMD는 이러한 문제점들을 잘 해결하고 있는 것으로 보인다.
-
-:::{figure-md}
-
-
-
-Quantitive Results of LMD & LMD+
-:::
-
-위의 result는 기존 Stable Diffusion과 이 논문에서 제시하는 LMD 방법 그리고 기존 layout to image generation model인 GLIGEN의 adapter를 가져와서 통합한 방법인 LMD+ 세가지를 비교한다. LMD & LMD+ 모두 기존 SD에 비해 월등한 결과를 보임을 알 수 있다.
-
-:::{figure-md}
-
-
-
-Ablation of LMD & LMD+
-:::
-
-Ablation study의 결과를 보면, 앞선 결과와 마찬가지로 LMD가 훨씬 더 좋은 성능임을 알 수 있다. LMD의 Baseline model로 SDv1.5, SDv2.1을 각각 써본 결과 둘의 차이는 거의 없었다고 한다. 또한 Foreground mask를 구하기 위해 SAM을 사용했을 경우와 SAM을 사용하지 않고 Threshold를 사용해서 구한 결과도 보여주었는데 이는 LMD일때와 LMD+일때가 서로 다른 결과를 보인다. LMD에서는 attention기반의 guidance가 layout box와 관련하여 공간적으로 정확하지 않기 때문에, SAM은 객체를 커버하는 올바른 마스크를 얻는 데 도움을 준다. 따라서 SAM을 제거하면 LMD에서 약간의 성능 저하가 발생하게 된다. 반면에 LMD+에서는 기존 잘 훈련된 GLIGEN 모델을 가져와 이용하기 때문에 대부분의 경우 SAM이 필요하지 않게된다. 오히려, SAM은 때때로 배경을 포함하는 영역을 선택하여 혼란을 일으키고 성능을 저하시키게 되어 SAM을 제거하면 LMD+에서는 결과가 오히려 개선되는 효과가 있었다고 한다.
-
-:::{figure-md}
-
-
-
-Ablations on layout-to-image methods as stage 2 with LMD's LLM layout generator as stage 1
-:::
-
-위의 결과는 Stage1과 Stage2에 어떤 방법을 가져왔느냐에 따른 전체적인 Quantative한 결과를 보여준다. 우선 Stage1 즉, object에 대한 개별 bounding box를 생성하는 부분에 대해서는 이 논문의 LMD기법을 다 사용을 하였다. 생성된 box를 기반으로 이미지를 생성하는 Stage 2에 대해서 training-free 방법 즉, guidance를 주는 방법을 사용한 경우와 기존 pretrain된 layout to image generation model, 여기에 LMD기법을 추가적으로 더한 방법인 training-based 방법을 나누어서 비교한다. 우선 training-free 방법의 경우, 다른 guidance 기법에 비해 이 논문에서 제시한 stage2의 방법이 훨씬 더 뛰어난 성능을 보임을 알 수 있다. training-based 방법의 경우, 기존 layout to image generation model인 GLIGEN을 그대로 가져온 경우, GLIGEN에 이 논문의 stage2 기법을 적용한 LMD+, LMD+ 에서 GPT3.5대신 GPT4를 사용한 경우로 나누어서 비교를 한다. 사실상 LMD+가 가장 좋은 성능을 보임을 알 수 있다. GPT 버전을 GPT4로 바꾼 경우는 Numeracy에서는 성능이 살짝 감소하지만, 다른 부분에 대해서는 성능이 좀 더 많이 증가한 모습을 확인할 수 있다.
-
-:::{figure-md}
-
-
-
-Ablations on GPT version + Compare with SD
-:::
-
-GPT같은 경우 GPT3.5-turbo를 사용한 경우와 GPT4를 사용한 경우를 나누어서 실험을 진행하였다. GPT4의 경우 1-shot으로 진행을 해도 layout을 잘 만드는 모습을 보였고, GPT3.5의 경우 7shots으로 진행을 해야 완벽하게 layout을 생성하는 결과를 보임을 알 수 있다.
-
-:::{figure-md}
-
-
-
-Ablations on different LLM and same LLM with different size
-:::
-
-서로 다른 LLM을 사용해서 진행을 해본 결과, 다른 open-source model에 비해 gpt4가 확실히 좋은 성능을 보였음을 알 수 있다. 또한 똑같은 open-source model을 다른 크기로 적용해본결과 더 큰 규모의 model이 더 좋은 성능을 보임을 알 수 있다.
-
-## Summary
-
-LMD는 text-to-image generation diffusion model이 prompt를 더 잘 반영해서 이미지를 생성할 수 있도록 한 방법이다. 추가적인 Training을 하지 않고 prompt를 더 잘이해할 수 있도록 기존 Text to Image에서 intermediate representation인 layout을 활용한 방법이 특징이라고 할 수 있다. 두 가지 stage로 나눠 LLM-based text-grounded layout generation과 layout-grounded image generation을 통해 문제를 해결하고자 한 논문이다.
-
+``` {admonition} Information
+- **Title:** LLM-grounded Diffusion: Enhancing Prompt Understanding of Text-to-Image Diffusion Models with Large Language Models
+- **Reference**
+ - Paper: [https://arxiv.org/pdf/2305.13655]
+ - Code: [https://github.com/TonyLianLong/LLM-groundedDiffusion](https://github.com/TonyLianLong/LLM-groundedDiffusion)
+ - Project Page: [https://llm-grounded-diffusion.github.io/](https://llm-grounded-diffusion.github.io/)
+- **Author:** Sehwan Park
+- **Last updated on May. 24, 2024**
+```
+
+
+
+# LLM Grounded Diffusion
+
+## Abstract
+
+최근의 text-to-image generation 모델을 큰 발전을 이루었다. 하지만 이러한 모델들은 여전히 numeracy와 spatial reasoning을 요구하는 복잡한 프롬프트를 잘 반영하지 못하고 이미지를 생성하는 문제들이 있다. 그래서 본 논문에서는 LLM과 레이아웃 기반 이미지 생성모델을 활용하여 Diffusion model에서 프롬프트 이해 능력을 향상시키는 방법을 제안한다.
+
+## Introduction
+
+:::{figure-md}
+
+
+
+Limitation in Diffusion Model
+:::
+
+Diffusion model의 등장과 발전에 따라 T2I(Text to Image) generation 모델은 크게 발전되어왔다. 최근의 SDXL 모델을 보면 상당한 quality의 이미지를 생성하는 것을 볼 수 있다. 그럼에도 불구하고, diffusion model은 복잡한 프롬프트를 잘 반영해서 이미지를 생성하는 것에 취약한 점을 보인다. 위의 figure를 보면 크게 Negation, Generative Numeracy, Attribute Binding, Spatial Relationships에서 큰 문제점을 보임을 알 수 있다.
+
+가장 단순히 위의 문제를 해결하는 방법은 복잡한 프롬프트가 포함된 대규모의 multi-modal dataset을 가지고 모델을 훈련하는 방법이다. 하지만 이러한 방법은 시간과 리소스 측면에서 좋지못한 면이 있으며, 좋은 quality의 multi-modal dataset을 대규모로 확보하는 것 조차 쉽지 않은 일이다.
+
+이러한 문제를 피하면서 위의 figure의 대표적인 문제점을 해결하기 위해 본 논문에서는 LLM 및 Layout to Image Generation 모델을 활용하여 training-free 방법으로 접근한다.
+
+:::{figure-md}
+
+
+
+Overview of LLM-Grounded Diffusion
+:::
+
+* Stage1
+
+ 주어진 prompt에 대해서 LLM을 활용하여 표현되어야 할 foreground object에 대한 layout을 생성한다. prompt로 부터 foreground object들을 해당 attribute과 함께 parsing을 하고 reasoning을 통해 올바른 bounding box coordinate을 얻는 것이 목표인 단계이다. LLM의 In-Context Learning(7-shot)을 활용하여 LLM을 Layout Generator로써 활용한다.
+
+* Stage2
+
+ Stage1으로 부터 각각의 foreground object에 대한 caption과 bounding box coordinate을 기반으로 실제 해당 bounding box에 해당 caption이 생성되도록 하는 단계이다. 이 과정에서 training-free 방법을 적용하기 위해 Stable Diffusion의 inference과정에서 attention map을 manipulate 하는 방법을 통해 Layout to image generation을 가능케한다.
+
+본 논문의 main contribution은 다음과 같다.
+
+1. We propose a training-free two-stage generation pipeline that introduces LLMs to improve the prompt understanding ability of text-to-image diffusion models.
+2. We introduce layout-grounded Stable Diffusion, a novel controller that steers an off-the-shelf diffusion model to generate images grounded on instance-level box layouts from the LLM.
+3. LMD enables instruction-based scene specification and allows broader language support in the prompts.
+4. We propose a benchmark to assess the prompt understanding ability of a text-to-image model and demonstrate the superior performance of LMD over recent baselines.
+
+
+
+## LLM-grounded Diffusion
+
+1. LLM-based Layout Generation
+
+ 이 단계는 위의 stage1과 같은 단계로써 LLM을 통해 prompt로 부터 각 foreground object의 caption과 bounding box의 coordinate을 얻는 단계이다.
+
+ :::{figure-md}
+
+
+
+ Overview Prompt
+ :::
+
+ 우선 이 단계에서의 prompt는 다음과 같이 구성되어 있다. prompt의 가장 윗단인 Instruction을 보면 LLM에게 정보를 주는 말들로 이루어져 있으며 Task specification과 supporting details로 이루어져 있음을 알 수 있다. LLM에게 직접적으로 해야할 일들과 정보를 주는 prompt라고 볼 수 있다.
+
+ :::{figure-md}
+
+
+
+ In-context Examples
+ :::
+
+ Overview Prompt의 In-context Examples에 관련된 부분이다. 이 부분을 통해 input prompt로 부터 원하는 형태로 output값을 얻을 수 있다. LLM을 직접 학습시키지 않고 few shot example을 통해 LLM으로 부터 원하는 결과를 이끌어내는 방법을 취한 부분이다. Gpt 3.5같은 경우에는 7-shot을 사용했고, Gpt4 같은 경우는 1-shot만으로도 충분히 원하는 형태로 결과를 얻을 수 있었다고 한다. 결과는 Objects 부분에 나와있다. Foreground Object에 대한 caption값과 해당 bounding box의 coordinate값으로 이루어져 있음을 알 수 있다.
+
+2. Layout-grounded Stable Diffusion
+
+ 이 단계에서는 LLM이 생성한 레이아웃을 기반으로 이미지 생성을 하기 위해 컨트롤러를 도입한다. 이전의 training-free 방법을 택했던 work들의 경우, regional denoising 혹은 inference과정에서의 단순한 attention manipulation을 통해 semantic guidance를 적용하지만, 이러한 방법들은 의미 있는 영역 내 객체의 수(generative numeracy)를 제어하는 능력이 부족하다. 이는 다른 인스턴스들간의 구별이 latent space나 attention map에서 어렵기 때문에 발생하며, 이는 인스턴스 수준의 control을 힘들게 하는 요인이다. 반면, LMD(LLM-grounded Diffusion)는 각 개별 경계 상자에 대해 마스킹된 잠재 변수를 먼저 생성하고, 이러한 마스킹된 잠재 변수를 prior로 사용하여 전체 이미지 생성을 안내함으로써 인스턴스 수준의 control이 가능토록 한다. 이를통해 각 객체 인스턴스의 정확한 배치와 속성 결합을 허용한다.
+
+ :::{figure-md}
+
+
+
+ Overall image generation with masked latents as priors
+ :::
+
+ Stage2는 크게 step1,2로 나눠진다. step1의 경우에는 stage1에서 구한 각각의 box들에 대해서 box내의 object들에 대한 latent map을 구하는 과정이다. stage2는 stage1에서 구한 각 box에 대한 latent map을 compose하여 전체적인 image를 생성하는 과정이다.
+
+ * step1
+
+ 예를 들어, 위의 그림처럼 gray cat에 관한 bounding box가 stage1을 통해 구해졌다면, box안에 gray cat이 그려지도록 유도를 할 수 있을 것이다. 그러는 과정에서 저 box에 gray cat이 생성되도록 하는 마치 Ground Truth latent map을 얻을 수 있게 된다. 모든 object들에 대해 이러한 방법으로 denoising 과정에서 모든 step의 latent map을 구하는 것이다. 모든 단일 box에 대해 그 box에 해당 caption object가 생성되도록 하는 GT latent map을 구하는 게 step1의 과정이라고 생각하면 된다. 사실 상 LMD의 핵심은 step1에서 진행된다고 볼 수 있다.
+
+ 크게 보자면, 각 foreground object에 대해서 $Z_T$ 부터 $Z_0$까지 denoising을 거치면서 모든 step t에 대한 latent map을 구하면 된다. 이 때, 가장 중요한 것은 foreground object가 실제 box안에서 잘 생성되도록 하는것이 선행이 되어야 한다. 이를 유도하기 위해 저자들은 각 denoising step마다 box내부에 해당 foreground object가 생성되도록 attention manipulation을 진행한다.
+
+
+ $$
+ A_{uv}^{(i)} = Softmax(q_u^TK_v)
+ $$
+
+ 식(1)과 같이 pixel값들과 prompt내에서의 text token 간의 cross-attention map을 나타낼 수 있다. u는 이미지 내의 모든 각 pixel들을 의미하고 v는 각 text token을 의미한다.
+
+ 구성되는 프롬프트에 대해 예시를 들어 정리하자면, 전체 프롬프트가 "A realistic photo of a gray cat and an orange dog on the grass" 였다고 하자. 그러면 각 foreground object에 대해서 프롬프트를 따로 생성한다. “[background prompt] with [box caption]” (e.g., “a realistic image of an indoor scene with a gray cat”) 형태로 각 foreground object에 대한 프롬프트를 구성한다.
+
+ :::{figure-md}
+
+
+
+ Overview of attention manipulation
+ :::
+
+ Object와 Bounding box를 align하기 위해서는 위의 그림에서 보이듯이 box 내부 pixel의 object에 관한 token과의 attention은 증가되고 다른 token과의 attention은 감소되면 된다. 위의 그림을 예시로 보면 "a gray cat"이라는 token과는 box내부 pixel들이 attention이 증가하고, 다른 token과는 attention이 감소하도록 유도되면 된다. 이 방법을 유도 하기 위해 본 논문의 저자들은 energy function을 사용한다.
+
+
+ $$
+ E(A_i, i, v) = -\text{Topk}_u (A_{uv} \cdot b^{(i)}) + \omega \text{Topk}_u (A_{uv} \cdot (1 - b^{(i)}))
+ $$
+ 식(2)의 Energy function을 보면 foreground object i에 대한 token v가 정해져 있을 때, box 내부 pixel이 token v와의 attention값이 크고 box 외부 pixel이 token v와의 attention값이 작으면 Energy function값이 최소가 됨을 알 수 있다. 정리하자면 위의 Energy function값이 최대한 작아지면 box 내부의 pixel들의 object token에 대한 attention이 증가되고, box와 foreground object간의 align이 잘 이루어지게 되는 것이다.
+
+
+ $$
+ z^{(i)}_t \leftarrow z^{(i)}_t - \eta \nabla z^{(i)}_t \sum_{v \in V_i} E(A^{(i)}, i, v)
+ $$
+
+ $$
+ z^{(i)}_{t-1} \leftarrow \text{Denoise}(z^{(i)}_t)
+ $$
+
+
+
+ Energy function이 최소가 되도록 하기 위해 본 논문은 식(3)과 같은 optimize과정을 거친다. 방법은 단순하다. Gradient Descent를 생각해보면 parameter로 loss function을 표현하고 loss function이 최소가 되도록 parameter들을 optimize하면서 유도한다. 이 방법 역시 같다. Energy function을 최소로 만드는 것이 목표이기에 이는 loss function과 같은 역할을 하게 된다. 그리고 Energy function의 식들은 $z_t$에 대해 표현이 가능하기에, Energy function을 통해 z_t를 optimize하여 Energy function이 최소화가 되도록 유도한다. Energy function 최소화는 각 denoising timestep마다 5회 반복되며, denoising 단계가 다섯 번 진행될 때마다 선형적으로 감소하여 반복 횟수가 1회로 줄어든다. 또한, 30step 후에는 guidance를 수행하지 않는다.
+
+ guidance가 진행되면서 denoising이 다 끝나고 나면 모든 step에 대한 latent map을 얻을 수 있게 되고, attention map을 얻을 수 있게 된다. 이 때 attention map을 SAM을 통해 segment를 진행하거나 threshold값을 설정하여 Foreground mask를 구하게 된다. 이후에 구한 모든 time step에 대한 latent map에 Foreground Mask와 pixel wise곱을 해주어서 masked latent를 구하게 된다.
+
+ * step2
+
+ step2에서는 step1에서 구한 각 foreground object들을 compose하여 처음에 주어진 prompt에 대한 이미지를 잘 생성하는 것이 목표인 단계이다. 기존 work에 의하면 diffusion model은 denoising의 초기 단계에서 semantic한 정보들을 생성하며, 이후 단계에서부터 fine-detail한 부분을 생성한다. 이 점을 이용해서 compose를 하는 step2에서는 단순히 latent map을 compose한다음 denoising을 진행하는 것이 아니라, step의 절반 지점까지는 latent map을 compose하면서 step1과 마찬가지로 optimize를 진행하며 foreground object들이 실제로 원하는 위치에 생성되도록 유도를 하게 된다. 이후부터는 fine-detail한 부분을 생성하여 자연스러운 이미지를 만들기 위해 compose나 optimize를 하지 않고 이미지를 생성하게 된다. Compose관련 식과 optimize를 위한 step2에서의 Energy function은 아래와 같다.
+
+
+ $$
+ z^{(\text{comp})}_t \leftarrow \text{LatentCompose}(z^{(\text{comp})}_t, \hat{z}^{(i)}_t, m^{(i)}) \quad \forall i
+ $$
+
+ $$
+ E^{(\text{comp})}(A^{(\text{comp})}, A^{(i)}, i, v) = E(A^{(\text{comp})}, i, v) + \lambda \sum_{u \in V'_i} \left| A^{(\text{comp})}_{uv} - A^{(i)}_{uv} \right|
+ $$
+
+ 최종적으로 denoising이 다 진행된 이후, decoder를 통해 latent space에서 pixel space로 변환되어 최종 이미지가 생성된다.
+
+## Evaluation
+
+Evaluation 같은 경우는 Qualitive한 결과와 Quantitive한 결과로 나누어서 보여준다. Introduction에서 소개한 기존 T2I model의 문제점 4가지를 잘 해결하고자 하는 것이 이 work의 목표이었기에 4가지 항목에 대해 평가를 진행한다. 데이터 같은 경우는 Negation, Attribute Binding, Generative Numeracy, Spatial Relationships를 각각 평가하기 위한 100개씩의 데이터를 수집해서 진행을 하였다고 한다. Evaluation metric이 존재하진 않고 Quantitive한 결과를 위해서 OWL-VIT detector를 활용하여 object들에 대한 bounding box값을 얻은 후에, 생성된 이미지가 prompt에 잘 맞게 생성되어있는지를 확인하였다고 한다. 추가적으로 Ablation study에 대한 다양한 결과들도 포함되어 있다.
+
+:::{figure-md}
+
+
+
+Qualititive Results1 of LMD
+:::
+
+:::{figure-md}
+
+
+
+Qualititive Results2 of LMD
+:::
+
+기존 Stable Diffusion XL 모델과 비교하여 LMD가 얼마나 prompt에 잘 대응하는 이미지를 생성하는지를 보여주는 결과이다. Introduction에서 언급했듯이 기존 SDXL모델은 이미지의 전반적인 부분은 잘 생성하지만 numarcy, spatial relationship, attribute matching등을 잘 만족시키지 못하는 경우가 발생한다. 하지만 LMD는 이러한 문제점들을 잘 해결하고 있는 것으로 보인다.
+
+:::{figure-md}
+
+
+
+Quantitive Results of LMD & LMD+
+:::
+
+위의 result는 기존 Stable Diffusion과 이 논문에서 제시하는 LMD 방법 그리고 기존 layout to image generation model인 GLIGEN의 adapter를 가져와서 통합한 방법인 LMD+ 세가지를 비교한다. LMD & LMD+ 모두 기존 SD에 비해 월등한 결과를 보임을 알 수 있다.
+
+:::{figure-md}
+
+
+
+Ablation of LMD & LMD+
+:::
+
+Ablation study의 결과를 보면, 앞선 결과와 마찬가지로 LMD가 훨씬 더 좋은 성능임을 알 수 있다. LMD의 Baseline model로 SDv1.5, SDv2.1을 각각 써본 결과 둘의 차이는 거의 없었다고 한다. 또한 Foreground mask를 구하기 위해 SAM을 사용했을 경우와 SAM을 사용하지 않고 Threshold를 사용해서 구한 결과도 보여주었는데 이는 LMD일때와 LMD+일때가 서로 다른 결과를 보인다. LMD에서는 attention기반의 guidance가 layout box와 관련하여 공간적으로 정확하지 않기 때문에, SAM은 객체를 커버하는 올바른 마스크를 얻는 데 도움을 준다. 따라서 SAM을 제거하면 LMD에서 약간의 성능 저하가 발생하게 된다. 반면에 LMD+에서는 기존 잘 훈련된 GLIGEN 모델을 가져와 이용하기 때문에 대부분의 경우 SAM이 필요하지 않게된다. 오히려, SAM은 때때로 배경을 포함하는 영역을 선택하여 혼란을 일으키고 성능을 저하시키게 되어 SAM을 제거하면 LMD+에서는 결과가 오히려 개선되는 효과가 있었다고 한다.
+
+:::{figure-md}
+
+
+
+Ablations on layout-to-image methods as stage 2 with LMD's LLM layout generator as stage 1
+:::
+
+위의 결과는 Stage1과 Stage2에 어떤 방법을 가져왔느냐에 따른 전체적인 Quantative한 결과를 보여준다. 우선 Stage1 즉, object에 대한 개별 bounding box를 생성하는 부분에 대해서는 이 논문의 LMD기법을 다 사용을 하였다. 생성된 box를 기반으로 이미지를 생성하는 Stage 2에 대해서 training-free 방법 즉, guidance를 주는 방법을 사용한 경우와 기존 pretrain된 layout to image generation model, 여기에 LMD기법을 추가적으로 더한 방법인 training-based 방법을 나누어서 비교한다. 우선 training-free 방법의 경우, 다른 guidance 기법에 비해 이 논문에서 제시한 stage2의 방법이 훨씬 더 뛰어난 성능을 보임을 알 수 있다. training-based 방법의 경우, 기존 layout to image generation model인 GLIGEN을 그대로 가져온 경우, GLIGEN에 이 논문의 stage2 기법을 적용한 LMD+, LMD+ 에서 GPT3.5대신 GPT4를 사용한 경우로 나누어서 비교를 한다. 사실상 LMD+가 가장 좋은 성능을 보임을 알 수 있다. GPT 버전을 GPT4로 바꾼 경우는 Numeracy에서는 성능이 살짝 감소하지만, 다른 부분에 대해서는 성능이 좀 더 많이 증가한 모습을 확인할 수 있다.
+
+:::{figure-md}
+
+
+
+Ablations on GPT version + Compare with SD
+:::
+
+GPT같은 경우 GPT3.5-turbo를 사용한 경우와 GPT4를 사용한 경우를 나누어서 실험을 진행하였다. GPT4의 경우 1-shot으로 진행을 해도 layout을 잘 만드는 모습을 보였고, GPT3.5의 경우 7shots으로 진행을 해야 완벽하게 layout을 생성하는 결과를 보임을 알 수 있다.
+
+:::{figure-md}
+
+
+
+Ablations on different LLM and same LLM with different size
+:::
+
+서로 다른 LLM을 사용해서 진행을 해본 결과, 다른 open-source model에 비해 gpt4가 확실히 좋은 성능을 보였음을 알 수 있다. 또한 똑같은 open-source model을 다른 크기로 적용해본결과 더 큰 규모의 model이 더 좋은 성능을 보임을 알 수 있다.
+
+## Summary
+
+LMD는 text-to-image generation diffusion model이 prompt를 더 잘 반영해서 이미지를 생성할 수 있도록 한 방법이다. 추가적인 Training을 하지 않고 prompt를 더 잘이해할 수 있도록 기존 Text to Image에서 intermediate representation인 layout을 활용한 방법이 특징이라고 할 수 있다. 두 가지 stage로 나눠 LLM-based text-grounded layout generation과 layout-grounded image generation을 통해 문제를 해결하고자 한 논문이다.
+
diff --git a/_sources/docs/review/Latent_Diffusion_Model.md b/_sources/docs/review/Latent_Diffusion_Model.md
index 7e9512a1..22e50f56 100755
--- a/_sources/docs/review/Latent_Diffusion_Model.md
+++ b/_sources/docs/review/Latent_Diffusion_Model.md
@@ -1,191 +1,191 @@
-```{admonition} Information
-- **Title:** High-Resolution Image Synthesis with Latent Diffusion Models (CVPR 2022)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2112.10752](https://arxiv.org/abs/2112.10752)
- - Code: [https://github.com/CompVis/latent-diffusion](https://github.com/CompVis/latent-diffusion)
-
-- **Author:** Namkyeong Cho
-
-- **Last updated on May. 31, 2023**
-```
-
-
-# Introduction
-latent diffusion model이 어떻게 학습하는지 rate-distortion trade-off로 분석할 수 있다.
-:::{figure-md}
-
-
-Analysis of Latent Diffusion Model with rate-distortion trade-off
-:::
-
-학습 단계는 크게 2단계로 나눌 수 있다.
-- Perceptual Compression
- - Autoencoder를 학습하는 단계
- - perceptual : 인간의 인지와 관련된 것. 예를 들면 고양이 하면 고양이 귀, 꼬리 등 우리가 인지한 객체.
- - 압축 과정에서 일정 부분을 넘어가면 비트를 많이 써도 사람이 인지할 수 없는 것에 대해 사용됨. (Rate가 0.5 이후 넘어가는 것을 보면 다른 것이 인지 안됨)
- - 비트를 많이 씀 : 1비트(흑,백)로 표현하는 것을 8비트 등으로 표현 ⇒ 다양한 색상을 사용하여 색, 텍스쳐 등을 다양하게 표현할 수 있음. 이는 파라미터 수의 증가 등 모델 사이즈의 증가로 볼 수 있음.
- - Autoencoder를 통해 이미지 차원을 압축하여 사용할 비트를 줄임으로써 불필요한(사람이 인지할 수 없는) 것을 학습하지 않도록 함.
-- Semantic Compression
- - Diffusion model을 학습하는 단계로 이미지의 의미와 문맥을 이해하고 이를 바탕으로 압축하는 것을 말함. 예를 들어, 이미지 속의 개가 어디에 위치하는지, 배경이 무엇인지, 어떤 상황인지 등을 학습함.
-
-
-# Related Work
-생성 모델의 기존 모델은 다음과 같다.
-- GAN : 좋은 perceptual quality를 가진 고해상도 image의 sampling을 효율적으로 수행하나 최적화나 full data distribution을 찾기 어렵다.
- - 학습 불안정성(생성자, 판별자 기반의 손실함수), Mode Collapse(제한된 유형의 샘플만 생성하는 현상) 등 발생.
-- VAE, flow-based model : 고해상도 image의 효율적인 합성을 수행할 수 있으나 GAN보다 sample quality가 떨어진다.
- - flow-based model : Flow는 복잡한 분포를 모델링하기 위해 일련의 가역적인 비선형 변환을 사용하는 방법론.
- - 기본 아이디어 : 간단한 분포(예: 가우시안 분포)에서 복잡한 데이터 분포로 변환하는 일련의 함수들을 학습하는 것.
- - data를 잠재변수로 변환하는, 반대로 잠재변수를 data로 변환하는(역변환) 양방향 변환기를 학습시켜 잠재변수로부터 data를 generative 할 수 있도록 함.
-- Autoregressive : density 추정에서 강력한 performance를 달성하나 계산 비용과 sequential sampling process로 인해 저해상도 image로 제약된다.
-- pixel 기반의 image representation은 거의 인지하기 어려운 이미지의 detail한 부분을 포함하여 maximum-likelihood 학습은 이를 학습하는데 많은 용량과 시간을 소비한다.
-- Diffusion Probabilistic Models : sample quality 등에서 좋은 성능을 보이나 pixel 단위에서의 평가와 최적화는 낮은 inference speed와 높은 train cost를 유발한다.
-- VQ-VAEs : 기존 VAE 방법에 벡터 양자화(Vector Quantisation)를 도입한 방법이다. latent space의 연속형 벡터를 사전에 정한 codebook 벡터와의 거리를 계산하여 제일 유사한 값으로 변환한다.
- - 데이터 압축, 샘플링이 유용하면서 생성 모델의 품질을 높일 수도 있음.
-- VQ-GAN : VQ-VAE의 원리를 GAN에 적용한 방법이다. latent space의 연속형 벡터를 양자화하여 변환하면서 학습은 GAN의 adversarial loss를 추가로 활용한다.
- - 데이터 압축, 샘플링이 유용하면서 생성 모델의 품질을 높일 수도 있음.
-
-
-# Latent Diffusion Model
-
-오늘 알아볼 모델은 Latent Diffusion Model이다.
-기존에 다뤘던 Diffusion Model과 유사하게 동작하는 생성 모델이다. 이 논문에서는 컴퓨터 자원의 소모를 줄이면서 Diffusion Model과 유사한 성능을 얻는것이 그 목표이다.
-
-Latent Diffusion Model은 전반적으로 아래와 같은 구조를 가진다.
-
-:::{figure-md}
-
-
-Structure of Latent Diffusion Model
-:::
-$x \in \mathbb{R}^{H\times W \times 3}$이 input으로 주어졌을때 이를 encoder $\mathcal{E}$를 통해서 $z=\mathcal{E}(x) \in \mathbb{R}^{h\times w\times c }$로 인코딩 하고 $\hat{x}=\mathcal{D}(z)$
-로 디코딩을 한다. 이 논문에서 $f=H/h=W/w=2^m$, $m\in \mathbb{N}$이 되도록 여러 $m$에 대해서 테스트를 진행하였다. 또한 Latent space에서 분산이 커지지 않도록 KL divergence와 vector quantization(VQ)을 활용하였다.
-이미지외 텍스트나, sematic map과 같이 추가적인 정보는 $\tau_\theta$를 통해서 전달을 하였고,
-
-$$ Q=W^{(i)}_Q \phi_i(z_i), K=W^{(i)}_K \phi_i(z_i), V=W^{(i)}_V \phi_i(z_i) $$
-
-로 정의되고 $\phi_i(z_i)$는 $U$-Net 중간의 representation, $W^{i}_V, W^{i}_K, W^{i}_Q$는 학습 가능한 projection matrix이다.
-$Q, K, V$ 는 attention의 query, key, value에 해당하며
-
-$$
-Attention(Q, K, V) = softmax(\frac{QK^T}{\sqrt{d}})\cdot V
-$$
-
-로 연산이 진행된다. 학습을 위한 loss 함수는 다음과 같이 표현된다.
-
-$$
-\mathcal{L}_{LDM} = \mathbb{E}_{\mathcal{E}(x),
-\epsilon \sim \mathcal{N}(0,1),t} \left[ \|\epsilon-\epsilon_{\theta}(z_t,t) \|_{2}^{2}\right].
-$$
-
-여기서 주목할만한 부분은 기존 Diffusion Model에서
-
-$$
-\mathcal{L}_{DM} = \mathbb{E}_{x,
-\epsilon \sim \mathcal{N}(0,1),t} \left[ \|\epsilon-\epsilon_{\theta}(x_t,t) \|_{2}^{2}\right].
-$$
-
-와 같은 loss function으로 학습을 진행시키는데 $x_t$를 $z_t$로 바꾸면서 연산의 양을 줄였다는 점이다.
-
-위의 "Introduction"과 연관지으면 다음과 같이 생각 해볼 수 있다.
-- encoder $\varepsilon$, decoder $D$ 로 구성된 perceptual compression model(학습된)를 바탕으로 효율적인, 낮은 차원의 latent space(high-frequency, imperceptible detail이 제거된)를 가지게 됨
-- 고차원 공간과 비교했을 때 이 latent space는 likelihood-based generative model에 더 적합함
- - 데이터에 중요한 semantic bit에 집중할 수 있고 더 낮은 차원에서 효율적으로 학습 가능
-
-
-# Experiments
-
-## 4.1. On Perceptual Compression Tradeoffs
-- different downsampling factor $f \in \{1,2,4,8,16,32\}$ 에 대한 분석
- - latent space 차원 개수에 따른 차이 분석
- - LDM-1 : pixel-based DMs
-- computational resource : single NVIDIA A100 1대로 함
-- 전체 같은 parameter 개수와 step을 기준으로 함
-
-:::{figure-md}
-
-:::
-- 위의 표는 autoencoder 차원에 따른 hyperparameter, loss에 따른 실험 결과를 보임
-
-- 위의 그래프는 모델이 수렴하는데 소요되는 step을 분석함
-- $f$ 값이 너무 크면 약간의 학습 후 fidelty(학습 데이터와 실제 데이터의 유사도)가 정체된 것을 볼 수 있음
- - 이는 아래 사진의 결과와 perceptual과 bit ratio 부분을 생각해보면 대부분의 perceptual compression은 diffusion에 있으며 encoder와 decoder 부분에서 압축이 지나치게 되어 정보 손실이 발생하여 달성할 수 있는 품질이 제한됨
-
-:::{figure-md}
-
-:::
-
-
-:::{figure-md}
-
-:::
-
-- 위의 그래프는 CelebA-HQ와 ImageNet에서 학습된 모델을 DDIM sampler를 사용하여 다양한 step의 denoising에 대한 샘플링 속도 측면에서 FID 점수와 비교함
- - ImageNet이 CelebA-HQ 대비 더 복잡한 dataset임
-- point가 총 5개인데 오른쪽부터 왼쪽으로 step 수가 {10,20,50,100,200}을 의미함
-- LDM-{4-8}이 outperform을 발휘함
-- LDM-1은 낮은 FID를 가지고 sampling 속도도 느림
-
-## 4.2. Image Generation with Latent Diffusion
-- 256x256 image의 unconditional model을 CelebA-HQ, FFHQ, LSUN-Churches, Bedrooms로 학습하고 sample quality, data manifold의 coverage(FID, Precision-and-Recall) 평가
-:::{figure-md}
-
-:::
-- CelebA-HQ
- - 제안한 모델이 최고 성능
- - LSGM : encoder, decoder를 UNet과 동시에 학습시킨 결과
-- LSUN-Bedrooms : ADM보다 절반의 parameter와 짧은 train 시간으로 유사한 score(?)를 얻음
-- 제안한 방법인 LDM은 GAN-based methods을 지속적으로 개선해 adversarial 방식에 비해 mode-covering likelihood-based training의 이점을 Precision과 Recall을 통해 볼 수 있음. (아래 그림은 정성적 결과)
-:::{figure-md}
-
-:::
-
-## 4.3. Conditional Latent Diffusion
-### 4.3.1 Transformer Encoders for LDMs
-- text-to-image modeling : 1.45B parameter KL-regularized LDM
- - LAION-400M으로 language prompt 수행
- - BERT-tokenizer
- - $\tau_{\theta}$ : transformer
-:::{figure-md}
-
-
-text to image on LAION
-:::
-
-- 아래 사진은 Layout이 주어졌을 때, 이를 기반으로 image를 생성하는 layout-to-image의 샘플 결과임
-:::{figure-md}
-
-
-layout-to-image
-:::
-
-- class-conditional ImageNet model 결과
-:::{figure-md}
-
-:::
-
-### 4.3.2 Convolutional Sampling Beyond 256x256
-- spatially aligned conditioning information(semantic map 등)을 input에 연결했을 때 image-to-image translation model 목적 수행 가능
- - semantic synthesis, super-resolution, inpainting에 실험
-- semantic synthesis
- - dataset : semantic map을 가진 landscape image
- - semantic map의 downsampled version을 $f=4$ 인 model의 input으로 사용(VQ-reg)
- - input resolution : 256x256(crop from 384x384)
-- 아래 실험은 input 크기 대비 더 큰 image 생성 가능한 것을 보여줌
-:::{figure-md}
-
-:::
-
-## 4.4. Super-Resolution with Latent Diffusion
-- OpenImages로 사전학습된 $f=4$ autoencoding model(VQ-reg) 사용
-- low-resolution data가 input으로 들어감
-:::{figure-md}
-
-:::
-
-## 4.5. Inpainting with Latent Diffusion
-- 원본 이미지에서 원하는 물체를 제거한 뒤 이미지가 잘 복구된 것을 볼 수 있음
-:::{figure-md}
-
-:::
+```{admonition} Information
+- **Title:** High-Resolution Image Synthesis with Latent Diffusion Models (CVPR 2022)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2112.10752](https://arxiv.org/abs/2112.10752)
+ - Code: [https://github.com/CompVis/latent-diffusion](https://github.com/CompVis/latent-diffusion)
+
+- **Author:** Namkyeong Cho
+
+- **Last updated on May. 31, 2023**
+```
+
+
+# Introduction
+latent diffusion model이 어떻게 학습하는지 rate-distortion trade-off로 분석할 수 있다.
+:::{figure-md}
+
+
+Analysis of Latent Diffusion Model with rate-distortion trade-off
+:::
+
+학습 단계는 크게 2단계로 나눌 수 있다.
+- Perceptual Compression
+ - Autoencoder를 학습하는 단계
+ - perceptual : 인간의 인지와 관련된 것. 예를 들면 고양이 하면 고양이 귀, 꼬리 등 우리가 인지한 객체.
+ - 압축 과정에서 일정 부분을 넘어가면 비트를 많이 써도 사람이 인지할 수 없는 것에 대해 사용됨. (Rate가 0.5 이후 넘어가는 것을 보면 다른 것이 인지 안됨)
+ - 비트를 많이 씀 : 1비트(흑,백)로 표현하는 것을 8비트 등으로 표현 ⇒ 다양한 색상을 사용하여 색, 텍스쳐 등을 다양하게 표현할 수 있음. 이는 파라미터 수의 증가 등 모델 사이즈의 증가로 볼 수 있음.
+ - Autoencoder를 통해 이미지 차원을 압축하여 사용할 비트를 줄임으로써 불필요한(사람이 인지할 수 없는) 것을 학습하지 않도록 함.
+- Semantic Compression
+ - Diffusion model을 학습하는 단계로 이미지의 의미와 문맥을 이해하고 이를 바탕으로 압축하는 것을 말함. 예를 들어, 이미지 속의 개가 어디에 위치하는지, 배경이 무엇인지, 어떤 상황인지 등을 학습함.
+
+
+# Related Work
+생성 모델의 기존 모델은 다음과 같다.
+- GAN : 좋은 perceptual quality를 가진 고해상도 image의 sampling을 효율적으로 수행하나 최적화나 full data distribution을 찾기 어렵다.
+ - 학습 불안정성(생성자, 판별자 기반의 손실함수), Mode Collapse(제한된 유형의 샘플만 생성하는 현상) 등 발생.
+- VAE, flow-based model : 고해상도 image의 효율적인 합성을 수행할 수 있으나 GAN보다 sample quality가 떨어진다.
+ - flow-based model : Flow는 복잡한 분포를 모델링하기 위해 일련의 가역적인 비선형 변환을 사용하는 방법론.
+ - 기본 아이디어 : 간단한 분포(예: 가우시안 분포)에서 복잡한 데이터 분포로 변환하는 일련의 함수들을 학습하는 것.
+ - data를 잠재변수로 변환하는, 반대로 잠재변수를 data로 변환하는(역변환) 양방향 변환기를 학습시켜 잠재변수로부터 data를 generative 할 수 있도록 함.
+- Autoregressive : density 추정에서 강력한 performance를 달성하나 계산 비용과 sequential sampling process로 인해 저해상도 image로 제약된다.
+- pixel 기반의 image representation은 거의 인지하기 어려운 이미지의 detail한 부분을 포함하여 maximum-likelihood 학습은 이를 학습하는데 많은 용량과 시간을 소비한다.
+- Diffusion Probabilistic Models : sample quality 등에서 좋은 성능을 보이나 pixel 단위에서의 평가와 최적화는 낮은 inference speed와 높은 train cost를 유발한다.
+- VQ-VAEs : 기존 VAE 방법에 벡터 양자화(Vector Quantisation)를 도입한 방법이다. latent space의 연속형 벡터를 사전에 정한 codebook 벡터와의 거리를 계산하여 제일 유사한 값으로 변환한다.
+ - 데이터 압축, 샘플링이 유용하면서 생성 모델의 품질을 높일 수도 있음.
+- VQ-GAN : VQ-VAE의 원리를 GAN에 적용한 방법이다. latent space의 연속형 벡터를 양자화하여 변환하면서 학습은 GAN의 adversarial loss를 추가로 활용한다.
+ - 데이터 압축, 샘플링이 유용하면서 생성 모델의 품질을 높일 수도 있음.
+
+
+# Latent Diffusion Model
+
+오늘 알아볼 모델은 Latent Diffusion Model이다.
+기존에 다뤘던 Diffusion Model과 유사하게 동작하는 생성 모델이다. 이 논문에서는 컴퓨터 자원의 소모를 줄이면서 Diffusion Model과 유사한 성능을 얻는것이 그 목표이다.
+
+Latent Diffusion Model은 전반적으로 아래와 같은 구조를 가진다.
+
+:::{figure-md}
+
+
+Structure of Latent Diffusion Model
+:::
+$x \in \mathbb{R}^{H\times W \times 3}$이 input으로 주어졌을때 이를 encoder $\mathcal{E}$를 통해서 $z=\mathcal{E}(x) \in \mathbb{R}^{h\times w\times c }$로 인코딩 하고 $\hat{x}=\mathcal{D}(z)$
+로 디코딩을 한다. 이 논문에서 $f=H/h=W/w=2^m$, $m\in \mathbb{N}$이 되도록 여러 $m$에 대해서 테스트를 진행하였다. 또한 Latent space에서 분산이 커지지 않도록 KL divergence와 vector quantization(VQ)을 활용하였다.
+이미지외 텍스트나, sematic map과 같이 추가적인 정보는 $\tau_\theta$를 통해서 전달을 하였고,
+
+$$ Q=W^{(i)}_Q \phi_i(z_i), K=W^{(i)}_K \phi_i(z_i), V=W^{(i)}_V \phi_i(z_i) $$
+
+로 정의되고 $\phi_i(z_i)$는 $U$-Net 중간의 representation, $W^{i}_V, W^{i}_K, W^{i}_Q$는 학습 가능한 projection matrix이다.
+$Q, K, V$ 는 attention의 query, key, value에 해당하며
+
+$$
+Attention(Q, K, V) = softmax(\frac{QK^T}{\sqrt{d}})\cdot V
+$$
+
+로 연산이 진행된다. 학습을 위한 loss 함수는 다음과 같이 표현된다.
+
+$$
+\mathcal{L}_{LDM} = \mathbb{E}_{\mathcal{E}(x),
+\epsilon \sim \mathcal{N}(0,1),t} \left[ \|\epsilon-\epsilon_{\theta}(z_t,t) \|_{2}^{2}\right].
+$$
+
+여기서 주목할만한 부분은 기존 Diffusion Model에서
+
+$$
+\mathcal{L}_{DM} = \mathbb{E}_{x,
+\epsilon \sim \mathcal{N}(0,1),t} \left[ \|\epsilon-\epsilon_{\theta}(x_t,t) \|_{2}^{2}\right].
+$$
+
+와 같은 loss function으로 학습을 진행시키는데 $x_t$를 $z_t$로 바꾸면서 연산의 양을 줄였다는 점이다.
+
+위의 "Introduction"과 연관지으면 다음과 같이 생각 해볼 수 있다.
+- encoder $\varepsilon$, decoder $D$ 로 구성된 perceptual compression model(학습된)를 바탕으로 효율적인, 낮은 차원의 latent space(high-frequency, imperceptible detail이 제거된)를 가지게 됨
+- 고차원 공간과 비교했을 때 이 latent space는 likelihood-based generative model에 더 적합함
+ - 데이터에 중요한 semantic bit에 집중할 수 있고 더 낮은 차원에서 효율적으로 학습 가능
+
+
+# Experiments
+
+## 4.1. On Perceptual Compression Tradeoffs
+- different downsampling factor $f \in \{1,2,4,8,16,32\}$ 에 대한 분석
+ - latent space 차원 개수에 따른 차이 분석
+ - LDM-1 : pixel-based DMs
+- computational resource : single NVIDIA A100 1대로 함
+- 전체 같은 parameter 개수와 step을 기준으로 함
+
+:::{figure-md}
+
+:::
+- 위의 표는 autoencoder 차원에 따른 hyperparameter, loss에 따른 실험 결과를 보임
+
+- 위의 그래프는 모델이 수렴하는데 소요되는 step을 분석함
+- $f$ 값이 너무 크면 약간의 학습 후 fidelty(학습 데이터와 실제 데이터의 유사도)가 정체된 것을 볼 수 있음
+ - 이는 아래 사진의 결과와 perceptual과 bit ratio 부분을 생각해보면 대부분의 perceptual compression은 diffusion에 있으며 encoder와 decoder 부분에서 압축이 지나치게 되어 정보 손실이 발생하여 달성할 수 있는 품질이 제한됨
+
+:::{figure-md}
+
+:::
+
+
+:::{figure-md}
+
+:::
+
+- 위의 그래프는 CelebA-HQ와 ImageNet에서 학습된 모델을 DDIM sampler를 사용하여 다양한 step의 denoising에 대한 샘플링 속도 측면에서 FID 점수와 비교함
+ - ImageNet이 CelebA-HQ 대비 더 복잡한 dataset임
+- point가 총 5개인데 오른쪽부터 왼쪽으로 step 수가 {10,20,50,100,200}을 의미함
+- LDM-{4-8}이 outperform을 발휘함
+- LDM-1은 낮은 FID를 가지고 sampling 속도도 느림
+
+## 4.2. Image Generation with Latent Diffusion
+- 256x256 image의 unconditional model을 CelebA-HQ, FFHQ, LSUN-Churches, Bedrooms로 학습하고 sample quality, data manifold의 coverage(FID, Precision-and-Recall) 평가
+:::{figure-md}
+
+:::
+- CelebA-HQ
+ - 제안한 모델이 최고 성능
+ - LSGM : encoder, decoder를 UNet과 동시에 학습시킨 결과
+- LSUN-Bedrooms : ADM보다 절반의 parameter와 짧은 train 시간으로 유사한 score(?)를 얻음
+- 제안한 방법인 LDM은 GAN-based methods을 지속적으로 개선해 adversarial 방식에 비해 mode-covering likelihood-based training의 이점을 Precision과 Recall을 통해 볼 수 있음. (아래 그림은 정성적 결과)
+:::{figure-md}
+
+:::
+
+## 4.3. Conditional Latent Diffusion
+### 4.3.1 Transformer Encoders for LDMs
+- text-to-image modeling : 1.45B parameter KL-regularized LDM
+ - LAION-400M으로 language prompt 수행
+ - BERT-tokenizer
+ - $\tau_{\theta}$ : transformer
+:::{figure-md}
+
+
+text to image on LAION
+:::
+
+- 아래 사진은 Layout이 주어졌을 때, 이를 기반으로 image를 생성하는 layout-to-image의 샘플 결과임
+:::{figure-md}
+
+
+layout-to-image
+:::
+
+- class-conditional ImageNet model 결과
+:::{figure-md}
+
+:::
+
+### 4.3.2 Convolutional Sampling Beyond 256x256
+- spatially aligned conditioning information(semantic map 등)을 input에 연결했을 때 image-to-image translation model 목적 수행 가능
+ - semantic synthesis, super-resolution, inpainting에 실험
+- semantic synthesis
+ - dataset : semantic map을 가진 landscape image
+ - semantic map의 downsampled version을 $f=4$ 인 model의 input으로 사용(VQ-reg)
+ - input resolution : 256x256(crop from 384x384)
+- 아래 실험은 input 크기 대비 더 큰 image 생성 가능한 것을 보여줌
+:::{figure-md}
+
+:::
+
+## 4.4. Super-Resolution with Latent Diffusion
+- OpenImages로 사전학습된 $f=4$ autoencoding model(VQ-reg) 사용
+- low-resolution data가 input으로 들어감
+:::{figure-md}
+
+:::
+
+## 4.5. Inpainting with Latent Diffusion
+- 원본 이미지에서 원하는 물체를 제거한 뒤 이미지가 잘 복구된 것을 볼 수 있음
+:::{figure-md}
+
+:::
diff --git a/_sources/docs/review/LoRA.md b/_sources/docs/review/LoRA.md
index 246ef429..02e3ce3c 100755
--- a/_sources/docs/review/LoRA.md
+++ b/_sources/docs/review/LoRA.md
@@ -1,290 +1,290 @@
-```{admonition} Information
-- **Title:** Denoising Diffusion Probabilistic Models (ICLR 2021)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2006.11239](https://arxiv.org/abs/2006.11239)
- - Code: [PyTorch implementation:](https://github.com/lucidrains/denoising-diffusion-pytorch)
- - Review: [PR-409: Denoising Diffusion Probabilistic Models](https://www.youtube.com/watch?v=1j0W_lu55nc)
-
-- **Author:** Beomsoo Park
-
-- **Last updated on Apr. 19, 2023**
-```
-
-
-# LoRA
-
-# 0. Abstract
-
-LoRA는 **PEFT(Parameter Effecient Fine-Tuning)의 기법 중 하나**이다. Pre-trained model의 weight는 고정한 채로, **몇 개의 dense(fc) layer만 학습시켜 downstream task의 연산량을 줄일 수 있다.** GPT-3을 기준으로 parameter는 10000배, GPU 메모리는 3배를 줄일 수 있다. 또한 inference 과정에서 추가적인 latency가 없음
-
-> - PEFT: 모델의 모든 파라미터를 튜닝하는 것이 아닌 일부 파라미터만을 튜닝함으로써 모델의 성능을 적은 자원으로도 높게 유지하는 방법론
-- Downstream task: pre-trained model을 사용해, 어떤 문제를 해결하기 위해 fine-tuning 하는것
-- Upstream task: Pre-train model을 학습시키는것
-- Latency: 어떤 요청의 시작부터 완료까지 걸리는 시간
-
----
-
-# 1. Introduction
-
-LLM은 기본적으로 pre-trained model을 특정 task에 맞게 fine-tuning을 시킴. 하지만 fine-tuning에서 모든 weight를 다시 학습시키면 GPT-2, GPT-3, RoBERTa 등 큰 모델의 경우 학습에 몇 달이 걸림.
-
-이전 연구에서 over-parameterized model들은 low intrinsic dimension에 기반하고 있다는 사실에 기반해, 저자는 학습 과정에서도 모델은 `low intrinsic rank`을 갖고 있을 것이라 가정함.
-
-**LoRA는 기존 pre-trained weight는 고정하고, 몇 개의 dense layer만 rank decomposition matrices를 최적화하는 방식으로 학습**시키기로 함.
-
-:::{figure-md}
-.png)
-
-LoRA structure
-:::
-
-:::{figure-md}
-.png)
-
-LoRA structure 2
-:::
-
-
-위 그림처럼 **기존 pre-trained weight $W$는 고정하고 low rank decomposition된 weight $A, B$만 학습시켜 $W$에 더해줌**. $A, B$의 크기는 $W$보다 작아 time, computational cost를 최대 3배까지 줄일 수 있음. 또한 task에 따라 LoRA module($A, B$)만 바꿔주면 되기 때문에 storage requirement, task-switching overhead를 줄일 수 있음. 이 외에도 추가적인 inference latency가 없다, 다른 기법들과 함께 적용이 가능하다는 장점이 있음.
-
-## 1.1. Terminologies and Conventions
-
-- $d_{model}$: Transformer의 input/output dimension size
-- $W_q, W_k, W_v, W_o$: Self-attention module의 query/key/value/output projection matrices
-- $W, W_0$: Pre-trained weight
-- $\Delta W$: Adaptation 중 accumulated된 gradient update
-- $r$: LoRA module의 rank
-- 이전 연구의 convention을 사용하고 optimizer는 Adam을 이용
-- Transformer MLP feedforward dimension $d_{ffn} = 4 \times d_{model}$
-
----
-
-# 2. Problem Statement
-
-LoRA는 agnostic하지만 본 논문에서는 language model에 집중함.
-
-> - agnostic: model에 구애받지 않고 해석이 가능함
-
-$$
-\max _{\Phi} \sum_{(x, y) \in \mathcal{Z}} \sum_{t=1}^{|y|} \log \left(P_{\Phi}\left(y_t \mid x, y_{
-
-Performance Comparison
-:::
-
-하지만 adapter layer를 추가하는 방식은 hardware parellelism이 없다면 작은 bottleneck layer만 추가해도 latency가 상당히 증가해 사용하기 어려웠음.
-
-Prefix tuning은 optimize가 어려웠음.
-
----
-
-# 4. Our Method
-## 4.1. Low-Rank-Parameterized Update Matrices
-
-$$
-h=W_0 x+\Delta W x=W_0 x+B A x
-$$
-
-- $W_0 \in \mathbb{R}^{d \times k}$
-- $B \in \mathbb{R}^{d \times r}, A \in \mathbb{R}^{r \times k}$
-- $r \ll min(d,k)$
-
-
-$W_0$는 고정하고 $A, B$만 학습. 이후 $W_0$와 $\Delta W = BA$는 같은 input $x$에 곱해진 후 output vector끼리 coordinate-wise하게 sum.
-
-$A$는 random Gaussian init., $B$는 zero-init.이라 $\Delta W$ 또한 처음에는 zero-init. $\Delta W x$는 $\alpha/x$로 scaling됨. $\alpha$는 learning rate처럼 tuning해서 r과 같은 값으로 설정. 실제 코드에서는 보통 $r, \alpha$는 (8, 16)이나 (16,32)를 사용한다고 함.
-
-```python
- ...
- # Actual trainable parameters
- # define A, B
- if r > 0:
- self.lora_A = nn.Parameter(self.weight.new_zeros((r, num_embeddings)))
- self.lora_B = nn.Parameter(self.weight.new_zeros((embedding_dim, r)))
- self.scaling = self.lora_alpha / self.r
- # Freezing the pre-trained weight matrix
- self.weight.requires_grad = False
- self.reset_parameters()
-
- # initialize A, B
- def reset_parameters(self):
- nn.Embedding.reset_parameters(self)
- if hasattr(self, 'lora_A'):
- # initialize A the same way as the default for nn.Linear and B to zero
- nn.init.zeros_(self.lora_A)
- nn.init.normal_(self.lora_B)
-
- def train(self, mode: bool = True):
- nn.Embedding.train(self, mode)
- if mode:
- if self.merge_weights and self.merged:
- # Make sure that the weights are not merged
- if self.r > 0:
- self.weight.data -= (self.lora_B @ self.lora_A).transpose(0, 1) * self.scaling
- self.merged = False
- else:
- if self.merge_weights and not self.merged:
- # Merge the weights and mark it
- if self.r > 0:
- self.weight.data += (self.lora_B @ self.lora_A).transpose(0, 1) * self.scaling
- self.merged = True
-
- def forward(self, x: torch.Tensor):
- if self.r > 0 and not self.merged:
- # pre-trained weight W_0 * x
- result = nn.Embedding.forward(self, x)
- if self.r > 0:
- # BA * x
- after_A = F.embedding(
- x, self.lora_A.transpose(0, 1), self.padding_idx, self.max_norm,
- self.norm_type, self.scale_grad_by_freq, self.sparse
- )
- # W_0x + BAx
- result += (after_A @ self.lora_B.transpose(0, 1)) * self.scaling
- return result
- else:
- return nn.Embedding.forward(self, x)
-
-```
-
-### 4.1.1. No Additional Inference Latency
-
-LoRA를 이용하면 inference시 latency 성능 하락이 없음. 또한 다른 task에 사용할 경우엔 $BA$만 제외하고 $W_0$로 학습한 다른 $B'A'$만 추가하면 되기 때문에 memory overhead가 낮음.
-
-## 4.2. Applying LoRA to Transformer
-
-본 논문에서는 trainable weight를 최소화하기 위해 LoRA를 attention weight만 적용하고 MLP module은 고정함. 이를 통해 GPT-3 175B를 기준으로 VRAM은 1.2TB에서 350GB, checkpoint size는 350GB에서 35MB로 줄임. 또한 학습 속도 또한 25% 정도 빨라짐.
-
-
----
-# 5.Empirical Experiments
-
-:::{figure-md}
-.png)
-
-Performance on BERT
-:::
-
-:::{figure-md}
-.png)
-
-Performance on GPT-2
-:::
-
-:::{figure-md}
-.png)
-
-Performance on GPT-3
-:::
-
-
-대부분의 경우에서 성능이 좋음
-
-:::{figure-md}
-.png)
-
-Validation accuracy table with different hyper-parameters
-:::
-
-:::{figure-md}
-.png)
-
-Validation accuracy table with different hyper-parameters
-:::
-
-Transformer에서 한 projection matrix에 큰 r을 적용하는 것보다 모든 matrices에 작은 r을 적용하는 것이 더 성능이 좋았음.
-
----
-# +a) IA3
-
-:::{figure-md}
-.png)
-
-IA3 structure
-:::
-
-뉴럴네트워크의 Inner Activation을 줄이기도하고 늘리기도하는 어댑터를 중간에 삽입하는 방법론. 기존에 공개된 LoRA보다 적은 파라미터를 사용하면서 높은 성능을 내는 것으로 알려져있으며, GPT-3를 in-context learning 했을때 보다도 성능이 좋다 라고 주장하고 있음. 학습시간도 매우 짧아 A100 GPU 하나로 30분만에 튜닝할 수 있었다고 함.
-
----
-# +aa) LoRA 사용법
-
-1. `loralib` 설치
-
-```python
-pip install loralib
-# Alternatively
-# pip install git+https://github.com/microsoft/LoRA
-```
-
-2. 기존 `nn.Linear`, `nn.Embedding`, `nn.Conv2d`를 `lora.~`로 대체
-
-```python
-# ===== Before =====
-# layer = nn.Linear(in_features, out_features)
-
-# ===== After ======
-import loralib as lora
-# Add a pair of low-rank adaptation matrices with rank r=16
-layer = lora.Linear(in_features, out_features, r=16)
-```
-
-3. 학습 전, lora parameter만 학습 가능하게 설정
-```python
-import loralib as lora
-model = BigModel()
-# This sets requires_grad to False for all parameters without the string "lora_" in their names
-lora.mark_only_lora_as_trainable(model)
-# Training loop
-for batch in dataloader:
- ...
-```
-
-4. checkpoint를 저장할 때엔 `state_dict`가 LoRA parameter만 저장하게 함.
-```python
-# ===== Before =====
-# torch.save(model.state_dict(), checkpoint_path)
-# ===== After =====
-torch.save(lora.lora_state_dict(model), checkpoint_path)
-```
-
-5. checkpoint를 불러올 때엔 `load_state_dict`에서 `strict=False`로 설정.
-```python
-# Load the pretrained checkpoint first
-model.load_state_dict(torch.load('ckpt_pretrained.pt'), strict=False)
-# Then load the LoRA checkpoint
-model.load_state_dict(torch.load('ckpt_lora.pt'), strict=False)
-```
-
-
----
-# Reference
-
-- [LoRA 논문 리뷰](https://da2so.tistory.com/79)
-- [LLM 모델 튜닝, 하나의 GPU로 가능할까? Parameter Efficient Fine-Tuning(PEFT)을 소개합니다!](https://devocean.sk.com/blog/techBoardDetail.do?ID=164779&boardType=techBlog)
-- [Stable Diffusion LoRA 생성 및 사용법](https://zzambab98.tistory.com/226)
-- [Stable Diffusion - LoRA 모델 사용법
-](https://www.internetmap.kr/entry/How-to-LoRA-Model)
-- [LoRA github](https://github.com/microsoft/LoRA)
-- https://www.youtube.com/watch?v=dA-NhCtrrVE
+```{admonition} Information
+- **Title:** Denoising Diffusion Probabilistic Models (ICLR 2021)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2006.11239](https://arxiv.org/abs/2006.11239)
+ - Code: [PyTorch implementation:](https://github.com/lucidrains/denoising-diffusion-pytorch)
+ - Review: [PR-409: Denoising Diffusion Probabilistic Models](https://www.youtube.com/watch?v=1j0W_lu55nc)
+
+- **Author:** Beomsoo Park
+
+- **Last updated on Apr. 19, 2023**
+```
+
+
+# LoRA
+
+# 0. Abstract
+
+LoRA는 **PEFT(Parameter Effecient Fine-Tuning)의 기법 중 하나**이다. Pre-trained model의 weight는 고정한 채로, **몇 개의 dense(fc) layer만 학습시켜 downstream task의 연산량을 줄일 수 있다.** GPT-3을 기준으로 parameter는 10000배, GPU 메모리는 3배를 줄일 수 있다. 또한 inference 과정에서 추가적인 latency가 없음
+
+> - PEFT: 모델의 모든 파라미터를 튜닝하는 것이 아닌 일부 파라미터만을 튜닝함으로써 모델의 성능을 적은 자원으로도 높게 유지하는 방법론
+- Downstream task: pre-trained model을 사용해, 어떤 문제를 해결하기 위해 fine-tuning 하는것
+- Upstream task: Pre-train model을 학습시키는것
+- Latency: 어떤 요청의 시작부터 완료까지 걸리는 시간
+
+---
+
+# 1. Introduction
+
+LLM은 기본적으로 pre-trained model을 특정 task에 맞게 fine-tuning을 시킴. 하지만 fine-tuning에서 모든 weight를 다시 학습시키면 GPT-2, GPT-3, RoBERTa 등 큰 모델의 경우 학습에 몇 달이 걸림.
+
+이전 연구에서 over-parameterized model들은 low intrinsic dimension에 기반하고 있다는 사실에 기반해, 저자는 학습 과정에서도 모델은 `low intrinsic rank`을 갖고 있을 것이라 가정함.
+
+**LoRA는 기존 pre-trained weight는 고정하고, 몇 개의 dense layer만 rank decomposition matrices를 최적화하는 방식으로 학습**시키기로 함.
+
+:::{figure-md}
+
+
+LoRA structure
+:::
+
+:::{figure-md}
+
+
+LoRA structure 2
+:::
+
+
+위 그림처럼 **기존 pre-trained weight $W$는 고정하고 low rank decomposition된 weight $A, B$만 학습시켜 $W$에 더해줌**. $A, B$의 크기는 $W$보다 작아 time, computational cost를 최대 3배까지 줄일 수 있음. 또한 task에 따라 LoRA module($A, B$)만 바꿔주면 되기 때문에 storage requirement, task-switching overhead를 줄일 수 있음. 이 외에도 추가적인 inference latency가 없다, 다른 기법들과 함께 적용이 가능하다는 장점이 있음.
+
+## 1.1. Terminologies and Conventions
+
+- $d_{model}$: Transformer의 input/output dimension size
+- $W_q, W_k, W_v, W_o$: Self-attention module의 query/key/value/output projection matrices
+- $W, W_0$: Pre-trained weight
+- $\Delta W$: Adaptation 중 accumulated된 gradient update
+- $r$: LoRA module의 rank
+- 이전 연구의 convention을 사용하고 optimizer는 Adam을 이용
+- Transformer MLP feedforward dimension $d_{ffn} = 4 \times d_{model}$
+
+---
+
+# 2. Problem Statement
+
+LoRA는 agnostic하지만 본 논문에서는 language model에 집중함.
+
+> - agnostic: model에 구애받지 않고 해석이 가능함
+
+$$
+\max _{\Phi} \sum_{(x, y) \in \mathcal{Z}} \sum_{t=1}^{|y|} \log \left(P_{\Phi}\left(y_t \mid x, y_{
+
+Performance Comparison
+:::
+
+하지만 adapter layer를 추가하는 방식은 hardware parellelism이 없다면 작은 bottleneck layer만 추가해도 latency가 상당히 증가해 사용하기 어려웠음.
+
+Prefix tuning은 optimize가 어려웠음.
+
+---
+
+# 4. Our Method
+## 4.1. Low-Rank-Parameterized Update Matrices
+
+$$
+h=W_0 x+\Delta W x=W_0 x+B A x
+$$
+
+- $W_0 \in \mathbb{R}^{d \times k}$
+- $B \in \mathbb{R}^{d \times r}, A \in \mathbb{R}^{r \times k}$
+- $r \ll min(d,k)$
+
+
+$W_0$는 고정하고 $A, B$만 학습. 이후 $W_0$와 $\Delta W = BA$는 같은 input $x$에 곱해진 후 output vector끼리 coordinate-wise하게 sum.
+
+$A$는 random Gaussian init., $B$는 zero-init.이라 $\Delta W$ 또한 처음에는 zero-init. $\Delta W x$는 $\alpha/x$로 scaling됨. $\alpha$는 learning rate처럼 tuning해서 r과 같은 값으로 설정. 실제 코드에서는 보통 $r, \alpha$는 (8, 16)이나 (16,32)를 사용한다고 함.
+
+```python
+ ...
+ # Actual trainable parameters
+ # define A, B
+ if r > 0:
+ self.lora_A = nn.Parameter(self.weight.new_zeros((r, num_embeddings)))
+ self.lora_B = nn.Parameter(self.weight.new_zeros((embedding_dim, r)))
+ self.scaling = self.lora_alpha / self.r
+ # Freezing the pre-trained weight matrix
+ self.weight.requires_grad = False
+ self.reset_parameters()
+
+ # initialize A, B
+ def reset_parameters(self):
+ nn.Embedding.reset_parameters(self)
+ if hasattr(self, 'lora_A'):
+ # initialize A the same way as the default for nn.Linear and B to zero
+ nn.init.zeros_(self.lora_A)
+ nn.init.normal_(self.lora_B)
+
+ def train(self, mode: bool = True):
+ nn.Embedding.train(self, mode)
+ if mode:
+ if self.merge_weights and self.merged:
+ # Make sure that the weights are not merged
+ if self.r > 0:
+ self.weight.data -= (self.lora_B @ self.lora_A).transpose(0, 1) * self.scaling
+ self.merged = False
+ else:
+ if self.merge_weights and not self.merged:
+ # Merge the weights and mark it
+ if self.r > 0:
+ self.weight.data += (self.lora_B @ self.lora_A).transpose(0, 1) * self.scaling
+ self.merged = True
+
+ def forward(self, x: torch.Tensor):
+ if self.r > 0 and not self.merged:
+ # pre-trained weight W_0 * x
+ result = nn.Embedding.forward(self, x)
+ if self.r > 0:
+ # BA * x
+ after_A = F.embedding(
+ x, self.lora_A.transpose(0, 1), self.padding_idx, self.max_norm,
+ self.norm_type, self.scale_grad_by_freq, self.sparse
+ )
+ # W_0x + BAx
+ result += (after_A @ self.lora_B.transpose(0, 1)) * self.scaling
+ return result
+ else:
+ return nn.Embedding.forward(self, x)
+
+```
+
+### 4.1.1. No Additional Inference Latency
+
+LoRA를 이용하면 inference시 latency 성능 하락이 없음. 또한 다른 task에 사용할 경우엔 $BA$만 제외하고 $W_0$로 학습한 다른 $B'A'$만 추가하면 되기 때문에 memory overhead가 낮음.
+
+## 4.2. Applying LoRA to Transformer
+
+본 논문에서는 trainable weight를 최소화하기 위해 LoRA를 attention weight만 적용하고 MLP module은 고정함. 이를 통해 GPT-3 175B를 기준으로 VRAM은 1.2TB에서 350GB, checkpoint size는 350GB에서 35MB로 줄임. 또한 학습 속도 또한 25% 정도 빨라짐.
+
+
+---
+# 5.Empirical Experiments
+
+:::{figure-md}
+
+
+Performance on BERT
+:::
+
+:::{figure-md}
+
+
+Performance on GPT-2
+:::
+
+:::{figure-md}
+
+
+Performance on GPT-3
+:::
+
+
+대부분의 경우에서 성능이 좋음
+
+:::{figure-md}
+
+
+Validation accuracy table with different hyper-parameters
+:::
+
+:::{figure-md}
+
+
+Validation accuracy table with different hyper-parameters
+:::
+
+Transformer에서 한 projection matrix에 큰 r을 적용하는 것보다 모든 matrices에 작은 r을 적용하는 것이 더 성능이 좋았음.
+
+---
+# +a) IA3
+
+:::{figure-md}
+
+
+IA3 structure
+:::
+
+뉴럴네트워크의 Inner Activation을 줄이기도하고 늘리기도하는 어댑터를 중간에 삽입하는 방법론. 기존에 공개된 LoRA보다 적은 파라미터를 사용하면서 높은 성능을 내는 것으로 알려져있으며, GPT-3를 in-context learning 했을때 보다도 성능이 좋다 라고 주장하고 있음. 학습시간도 매우 짧아 A100 GPU 하나로 30분만에 튜닝할 수 있었다고 함.
+
+---
+# +aa) LoRA 사용법
+
+1. `loralib` 설치
+
+```python
+pip install loralib
+# Alternatively
+# pip install git+https://github.com/microsoft/LoRA
+```
+
+2. 기존 `nn.Linear`, `nn.Embedding`, `nn.Conv2d`를 `lora.~`로 대체
+
+```python
+# ===== Before =====
+# layer = nn.Linear(in_features, out_features)
+
+# ===== After ======
+import loralib as lora
+# Add a pair of low-rank adaptation matrices with rank r=16
+layer = lora.Linear(in_features, out_features, r=16)
+```
+
+3. 학습 전, lora parameter만 학습 가능하게 설정
+```python
+import loralib as lora
+model = BigModel()
+# This sets requires_grad to False for all parameters without the string "lora_" in their names
+lora.mark_only_lora_as_trainable(model)
+# Training loop
+for batch in dataloader:
+ ...
+```
+
+4. checkpoint를 저장할 때엔 `state_dict`가 LoRA parameter만 저장하게 함.
+```python
+# ===== Before =====
+# torch.save(model.state_dict(), checkpoint_path)
+# ===== After =====
+torch.save(lora.lora_state_dict(model), checkpoint_path)
+```
+
+5. checkpoint를 불러올 때엔 `load_state_dict`에서 `strict=False`로 설정.
+```python
+# Load the pretrained checkpoint first
+model.load_state_dict(torch.load('ckpt_pretrained.pt'), strict=False)
+# Then load the LoRA checkpoint
+model.load_state_dict(torch.load('ckpt_lora.pt'), strict=False)
+```
+
+
+---
+# Reference
+
+- [LoRA 논문 리뷰](https://da2so.tistory.com/79)
+- [LLM 모델 튜닝, 하나의 GPU로 가능할까? Parameter Efficient Fine-Tuning(PEFT)을 소개합니다!](https://devocean.sk.com/blog/techBoardDetail.do?ID=164779&boardType=techBlog)
+- [Stable Diffusion LoRA 생성 및 사용법](https://zzambab98.tistory.com/226)
+- [Stable Diffusion - LoRA 모델 사용법
+](https://www.internetmap.kr/entry/How-to-LoRA-Model)
+- [LoRA github](https://github.com/microsoft/LoRA)
+- https://www.youtube.com/watch?v=dA-NhCtrrVE
diff --git a/_sources/docs/review/MVDream.md b/_sources/docs/review/MVDream.md
new file mode 100755
index 00000000..0a4888f1
--- /dev/null
+++ b/_sources/docs/review/MVDream.md
@@ -0,0 +1,265 @@
+
+``` {admonition} Information
+
+- **Title:** **MVDream: Multi-view Diffusion for 3D Generation**
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2308.16512](https://arxiv.org/abs/2308.16512)
+ - Code: [https://github.com/bytedance/MVDream](https://github.com/bytedance/MVDream)
+ - Project Page : [https://mv-dream.github.io/](https://mv-dream.github.io/)
+
+- **Presentor :** Geonhak Song
+
+- **Last updated on November. 6, 2024**
+
+```
+
+# **MVDream: Multi-view Diffusion for 3D Generation**
+
+## 1. Introduction
+
+3D Object Generation의 3가지 Types
+
+(1) template-based generation pipeline
+
+(2) 3D generative models
+
+(3) 2D-lifting methods
+
+(1), (2) 한계 : 3D model과 대규모 데이터 복잡도로 인해 임의의 객체 생성을 효율적으로 일반화하는데 어려움이 있음.
+
+(3)은 pre-trained 2D diffusion model을 사용하는 방식으로 특히 SDS(Score distillation sampling)을 통한 3D 표현 최적화 진행.
+
+e.g. Dreamfusion & Magic3D
+
+(3) 한계 : score distillation 도중 포괄적인 multi-view knowledge 혹은 3D-awareness의 부족으로 문제 발생
+
+
+
+(3) - (1) : multi-face Janus issue
+
+(3) - (2) : content Drift across different view
+
+이에 대한 이유로 사람은 객체에 대해 여러 각도에 대해 평가할 수 있지만, 2D diffusion model은 다양한 각도에서 객체를 평가할 수 없어 중복적이거나 일관적이지 않은 content 생성된다.
+
+그럼에도 불구하고 large scale 2D data로 학습시킨 2D diffusion model은 3D 생성 일반화에 중요한 역할이기 때문에 3D prior를 기반한 3D 표현 multi-view diffusion model인 MVDream을 제안
+
+방안 :multi 3D view images와 2D image-text pair data 기반으로 모델 학습 + score distillation
+
+이를 통해 더 안정적이며 일반화 성능을 높일 수 있음
+
+## 2. Related work
+
+### **2.1 3D Generative Models**
+
+Dreamfusion, Magic3D, Rodin, Point-E, HoldDiffusion, Shap-E, ProlificDreamer
+
+### **2.2 Diffusion Models for Object Novel View Synthesis**
+
+SparseFusion, Zero-1-to-3, GeNVS, Viewset Diffusion, MVDiffusion
+
+### **2.3 Lifting 2D diffusion for 3D Generation**
+
+DreamFusion, SJC(Score Jacobian Chaining), Magic3D, Make-it-3D, Fantasia3D, ProlificDreamer, Dreamtime
+
+## 3. Methods
+
+### 3.1 Multi-view Diffusion Model
+
+
+
+2D lifting diffusion model의 multi-view consistency 향상을 위한 기존 해결법은 viewpoint-awareness 향상 방안 제공이다.
+
+e.g. **text condition viewpoint 묘사 추가**, **camera parameter 통합**
+
+그러나 이 방법들조차 문제를 해결하기에는 충분하지 않음.
+
+영감 : video diffusion model
+
+인간은 3D 센서 없이 모든 각도에서 물체를 관찰하며 3D 객체를 인식하듯이, video diffusion model도 temporally consistent content 생성을 위한 방법을 통해 장면을 생성
+
+그러나 이 방식을 바로 3D 방식에 도입시
+
+문제 (1) : temporal consistency 대비 **geometric consistency의 유지** 어려움으로 인해 content drift 문제가 발생.
+
+문제 (2) : dynamic scene을 훈련한 video diffusion model 대비 **static scene를 생성**하는 domain gap에 발생
+
+이에 따라 저자들은 **3D render data를 활용**하여 정확한 camera parameter로 static scene를 생성하도록 multi-view diffusion model 학습이 중요함을 발견. 3D dataset를 통해 consistent multi view image render 가능
+
+Given
+
+noisy image : $x_t \in R ^{F \times H \times W \times C}$
+
+text prompt : $y$
+
+extrinsic camera parameter ($F$ different view angles) : $c \in R^{F \times 16}$
+
+After Multi-view Diffusion model Training, images : $x_0 \in R ^{F \times H \times W \times C}$
+
+훈련 이후 해당 model은 SDS와 함께 3D 생성을 위한 multi-view prior로 사용
+
+2D diffusion model의 일반화 성질을 상속받기 위해 fine-tuning 진행 필요
+
+그러나, 2D diffusion model은 한 번에 하나의 이미지를 생성 & camera condition을 입력으로 사용하지 않기에 아래 질문에 답을 해야함.
+
+(1) how to generate a set of consistent images from the same text prompt (Sec. 3.1.1)
+
+(2) how to add the camera pose control (Sec. 3.1.2)
+
+(3) how to maintain the quality and generalizability (Sec. 3.1.3).
+
+**3.1.1 Multi-view Consistent Generation with Inflated 3D Self-Attention**
+
+
+
+video diffusion model과 같이 단순 temporal attention layer 적용 : multi-view consistency 학습 실패 & content drift 발생
+
+3D attention 사용 (기존 2D self-attention 속 다른 view를 연결함으로써 3D로 inflate)
+
+입력 tensor : $B \times F \times H \times W \times C$ -> $B \times FHW \times C$
+
+기존 Self-Attention weight 상속
+
+cf) 새로운 3D Self-Attention을 사용하는 방식은 품질 저하가 나타남을 실험을 통해 확인
+
+**3.1.2 Camera Embeddings**
+
+다른 view를 구분하기 위해 position encoding 필요
+
+relative position encoding, rotary embeddings, absolute camera parameter 중 2 layer MLP embedding camera parameter 성능이 가장 좋음
+
+
+
+2가지 embedding 방식 고민
+
+(1) adding camera embeddings to time embeddings as residuals
+
+(2) appending camera embeddings to text embeddings for cross attention.
+
+(1) 방법이 text와 덜 묶이기(less entangled) 때문에 더 강건함을 보임
+
+**3.1.3 Training Loss Function**
+
+일반화 성능을 높이기 위해, 3D 렌더링 데이터와 대규모 2D 텍스트-이미지 데이터(예: LAION 데이터셋)를 결합하여 훈련
+
+Fine-tuning
+
+base model : Stable Diffusion v2.1 base model (512x512 -> 256x256)
+
+setting : 기존 optimizer, $\epsilon$-prediction 유지
+
+$\mathcal{X}$ : text-image dataset
+
+$\mathcal{X}_{mv}$ : multi-view dataset
+
+
+
+70% : 3D 렌더링 데이터로 훈련
+
+30% : 3D attention과 camera embedding을 꺼둔 상태로 LAION dataset로 2D text-to-image model 훈련
+
+### 3.2 Text-to-3D Generation
+
+3D 생성을 위한 multi-view diffusion model 활용 2가지 방안 고려
+
+(1) 생성된 multi-view 이미지를 few-shot 3D reconstruction 입력으로 사용하는 것
+
+(2) SDS의 prior로 multi-view diffusion model을 사용하는 것
+
+제출 당시 강건한 few-shot 3D reconstruction의 어려움이 있으므로, 본 논문은 (2)에 초점을 맞춰 진행
+
+SDS pipeline 내 SD model을 저자들의 multi-view diffusion model로 교체
+
+수정 2가지
+
+(1) camera sampling strategy 변경
+
+(2) camera parameter를 입력으로 주입
+
+- direction-annotated prompt를 사용했던 Dreamfusion과 달리 추출한 text embedding의 original prompt 사용
+
+content 풍성함와 texture 품질 향상을 위한 추가 기술 3가지 제안
+
+(1) SDS를 위한 최대, 최소 timestep linearly annealing (최적화 목적)
+
+(2) SDS를 위한 소수의 고정 negative prompts 추가 (저품질 3D 모델 스타일 생성 방지)
+
+(3) dynamic thresholding 또는 CFG rescale과 같은 clamping techniques 적용 (color saturation 완화 목적)
+
+$x_0$ reconstruction loss
+
+
+
+$x_0$ reconstruction loss는 기존 SDS와 동일하게 작동할 뿐 아니라 CFG rescale trick 적용후 color saturation 완화할 수 있음.
+
+자세한 내용 : Appendisx A.2 $x_0$ reconstruction loss for SDS 참조
+
+
+
+다른 regularization loss 통합
+
+point lighting (Dreamfusion), soft shading (Magic3D) (기하학적 결과물 향상)
+
+orientation loss (Dreamfusion)
+
+전경과 배경 분리를 위한 sparsity loss 사용하지 않으며 배경은 랜덤 색상으로 교체
+
+이론적으로 다른 SDS variant와 조합할 수 있음. (SJC, VSD etc)
+
+
+
+### 3.3 Multi-view Dreambooth for 3D Generation
+
+3D Dreambooth application 확장
+
+image fine-tuning loss & paramter preservation loss
+
+
+
+$L_{LDM}$ : LDM loss
+
+$\theta_0$ : multi-view diffusion 초기 parameter
+
+$N_{\theta}$ : parameter 수
+
+$\lambda$ : balancing parameter , set 1
+
+3D model을 얻기 위해 diffusion model을 DreamBooth 모델로 교체 및 진행
+
+multi-view DreamBooth 모델 학습 후 3D NeRF 최적화 진행
+
+## 4. Experiments
+
+32 A100 GPU - 3 days
+
+
+
+temporal self-attention still suffers from content drift
+
+Adding new 3D attention leads to severe quality degradation without learning consistency.
+
+inflated 2D self-attention achieves the best consistency among all without losing generation quality.
+
+
+
+combining 3D data with a 2D dataset (LAION) for joint training mitigates the problem
+
+
+
+our multi-view model can generate images from unseen prompts
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
\ No newline at end of file
diff --git a/_sources/docs/review/Make_A_Video.md b/_sources/docs/review/Make_A_Video.md
index 2d519d35..15c2f1b4 100755
--- a/_sources/docs/review/Make_A_Video.md
+++ b/_sources/docs/review/Make_A_Video.md
@@ -1,401 +1,401 @@
-```{admonition} Information
-- **Title:** Make-A-Video: Text-to-Video Generation without Text-Video Data
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2209.14792](https://arxiv.org/abs/2209.14792)
-
-- **Author:** [Jeonghwa Yoo](https://www.linkedin.com/in/jeonghwa-yoo-8403a716b)
-
-- **Last updated on Nov. 26, 2023**
-```
-
-# Make A Video
-- 참고 코드: [https://github.com/lucidrains/make-a-video-pytorch](https://github.com/lucidrains/make-a-video-pytorch)
-
-
-
-
-## 1. Introduction
-
-### Make-A-video 제안 배경
-
-- T2I 모델링을 할 수 있는 데이터는 인터넷을 통해 확보될 수 있으나, 비슷한 규모의 텍스트 비디오 데이터셋을 수집하기는 어렵다.
-- T2I 모델이 존재하는데 T2V 모델을 처음부터 학습 시키는 것은 낭비일 수 있다.
-- 비지도 학습을 사용하여 더 많은 데이터를 학습할 수 있다.
-
-### Make-A-video 특성
-
-- T2I 모델을 활용하여, 레이블이 지정되지 않은 비디오 데이터에 대해 비지도 학습을 사용하여 학습한다 → 페어링된 텍스트-비디오 데이터 없이도 텍스트에서 비디오를 생성할 수 있다.
-- 텍스트 없이도 비지도 비디오만으로 세상의 다양한 개체가 어떻게 움직이고 상호 작용하는지 학습할 수 있다.
-
-### Contribution
-
-- 디퓨전 기반의 T2I 모델을 T2V로 확장하는 효과적인 방법인 Make-A-Video를 소개한다.
-- Text-to-image 를 prior로 사용하여 text-video 데이터의 필요성을 우회한다.
-- 고화질, 고프레임률 비디오를 생성하는 super-resolution 전략을 제안한다.
-- Make-A-Video를 기존 T2V 시스템과 비교하여 평가한다. 또한, 제로샷 T2V human evaluation을 위해 300개의 프롬프트 테스트 세트를 수집하여 공개할 계획이다.
-
-## 2. Previous Work
-
-## 3. Method
-
-- Make-A-Video의 주요 요소
- 1. 텍스트-이미지 쌍으로 학습된 base T2I 모델
- 2. 신경망의 블록을 시간 차원으로 확장하는 시공간 convolution 및 attention layer
- 3. 두 시공간 layer로 구성된 시공간 신경망과 높은 프레임 속도 생성을 위한 frame interpolation network
-
-- Make-A-Video의 최종 inference 수식
-
- :::{figure-md}
- 
-
- 최종 inference 수식
- :::
-
- - $SR_h$: spatial super-resolution network
- - $SR^t_l$: spatiotemporal super-resolution network
- - $\uparrow_{F}$: frame interpolation network
- - $D^t$: spatiotemporal decoder
- - $P$: prior network
- - $\hat{x}$: BPE-encoded text
- - $C_x$: CLIP text encoder
- - $x$: input text
-
-### 3.1. Text-To-Image Model
-
-- [“Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding(Imagen)”](https://arxiv.org/abs/2205.11487)와 연구 내용을 공유하였다.
-- Imagen
-
- :::{figure-md}
- 
-
- Imagen 구조
- :::
-
-
-- 고해상도 이미지를 만들기 위해 사용한 네트워크
- - A prior Network $P$: 텍스트 임베딩 $x_e$와 BPE encoded text tokens $\hat{x}$이 주어졌을 때 이미지 임베딩 $y_e$를 생성하는 네트워크
- - Decoder Network $D$: 이미지 임베딩 $y_e$로부터 저해상도 64X64 RGB 이미지 $\hat{y}_l$를 생성하는 네트워크
- - Super-resolution network $SR_l$, $SR_h$: D에서 생성된 이미지 64X64 저해상도 이미지 $\hat{y}_l$를 256X256, 768X768 픽셀로 증가시켜 최종 이미지 $\hat{y}$를 만드는 네트워크
-
- :::{figure-md}
- 
-
- text $x$가 prior $P$를 통해 image embedding 변환된다.
- fps: desired frame rate
- :::
-
-
-### 3.2. Spatiotemporal Layers
-
-- 2차원 조건부 네트워크를 시간적 차원으로 확장하기 위해 다음의 구성 요소를 수정한다.
- - Convolutional layers
- - Attention layers
-- Fully-connected layers는 특별한 수정을 할 필요 없이 시간 정보만 추가해주면 된다.
-- 구성 요소 수정 결과 $D^t$는 64X64 사이즈의 16 RGB frame을 만들게 된다.
-- Frame interpolation network $\uparrow_{F}$가 생성된 16개의 프레임과 super-resolution 네트워크 $SR^t_l$ 사이를 보간하여 프레임 속도를 증가시킨다.
-- Super-resolution 네트워크에는 hallucinating information(환각 정보)가 포함 된다. 깜박이는 잔상이 생기지 않으려면, 환각이 프레임 전체에 걸쳐 일관성을 유지해야 한다.
- - Hallucinating information
-
- 실제로 존재하지 않는 정보나 세부 사항을 생성하거나 가상으로 추가하는 것
-
-- 프레임당 super resolution을 수행하는 것보다 spatiotemporal 모듈인 $SR^t_l$가 더 좋은 성능을 보였다.
-- 하지만, $SR_h$를 위와 같은 모듈로 만들기엔 메모리 및 컴퓨팅 제약과 고해상도 비디오 데이터의 부족으로 $SR_h$를 위와 같이 시간적 차원으로 확장하는 것은 어려웠다 → $SR_h$는 공간적 차원에서 작동한다.( 각 프레임에 대해 동일한 노이즈 초기화를 사용하여 프레임 전반에 걸쳐 일관된 환각을 제공함)
-
-#### 3.2.1 Pseudo-3D convolutional layers
-
-:::{figure-md}
-
-
-Architecture of Pseudo-3D convolutional layers
-:::
-
-- 2D 컨벌루션 레이어 다음에 1D 컨벌루션을 쌓는다 (Cf:separable convolution)
- - 3D 컨벌루션의 계산 load를 줄일 수 있다.
- - 사전 학습된 2D 컨볼루션 레이어와 새로 초기화된 1D 컨벌루션 레이어 사이에 명확한 경계를 생성하여, spatial information을 유지한 채 temporal convolution을 처음부터 학습할 수 있게 한다.
-- Pseudo-3D convolutional layer
-
- :::{figure-md}
- 
-
- Pseudo-3D convolutional layer
- :::
-
- - $h$: 입력 텐서 (dimension: $B$(batch),$C$(channels),$F$(frames),$H$(height),$W$(width))
- - $\text{o}T$: transpose operator (spatial ↔ temporal)
- - $Conv_{2_D}$는 pretrained T2I 모델에서 초기화 되고, $Conv_{1_D}$는 identity 함수로 초기화 된다.
-
-#### 3.2.2. Psuedo-3D attention layers
-
-:::{figure-md}
-
-
-Architecture of Pseudo-3D attention layers
-:::
-
-- [“Video Diffusion Models**”**](https://arxiv.org/abs/2204.03458)에 영감을 받아 dimension decomposition 전략을 attention layer에 확장하였다.
-- Pseudo-3D convolutional layer처럼 각각의 spatial attenion layer를 쌓아, 전체 spatiotemporal attention layer를 근사화하는 temporal attention layer를 쌓는다.
-- Pseudo-3D attention layer
- :::{figure-md}
- 
-
- Pseudo-3D attention layer
- :::
-
- - $h$: 입력 텐서 (dimension: $B$(batch),$C$(channels),$F$(frames),$H$(height),$W$(width))
- - flatten: spatial dimension 축에 대해 flatten하는 연산 (결과 dimension: $B$,$C$,$F$,$HW$)
- - $ATTN_{2D}$는 pretrained T2I 모델에서 초기화되고, $ATTN_{1D}$는 identity function으로 초기화 된다.
- - Code
-
- ```python
- class SpatioTemporalAttention(nn.Module):
- def __init__(
- self,
- dim,
- *,
- dim_head = 64,
- heads = 8,
- add_feed_forward = True,
- ff_mult = 4,
- pos_bias = True,
- flash = False,
- causal_time_attn = False
- ):
- super().__init__()
- assert not (flash and pos_bias), 'learned positional attention bias is not compatible with flash attention'
-
- self.spatial_attn = Attention(dim = dim, dim_head = dim_head, heads = heads, flash = flash)
- self.spatial_rel_pos_bias = ContinuousPositionBias(dim = dim // 2, heads = heads, num_dims = 2) if pos_bias else None
-
- self.temporal_attn = Attention(dim = dim, dim_head = dim_head, heads = heads, flash = flash, causal = causal_time_attn)
- self.temporal_rel_pos_bias = ContinuousPositionBias(dim = dim // 2, heads = heads, num_dims = 1) if pos_bias else None
-
- self.has_feed_forward = add_feed_forward
- if not add_feed_forward:
- return
-
- self.ff = FeedForward(dim = dim, mult = ff_mult)
-
- def forward(
- self,
- x,
- enable_time = True
- ):
- b, c, *_, h, w = x.shape
- is_video = x.ndim == 5
- enable_time &= is_video
-
- if is_video:
- x = rearrange(x, 'b c f h w -> (b f) (h w) c') #[bXf, hXw, c]
- else:
- x = rearrange(x, 'b c h w -> b (h w) c')#[b, hXw, c]
-
- space_rel_pos_bias = self.spatial_rel_pos_bias(h, w) if exists(self.spatial_rel_pos_bias) else None
-
- x = self.spatial_attn(x, rel_pos_bias = space_rel_pos_bias) + x
-
- if is_video:
- x = rearrange(x, '(b f) (h w) c -> b c f h w', b = b, h = h, w = w)
- else:
- x = rearrange(x, 'b (h w) c -> b c h w', h = h, w = w)
-
- if enable_time:
-
- x = rearrange(x, 'b c f h w -> (b h w) f c') #[bXhXw, f, c]
-
- time_rel_pos_bias = self.temporal_rel_pos_bias(x.shape[1]) if exists(self.temporal_rel_pos_bias) else None
-
- x = self.temporal_attn(x, rel_pos_bias = time_rel_pos_bias) + x
-
- x = rearrange(x, '(b h w) f c -> b c f h w', w = w, h = h)
-
- if self.has_feed_forward:
- x = self.ff(x, enable_time = enable_time) + x
-
- return x
- ```
-
-- Frame rate conditioning
- - 비디오의 초당 프레임 수를 나타내는 추가 컨디셔닝 파라미터 $fps$를 추가한다.
-
-### 3.3 Frame Interpolation Network
-
-- ↑F (Frame Interpolation Network)란?
- - 생성된 프레임 수를 증가시켜, 생성된 비디오를 더 부드럽게 만들고 비디오 길이를 연장 시킬 수 있는 네트워크
- - 프레임을 보간하고 extrapolation을 하는 네트워크
- - Extrapolation: 주어진 데이터 또는 정보를 사용하여 미래의 값을 예측하거나 확장
-- ↑F (Frame Interpolation Network) 동작
- - Spatialtemporal decoder $D^t$에서 마스크 처리된 입력 프레임을 제로 패딩하고 비디오 업샘플링을 적용하여 masked frame interpolation을 파인 튜닝한다.
- - 파인 튜닝할 때 U-Net의 입력에 4개의 채널을 추가한다.
- - RGB 마스킹 비디오 입력을 위한 3개의 채널과 마스킹되는 프레임을 나타내는 추가 바이너리 채널
- - 다양한 frame-skips과 $fps$에 대해 파인튜닝하여 추론시 여러 temporal upsample rate를 제공한다.
-- 본 논문의 모든 실험에서는 ↑F를 frame skip 5로 적용하여 16프레임 비디오를 76프레임((16-1)X5+1)으로 업샘플링 하였다.
-- 비디오 시작 또는 끝 프레임을 마스킹하여 비디오 추정 또는 이미지 애니메이션에도 사용할 수 있다.
-
-### 3.4 Training
-
-- 위에서 설명한 구성 요소들은 독립적으로 학습 된다.
-- 훈련 과정
- 1. Prior $P$ 훈련 (text-image 데이터 이용)
-
- → 텍스트를 입력으로 받는 prior $P$는 text-image 데이터에 대해서만 학습 되고 비디오에 대해서는 파인 튜닝하지 않는다.
-
- 2. 이미지를 이용한 학습
-
- → Decoder, prior, 두개의 super-resolution 요소들은 먼저 텍스트 없이 이미지 만으로 학습 된다.
-
- → Decoder는 Clip image embedding을 입력으로 받고, super-resolution 요소들은 학습 중에 입력으로 들어온 downsampled image를 입력으로 받는다.
-
- 3. 비디오를 이용한 학습
- - 이미지에 대한 훈련이 끝나면 새로운 시간 레이어를 추가하고 초기화하여 레이블이 지정되지 않은 비디오 데이터에 대해 파인 튜닝한다.
- - 원본 비디오에서 16프레임이 샘플링 되며, 1에서 30 사이의 랜덤 $fps$를 사용한다.
- - 디코더를 학습하는 동안 훈련 초기에는 더 높은 $fps$ 범위(모션이 적은)에서 시작하고, 이후에는 더 작은 $fps$ 범위(모션이 많은)로 전환한다.
- - Masked-frame interpolation 네트워크는 temporal 디코더로부터 파인 튜닝된다.
-
-## 4. Experiments
-
-### 4.1 Dataset and Settings
-
-#### Datasets
-
-- Image, Text
- - LAION-5B 데이터셋의 일부 2.3B의 데이터를 사용하였다.
- - NSFW 이미지, 텍스트의 유해한 단어 또는 워터마크 확률이 0.5보다 큰 이미지가 있는 샘플 쌍을 필터링하였다. ****
- - NSFW: Not Safe For Work, 선정적이거나 음란하거나 폭력적인 내용을 포함한 콘텐츠
-- Video
- - WebVid-10M과, HD-VILA-100M 데이터셋의 일부 10M 데이터를 사용하였다.
- - Decoder $D^t$, interpolation 모델 → WebVid-10M을 이용하여 학습
- - $SR^t_l$ → WebVid-10M, HD-VILA-100M을 이용하여 학습
-- Zero-shot test 데이터
- - UCF-101, MSR-VTT
- - UCF-101: 액션 인식 연구를 위해 고안되었으며, 다양한 동작 및 환경에서 촬영된 비디오 클립 데이터셋
- - MSR-VTT: 비디오와 해당 비디오에 대한 텍스트 설명 또는 캡션을 포함하는 데이터셋
-
-#### Automatic Metrics
-
-- UCF-101
- - 각 클래스에 대해 하나의 템플릿 문장을 작성하고 평가를 위해 수정한다.
- - 10K 샘플에 대해 Fretchet Video Distance(FVD)와 Inception Score(IS)를 측정한다.
- - Train셋과 동일한 클래스 분포를 따르는 샘플을 생성한다.
-- MSR-VTT
- - 테스트 세트의 모든 59,794 캡션에 대한 FID와 CLIPSIM(비디오 프레임과 텍스트 간의 평균 CLIP 유사도)를 측정한다.
-
-#### Human Evaluation Set and Metrics
-
-- Amazon Mechanical Turk(AMT)에서 300개의 프롬프트로 이루어진 평가 세트를 수집하였다.
-- Annotator들에게 T2V 시스템이 있다면 어떤 것을 생성하고 싶은지 물어봤다.
-- 불완전하거나, 너무 추상적이거나, 불쾌감을 주는 프롬프트를 필터링 하였다.
-- 5가지 카테고리(동물, 판타지, 사람, 자연 및 풍경, 음식 및 음료)를 식별하고 해당 카테고리에 맞는 프롬프트를 선택하였다.
-- 이러한 프롬프트는 동영상을 만드는 데에 사용되지 않고 선택 되었으며, 고정된 상태로 유지했다.
-- Human evaluation을 위해 Imagen의 DrawBench 프롬프트도 사용하였다.
-- 비디오 품질과 text-vedio faithfulness를 평가하였다.
- - 비디오 품질 → 두 개의 비디오를 랜덤 순서로 보여주고 어떤 비디오의 품질이 더 좋은지 annotator에게 물어본다.
- - Text-vdeio faithfulness → 텍스트를 추가로 보여주고 어떤 비디오가 텍스트와 더 잘 일치하는지 annotator에게 물어본다.
-- 보간 모델과 FILM의 비디오 모션 사실감을 비교하기 위한 평가도 진행하였다.
-- 5명의 각기 다른 annotator의 다수 득표를 최종 결과로 사용하였다.
-
-### 4.2 Quantitative Results
-
-#### Automatic Evaluaton on MSR-VTT
-
-- MSR-VTT에 대해 성능을 보고하는 GODIVA, NUWA 외에도, 중국어와 영어를 모두 입력으로 받는 CogVideo 모델에 대해서도 추론을 수행하였다.
-
-:::{figure-md}
-
-
-Automatic Evaluaton on MSR-VTT
-:::
-
-
-→ 가장 우수한 성능을 보인다.
-
-### Automatic Evluation on UCF-101
-
-:::{figure-md}
-
-
-Automatic Evluation on UCF-101
-:::
-
-→ Make-A-Video의 제로 샷 성능이 다른 방법보다 우수하다. Finetunning을 한 결과에서도 SOTA를 달성하였다.
-
-
-#### Human Evaluation
-
-- DrawBench와 테스트셋에 대해서 CogVideo와 성능을 비교한다.
-- 또한, VDM의 웹 페이지에 표시된 28개의 동영상에 대해서도 평가한다.
-- 각 입력에 대해 8개의 동영상을 무작위로 생성하고, 8번 평가하여 평균 결과를 낸다.
-- 사람의 평가를 위해 76x256x256 해상도로 동영상을 생성한다.
-
-:::{figure-md}
-
-
-Human Evaluation
-:::
-
-→ 평가자가 Make-A-Video 모델의 결과가 더 낫다고 투표한 퍼센트 비율. 대부분 평가자가 모든 벤치마크에서 Make-A-Video가 더 낫다고 평가하였다.
-
-- Frame Interpolation Network와 FILM을 비교 평가하기
- - DrawBench의 텍스트 프롬프트와 평가 세트에서 저프레임률 비디오(1 FPS)를 생성한 다음, 4FPS까지 업샘플링한다.
- - 평가자들은 eval set에 대해서는 62%, DrawBench에 대해서는 54%로 Make-A-Video가 더 낫다고 평가하였다.
- - 프레임 간의 차이가 커서 물체가 어떻게 움직이는지에 대한 real-world 지식이 중요한 경우에는 본 논문에 방법이 더 뛰어난 것으로 관찰 되었다.
-
-### 4.3 Qualitative Results
-
-:::{figure-md}
-
-
-T2V Generation 결과. 맨 위: VDM, 가운데: CogVideo, 맨 아래: Make-A-Video
-→ Make-A-Video가 모션의 일관성을 유지하면서 더 풍부한 콘텐츠를 생성할 수 있다.
-:::
-
-:::{figure-md}
-
-
-이미지에 mask frame interpolation 및 extrpolation network ↑F를 적용한 결과.
-가장 왼쪽에 입력 이미지가 주어지면, 이를 동영상으로 애니메이션화 함.
-사용자는 자신의 이미지를 사용하여 동영상을 생성할 수 있으며, 생성된 동영상을 개인화하고 직접 제어할 수 있음.
-:::
-
-:::{figure-md}
-
-
-두 이미지 사이의 interpolation 결과. 왼쪽: FILM, 오른쪽: 본 논문의 approach
-FILM → 실제 움직이는 object에 대한 이해 없이 프레임을 부드럽게 전환하기만 함.
-본 논문의 approach → 의미론적으로 더 의미있는 interpolation을 만듬.
-:::
-
-:::{figure-md}
-
-
-비디오 변형 예시. 위: 원본 비디오, 아래: 새로운 비디오
-:::
-
-
-- 기타 결과: [https://make-a-video.github.io/](https://make-a-video.github.io/)
-
-## 5. 결론
-
-- 주변 세계로부터 지식을 배우는 human intelligence처럼 generative system도 인간의 학습 방식을 모방할 수 있다면, 더욱 창의적이고 유용할 것이다.
-- 연구자들은 비지도 학습을 통해 훨씬 더 많은 동영상에서 세계의 dynamic을 학습함으로써 기존의 한계를 극복할 수 있다.
+```{admonition} Information
+- **Title:** Make-A-Video: Text-to-Video Generation without Text-Video Data
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2209.14792](https://arxiv.org/abs/2209.14792)
+
+- **Author:** [Jeonghwa Yoo](https://www.linkedin.com/in/jeonghwa-yoo-8403a716b)
+
+- **Last updated on Nov. 26, 2023**
+```
+
+# Make A Video
+- 참고 코드: [https://github.com/lucidrains/make-a-video-pytorch](https://github.com/lucidrains/make-a-video-pytorch)
+
+
+
+
+## 1. Introduction
+
+### Make-A-video 제안 배경
+
+- T2I 모델링을 할 수 있는 데이터는 인터넷을 통해 확보될 수 있으나, 비슷한 규모의 텍스트 비디오 데이터셋을 수집하기는 어렵다.
+- T2I 모델이 존재하는데 T2V 모델을 처음부터 학습 시키는 것은 낭비일 수 있다.
+- 비지도 학습을 사용하여 더 많은 데이터를 학습할 수 있다.
+
+### Make-A-video 특성
+
+- T2I 모델을 활용하여, 레이블이 지정되지 않은 비디오 데이터에 대해 비지도 학습을 사용하여 학습한다 → 페어링된 텍스트-비디오 데이터 없이도 텍스트에서 비디오를 생성할 수 있다.
+- 텍스트 없이도 비지도 비디오만으로 세상의 다양한 개체가 어떻게 움직이고 상호 작용하는지 학습할 수 있다.
+
+### Contribution
+
+- 디퓨전 기반의 T2I 모델을 T2V로 확장하는 효과적인 방법인 Make-A-Video를 소개한다.
+- Text-to-image 를 prior로 사용하여 text-video 데이터의 필요성을 우회한다.
+- 고화질, 고프레임률 비디오를 생성하는 super-resolution 전략을 제안한다.
+- Make-A-Video를 기존 T2V 시스템과 비교하여 평가한다. 또한, 제로샷 T2V human evaluation을 위해 300개의 프롬프트 테스트 세트를 수집하여 공개할 계획이다.
+
+## 2. Previous Work
+
+## 3. Method
+
+- Make-A-Video의 주요 요소
+ 1. 텍스트-이미지 쌍으로 학습된 base T2I 모델
+ 2. 신경망의 블록을 시간 차원으로 확장하는 시공간 convolution 및 attention layer
+ 3. 두 시공간 layer로 구성된 시공간 신경망과 높은 프레임 속도 생성을 위한 frame interpolation network
+
+- Make-A-Video의 최종 inference 수식
+
+ :::{figure-md}
+
+
+ 최종 inference 수식
+ :::
+
+ - $SR_h$: spatial super-resolution network
+ - $SR^t_l$: spatiotemporal super-resolution network
+ - $\uparrow_{F}$: frame interpolation network
+ - $D^t$: spatiotemporal decoder
+ - $P$: prior network
+ - $\hat{x}$: BPE-encoded text
+ - $C_x$: CLIP text encoder
+ - $x$: input text
+
+### 3.1. Text-To-Image Model
+
+- [“Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding(Imagen)”](https://arxiv.org/abs/2205.11487)와 연구 내용을 공유하였다.
+- Imagen
+
+ :::{figure-md}
+
+
+ Imagen 구조
+ :::
+
+
+- 고해상도 이미지를 만들기 위해 사용한 네트워크
+ - A prior Network $P$: 텍스트 임베딩 $x_e$와 BPE encoded text tokens $\hat{x}$이 주어졌을 때 이미지 임베딩 $y_e$를 생성하는 네트워크
+ - Decoder Network $D$: 이미지 임베딩 $y_e$로부터 저해상도 64X64 RGB 이미지 $\hat{y}_l$를 생성하는 네트워크
+ - Super-resolution network $SR_l$, $SR_h$: D에서 생성된 이미지 64X64 저해상도 이미지 $\hat{y}_l$를 256X256, 768X768 픽셀로 증가시켜 최종 이미지 $\hat{y}$를 만드는 네트워크
+
+ :::{figure-md}
+
+
+ text $x$가 prior $P$를 통해 image embedding 변환된다.
+ fps: desired frame rate
+ :::
+
+
+### 3.2. Spatiotemporal Layers
+
+- 2차원 조건부 네트워크를 시간적 차원으로 확장하기 위해 다음의 구성 요소를 수정한다.
+ - Convolutional layers
+ - Attention layers
+- Fully-connected layers는 특별한 수정을 할 필요 없이 시간 정보만 추가해주면 된다.
+- 구성 요소 수정 결과 $D^t$는 64X64 사이즈의 16 RGB frame을 만들게 된다.
+- Frame interpolation network $\uparrow_{F}$가 생성된 16개의 프레임과 super-resolution 네트워크 $SR^t_l$ 사이를 보간하여 프레임 속도를 증가시킨다.
+- Super-resolution 네트워크에는 hallucinating information(환각 정보)가 포함 된다. 깜박이는 잔상이 생기지 않으려면, 환각이 프레임 전체에 걸쳐 일관성을 유지해야 한다.
+ - Hallucinating information
+
+ 실제로 존재하지 않는 정보나 세부 사항을 생성하거나 가상으로 추가하는 것
+
+- 프레임당 super resolution을 수행하는 것보다 spatiotemporal 모듈인 $SR^t_l$가 더 좋은 성능을 보였다.
+- 하지만, $SR_h$를 위와 같은 모듈로 만들기엔 메모리 및 컴퓨팅 제약과 고해상도 비디오 데이터의 부족으로 $SR_h$를 위와 같이 시간적 차원으로 확장하는 것은 어려웠다 → $SR_h$는 공간적 차원에서 작동한다.( 각 프레임에 대해 동일한 노이즈 초기화를 사용하여 프레임 전반에 걸쳐 일관된 환각을 제공함)
+
+#### 3.2.1 Pseudo-3D convolutional layers
+
+:::{figure-md}
+
+
+Architecture of Pseudo-3D convolutional layers
+:::
+
+- 2D 컨벌루션 레이어 다음에 1D 컨벌루션을 쌓는다 (Cf:separable convolution)
+ - 3D 컨벌루션의 계산 load를 줄일 수 있다.
+ - 사전 학습된 2D 컨볼루션 레이어와 새로 초기화된 1D 컨벌루션 레이어 사이에 명확한 경계를 생성하여, spatial information을 유지한 채 temporal convolution을 처음부터 학습할 수 있게 한다.
+- Pseudo-3D convolutional layer
+
+ :::{figure-md}
+
+
+ Pseudo-3D convolutional layer
+ :::
+
+ - $h$: 입력 텐서 (dimension: $B$(batch),$C$(channels),$F$(frames),$H$(height),$W$(width))
+ - $\text{o}T$: transpose operator (spatial ↔ temporal)
+ - $Conv_{2_D}$는 pretrained T2I 모델에서 초기화 되고, $Conv_{1_D}$는 identity 함수로 초기화 된다.
+
+#### 3.2.2. Psuedo-3D attention layers
+
+:::{figure-md}
+
+
+Architecture of Pseudo-3D attention layers
+:::
+
+- [“Video Diffusion Models**”**](https://arxiv.org/abs/2204.03458)에 영감을 받아 dimension decomposition 전략을 attention layer에 확장하였다.
+- Pseudo-3D convolutional layer처럼 각각의 spatial attenion layer를 쌓아, 전체 spatiotemporal attention layer를 근사화하는 temporal attention layer를 쌓는다.
+- Pseudo-3D attention layer
+ :::{figure-md}
+
+
+ Pseudo-3D attention layer
+ :::
+
+ - $h$: 입력 텐서 (dimension: $B$(batch),$C$(channels),$F$(frames),$H$(height),$W$(width))
+ - flatten: spatial dimension 축에 대해 flatten하는 연산 (결과 dimension: $B$,$C$,$F$,$HW$)
+ - $ATTN_{2D}$는 pretrained T2I 모델에서 초기화되고, $ATTN_{1D}$는 identity function으로 초기화 된다.
+ - Code
+
+ ```python
+ class SpatioTemporalAttention(nn.Module):
+ def __init__(
+ self,
+ dim,
+ *,
+ dim_head = 64,
+ heads = 8,
+ add_feed_forward = True,
+ ff_mult = 4,
+ pos_bias = True,
+ flash = False,
+ causal_time_attn = False
+ ):
+ super().__init__()
+ assert not (flash and pos_bias), 'learned positional attention bias is not compatible with flash attention'
+
+ self.spatial_attn = Attention(dim = dim, dim_head = dim_head, heads = heads, flash = flash)
+ self.spatial_rel_pos_bias = ContinuousPositionBias(dim = dim // 2, heads = heads, num_dims = 2) if pos_bias else None
+
+ self.temporal_attn = Attention(dim = dim, dim_head = dim_head, heads = heads, flash = flash, causal = causal_time_attn)
+ self.temporal_rel_pos_bias = ContinuousPositionBias(dim = dim // 2, heads = heads, num_dims = 1) if pos_bias else None
+
+ self.has_feed_forward = add_feed_forward
+ if not add_feed_forward:
+ return
+
+ self.ff = FeedForward(dim = dim, mult = ff_mult)
+
+ def forward(
+ self,
+ x,
+ enable_time = True
+ ):
+ b, c, *_, h, w = x.shape
+ is_video = x.ndim == 5
+ enable_time &= is_video
+
+ if is_video:
+ x = rearrange(x, 'b c f h w -> (b f) (h w) c') #[bXf, hXw, c]
+ else:
+ x = rearrange(x, 'b c h w -> b (h w) c')#[b, hXw, c]
+
+ space_rel_pos_bias = self.spatial_rel_pos_bias(h, w) if exists(self.spatial_rel_pos_bias) else None
+
+ x = self.spatial_attn(x, rel_pos_bias = space_rel_pos_bias) + x
+
+ if is_video:
+ x = rearrange(x, '(b f) (h w) c -> b c f h w', b = b, h = h, w = w)
+ else:
+ x = rearrange(x, 'b (h w) c -> b c h w', h = h, w = w)
+
+ if enable_time:
+
+ x = rearrange(x, 'b c f h w -> (b h w) f c') #[bXhXw, f, c]
+
+ time_rel_pos_bias = self.temporal_rel_pos_bias(x.shape[1]) if exists(self.temporal_rel_pos_bias) else None
+
+ x = self.temporal_attn(x, rel_pos_bias = time_rel_pos_bias) + x
+
+ x = rearrange(x, '(b h w) f c -> b c f h w', w = w, h = h)
+
+ if self.has_feed_forward:
+ x = self.ff(x, enable_time = enable_time) + x
+
+ return x
+ ```
+
+- Frame rate conditioning
+ - 비디오의 초당 프레임 수를 나타내는 추가 컨디셔닝 파라미터 $fps$를 추가한다.
+
+### 3.3 Frame Interpolation Network
+
+- ↑F (Frame Interpolation Network)란?
+ - 생성된 프레임 수를 증가시켜, 생성된 비디오를 더 부드럽게 만들고 비디오 길이를 연장 시킬 수 있는 네트워크
+ - 프레임을 보간하고 extrapolation을 하는 네트워크
+ - Extrapolation: 주어진 데이터 또는 정보를 사용하여 미래의 값을 예측하거나 확장
+- ↑F (Frame Interpolation Network) 동작
+ - Spatialtemporal decoder $D^t$에서 마스크 처리된 입력 프레임을 제로 패딩하고 비디오 업샘플링을 적용하여 masked frame interpolation을 파인 튜닝한다.
+ - 파인 튜닝할 때 U-Net의 입력에 4개의 채널을 추가한다.
+ - RGB 마스킹 비디오 입력을 위한 3개의 채널과 마스킹되는 프레임을 나타내는 추가 바이너리 채널
+ - 다양한 frame-skips과 $fps$에 대해 파인튜닝하여 추론시 여러 temporal upsample rate를 제공한다.
+- 본 논문의 모든 실험에서는 ↑F를 frame skip 5로 적용하여 16프레임 비디오를 76프레임((16-1)X5+1)으로 업샘플링 하였다.
+- 비디오 시작 또는 끝 프레임을 마스킹하여 비디오 추정 또는 이미지 애니메이션에도 사용할 수 있다.
+
+### 3.4 Training
+
+- 위에서 설명한 구성 요소들은 독립적으로 학습 된다.
+- 훈련 과정
+ 1. Prior $P$ 훈련 (text-image 데이터 이용)
+
+ → 텍스트를 입력으로 받는 prior $P$는 text-image 데이터에 대해서만 학습 되고 비디오에 대해서는 파인 튜닝하지 않는다.
+
+ 2. 이미지를 이용한 학습
+
+ → Decoder, prior, 두개의 super-resolution 요소들은 먼저 텍스트 없이 이미지 만으로 학습 된다.
+
+ → Decoder는 Clip image embedding을 입력으로 받고, super-resolution 요소들은 학습 중에 입력으로 들어온 downsampled image를 입력으로 받는다.
+
+ 3. 비디오를 이용한 학습
+ - 이미지에 대한 훈련이 끝나면 새로운 시간 레이어를 추가하고 초기화하여 레이블이 지정되지 않은 비디오 데이터에 대해 파인 튜닝한다.
+ - 원본 비디오에서 16프레임이 샘플링 되며, 1에서 30 사이의 랜덤 $fps$를 사용한다.
+ - 디코더를 학습하는 동안 훈련 초기에는 더 높은 $fps$ 범위(모션이 적은)에서 시작하고, 이후에는 더 작은 $fps$ 범위(모션이 많은)로 전환한다.
+ - Masked-frame interpolation 네트워크는 temporal 디코더로부터 파인 튜닝된다.
+
+## 4. Experiments
+
+### 4.1 Dataset and Settings
+
+#### Datasets
+
+- Image, Text
+ - LAION-5B 데이터셋의 일부 2.3B의 데이터를 사용하였다.
+ - NSFW 이미지, 텍스트의 유해한 단어 또는 워터마크 확률이 0.5보다 큰 이미지가 있는 샘플 쌍을 필터링하였다. ****
+ - NSFW: Not Safe For Work, 선정적이거나 음란하거나 폭력적인 내용을 포함한 콘텐츠
+- Video
+ - WebVid-10M과, HD-VILA-100M 데이터셋의 일부 10M 데이터를 사용하였다.
+ - Decoder $D^t$, interpolation 모델 → WebVid-10M을 이용하여 학습
+ - $SR^t_l$ → WebVid-10M, HD-VILA-100M을 이용하여 학습
+- Zero-shot test 데이터
+ - UCF-101, MSR-VTT
+ - UCF-101: 액션 인식 연구를 위해 고안되었으며, 다양한 동작 및 환경에서 촬영된 비디오 클립 데이터셋
+ - MSR-VTT: 비디오와 해당 비디오에 대한 텍스트 설명 또는 캡션을 포함하는 데이터셋
+
+#### Automatic Metrics
+
+- UCF-101
+ - 각 클래스에 대해 하나의 템플릿 문장을 작성하고 평가를 위해 수정한다.
+ - 10K 샘플에 대해 Fretchet Video Distance(FVD)와 Inception Score(IS)를 측정한다.
+ - Train셋과 동일한 클래스 분포를 따르는 샘플을 생성한다.
+- MSR-VTT
+ - 테스트 세트의 모든 59,794 캡션에 대한 FID와 CLIPSIM(비디오 프레임과 텍스트 간의 평균 CLIP 유사도)를 측정한다.
+
+#### Human Evaluation Set and Metrics
+
+- Amazon Mechanical Turk(AMT)에서 300개의 프롬프트로 이루어진 평가 세트를 수집하였다.
+- Annotator들에게 T2V 시스템이 있다면 어떤 것을 생성하고 싶은지 물어봤다.
+- 불완전하거나, 너무 추상적이거나, 불쾌감을 주는 프롬프트를 필터링 하였다.
+- 5가지 카테고리(동물, 판타지, 사람, 자연 및 풍경, 음식 및 음료)를 식별하고 해당 카테고리에 맞는 프롬프트를 선택하였다.
+- 이러한 프롬프트는 동영상을 만드는 데에 사용되지 않고 선택 되었으며, 고정된 상태로 유지했다.
+- Human evaluation을 위해 Imagen의 DrawBench 프롬프트도 사용하였다.
+- 비디오 품질과 text-vedio faithfulness를 평가하였다.
+ - 비디오 품질 → 두 개의 비디오를 랜덤 순서로 보여주고 어떤 비디오의 품질이 더 좋은지 annotator에게 물어본다.
+ - Text-vdeio faithfulness → 텍스트를 추가로 보여주고 어떤 비디오가 텍스트와 더 잘 일치하는지 annotator에게 물어본다.
+- 보간 모델과 FILM의 비디오 모션 사실감을 비교하기 위한 평가도 진행하였다.
+- 5명의 각기 다른 annotator의 다수 득표를 최종 결과로 사용하였다.
+
+### 4.2 Quantitative Results
+
+#### Automatic Evaluaton on MSR-VTT
+
+- MSR-VTT에 대해 성능을 보고하는 GODIVA, NUWA 외에도, 중국어와 영어를 모두 입력으로 받는 CogVideo 모델에 대해서도 추론을 수행하였다.
+
+:::{figure-md}
+
+
+Automatic Evaluaton on MSR-VTT
+:::
+
+
+→ 가장 우수한 성능을 보인다.
+
+### Automatic Evluation on UCF-101
+
+:::{figure-md}
+
+
+Automatic Evluation on UCF-101
+:::
+
+→ Make-A-Video의 제로 샷 성능이 다른 방법보다 우수하다. Finetunning을 한 결과에서도 SOTA를 달성하였다.
+
+
+#### Human Evaluation
+
+- DrawBench와 테스트셋에 대해서 CogVideo와 성능을 비교한다.
+- 또한, VDM의 웹 페이지에 표시된 28개의 동영상에 대해서도 평가한다.
+- 각 입력에 대해 8개의 동영상을 무작위로 생성하고, 8번 평가하여 평균 결과를 낸다.
+- 사람의 평가를 위해 76x256x256 해상도로 동영상을 생성한다.
+
+:::{figure-md}
+
+
+Human Evaluation
+:::
+
+→ 평가자가 Make-A-Video 모델의 결과가 더 낫다고 투표한 퍼센트 비율. 대부분 평가자가 모든 벤치마크에서 Make-A-Video가 더 낫다고 평가하였다.
+
+- Frame Interpolation Network와 FILM을 비교 평가하기
+ - DrawBench의 텍스트 프롬프트와 평가 세트에서 저프레임률 비디오(1 FPS)를 생성한 다음, 4FPS까지 업샘플링한다.
+ - 평가자들은 eval set에 대해서는 62%, DrawBench에 대해서는 54%로 Make-A-Video가 더 낫다고 평가하였다.
+ - 프레임 간의 차이가 커서 물체가 어떻게 움직이는지에 대한 real-world 지식이 중요한 경우에는 본 논문에 방법이 더 뛰어난 것으로 관찰 되었다.
+
+### 4.3 Qualitative Results
+
+:::{figure-md}
+
+
+T2V Generation 결과. 맨 위: VDM, 가운데: CogVideo, 맨 아래: Make-A-Video
+→ Make-A-Video가 모션의 일관성을 유지하면서 더 풍부한 콘텐츠를 생성할 수 있다.
+:::
+
+:::{figure-md}
+
+
+이미지에 mask frame interpolation 및 extrpolation network ↑F를 적용한 결과.
+가장 왼쪽에 입력 이미지가 주어지면, 이를 동영상으로 애니메이션화 함.
+사용자는 자신의 이미지를 사용하여 동영상을 생성할 수 있으며, 생성된 동영상을 개인화하고 직접 제어할 수 있음.
+:::
+
+:::{figure-md}
+
+
+두 이미지 사이의 interpolation 결과. 왼쪽: FILM, 오른쪽: 본 논문의 approach
+FILM → 실제 움직이는 object에 대한 이해 없이 프레임을 부드럽게 전환하기만 함.
+본 논문의 approach → 의미론적으로 더 의미있는 interpolation을 만듬.
+:::
+
+:::{figure-md}
+
+
+비디오 변형 예시. 위: 원본 비디오, 아래: 새로운 비디오
+:::
+
+
+- 기타 결과: [https://make-a-video.github.io/](https://make-a-video.github.io/)
+
+## 5. 결론
+
+- 주변 세계로부터 지식을 배우는 human intelligence처럼 generative system도 인간의 학습 방식을 모방할 수 있다면, 더욱 창의적이고 유용할 것이다.
+- 연구자들은 비지도 학습을 통해 훨씬 더 많은 동영상에서 세계의 dynamic을 학습함으로써 기존의 한계를 극복할 수 있다.
diff --git a/_sources/docs/review/MimicBrush.md b/_sources/docs/review/MimicBrush.md
index 9a1e22d7..1a29de67 100755
--- a/_sources/docs/review/MimicBrush.md
+++ b/_sources/docs/review/MimicBrush.md
@@ -1,198 +1,198 @@
-```{admonition} Information
-- **Title:** MimicBrush: Zero-shot Image Editing with Reference Imitation
-
-- **Reference**
- - Paper: [https://arxiv.org/pdf/2406.07547](https://arxiv.org/pdf/2406.07547)
- - Code: [Official](https://github.com/ali-vilab/MimicBrush)
-
-- **Author:** Chanyeong Shin
-
-- **Last updated on Nov. 05, 2024**
-```
-
-# MimicBrush: Zero-shot Image Editing with Reference Imitation
-
-## Three Lines Summary
-
-1. Edited Image 로 어떻게 자연스럽게 변해야 할지에 관한 **“imitative editing” 에 관한 아이디어**
-2. **Source Image 와 Reference Image 간의 correspondence** 를 이용해 바뀌어야 할 부분을 잘 가져오는 방법인 MimicBrush 라고 명명한 generative training framework 제안
-3. **SOTA 인 동시에 앞으로의 imitative editing 연구를 위한 evaluation benchmark** 제안
-
-## 1. Introduction
-
-- Image editing 분야 자체가 굉장히 수많은 요구 조건과 시나리오를 만족하면서 수행되어야 했기에 기존의 방법들이 여전히 challenging 한 문제를 풀고 있음
-- 기존의 방법들은 현재 source image 와 함께 해당 mask 를 input 으로 넣어주고 있음 (이건 공통)
- - Inpainting method
- - editing 이라는 task 를 **“Text Prompt”** 하나로만 해결하고자 했는데 이건 원하는 결과를 뽑아내기에는 적절하지 않음
- - My thoughts : 실제로 inpainting 은 refining 과 같이 자연스럽게 만들어주는 것 외에는 실무에서 잘 사용하지는 않았던 것 같음
- - Composition method
- - ref image 와 ref mask/box 를 이용해 이를 해결하고자 하였는데, 아무래도 **“individual object” 를 insertion** 하는 작업처럼 느껴 모델이 어려워 할 만 했음
- - shoe soles 이나 hair 와 같은 local components 나 로고나 texture 같은 local patterns
- - 또한, Image 로부터 reference area 를 완벽하게 잘 추출하는 방법이 필요했음
- - Local components 들은 또 전체 image 에 잘 어우러지게 하는 것도 고려해야 했고, 학습 과정에서 같은 object 인데 frame 에 따라 모양도 조금씩 달라서 이런 다양한 문제들을 풀어야 했음
-- 앞선 문제들을 해결하기 위해서, editing 을 할 수 있는 novel pipeline 인 **imitative editing** 을 제안
- - Ref image 에서 mask 는 사용하지 않고 source image 의 mask area 부분을 ref image 에서 어디에 해당하는지 자동으로 찾고 모방할 수 있도록 하였음
-
-- Imitative editing 을 하기 위해서 **MimicBrush 라고 하는 dual diffusion U-Nets network framework** 를 제안
- - self-supervised manner 로 학습함 → 같은 video 에서 source / ref image 를 뽑아서 학습에 활용하는 방식
- - 당연히 같은 video 에서 추출했기 때문에 semantic correspondence 와 visual variations 를 가지고 있을 것
- - masked source image 는 imitative U-Net 으로 / reference image 는 reference U-Net 으로 통과 → 이후 reference U-Net 의 attention K,V 를 imitative U-Net 에 injection 시키는 방식
-- 이 Image editing 방식을 이용하여 학습된 model 은 구도, 조명, 카테고리 자체가 달라도 잘 변환이 되는 결과를 보였으며, ref image 의 visual concepts 의 detail 도 잘 유지한 채로 가져오는 것을 확인하였음
-- 조금 더 comprehensive 한 evaluation 을 위해서 imitative editing 의 benchmark 까지 제안
- - part composition : 얼마나 part 구성이 자연스럽게 잘 되었는가?
- - texture transfer : 느낌을 얼마나 잘 유지하면서 texture 가 변환됐는가?
-
-## 2. Method
-
-:::{figure-md}
-
-
-The training process of MimicBrush
-:::
-
-### Overall Pipeline
-
-- **Dual diffusion models architecture + self-supervised manner**
-- Video data 에는 consistent content 를 가지고 있고 visual variations 까지 있기 때문에 이를 활용
- - 랜덤하게 video clip 에서 two frames 를 뽑아서 학습 sample 로 활용
-- source image 는 masking 시키고, ref image 는 masked source image 를 recover 할 수 있도록 도움을 주도록 넣음
-- 결국 MimicBrush 는 dog’s face 와 같은 corresponding visual information 이 위치하는 것을 학습하고 source image 의 masked area 를 repaint 시킴
-- 또한 source image 의 빈 부분을 채우는 과정에서 자연스럽게 blending 시켜야 하기 때문에 visual content 를 같은 환경의 포즈, 조명, 시점으로 변환하는 것도 학습
-
-- 앞서 언급했던 것처럼 dual branch 의 U-Nets 구조를 활용 → imitative and reference U-Net
- - attention layers 의 K,V 는 서로 share 하고(실질적으로는 concat) reference image 로부터 indications 을 찾아 masked source image 를 만들도록 함
-- 추가로, source & ref image 에 variation 을 증가시키기 위해 augmentation 도 적용
-- 또한, optional condition 으로 imitative U-Net 에 depth map 도 줌
- - inference 단계에서 object 의 shape 가 잘 유지됐는지 depth map 을 활용할지 말지를 결정할 수도 있게 하였음
-
-
-### Model Structure
-
-- Imitative U-Net
- - Base : SD-1.5 inpainting model
- - Input : 13 channels tensor
- - image latent → 4 channels
- - binary mask → 1 channel
- - background latent → 4 channels
- - depth latent → 4 channels
- - (Figure 에는 나와있지 않지만) 기존 original U-Net 은 CLIP 을 text embedding 으로 활용하는데, 본 논문은 CLIP 을 reference image 으로부터 뽑아낸 image embedding 을 cross-attention 에 활용
- - image embedding 이후에 projection layer 을 거쳐 들어감
- - 학습은 imitative U-Net 과 CLIP projection layer 의 parameters 들이 학습..
-
-- Reference U-Net
- - 최근에 굉장히 많은 연구들이 reference image 로부터 fine-grained features 를 뽑아내기 위해 additional U-Net 을 활용하는 것이 훨씬 더 효율적이라는 것을 증명하였음
- - Base : SD-1.5
- - reference features 를 imitative U-Net 의 middle & upper stages 에 K,V 를 injection (concat) 시킴
- - 이를 통해, imitative U-Net 이 reference image 의 content 를 활용해 source image 의 masking 된 부분을 완성시킴
-
-- Depth Model
- - Depth Anything 으로 unmasked source image 의 depth map 을 뽑도록 했음
- - Depth model 자체는 freeze 시키고, trainable projector 를 넣어 depth map 을 depth latent 인 4-channel 로 projection 시킬 수 있도록 함
- - 학습 중에는 depth model 의 input 을 0.5 확률로 drop 시킴으로써 inference 중에 optional 하게 shape control 을 가능하도록 함
- - My thoughts : 아마 texture transfer task 를 위함 일듯
-
-### Training Strategy
-
-- MimicBrush 의 cross-image imitation ability (서로 다른 카테고리에서 잘 모방해오는 능력 정도로 이해하면 됨) 를 끌어올리기 위해서는 조금 더 적합한 training sample 을 모아서 학습할 수 있는 방법이 필요했음
-- Training data 를 구축하는 과정에서 두 가지의 철학을 지키려 하였음
- 1. source / reference images 들 간의 correspondence relation 이 존재해야 한다.
- 2. robustness 를 위해 source / reference image 사이의 large variations 을 기대할 수 있어야 한다.
-- Data selection
- - 학습 중에는 같은 비디오로부터 frame 2개를 sampling 해서 뽑았음
- - SSIM 을 이용해 video frames 간의 similarity 를 측정했고 너무 그 값이 크거나 작으면 filtering 했음
-- Data augmentation
- - source & reference image 의 variation 을 증가시키기 위해서, 강력한 data augmentation 을 활용
- - color jitter, rotation, resizing, flipping, 심지어는 random projection transformation 으로 더욱 강한 deformation 도 수행
-- Masking strategy
- - 가장 간단하게는 image 를 N x N grid 로 나누고 랜덤하게 masking 시키는 방법인데 저자들은 이렇게 랜덤하게 가져가면 easy cases 들이 많은 portion 을 차지한다는 것을 발견
- - ex. 배경 같은 큰 area 를 차지하는 것들은 계속 반복되는 content/textures 이기 때문에 도움이 안됨
- - SIFT matching 을 이용해서 source & ref image 의 matching points 를 얻고 그 matched feature points 의 grids 들을 좀 더 masking 하도록 하였음
- - video 보다 high-quality image 를 찾는 것이 더 쉬웠기 때문에 static image 한 장을 가지고 augmentation 시킨 다음, seg map 가지고 masking 시키는 방식으로도 활용 → robustness 를 증가시키는 효과를 불러일으킴
-
-### Evaluation Benchmark
-
-:::{figure-md}
-
-
-Evaluation Benchmark
-:::
-
-- Imitative editing 은 굉장히 novel 한 task 이기 때문에 본 논문에서 성능을 evaluation 할 수 있는 benchmark 까지 제공
-- Part composition
- - source / ref image 간의 semantic correspondence 를 찾고 composition 시키는 task
- - Inter-ID track
- - Fashion, animal, product, scenario 등 다양한 data 를 각 topic 마다 30 장씩 모았음
- - 수동으로 source mask 를 다 그리고, 생성된 결과 GT 도 없기 때문에 직접 reference regions 과 text prompt 까지 다 annotation 시킴 = 노가다 했음
- - reference region 과 생성된 region 사이의 similarity 도 DINO 와 CLIP image sim score 를 계산하도록 했고 edited image 와 text prompt 사이의 CLIP text similarity 도 report 해놓음
- - Inner-ID track
- - DreamBooth 로부터 30 image paris 가져와서 source image masking 다 함
- - GT 와는 SSIM, PSNR, LPIPS score 활용
-- Texture transfer
- - ref image 의 texture 나 pattern 을 얼마나 잘 transfer 했는지에 관한 task
- - Additional condition 으로 depth map 을 활용
- - Part composition 은 semantic correspondence 를 찾도록 하지만, 이 task 는 source shape 는 유지하면서 reference 의 texture 를 얼마나 잘 가져오는지를 판단하도록 objects 전체를 masking
-
-
-## Experiments
-
-### Implementation Details
-
-- Hyperparameters
- - 512x512 image 로 resolution 다 맞추도록 해서 학습
- - Adam optimizer & lr : 1e-5
- - grid number N : 3~10 에서 randomly choose
- - masking 은 SIFT-matched features points 는 75% 고르도록 하고, 나머지는 50% 고르도록 하였음
- - Reference U-Net 에는 CFG 10% 확률로 drop 하도록 하였고, inference 시에 guidance scale 은 5
-- Training data
- - Pexels 같은 websites 에서 100k video
- - diversity 증가시키기 위해서 SAM dataset 도 활용 → 여기서 static image augmentation 적용
- - 학습 중에는 Pexels 70% , SAM 30%
-
-### Comparisons with Other Works
-
-:::{figure-md}
-
-
-Qualitative Result
-:::
-
-:::{figure-md}
-
-
-Quantitative Result
-:::
-
-### Ablation Studies
-
-:::{figure-md}
-
-
-Ablation Studies
-:::
-
-### Qualitative Analysis
-
-:::{figure-md}
-
-
-Qualitative Analysis
-:::
-
-## Limitations
-
-- Robust performance.. But, region 이 너무 작거나 multiple candidates 가 있게 되면 실패하는 경우가 생기긴 했음
- - 이럴 때는 zoom in 을 해서 하는 것을 추천한다고 함
-- 여전히 유해한 content 들을 editing 하는 경우도 있기 때문에 이를 필터링 할 수 있는 방법이 고안되어야 한다고 주장
-
-## Review
-
-
+```{admonition} Information
+- **Title:** MimicBrush: Zero-shot Image Editing with Reference Imitation
+
+- **Reference**
+ - Paper: [https://arxiv.org/pdf/2406.07547](https://arxiv.org/pdf/2406.07547)
+ - Code: [Official](https://github.com/ali-vilab/MimicBrush)
+
+- **Author:** Chanyeong Shin
+
+- **Last updated on Nov. 05, 2024**
+```
+
+# MimicBrush: Zero-shot Image Editing with Reference Imitation
+
+## Three Lines Summary
+
+1. Edited Image 로 어떻게 자연스럽게 변해야 할지에 관한 **“imitative editing” 에 관한 아이디어**
+2. **Source Image 와 Reference Image 간의 correspondence** 를 이용해 바뀌어야 할 부분을 잘 가져오는 방법인 MimicBrush 라고 명명한 generative training framework 제안
+3. **SOTA 인 동시에 앞으로의 imitative editing 연구를 위한 evaluation benchmark** 제안
+
+## 1. Introduction
+
+- Image editing 분야 자체가 굉장히 수많은 요구 조건과 시나리오를 만족하면서 수행되어야 했기에 기존의 방법들이 여전히 challenging 한 문제를 풀고 있음
+- 기존의 방법들은 현재 source image 와 함께 해당 mask 를 input 으로 넣어주고 있음 (이건 공통)
+ - Inpainting method
+ - editing 이라는 task 를 **“Text Prompt”** 하나로만 해결하고자 했는데 이건 원하는 결과를 뽑아내기에는 적절하지 않음
+ - My thoughts : 실제로 inpainting 은 refining 과 같이 자연스럽게 만들어주는 것 외에는 실무에서 잘 사용하지는 않았던 것 같음
+ - Composition method
+ - ref image 와 ref mask/box 를 이용해 이를 해결하고자 하였는데, 아무래도 **“individual object” 를 insertion** 하는 작업처럼 느껴 모델이 어려워 할 만 했음
+ - shoe soles 이나 hair 와 같은 local components 나 로고나 texture 같은 local patterns
+ - 또한, Image 로부터 reference area 를 완벽하게 잘 추출하는 방법이 필요했음
+ - Local components 들은 또 전체 image 에 잘 어우러지게 하는 것도 고려해야 했고, 학습 과정에서 같은 object 인데 frame 에 따라 모양도 조금씩 달라서 이런 다양한 문제들을 풀어야 했음
+- 앞선 문제들을 해결하기 위해서, editing 을 할 수 있는 novel pipeline 인 **imitative editing** 을 제안
+ - Ref image 에서 mask 는 사용하지 않고 source image 의 mask area 부분을 ref image 에서 어디에 해당하는지 자동으로 찾고 모방할 수 있도록 하였음
+
+- Imitative editing 을 하기 위해서 **MimicBrush 라고 하는 dual diffusion U-Nets network framework** 를 제안
+ - self-supervised manner 로 학습함 → 같은 video 에서 source / ref image 를 뽑아서 학습에 활용하는 방식
+ - 당연히 같은 video 에서 추출했기 때문에 semantic correspondence 와 visual variations 를 가지고 있을 것
+ - masked source image 는 imitative U-Net 으로 / reference image 는 reference U-Net 으로 통과 → 이후 reference U-Net 의 attention K,V 를 imitative U-Net 에 injection 시키는 방식
+- 이 Image editing 방식을 이용하여 학습된 model 은 구도, 조명, 카테고리 자체가 달라도 잘 변환이 되는 결과를 보였으며, ref image 의 visual concepts 의 detail 도 잘 유지한 채로 가져오는 것을 확인하였음
+- 조금 더 comprehensive 한 evaluation 을 위해서 imitative editing 의 benchmark 까지 제안
+ - part composition : 얼마나 part 구성이 자연스럽게 잘 되었는가?
+ - texture transfer : 느낌을 얼마나 잘 유지하면서 texture 가 변환됐는가?
+
+## 2. Method
+
+:::{figure-md}
+
+
+The training process of MimicBrush
+:::
+
+### Overall Pipeline
+
+- **Dual diffusion models architecture + self-supervised manner**
+- Video data 에는 consistent content 를 가지고 있고 visual variations 까지 있기 때문에 이를 활용
+ - 랜덤하게 video clip 에서 two frames 를 뽑아서 학습 sample 로 활용
+- source image 는 masking 시키고, ref image 는 masked source image 를 recover 할 수 있도록 도움을 주도록 넣음
+- 결국 MimicBrush 는 dog’s face 와 같은 corresponding visual information 이 위치하는 것을 학습하고 source image 의 masked area 를 repaint 시킴
+- 또한 source image 의 빈 부분을 채우는 과정에서 자연스럽게 blending 시켜야 하기 때문에 visual content 를 같은 환경의 포즈, 조명, 시점으로 변환하는 것도 학습
+
+- 앞서 언급했던 것처럼 dual branch 의 U-Nets 구조를 활용 → imitative and reference U-Net
+ - attention layers 의 K,V 는 서로 share 하고(실질적으로는 concat) reference image 로부터 indications 을 찾아 masked source image 를 만들도록 함
+- 추가로, source & ref image 에 variation 을 증가시키기 위해 augmentation 도 적용
+- 또한, optional condition 으로 imitative U-Net 에 depth map 도 줌
+ - inference 단계에서 object 의 shape 가 잘 유지됐는지 depth map 을 활용할지 말지를 결정할 수도 있게 하였음
+
+
+### Model Structure
+
+- Imitative U-Net
+ - Base : SD-1.5 inpainting model
+ - Input : 13 channels tensor
+ - image latent → 4 channels
+ - binary mask → 1 channel
+ - background latent → 4 channels
+ - depth latent → 4 channels
+ - (Figure 에는 나와있지 않지만) 기존 original U-Net 은 CLIP 을 text embedding 으로 활용하는데, 본 논문은 CLIP 을 reference image 으로부터 뽑아낸 image embedding 을 cross-attention 에 활용
+ - image embedding 이후에 projection layer 을 거쳐 들어감
+ - 학습은 imitative U-Net 과 CLIP projection layer 의 parameters 들이 학습..
+
+- Reference U-Net
+ - 최근에 굉장히 많은 연구들이 reference image 로부터 fine-grained features 를 뽑아내기 위해 additional U-Net 을 활용하는 것이 훨씬 더 효율적이라는 것을 증명하였음
+ - Base : SD-1.5
+ - reference features 를 imitative U-Net 의 middle & upper stages 에 K,V 를 injection (concat) 시킴
+ - 이를 통해, imitative U-Net 이 reference image 의 content 를 활용해 source image 의 masking 된 부분을 완성시킴
+
+- Depth Model
+ - Depth Anything 으로 unmasked source image 의 depth map 을 뽑도록 했음
+ - Depth model 자체는 freeze 시키고, trainable projector 를 넣어 depth map 을 depth latent 인 4-channel 로 projection 시킬 수 있도록 함
+ - 학습 중에는 depth model 의 input 을 0.5 확률로 drop 시킴으로써 inference 중에 optional 하게 shape control 을 가능하도록 함
+ - My thoughts : 아마 texture transfer task 를 위함 일듯
+
+### Training Strategy
+
+- MimicBrush 의 cross-image imitation ability (서로 다른 카테고리에서 잘 모방해오는 능력 정도로 이해하면 됨) 를 끌어올리기 위해서는 조금 더 적합한 training sample 을 모아서 학습할 수 있는 방법이 필요했음
+- Training data 를 구축하는 과정에서 두 가지의 철학을 지키려 하였음
+ 1. source / reference images 들 간의 correspondence relation 이 존재해야 한다.
+ 2. robustness 를 위해 source / reference image 사이의 large variations 을 기대할 수 있어야 한다.
+- Data selection
+ - 학습 중에는 같은 비디오로부터 frame 2개를 sampling 해서 뽑았음
+ - SSIM 을 이용해 video frames 간의 similarity 를 측정했고 너무 그 값이 크거나 작으면 filtering 했음
+- Data augmentation
+ - source & reference image 의 variation 을 증가시키기 위해서, 강력한 data augmentation 을 활용
+ - color jitter, rotation, resizing, flipping, 심지어는 random projection transformation 으로 더욱 강한 deformation 도 수행
+- Masking strategy
+ - 가장 간단하게는 image 를 N x N grid 로 나누고 랜덤하게 masking 시키는 방법인데 저자들은 이렇게 랜덤하게 가져가면 easy cases 들이 많은 portion 을 차지한다는 것을 발견
+ - ex. 배경 같은 큰 area 를 차지하는 것들은 계속 반복되는 content/textures 이기 때문에 도움이 안됨
+ - SIFT matching 을 이용해서 source & ref image 의 matching points 를 얻고 그 matched feature points 의 grids 들을 좀 더 masking 하도록 하였음
+ - video 보다 high-quality image 를 찾는 것이 더 쉬웠기 때문에 static image 한 장을 가지고 augmentation 시킨 다음, seg map 가지고 masking 시키는 방식으로도 활용 → robustness 를 증가시키는 효과를 불러일으킴
+
+### Evaluation Benchmark
+
+:::{figure-md}
+
+
+Evaluation Benchmark
+:::
+
+- Imitative editing 은 굉장히 novel 한 task 이기 때문에 본 논문에서 성능을 evaluation 할 수 있는 benchmark 까지 제공
+- Part composition
+ - source / ref image 간의 semantic correspondence 를 찾고 composition 시키는 task
+ - Inter-ID track
+ - Fashion, animal, product, scenario 등 다양한 data 를 각 topic 마다 30 장씩 모았음
+ - 수동으로 source mask 를 다 그리고, 생성된 결과 GT 도 없기 때문에 직접 reference regions 과 text prompt 까지 다 annotation 시킴 = 노가다 했음
+ - reference region 과 생성된 region 사이의 similarity 도 DINO 와 CLIP image sim score 를 계산하도록 했고 edited image 와 text prompt 사이의 CLIP text similarity 도 report 해놓음
+ - Inner-ID track
+ - DreamBooth 로부터 30 image paris 가져와서 source image masking 다 함
+ - GT 와는 SSIM, PSNR, LPIPS score 활용
+- Texture transfer
+ - ref image 의 texture 나 pattern 을 얼마나 잘 transfer 했는지에 관한 task
+ - Additional condition 으로 depth map 을 활용
+ - Part composition 은 semantic correspondence 를 찾도록 하지만, 이 task 는 source shape 는 유지하면서 reference 의 texture 를 얼마나 잘 가져오는지를 판단하도록 objects 전체를 masking
+
+
+## Experiments
+
+### Implementation Details
+
+- Hyperparameters
+ - 512x512 image 로 resolution 다 맞추도록 해서 학습
+ - Adam optimizer & lr : 1e-5
+ - grid number N : 3~10 에서 randomly choose
+ - masking 은 SIFT-matched features points 는 75% 고르도록 하고, 나머지는 50% 고르도록 하였음
+ - Reference U-Net 에는 CFG 10% 확률로 drop 하도록 하였고, inference 시에 guidance scale 은 5
+- Training data
+ - Pexels 같은 websites 에서 100k video
+ - diversity 증가시키기 위해서 SAM dataset 도 활용 → 여기서 static image augmentation 적용
+ - 학습 중에는 Pexels 70% , SAM 30%
+
+### Comparisons with Other Works
+
+:::{figure-md}
+
+
+Qualitative Result
+:::
+
+:::{figure-md}
+
+
+Quantitative Result
+:::
+
+### Ablation Studies
+
+:::{figure-md}
+
+
+Ablation Studies
+:::
+
+### Qualitative Analysis
+
+:::{figure-md}
+
+
+Qualitative Analysis
+:::
+
+## Limitations
+
+- Robust performance.. But, region 이 너무 작거나 multiple candidates 가 있게 되면 실패하는 경우가 생기긴 했음
+ - 이럴 때는 zoom in 을 해서 하는 것을 추천한다고 함
+- 여전히 유해한 content 들을 editing 하는 경우도 있기 때문에 이를 필터링 할 수 있는 방법이 고안되어야 한다고 주장
+
+## Review
+
+
diff --git a/_sources/docs/review/Muse.md b/_sources/docs/review/Muse.md
index 1e547cf6..d10acdad 100755
--- a/_sources/docs/review/Muse.md
+++ b/_sources/docs/review/Muse.md
@@ -1,235 +1,235 @@
-```{admonition} Information
-- **Title:** Muse: Text-To-Image Generation via Masked Generative Transformers
-
-- **Reference**
- - Paper: [https://arxiv.org/pdf/2301.00704.pdf](https://arxiv.org/pdf/2301.00704.pdf)
- - Code: X
-
-- **Author:** Jun-Hyoung Lee
-
-- **Last updated on Mar. 25. 2024**
-```
-
-# Muse
-
-:::{figure-md}
-
-
-Figure 1
-:::
-
-- **Muse: T2I transformer model + Masked Modeling**
- - diffusion, autoregressive model 보다 효과적인 성능을 냄
- - **discrete token space 에서 masked modeling 방식으로 학습**
- - pretrained LLM(***T5-XXL***) 으로 부터 추출된 text embedding이 주어지고, 랜덤하게 masked image token 을 예측하는 방식으로 학습
- - Imagen, DALL-E 2 와 비교할 때, sampling iteration이 적어 **빠른 inference** 수행 가능
- - LLM 을 사용해 **fine-grained 한 정보**를 추출하여 high-fidelity 이미지 생성을 할 수 있고, 시각적 concept(object, spatial 관계, 자세, 등)을 더 잘 이해할 수 있음
- - Muse-900M, CC3M 에서 SOTA 달성, FID 6.06
- - Muse-3B, zero-shot COCO 에서 FID 7.88 달성, CLIP score 0.32
- - 따로 **파인튜닝 없이** inpainting, outpainting, mask-free editing 이 가능함
-
-## 1. Masked modeling
-
-- [22.02] MaskGIT: Masked Generative Image Transformer
-
- - CVPR 2022, Google Research
-
-:::{figure-md}
-
-
-maskgit 1
-:::
-
-:::{figure-md}
-
-
-maskgit 2
-:::
-
-- **VQGAN** 사용, **non-autoregressive** 디코딩 방식
-- inference 시에 모든 마스킹된 토큰을 예측하지만, 신뢰도가 높은 토큰만 실제 디코딩됨
- - 따라서 autoregressive 모델의 **256 step → 8 step** 으로 줄여 inference 속도가 향상
-
-## 2. Model Architecture
-
-:::{figure-md}
-
-
-Figure 3
-:::
-
-1. **VQGAN tokenizer model 사용**
- - input image 가 discrete token 으로 인코딩되고, 그 후 디코딩되어 input 이미지와 유사하게 잘 복원되는 모델
- - 두 개의 VQGAN 사용 (256x256 저해상도 + 512x512 고해상도)
- - 첫 학습은 **256x256 저해상도**(16x16 latent) 학습
- - 이후 **512x512 고해상도**(64x64 latent) 학습 진행
-2. **Masked image model 사용**
- - Muse 파라미터의 대부분이 masked image model 파라미터로 구성
- - unmaked 토큰과 T5XXL text embedding 을 condition으로 masked 저해상도 토큰에 대해 예측 진행
-3. **“Super-res” transformer model 사용**
- - T5XXL text embedding 을 condition으로 저해상도 토큰을 고해상도 토큰으로 바꾸는데 사용
-
-### 2.1. Pre-trained Text Encoders
-
-- [Imagen](https://arxiv.org/abs/2205.11487) 에서 pretrained LLM 사용하면 효과적인 high-quality 의 이미지 생성 가능
-- **풍부한 visual, semantic 정보를 추출**할 수 있는 T5-XXL 사용
- - objects (nouns), actions (verbs), visual properties (adjectives), spatial relationships (prepositions)
- - Muse 가 이러한 정보를 이미지 생성을 위한 LLM embedding 에서 잘 mapping 을 할 수 있을 것이라고 가정
- - [Linearly mapping from image to text space](https://arxiv.org/abs/2209.15162) 에서 선행 연구 진행
-- 인코딩 과정
- 1. 4096 차원의 embedding vector를 얻음
- 2. linearly projection 진행되어 base, super-res transformer에 입력되게 차원을 맞춤
-
-### 2.2. Semantic Tokenization using VQGAN
-
-- VQGAN
- - encoder + decoder
- - encoder feature 를 vector quantization 이 진행된 후, codebook 으로 부터 매핑을 통해 디코딩이 진행
-- 다른 해상도의 이미지를 인코딩할 수 있도록 encoder와 decoder 모두 **convolutional layer** 로 구성
-- 256x256 픽셀 이미지에 맞는 VQGAN 모델(base model)과 512x512 픽셀 이미지에 맞는 VQGAN 모델(super-res model) 구성
-- [Taming transformers for high-resolution image synthesis](https://arxiv.org/abs/2012.09841) 에서 **인코딩된 discrete 토큰이 low level noise를 무시하면서 high level semantic 함을 더 잘 capture 한다는 것을 연구 진행**
- - 이 때문에, **cross-entropy loss 를 통해 masked 토큰을 예측**하는데 사용할 수 있게됨
-
-### 2.3. Base Model
-
-- base model
- - projected T5 embedding + 이미지 토큰을 입력으로 한 [masked transformer](https://arxiv.org/abs/2202.04200) 로 구성
- - text embedding 은 unmasked, 이미지 토큰은 랜덤하게 masking 진행 → [MASK] 토큰으로 교체
-- 이미지 토큰을 embedding 으로 선형적으로 mapping 진행(transformer 의 input/hidden 사이즈에 맞게) + positional embedding 도 포함
-- transformer layer는 self-attention, cross-attention, MLP 블럭이 포함
- - MLP 는 masked image embedding 을 logit 값으로 변경하는데 사용되고
- - cross-entropy loss 는 ground truth 토큰과 함께 오차를 계산함
-- 학습 때, base model은 각 step 마다 모든 masked tokens를 예측하지만,
- - inference 에서는 퀄리티를 증가하기 위한 iterative 방식으로 mask 예측 진행
-
-### 2.4. Super-Resolution Model
-
-:::{figure-md}
-
-
-Figure 4
-:::
-
-- 바로 512x512 로 예측하도록 모델을 구성했을 때, **low level detail 에 더 포커싱**되어 학습이 진행됨. → 따라서 위의 그림과 같이 계층적으로 설계했음
-
-- base model은 16x16 latent map 을 생성하고, super resolution 모델이 base latent map 을 **64x64 latent map 으로 upsampling** 함
-
- - base 모델이 학습이 완료되면, 그 이후에 super resolution 모델 학습 진행
-
-- Architecture
-
- :::{figure-md}
- 
-
- Table 6
- :::
-
-### 2.5. Decoder Finetuning
-
-- 디테일을 높이기 위해 residual layer를 더 추가하고 channel 늘림
- - residual layer: **2개 → 4개**, channel: **128 → 256**
-- encoder weight, codebook, base, super-res transformer 모델은 freezing
-
-:::{figure-md}
-
-
-Figure 13
-:::
-
-- 해당 그림에서는 표지판이 더 finetuned decoder 가 복원이 잘 됐음
-
-### 2.7. Classifier Free Guidance
-
-- 이미지 생성 퀄리티와 text-image alignment 향상을 위해 도입
-- 학습 때, 랜덤하게 10% 만 text conditioning 을 제거
- - inference
- - $\ell_g=(1+t) \ell_c-t \ell_u$
- - $l_c$: conditional logit / $l_u$: unconditional logit / $t$: guidance scale
-- **CFG 는 diversity ↔ fidelity 의 trade-off 관계**
- - Muse 에서는 t 를 선형적으로 증가시키는 샘플링 과정을 거쳐 diversity 의 한계를 극복
- - 초반에는 guidance 가 없거나 낮게 해서 logit 값을 설정하고, 후반에는 conditional prompt 가 가능하게 많은 가중치를 주게 된다.
- - unconditional logit → negative prompt 로도 사용 가능
-
-### 2.8. Iterative Parallel Decoding at Inference
-
-- Muse 의 시간 효율성
- - parallel decoding 으로 인해 **한 번의 foward 연산으로 multiple token 을 예측**하는 방식으로 동작함
- - Markovian 속성: 많은 토큰이 주어진 다른 토큰에 대해 conditionally independent 함
- → parallel decoding 가능
-- [Maskgit](https://arxiv.org/abs/2202.04200) 논문 에서 Decoding 은 cosine schedule 에 의해 수행됨
- - 해당 step 에서 예측되는 가장 높은 신뢰도의 masked 토큰을 선택해 decoding 진행됨
- - 그 후 decoding 된 것은 masking 이 해제되는 방식
-- 이러한 절차를 따라서, Muse 에서는 base 모델의 256 토큰은 24 step 을 사용하고, super-res 모델의 4096 토큰은 8 step 만 사용
- - [Scaling Autoregressive Models for Content-Rich Text-to-Image Generation](https://arxiv.org/pdf/2206.10789.pdf) 에서는 256 or 4096 step 이 필요하고,
- - diffusion 모델에서는 수백번의 step 이 필요한 것에 비해 Muse 가 빠른 inference 를 수행 가능
-
-:::{figure-md}
-
-
-Figure 5
-:::
-
-## 3. Results
-
-- Imagen dataset
- - 460M text-image pairs
-- train step: 1M
-- train time: 1 week
-- batch size: 512 on 512-core TPU-v4 chips
-- Adafactor optimizer
-
-:::{figure-md}
-
-
-Figure 6
-:::
-
-- cardinality: 동일한 객체를 여러 번 생성할 때, Muse 는 크기, 색상, 회전된 모습
-
-:::{figure-md}
-
-
-Figure 7
-:::
-
-- 정량적 평가
-
- :::{figure-md}
- Table 6
- :::
-
-- FID(diversity) ↔ CLIP score(image-text alignment)
-
- :::{figure-md}
- 
-
- Figure 8
- :::
-
-- inpainting, outpainting
-
- :::{figure-md}
- 
-
- Figure 10
- :::
-
-# Contribution
-
-1. **FID, CLIP score** 기반으로 text-to-image 모델에 대한 SOTA 를 달성
- - 이미지 생성 퀄리티, 다양성, text prompt와의 alignment 측정했음
-2. quantized 이미지 토큰과 **parallel decoding** 으로 인해 **빠른 inference** 가 가능
-3. inpainting, outpainting, mask-free editing 을 포함한 **zero-shot editing** 가능
-
-# Q&A
-
-1. Muse 와 같은 transformer 기반의 generation 모델에서는 어떻게 **diversity** 한 결과를 가져올 수 있나요?
- 1. 아무래도 Muse 는 random latent 에서 생성하는 것이 아니라 text-to-image 모델이라, text 에 따라서 다양한 이미지 생성 결과가 나타날 수 있을 것 같습니다.
-2. Muse 는 결국 GAN 모델인가요?
- 1. 기준점이 어떻냐에 따라 GAN 이다, 아니다, 라고 정하기 어려울 것 같습니다. VQGAN을 사용해서 GAN이라고 생각할 수 도 있고, GAN 처럼 random latent 결과에 따라 이미지 생성이 달라질 수 있는 관점에서 생각하면 아니다라고 말할 수 있을 것 같습니다.
-3. Token 은 어떤 의미를 갖나요?
- 1. VQGAN에서 input 이미지를 인코딩하고, vector-quantization 과정을 거쳐 압축 후, codebook의 값을 가져와 feature를 구성하는데요, 이때 feature에 포함되어 있는 하나의 포인트에 해당하는 것이 token이라고 생각하시면 될 것 같습니다.
-4. 텍스트 프롬프트를 넣었을때 실제 이미지 생성은 어떻게 이뤄지나요? Inference에서는 입력 이미지가 없는데 base transformer에 입력 이미지에 대한 masked token대신 뭐가 들어가게 되나요?
- 1. 실제 inference 과정에서는 input 이미지가 없기 때문에 모두 마스크된 형태로 입력되게 됩니다. text prompt 의 condition 에 따라 각 step을 거쳐 decoding 이 수행됩니다.
-5. text embedding이 어떻게 objective function 수식에 들어가나요?
- 1. base transformer 에 대해 text embedding 값이 key, value로 입력되어 cross-attention 이 수행되게 됩니다. 그렇게 예측된 feature와 GT의 feature 끼리 cross entropy loss를 통해 마스크 예측할 수 있는 base transformer 가 학습이 됩니다.
+```{admonition} Information
+- **Title:** Muse: Text-To-Image Generation via Masked Generative Transformers
+
+- **Reference**
+ - Paper: [https://arxiv.org/pdf/2301.00704.pdf](https://arxiv.org/pdf/2301.00704.pdf)
+ - Code: X
+
+- **Author:** Jun-Hyoung Lee
+
+- **Last updated on Mar. 25. 2024**
+```
+
+# Muse
+
+:::{figure-md}
+
+
+Figure 1
+:::
+
+- **Muse: T2I transformer model + Masked Modeling**
+ - diffusion, autoregressive model 보다 효과적인 성능을 냄
+ - **discrete token space 에서 masked modeling 방식으로 학습**
+ - pretrained LLM(***T5-XXL***) 으로 부터 추출된 text embedding이 주어지고, 랜덤하게 masked image token 을 예측하는 방식으로 학습
+ - Imagen, DALL-E 2 와 비교할 때, sampling iteration이 적어 **빠른 inference** 수행 가능
+ - LLM 을 사용해 **fine-grained 한 정보**를 추출하여 high-fidelity 이미지 생성을 할 수 있고, 시각적 concept(object, spatial 관계, 자세, 등)을 더 잘 이해할 수 있음
+ - Muse-900M, CC3M 에서 SOTA 달성, FID 6.06
+ - Muse-3B, zero-shot COCO 에서 FID 7.88 달성, CLIP score 0.32
+ - 따로 **파인튜닝 없이** inpainting, outpainting, mask-free editing 이 가능함
+
+## 1. Masked modeling
+
+- [22.02] MaskGIT: Masked Generative Image Transformer
+
+ - CVPR 2022, Google Research
+
+:::{figure-md}
+
+
+maskgit 1
+:::
+
+:::{figure-md}
+
+
+maskgit 2
+:::
+
+- **VQGAN** 사용, **non-autoregressive** 디코딩 방식
+- inference 시에 모든 마스킹된 토큰을 예측하지만, 신뢰도가 높은 토큰만 실제 디코딩됨
+ - 따라서 autoregressive 모델의 **256 step → 8 step** 으로 줄여 inference 속도가 향상
+
+## 2. Model Architecture
+
+:::{figure-md}
+
+
+Figure 3
+:::
+
+1. **VQGAN tokenizer model 사용**
+ - input image 가 discrete token 으로 인코딩되고, 그 후 디코딩되어 input 이미지와 유사하게 잘 복원되는 모델
+ - 두 개의 VQGAN 사용 (256x256 저해상도 + 512x512 고해상도)
+ - 첫 학습은 **256x256 저해상도**(16x16 latent) 학습
+ - 이후 **512x512 고해상도**(64x64 latent) 학습 진행
+2. **Masked image model 사용**
+ - Muse 파라미터의 대부분이 masked image model 파라미터로 구성
+ - unmaked 토큰과 T5XXL text embedding 을 condition으로 masked 저해상도 토큰에 대해 예측 진행
+3. **“Super-res” transformer model 사용**
+ - T5XXL text embedding 을 condition으로 저해상도 토큰을 고해상도 토큰으로 바꾸는데 사용
+
+### 2.1. Pre-trained Text Encoders
+
+- [Imagen](https://arxiv.org/abs/2205.11487) 에서 pretrained LLM 사용하면 효과적인 high-quality 의 이미지 생성 가능
+- **풍부한 visual, semantic 정보를 추출**할 수 있는 T5-XXL 사용
+ - objects (nouns), actions (verbs), visual properties (adjectives), spatial relationships (prepositions)
+ - Muse 가 이러한 정보를 이미지 생성을 위한 LLM embedding 에서 잘 mapping 을 할 수 있을 것이라고 가정
+ - [Linearly mapping from image to text space](https://arxiv.org/abs/2209.15162) 에서 선행 연구 진행
+- 인코딩 과정
+ 1. 4096 차원의 embedding vector를 얻음
+ 2. linearly projection 진행되어 base, super-res transformer에 입력되게 차원을 맞춤
+
+### 2.2. Semantic Tokenization using VQGAN
+
+- VQGAN
+ - encoder + decoder
+ - encoder feature 를 vector quantization 이 진행된 후, codebook 으로 부터 매핑을 통해 디코딩이 진행
+- 다른 해상도의 이미지를 인코딩할 수 있도록 encoder와 decoder 모두 **convolutional layer** 로 구성
+- 256x256 픽셀 이미지에 맞는 VQGAN 모델(base model)과 512x512 픽셀 이미지에 맞는 VQGAN 모델(super-res model) 구성
+- [Taming transformers for high-resolution image synthesis](https://arxiv.org/abs/2012.09841) 에서 **인코딩된 discrete 토큰이 low level noise를 무시하면서 high level semantic 함을 더 잘 capture 한다는 것을 연구 진행**
+ - 이 때문에, **cross-entropy loss 를 통해 masked 토큰을 예측**하는데 사용할 수 있게됨
+
+### 2.3. Base Model
+
+- base model
+ - projected T5 embedding + 이미지 토큰을 입력으로 한 [masked transformer](https://arxiv.org/abs/2202.04200) 로 구성
+ - text embedding 은 unmasked, 이미지 토큰은 랜덤하게 masking 진행 → [MASK] 토큰으로 교체
+- 이미지 토큰을 embedding 으로 선형적으로 mapping 진행(transformer 의 input/hidden 사이즈에 맞게) + positional embedding 도 포함
+- transformer layer는 self-attention, cross-attention, MLP 블럭이 포함
+ - MLP 는 masked image embedding 을 logit 값으로 변경하는데 사용되고
+ - cross-entropy loss 는 ground truth 토큰과 함께 오차를 계산함
+- 학습 때, base model은 각 step 마다 모든 masked tokens를 예측하지만,
+ - inference 에서는 퀄리티를 증가하기 위한 iterative 방식으로 mask 예측 진행
+
+### 2.4. Super-Resolution Model
+
+:::{figure-md}
+
+
+Figure 4
+:::
+
+- 바로 512x512 로 예측하도록 모델을 구성했을 때, **low level detail 에 더 포커싱**되어 학습이 진행됨. → 따라서 위의 그림과 같이 계층적으로 설계했음
+
+- base model은 16x16 latent map 을 생성하고, super resolution 모델이 base latent map 을 **64x64 latent map 으로 upsampling** 함
+
+ - base 모델이 학습이 완료되면, 그 이후에 super resolution 모델 학습 진행
+
+- Architecture
+
+ :::{figure-md}
+
+
+ Table 6
+ :::
+
+### 2.5. Decoder Finetuning
+
+- 디테일을 높이기 위해 residual layer를 더 추가하고 channel 늘림
+ - residual layer: **2개 → 4개**, channel: **128 → 256**
+- encoder weight, codebook, base, super-res transformer 모델은 freezing
+
+:::{figure-md}
+
+
+Figure 13
+:::
+
+- 해당 그림에서는 표지판이 더 finetuned decoder 가 복원이 잘 됐음
+
+### 2.7. Classifier Free Guidance
+
+- 이미지 생성 퀄리티와 text-image alignment 향상을 위해 도입
+- 학습 때, 랜덤하게 10% 만 text conditioning 을 제거
+ - inference
+ - $\ell_g=(1+t) \ell_c-t \ell_u$
+ - $l_c$: conditional logit / $l_u$: unconditional logit / $t$: guidance scale
+- **CFG 는 diversity ↔ fidelity 의 trade-off 관계**
+ - Muse 에서는 t 를 선형적으로 증가시키는 샘플링 과정을 거쳐 diversity 의 한계를 극복
+ - 초반에는 guidance 가 없거나 낮게 해서 logit 값을 설정하고, 후반에는 conditional prompt 가 가능하게 많은 가중치를 주게 된다.
+ - unconditional logit → negative prompt 로도 사용 가능
+
+### 2.8. Iterative Parallel Decoding at Inference
+
+- Muse 의 시간 효율성
+ - parallel decoding 으로 인해 **한 번의 foward 연산으로 multiple token 을 예측**하는 방식으로 동작함
+ - Markovian 속성: 많은 토큰이 주어진 다른 토큰에 대해 conditionally independent 함
+ → parallel decoding 가능
+- [Maskgit](https://arxiv.org/abs/2202.04200) 논문 에서 Decoding 은 cosine schedule 에 의해 수행됨
+ - 해당 step 에서 예측되는 가장 높은 신뢰도의 masked 토큰을 선택해 decoding 진행됨
+ - 그 후 decoding 된 것은 masking 이 해제되는 방식
+- 이러한 절차를 따라서, Muse 에서는 base 모델의 256 토큰은 24 step 을 사용하고, super-res 모델의 4096 토큰은 8 step 만 사용
+ - [Scaling Autoregressive Models for Content-Rich Text-to-Image Generation](https://arxiv.org/pdf/2206.10789.pdf) 에서는 256 or 4096 step 이 필요하고,
+ - diffusion 모델에서는 수백번의 step 이 필요한 것에 비해 Muse 가 빠른 inference 를 수행 가능
+
+:::{figure-md}
+
+
+Figure 5
+:::
+
+## 3. Results
+
+- Imagen dataset
+ - 460M text-image pairs
+- train step: 1M
+- train time: 1 week
+- batch size: 512 on 512-core TPU-v4 chips
+- Adafactor optimizer
+
+:::{figure-md}
+
+
+Figure 6
+:::
+
+- cardinality: 동일한 객체를 여러 번 생성할 때, Muse 는 크기, 색상, 회전된 모습
+
+:::{figure-md}
+
+
+Figure 7
+:::
+
+- 정량적 평가
+
+ :::{figure-md}
+ Table 6
+ :::
+
+- FID(diversity) ↔ CLIP score(image-text alignment)
+
+ :::{figure-md}
+
+
+ Figure 8
+ :::
+
+- inpainting, outpainting
+
+ :::{figure-md}
+
+
+ Figure 10
+ :::
+
+# Contribution
+
+1. **FID, CLIP score** 기반으로 text-to-image 모델에 대한 SOTA 를 달성
+ - 이미지 생성 퀄리티, 다양성, text prompt와의 alignment 측정했음
+2. quantized 이미지 토큰과 **parallel decoding** 으로 인해 **빠른 inference** 가 가능
+3. inpainting, outpainting, mask-free editing 을 포함한 **zero-shot editing** 가능
+
+# Q&A
+
+1. Muse 와 같은 transformer 기반의 generation 모델에서는 어떻게 **diversity** 한 결과를 가져올 수 있나요?
+ 1. 아무래도 Muse 는 random latent 에서 생성하는 것이 아니라 text-to-image 모델이라, text 에 따라서 다양한 이미지 생성 결과가 나타날 수 있을 것 같습니다.
+2. Muse 는 결국 GAN 모델인가요?
+ 1. 기준점이 어떻냐에 따라 GAN 이다, 아니다, 라고 정하기 어려울 것 같습니다. VQGAN을 사용해서 GAN이라고 생각할 수 도 있고, GAN 처럼 random latent 결과에 따라 이미지 생성이 달라질 수 있는 관점에서 생각하면 아니다라고 말할 수 있을 것 같습니다.
+3. Token 은 어떤 의미를 갖나요?
+ 1. VQGAN에서 input 이미지를 인코딩하고, vector-quantization 과정을 거쳐 압축 후, codebook의 값을 가져와 feature를 구성하는데요, 이때 feature에 포함되어 있는 하나의 포인트에 해당하는 것이 token이라고 생각하시면 될 것 같습니다.
+4. 텍스트 프롬프트를 넣었을때 실제 이미지 생성은 어떻게 이뤄지나요? Inference에서는 입력 이미지가 없는데 base transformer에 입력 이미지에 대한 masked token대신 뭐가 들어가게 되나요?
+ 1. 실제 inference 과정에서는 input 이미지가 없기 때문에 모두 마스크된 형태로 입력되게 됩니다. text prompt 의 condition 에 따라 각 step을 거쳐 decoding 이 수행됩니다.
+5. text embedding이 어떻게 objective function 수식에 들어가나요?
+ 1. base transformer 에 대해 text embedding 값이 key, value로 입력되어 cross-attention 이 수행되게 됩니다. 그렇게 예측된 feature와 GT의 feature 끼리 cross entropy loss를 통해 마스크 예측할 수 있는 base transformer 가 학습이 됩니다.
diff --git a/_sources/docs/review/NeRF.md b/_sources/docs/review/NeRF.md
index d9673869..0be36f36 100755
--- a/_sources/docs/review/NeRF.md
+++ b/_sources/docs/review/NeRF.md
@@ -1,458 +1,458 @@
-```{admonition} Information
-- **Title:** NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2003.08934](https://arxiv.org/abs/2003.08934)
- - Project: [https://github.com/bmild/nerf](https://github.com/bmild/nerf)
-
-- **Author:** Jeongin Lee
-
-- **Last updated on May. 22, 2024**
-```
-
-# NeRF : Representing Scenes as Neural Radiance Fields for View Synthesis
-
-[](https://www.youtube.com/watch?v=JuH79E8rdKc)
-
-- 기존의 3D object 자체를 구성하여 렌더링하는 explicit method → 저장 용량이 많이 소요
-- NeRF 는 3D object 자체를 구성하지 않는, **synthesizing novel views**
-좌표를 mlp에 넣어 픽셀 별 색상 및 밀도 값을 얻는 implicit method
-- **synthesizing novel views**
- 특정한 장면(Scene)에서 여러 각도로 찍은 일부의 사진들을 가지고 완전 새로운 각도의 모습을 유추하는 task
-
-
-
-## 0. Abstract
-
-- **NeRF**
- - 한정된 수의 입력 뷰 이미지들을 사용
- - continous volumetric scene 함수 최적화를 통해 **synthesizing novel views** 에서 SOTA 달성
-
-- **Algorithm**
- - **FC layer 사용 (non-convolutional)**
- - **input** : 5 차원 좌표 (공간적 위치$(x, y, z)$ & 바라보는 방향$(\theta, \phi))$
- - **output** : volume density와 해당 방향에 대한 색상 값
- - 5 차원 좌표 입력 → 카메라 광선을 따라 RGB 값, Volume density 예측
- → 고전적 Volume rendering 기술을 사용하여 image 로 합성
-
-- 복잡한 구조 및 외형을 갖는 scene 에 대한 **Novel views rendering** 을 위해 **NeRF** 를 최적화하는 방법을 제시 (+ Positional Encoding, Hierarchical volume sampling)
-
-- 실험을 통해 기존 작업을 능가하는 결과를 입증
-
-- **Keywords :** scene representation, view synthesis, image-based rendering,
- volume rendering, 3D deep learning
-
- :::{figure-md}
- 
-
- method that optimizes a continuous 5D neural radiance field representation \ (source: {https://arxiv.org/pdf/2003.08934v2})
- :::
-
-
-
-## 1. Introduction
-
-캡처된 이미지들의 렌더링 오차를 최소화하기 위해 연속적인 $5 \mathrm{D}$ scene 함수의 파라미터를 직접 최적화하여 View synthesis 분야의 오랜 문제를 새로운 방식으로 해결함
-
----
-
-- **정적 장면 → 연속적인 $5 \mathrm{D}$ 함수로 표현**
- - FC layer = Regression Function :
- a single $5 \mathrm{D}$ coord $(x, y, z, \theta, \phi)$ → density, view-dependent RGB color
-
-- **Output**
- - 공간 상의 각 지점 $(x, y, z)$에서 각 방향 $(\theta, \phi)$ 으로 방출된 색상
- - 각 지점 $(x, y, z)$ 의 밀도(density) = $\sigma$
- - 밀도의 누적값을 통해 얼마나 많은 빛이 $(𝑥,𝑦,𝑧)$ 를 통과하는 광선에 의해 누적되는지를 표현
-
----
-
-- **특정 시점으로부터의 NeRF 렌더링**
-
- 1. 광선을 따라 이동하여 샘플링된 $3 \mathrm{D}$ 포인트 집합을 생성
- 2. 해당 포인트들과 이에 해당하는 $2 \mathrm{D}$ 시점 방향을 신경망에 대한 입력으로 사용하여 색상과 밀도의 집합을 생성
- 3. 고전적 Volume rendering 기술을 사용하여 $2 \mathrm{D}$ image 로 합성
-
----
-
-- **Optimization**
- - 미분 가능, gradient descent 를 통한 최적화
- - 각 관찰된 이미지와 렌더링된 해당 **views**사이의 오차를 최소화
- - 다양한 views 에서 오차 최소화를 통해 실제 장면의 cotents 가 포함된 위치에 **높은 밀도**와 **정확한 색상**을 할당하여 장면의 일관된 모델을 예측
-
----
-
-- **NeRF 최적화의 Basic implementation의 한계 및 대안**
- 1. **복잡한 장면에 대해서 충분히 고해상도 표현으로 수렴되지 않음**
- - positional encoding 으로 입력 5D 좌표를 변환
- - MLP가 더 높은 주파수의 함수를 나타낼 수 있음.
- 2. **카메라 광선당 요구되는 샘플링 수가 비효율적**
- - 계층적 샘플링 절차를 제안
- - 고주파수의 장면 표현을 적절하게 샘플링하기 위해 필요한 쿼리 수를 감소시킴
-
----
-
-- **본 논문의 접근 방식은 volumetric 표현의 이점을 상속**
- - 복잡한 실세계의 기하학적 형태와 외형을 표현 가능
- - 투영된 이미지를 사용한 Gradient-based 최적화에 적합
- - 고해상도에서 복잡한 장면을 모델링할 때 이산화된 복셀 그리드의 엄청난 저장 비용을 극복
-
- - **Voxel (Volume + Pixel)**
- 3차원 공간에서 체적의 기본 단위 (2차원의 경우에선 pixe)
- 위치 정보와 함께 밀도, 색상, 투과성 등의 속성을 가질 수 있음
-
- - **Volumne Rendering**
- 3차원 공간에서 정의된 데이터(체적 데이터)를 2차원 이미지로 변환하는 과정
- 예시) CT, MRI
-
- - **Volumetric Data (체적 데이터)**
- 3차원 공간에서 샘플링된 데이터
-
-
----
-
-
-- **Technical contributions**
- - 복잡한 기하학과 소재를 가진 연속적인 장면을 5차원 NeRF 로 나타내는 접근 방법, 기본 MLP 네트워크로 매개변수화
- - 고전적인 볼륨 렌더링 기법을 기반으로 한 미분 가능한 렌더링 절차를 사용하여 이러한 표현을 표준 RGB 이미지로부터 최적화하는 방법을 제안
- - hierarchical sampling strategy : MLP’s capacity 를 시각적인 장면 내용이 있는 공간으로 할당 (물체가 있을 확률이 높은 부분을 모델이 집중적으로 학습)
- - Positional encoding : 입력 5차원 좌표를 고차원 공간으로 매핑하기 위해 NeRF를 성공적으로 최적화하여 고주파의 장면 콘텐츠를 표현가능
-- 최초의 **continuous neural scene representation** 제안
-
-:::{figure-md}
-
-
-An overview of our neural radiance field scene representation and differentiable rendering procedure \ (source: {https://arxiv.org/pdf/2003.08934v2})
-:::
-
-
-
-## 2. Related Work
-
-- **Neural 3D shape representations**
-- **View synthesis and image-based rendering**
-
-
-
-## 3. Neural Radiance Field Scene Representation
-
-- 5차원 벡터 함수 (MLP) $F_{\Theta}:(\mathbf{x}, \mathbf{d}) \rightarrow(\mathbf{c}, \sigma)$
-
- - **input** : $3 \mathrm{D}$ location $\mathbf{x}=(x, y, z)$ , $2 \mathrm{D}$ viewing direction $\mathbf{d}=(\theta, \phi)$
- - **(practically) direction** as a $3 \mathrm{D}$ Cartesian unit vector $\mathbf{d}$
- - 벡터 $\mathbf{d} =(𝑑_𝑥,𝑑_𝑦,𝑑_𝑧)$ 는 방향을 나타내며, 이는 단위 벡터(길이가 1)로 정규화
- - **output** : emitted color $\mathbf{c}=(r, g, b)$, volume density $\sigma$
-
-- $\mathbf{x}$ → $\sigma$ , $(\mathbf{x, d})$ → RGB 색상 $\mathbf{c}$ 를 예측하도록 권장 (색상은 view dependent 이므로)
-
- 1. MLP $F_{\Theta}$ 는 먼저 8개의 fully-connected layer (ReLU, 256개 채널 사용) 로
- 입력 3D 좌표 $\mathbf{x}$ → $\sigma$ , 256차원 feature 벡터를 출력
- 2. **a** 의 feature 벡터는 카메라 광선의 시점 방향과 concat
- 3. 뷰에 따른 RGB 색상을 출력하는 하나의 추가 fully-connected layer (ReLU,128개 채널 사용)로 전달됨
-
- :::{figure-md}
- 
-
- fully-connected network architecture\ (source: {https://arxiv.org/pdf/2003.08934v2})
- :::
-
-
-- **View 를 고려하여 색상을 예측해야 하는 이유 : non-Lambertian effects**
- - **Lambertian 효과**
- - 물체의 표면에서 나오는 광선이 균일하게 반사되는 현상
- - 표면의 방향과 상관없이 광선이 표면에서 나오는 각도에 따라 반사되는 광량이 일정하다는 원리를 기반
- - Fig. 3 : 입력 시선 방향을 사용하여 non-Lambertian effects 를 표현한 예시
- :::{figure-md}
- 
-
- :::
-
- - Fig. 4 : view dependence 를 고려하지 않고 (only $\mathbf{x}$ input) 학습된 모델은 반사성(specularity)을 표현하는데 어려움이 있음
- :::{figure-md}
- 
-
- :::
-
-
-
-## 4. Volume Rendering with Radiance Fields
-
-- **5D NeRF 는 장면을 volume density 와 특정 포인트에서 방출된 빛(색상)으로 표현**
-- **볼륨 렌더링 : scene 을 통과하는 모든 광선의 색상을 렌더링**
- - NeRF 로부터 View 를 렌더링하려면 원하는 가상 카메라의 각 픽셀을 거쳐 추적된 카메라 광선에 대해 적분값 $C(\mathbf{r})$ 을 추정을 요구
- - $\mathbf{r}(t)=\mathbf{o}+t \mathbf{d}$ : 카메라 광선
- - $C(\mathbf{r})$ : near bound $t_n$ , far bound $t_f$ 에서 카메라 광선 $\mathbf{r}(t)$ 의 예측된 색상
- - $T(t)$ : ray 를 따라 $t_n$ 부터 $t$ 까지 누적된 투과율(transmittance)
-
-$$
-C(\mathbf{r})=\int_{t_n}^{t_f} T(t) \sigma(\mathbf{r}(t)) \mathbf{c}(\mathbf{r}(t), \mathbf{d}) d t, \text { where } T(t)=\exp \left(-\int_{t_n}^t \sigma(\mathbf{r}(s)) d s\right)
-$$
-
-- **Quadrature (구적법) 을 통해 연속적 적분값을 수치적으로 추정**
- - 이산화된 ****voxel grids 렌더링에 사용되는 **결정론적 구적법**의 한계
- - 일반적으로 이산화된 복셀 그리드를 렌더링하는 데 사용되는 결정론적 구적법은 MLP가 **고정된 이산 위치 집합**에서만 쿼리되기 때문에 표현의 해상도를 제한
-
-
-- ➡️ **대안으로 Stratified sampling (계층적 표집) 접근법을 사용.**
-- $\left[t_n, t_f\right]$ 를 $N$ 개의 균일한 간격의 bin으로 분할한 Partition 생성
-- 각 bin 내에서 하나의 샘플을 무작위로 추출
-
- $$
- t_i \sim \mathcal{U}\left[t_n+\frac{i-1}{N}\left(t_f-t_n\right), t_n+\frac{i}{N}\left(t_f-t_n\right)\right].
- $$
-
-- 여전히 적분값 추정을 위해 이산화된 표본들을 사용하더라도,
-계층적 표집 방법을 통해 continuous scene 표현이 가능
-- 다양한 position sample에 대해 최적화가 가능하므로, 최적화 과정에서 MLP가 연속적인 위치들에서 평가되도록 하는 효과
-
-
-- 위의 샘플링 방법을 통해 뽑은 샘플들로 [[26]에서 리뷰](https://courses.cs.duke.edu/spring03/cps296.8/papers/max95opticalModelsForDirectVolumeRendering.pdf)된 볼륨 렌더링에서 논의된 구적법으로 $C(\mathbf{r})$ 을 추정 (적분을 sample sum 으로)
-
- $$
- \hat{C}(\mathbf{r})=\sum_{i=1}^N T_i\left(1-\exp \left(-\sigma_i \delta_i\right)\right) \mathbf{c}_i, \\ \text { where } T_i=\exp \left(-\sum_{j=1}^{i-1} \sigma_j \delta_j\right),
- $$
-
- - $\delta_i=t_{i+1}-t_i$ is the distance between adjacent samples ($dt$ 를 대체)
- - $\left(\mathbf{c}_i, \sigma_i\right)$ 의 집합으로부터 $\hat{C}(\mathbf{r})$ 을 계산하는 함수는 쉽게 미분 가능하며
- $\alpha_i=1-\exp \left(-\sigma_i \delta_i\right)$ 를 사용한 전통적인 **alpha compositing**
- - **alpha compositing (**알파 합성)
- - 여러 이미지 또는 픽셀을 결합하여 하나의 이미지로 만드는 기술
- - ex) 투명한 이미지(유리, 그림자)를 배경 이미지 위에 겹칠 때 알파 컴포지팅을 사용하여 자연스러운 합성 수행
-
-
-
-## 5. Optimizing a Neural Radiance Field
-
-**[REMIND]**
-
-- 지금까지 **NeRF 로 scene 을 모델링하는 것, 이 표현으로 새로운 views 를 렌더링 하는 것** 에 필요한 핵심적인 구성요소를 다룸
- - 하지만 해당 요소들로 SOTA 성능을 달성하기에는 한계 존재
- - 고해상도 + 복잡한 scene 을 표현 가능하게 하는 두개의 개선점을 도입
-
-1. Positional encoding of the input coordinates
-that assists the MLP in representing high-frequency functions
-2. hierarchical sampling procedure
-that allows us to efficiently sample this high-frequency representation.
-
-### 5.1 Positional encoding
-
-- Neural network $F_{\Theta}$ 가 직접 **$(x, y, z, \theta, \phi)$ input coordinates** 에서 직접 연산하는 경우, 색상과 형태에서 고주파 변동을 표현하는데 성능이 좋지 않았음
-- [[35] On the spectral bias of neural networks](https://arxiv.org/abs/1806.08734) 논문 결과와 동일,
- - 깊은 신경망이 저주파 함수를 학습하는 쪽으로 편향되었음을 보여줌
- - 신경망을 통과하기 전 고주파 함수를 사용하여 **입력을 고차원 공간으로 맵핑**하는 것은 고주파 변동이 포함된 데이터를 더 잘 적합 가능하게 함을 제시
- - 저자들은 Neural scene representations 에서 위의 결과를 이용
-- **→ $F_{\Theta}$ 를 두개의 함수로 구성 $F_{\Theta}=F_{\Theta}^{\prime} \circ \gamma$ 성능을 상당히 개선 ($\gamma$ : 학습 X)**
-
- $$
- \gamma(p)=\left(\sin \left(2^0 \pi p\right), \cos \left(2^0 \pi p\right), \cdots, \sin \left(2^{L-1} \pi p\right), \cos \left(2^{L-1} \pi p\right)\right) .
- $$
-
- - $\gamma$ : mapping $\mathbb{R}$ → $\mathbb{R}^{2 L}$, $F_{\Theta}^{\prime}$ : Regular MLP
- - $\gamma(\cdot)$ : $\mathbf{x}$ 의 각 세개의 좌표값과 Cartesian 시점 방향 벡터 $\mathbf{d}$ 의 세 성분에 $[-1,1]$사이로 정규화 후 개별적으로 적용에 분리되어 적용됨
- - Experiments : $L=10$ for $\gamma(\mathbf{x})$ and $L=4$ for $\gamma(\mathbf{d})$
-
-
-### 5.2 Hierarchical volume sampling
-
-- **Stratified Sampling**
- - 비효율적
- - 렌더링된 이미지에 기여하지 않는 여유 공간(비어있는 부분) 막혀있는(가려진) 영역이 여전히 반복적으로 샘플링됨.
-- **Hierarchical volume sampling**
- - 최종 렌더링에 대한 예상 효과에 비례하여 샘플을 할당
- - 렌더링 효율성을 증가시킴
-
- **➡️ Content가 더 있을 것 같은 곳을 더 뽑자 !**
-
-- scene 표현을 위해 단순히 단일 네트워크를 사용하는 것 대신에 우리는 동시에 2개의 네트워크를 최적화
-
- **Step 1. Coarse**
-
- **Step 2. Fine**
-
----
-
-1. **Coarse**
-
- **Stratified sampling** → $N_c$ 개의 위치 집합을 샘플링, 이 위치에서 $\hat{C(r)}$ 을 예측하여 **Coarse network** 를 평가
-
-2. **Fine**
- 1. 1에서 주어진 Coarse 네트워크의 출력을 바탕으로 더 많은 정보에 기반한 포인트 샘플링을 생성 (더 많은 정보에 기반한 포인트 샘플링을 생성)
- 2. Coarse 네트워크에서의 알파 합성 색상 $\hat{C}_c(\mathbf{r})$을 광선을 따라 샘플링된 모든 컬러 $c_i$들의 가중합 형태로 다시 씀
-
- $$
- \hat{C}_c(\mathbf{r})=\sum_{i=1}^{N_c} w_i c_i, \quad w_i=T_i\left(1-\exp \left(-\sigma_i \delta_i\right)\right) .
- $$
-
-3. **piecewise-constant PDF**
-
- Normalizing weight 를 통해 생성
-
-
-$$
-\hat{w}i= \dfrac{w_i}{\sum_{j=1}^{N_c} w_j}
-$$
-
-- 역변환 샘플링을 통해 확률 밀도함수 값에 기반한 2번째 샘플집합의 샘플 $N_f$ 개를 샘플링
-- 첫 번째와 두 번째 샘플 집합의 합집합에서 fine 네트워크를 평가
-- 모든 $N_c+N_f$ 샘플을 사용하여 광선의 최종 렌더링된 색상 $\hat{C}_f(\mathbf{r})$ 를 계산
-- 이 절차에서는 관측 가능한 content가 포함될 것으로 예상되는 영역에 더 많은 샘플을 할당
-
-### 5.3 Implementation details
-
-- **각 Scene 에 대해 네트워크 를 별도로 최적화**
-
- scene이 캡처된 RGB 이미지, extrinsic parameter(해당 카메라 포즈), intrinsic parameter, 장면 경계로 구성된 데이터셋이 필요
-
- - **extrinsic parameter, intrinsic parameter**
-
- - **Extrinsic Parameter**
- 3D 공간 내에서 카메라가 어디에 위치(3D Translation)하고 있고, 어디를 바라보고 있는지(3D Rotation)에 대한 Parameter
-
- - **Intrinsic Parameter**
- 카메라 렌즈와 센서 위치에 의해서 결정되어지는 항목으로, 이미지 패널이 얼마나 이동(2D Translation)하고, 얼마나 확대하고(2D Scaling), 얼마나 기울어졌는지(2D Shear) 대한 intrinsic parameter
-
- :::{figure-md}
- 
-
- intrinsic prameter and extrinsic parameter
- :::
-
- - 카메라 영상 : 3차원 공간상의 점들을 2차원 이미지 평면에 투사(perspective projection)
-
-- **Training**
-
- 1. 각 최적화 iteration에서 데이터셋의 모든 픽셀 집합에서 카메라 광선 batch를 무작위로 샘플링
- 2. 계층적 샘플링을 따라 coarse 네트워크의 $N_c$ 개의 샘플과 fine 네트워크의$N_c + N_f$개의 샘플을 쿼리
- 3. volume rendering 절차를 사용하여 두샘플 집합 모두에서 광선의 색상을 렌더링
-
-- **Loss**
- coarse 렌더링과 fine 렌더링의 색상 vs 실제 픽셀 색상 간의 총 제곱 오차
-
- $$
- \mathcal{L}=\sum_{\mathbf{r} \in \mathcal{R}}\left[\left\|\hat{C}_c(\mathbf{r})-C(\mathbf{r})\right\|_2^2+\left\|\hat{C}_f(\mathbf{r})-C(\mathbf{r})\right\|_2^2\right]
- $$
-
- - $\mathcal{R}$ : 각 batch 의 광선의 집합
- - $C(\mathbf{r})$ : Ray $\mathbf{r}$ 에 대한 Ground Truth RGB colors
- - $\hat{C}_c(\mathbf{r})$ : Ray $\mathbf{r}$ 에 대한 Coarse volume predicted RGB colors
- - $\hat{C}_f(\mathbf{r})$ : Ray $\mathbf{r}$ 에 대한 Fine volume predicted RGB colors
- - 최종 렌더링은 $\hat{C}_f(\mathbf{r})$ 이지만, $\hat{C}_c(\mathbf{r})$ 의 Loss 역시 최소화
- - Coarse 네트워크의 weight 분포가 fine network 의 샘플링의 기반이 되기 때문
-
-## 5.4 Experiments detail
-
-- a batch size of 4096 rays
-- sampling coordinates :
- - $N_c=64$ in the coarse volume
- - $N_f=128$ in the fine volume
-- Optimizer : Adam, lr : $5 \times 10^{-4}$ → $5 \times 10^{-5}$ (exponentially decay learning rate)
- - Default : $\beta_1=0.9, \beta_2=0.999$,
-- iteration: 한 장면 당 10~30만 iter (NVIDIA V100 GPU 1개로 1~2일 소요)
-
-
-
-## 6. Results
-
-### 6.1 Datasets
-
-- **Synthetic renderings of object**
-:::{figure-md}
-
-
-Diffuse Synthetic : Lambertian, Realistic Synthetic : non-Lambertian
-:::
-
-1. **Diffuse Synthetic** $360 \degree$
-
- 1. 총 4개의 Lambertian 물체가 간단한 geometry로 구성
- 2. object : **512×512**
- 3. 상반구에 대한 viewpoint 를 렌더링
- 4. Train : 479, Test : 1000
-
-2. **Real Synthetic** $360 \degree$, **Forward-Facing**
-
- 1. 총 8개의 non-Lambertian 물체 8개,
- 2. 각각의 pathtraced image 를 포함한 형태의 데이터 셋을 구성
- 3. object : **800×800**
- 4. 6 Scenes : 상반구에 대한 viewpoint 를 렌더링, 2 Scenes : 구 전체에 대한 viewpoint 를 렌더링
- 5. Train : 100, Test : 200
-
-3. **Real Forward-Facing**
-
- 1. 복잡한 형태의 현실 scene을 앞쪽에서 본 모습을 사용
- 2. 총 8개의 scene, (5 scenes : LLFF paper 3 scenes : 직접 캡처)
- 3. object : **$1008 \times 756$**
- 4. Train : Test = 7 : 1
-
-### 6.2 Comparisons
-
-- **Models**
- - **Neural Volumes (NV)**
- - **Scene Representation Networks (SRN)**
- - **Local Light Field Fusion (LLFF)**
-
-### 6.3 Discussion
-
-1. comparison : Diffuse Synthetic : Lambertian, Realistic Synthetic : non-Lambertian
-- $\text{Nerf}$ : 미세 디테일, 기하학적 구조, 외양, nonLambertian 반사 반영
-- $\text{LLFF}$ : ghosting artifact (ship, lego)
-- $\text{SRN}$ : blurry and distorted rendering
-- $\text{NV}$ : detail 및 기하적 구조 반영 실패
-
- :::{figure-md}
- 
-
- Diffuse Synthetic : Lambertian, Realistic Synthetic : non-Lambertian
- :::
-
-- **Ghosting :** 렌더링에서의 객체 겹침 혹은 번짐
-- **Lambertian :** 모든 각도에서 동일한 밝기
-- **Non-Lambertian :** 각도에 따라 밝기와 색상 변화 / 광택, 반사, 투명도 등을 가짐
-
-2. comparison : reconstruction partially occluded regions
- :::{figure-md}
- 
-
- NeRF also correctly reconstructs partially occluded regions
- :::
-
-### 6.4 Ablation studies
-
-- Realistic Synthetic 360도 scene
-- 위치 인코딩(PE), 시점 의존성(VD), 계층적 샘플링(H)
-- 최대 주파수 $L$ 의 선택
- - 5→10 (성능 향상), 10→15 (성능 감소)
- - $2^L$ 이 샘플링 된 입력 이미지에서 존재하는 최대 주파수(본 데이터는 1024)를 초과할 때 추가적인 성능 향상에 제한
-
- :::{figure-md}
- 
-
- ablation study
- :::
-
-
-
----
-
-## (Appendix) A. Additional Implementation Details
-
-1. **Volume Bounds**
-For experiments with synthetic images, we scale the scene so that it lies within a **cube of
-side length 2 centered at the origin**, and only query the representation within this bounding volume. we use normalized device coordinates **to map the depth range of these points into [−1, 1]**.
-
-2. **Training Details**
-adding random Gaussian noise with zero mean and unit variance to the **output σ values** during optimization
-
-3. **Rendering Details**
-
- :::{figure-md}
- >
-
- fully-connected network architecture \ (source: {https://arxiv.org/pdf/2003.08934v2})
- :::
-
-- Coarse network 64 + fine network 128 = 192
-- fully-connected network 구조
-- positional encoding이 더해진 형태의 위치 정보**$(\gamma(x))$** 를 input으로 투입
-- 256 채널과 ReLU로 엮인 총 8개의 네트워크를 통과하게 된다. 해당 논문에서는 DeepSDF 구조를 따르고, skip connection을 5번째 layer의 activation에 투입
-- 추가 레이어는 volume density 를 output으로 산출
+```{admonition} Information
+- **Title:** NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2003.08934](https://arxiv.org/abs/2003.08934)
+ - Project: [https://github.com/bmild/nerf](https://github.com/bmild/nerf)
+
+- **Author:** Jeongin Lee
+
+- **Last updated on May. 22, 2024**
+```
+
+# NeRF : Representing Scenes as Neural Radiance Fields for View Synthesis
+
+[](https://www.youtube.com/watch?v=JuH79E8rdKc)
+
+- 기존의 3D object 자체를 구성하여 렌더링하는 explicit method → 저장 용량이 많이 소요
+- NeRF 는 3D object 자체를 구성하지 않는, **synthesizing novel views**
+좌표를 mlp에 넣어 픽셀 별 색상 및 밀도 값을 얻는 implicit method
+- **synthesizing novel views**
+ 특정한 장면(Scene)에서 여러 각도로 찍은 일부의 사진들을 가지고 완전 새로운 각도의 모습을 유추하는 task
+
+
+
+## 0. Abstract
+
+- **NeRF**
+ - 한정된 수의 입력 뷰 이미지들을 사용
+ - continous volumetric scene 함수 최적화를 통해 **synthesizing novel views** 에서 SOTA 달성
+
+- **Algorithm**
+ - **FC layer 사용 (non-convolutional)**
+ - **input** : 5 차원 좌표 (공간적 위치$(x, y, z)$ & 바라보는 방향$(\theta, \phi))$
+ - **output** : volume density와 해당 방향에 대한 색상 값
+ - 5 차원 좌표 입력 → 카메라 광선을 따라 RGB 값, Volume density 예측
+ → 고전적 Volume rendering 기술을 사용하여 image 로 합성
+
+- 복잡한 구조 및 외형을 갖는 scene 에 대한 **Novel views rendering** 을 위해 **NeRF** 를 최적화하는 방법을 제시 (+ Positional Encoding, Hierarchical volume sampling)
+
+- 실험을 통해 기존 작업을 능가하는 결과를 입증
+
+- **Keywords :** scene representation, view synthesis, image-based rendering,
+ volume rendering, 3D deep learning
+
+ :::{figure-md}
+
+
+ method that optimizes a continuous 5D neural radiance field representation \ (source: {https://arxiv.org/pdf/2003.08934v2})
+ :::
+
+
+
+## 1. Introduction
+
+캡처된 이미지들의 렌더링 오차를 최소화하기 위해 연속적인 $5 \mathrm{D}$ scene 함수의 파라미터를 직접 최적화하여 View synthesis 분야의 오랜 문제를 새로운 방식으로 해결함
+
+---
+
+- **정적 장면 → 연속적인 $5 \mathrm{D}$ 함수로 표현**
+ - FC layer = Regression Function :
+ a single $5 \mathrm{D}$ coord $(x, y, z, \theta, \phi)$ → density, view-dependent RGB color
+
+- **Output**
+ - 공간 상의 각 지점 $(x, y, z)$에서 각 방향 $(\theta, \phi)$ 으로 방출된 색상
+ - 각 지점 $(x, y, z)$ 의 밀도(density) = $\sigma$
+ - 밀도의 누적값을 통해 얼마나 많은 빛이 $(𝑥,𝑦,𝑧)$ 를 통과하는 광선에 의해 누적되는지를 표현
+
+---
+
+- **특정 시점으로부터의 NeRF 렌더링**
+
+ 1. 광선을 따라 이동하여 샘플링된 $3 \mathrm{D}$ 포인트 집합을 생성
+ 2. 해당 포인트들과 이에 해당하는 $2 \mathrm{D}$ 시점 방향을 신경망에 대한 입력으로 사용하여 색상과 밀도의 집합을 생성
+ 3. 고전적 Volume rendering 기술을 사용하여 $2 \mathrm{D}$ image 로 합성
+
+---
+
+- **Optimization**
+ - 미분 가능, gradient descent 를 통한 최적화
+ - 각 관찰된 이미지와 렌더링된 해당 **views**사이의 오차를 최소화
+ - 다양한 views 에서 오차 최소화를 통해 실제 장면의 cotents 가 포함된 위치에 **높은 밀도**와 **정확한 색상**을 할당하여 장면의 일관된 모델을 예측
+
+---
+
+- **NeRF 최적화의 Basic implementation의 한계 및 대안**
+ 1. **복잡한 장면에 대해서 충분히 고해상도 표현으로 수렴되지 않음**
+ - positional encoding 으로 입력 5D 좌표를 변환
+ - MLP가 더 높은 주파수의 함수를 나타낼 수 있음.
+ 2. **카메라 광선당 요구되는 샘플링 수가 비효율적**
+ - 계층적 샘플링 절차를 제안
+ - 고주파수의 장면 표현을 적절하게 샘플링하기 위해 필요한 쿼리 수를 감소시킴
+
+---
+
+- **본 논문의 접근 방식은 volumetric 표현의 이점을 상속**
+ - 복잡한 실세계의 기하학적 형태와 외형을 표현 가능
+ - 투영된 이미지를 사용한 Gradient-based 최적화에 적합
+ - 고해상도에서 복잡한 장면을 모델링할 때 이산화된 복셀 그리드의 엄청난 저장 비용을 극복
+
+ - **Voxel (Volume + Pixel)**
+ 3차원 공간에서 체적의 기본 단위 (2차원의 경우에선 pixe)
+ 위치 정보와 함께 밀도, 색상, 투과성 등의 속성을 가질 수 있음
+
+ - **Volumne Rendering**
+ 3차원 공간에서 정의된 데이터(체적 데이터)를 2차원 이미지로 변환하는 과정
+ 예시) CT, MRI
+
+ - **Volumetric Data (체적 데이터)**
+ 3차원 공간에서 샘플링된 데이터
+
+
+---
+
+
+- **Technical contributions**
+ - 복잡한 기하학과 소재를 가진 연속적인 장면을 5차원 NeRF 로 나타내는 접근 방법, 기본 MLP 네트워크로 매개변수화
+ - 고전적인 볼륨 렌더링 기법을 기반으로 한 미분 가능한 렌더링 절차를 사용하여 이러한 표현을 표준 RGB 이미지로부터 최적화하는 방법을 제안
+ - hierarchical sampling strategy : MLP’s capacity 를 시각적인 장면 내용이 있는 공간으로 할당 (물체가 있을 확률이 높은 부분을 모델이 집중적으로 학습)
+ - Positional encoding : 입력 5차원 좌표를 고차원 공간으로 매핑하기 위해 NeRF를 성공적으로 최적화하여 고주파의 장면 콘텐츠를 표현가능
+- 최초의 **continuous neural scene representation** 제안
+
+:::{figure-md}
+
+
+An overview of our neural radiance field scene representation and differentiable rendering procedure \ (source: {https://arxiv.org/pdf/2003.08934v2})
+:::
+
+
+
+## 2. Related Work
+
+- **Neural 3D shape representations**
+- **View synthesis and image-based rendering**
+
+
+
+## 3. Neural Radiance Field Scene Representation
+
+- 5차원 벡터 함수 (MLP) $F_{\Theta}:(\mathbf{x}, \mathbf{d}) \rightarrow(\mathbf{c}, \sigma)$
+
+ - **input** : $3 \mathrm{D}$ location $\mathbf{x}=(x, y, z)$ , $2 \mathrm{D}$ viewing direction $\mathbf{d}=(\theta, \phi)$
+ - **(practically) direction** as a $3 \mathrm{D}$ Cartesian unit vector $\mathbf{d}$
+ - 벡터 $\mathbf{d} =(𝑑_𝑥,𝑑_𝑦,𝑑_𝑧)$ 는 방향을 나타내며, 이는 단위 벡터(길이가 1)로 정규화
+ - **output** : emitted color $\mathbf{c}=(r, g, b)$, volume density $\sigma$
+
+- $\mathbf{x}$ → $\sigma$ , $(\mathbf{x, d})$ → RGB 색상 $\mathbf{c}$ 를 예측하도록 권장 (색상은 view dependent 이므로)
+
+ 1. MLP $F_{\Theta}$ 는 먼저 8개의 fully-connected layer (ReLU, 256개 채널 사용) 로
+ 입력 3D 좌표 $\mathbf{x}$ → $\sigma$ , 256차원 feature 벡터를 출력
+ 2. **a** 의 feature 벡터는 카메라 광선의 시점 방향과 concat
+ 3. 뷰에 따른 RGB 색상을 출력하는 하나의 추가 fully-connected layer (ReLU,128개 채널 사용)로 전달됨
+
+ :::{figure-md}
+
+
+ fully-connected network architecture\ (source: {https://arxiv.org/pdf/2003.08934v2})
+ :::
+
+
+- **View 를 고려하여 색상을 예측해야 하는 이유 : non-Lambertian effects**
+ - **Lambertian 효과**
+ - 물체의 표면에서 나오는 광선이 균일하게 반사되는 현상
+ - 표면의 방향과 상관없이 광선이 표면에서 나오는 각도에 따라 반사되는 광량이 일정하다는 원리를 기반
+ - Fig. 3 : 입력 시선 방향을 사용하여 non-Lambertian effects 를 표현한 예시
+ :::{figure-md}
+
+
+ :::
+
+ - Fig. 4 : view dependence 를 고려하지 않고 (only $\mathbf{x}$ input) 학습된 모델은 반사성(specularity)을 표현하는데 어려움이 있음
+ :::{figure-md}
+
+
+ :::
+
+
+
+## 4. Volume Rendering with Radiance Fields
+
+- **5D NeRF 는 장면을 volume density 와 특정 포인트에서 방출된 빛(색상)으로 표현**
+- **볼륨 렌더링 : scene 을 통과하는 모든 광선의 색상을 렌더링**
+ - NeRF 로부터 View 를 렌더링하려면 원하는 가상 카메라의 각 픽셀을 거쳐 추적된 카메라 광선에 대해 적분값 $C(\mathbf{r})$ 을 추정을 요구
+ - $\mathbf{r}(t)=\mathbf{o}+t \mathbf{d}$ : 카메라 광선
+ - $C(\mathbf{r})$ : near bound $t_n$ , far bound $t_f$ 에서 카메라 광선 $\mathbf{r}(t)$ 의 예측된 색상
+ - $T(t)$ : ray 를 따라 $t_n$ 부터 $t$ 까지 누적된 투과율(transmittance)
+
+$$
+C(\mathbf{r})=\int_{t_n}^{t_f} T(t) \sigma(\mathbf{r}(t)) \mathbf{c}(\mathbf{r}(t), \mathbf{d}) d t, \text { where } T(t)=\exp \left(-\int_{t_n}^t \sigma(\mathbf{r}(s)) d s\right)
+$$
+
+- **Quadrature (구적법) 을 통해 연속적 적분값을 수치적으로 추정**
+ - 이산화된 ****voxel grids 렌더링에 사용되는 **결정론적 구적법**의 한계
+ - 일반적으로 이산화된 복셀 그리드를 렌더링하는 데 사용되는 결정론적 구적법은 MLP가 **고정된 이산 위치 집합**에서만 쿼리되기 때문에 표현의 해상도를 제한
+
+
+- ➡️ **대안으로 Stratified sampling (계층적 표집) 접근법을 사용.**
+- $\left[t_n, t_f\right]$ 를 $N$ 개의 균일한 간격의 bin으로 분할한 Partition 생성
+- 각 bin 내에서 하나의 샘플을 무작위로 추출
+
+ $$
+ t_i \sim \mathcal{U}\left[t_n+\frac{i-1}{N}\left(t_f-t_n\right), t_n+\frac{i}{N}\left(t_f-t_n\right)\right].
+ $$
+
+- 여전히 적분값 추정을 위해 이산화된 표본들을 사용하더라도,
+계층적 표집 방법을 통해 continuous scene 표현이 가능
+- 다양한 position sample에 대해 최적화가 가능하므로, 최적화 과정에서 MLP가 연속적인 위치들에서 평가되도록 하는 효과
+
+
+- 위의 샘플링 방법을 통해 뽑은 샘플들로 [[26]에서 리뷰](https://courses.cs.duke.edu/spring03/cps296.8/papers/max95opticalModelsForDirectVolumeRendering.pdf)된 볼륨 렌더링에서 논의된 구적법으로 $C(\mathbf{r})$ 을 추정 (적분을 sample sum 으로)
+
+ $$
+ \hat{C}(\mathbf{r})=\sum_{i=1}^N T_i\left(1-\exp \left(-\sigma_i \delta_i\right)\right) \mathbf{c}_i, \\ \text { where } T_i=\exp \left(-\sum_{j=1}^{i-1} \sigma_j \delta_j\right),
+ $$
+
+ - $\delta_i=t_{i+1}-t_i$ is the distance between adjacent samples ($dt$ 를 대체)
+ - $\left(\mathbf{c}_i, \sigma_i\right)$ 의 집합으로부터 $\hat{C}(\mathbf{r})$ 을 계산하는 함수는 쉽게 미분 가능하며
+ $\alpha_i=1-\exp \left(-\sigma_i \delta_i\right)$ 를 사용한 전통적인 **alpha compositing**
+ - **alpha compositing (**알파 합성)
+ - 여러 이미지 또는 픽셀을 결합하여 하나의 이미지로 만드는 기술
+ - ex) 투명한 이미지(유리, 그림자)를 배경 이미지 위에 겹칠 때 알파 컴포지팅을 사용하여 자연스러운 합성 수행
+
+
+
+## 5. Optimizing a Neural Radiance Field
+
+**[REMIND]**
+
+- 지금까지 **NeRF 로 scene 을 모델링하는 것, 이 표현으로 새로운 views 를 렌더링 하는 것** 에 필요한 핵심적인 구성요소를 다룸
+ - 하지만 해당 요소들로 SOTA 성능을 달성하기에는 한계 존재
+ - 고해상도 + 복잡한 scene 을 표현 가능하게 하는 두개의 개선점을 도입
+
+1. Positional encoding of the input coordinates
+that assists the MLP in representing high-frequency functions
+2. hierarchical sampling procedure
+that allows us to efficiently sample this high-frequency representation.
+
+### 5.1 Positional encoding
+
+- Neural network $F_{\Theta}$ 가 직접 **$(x, y, z, \theta, \phi)$ input coordinates** 에서 직접 연산하는 경우, 색상과 형태에서 고주파 변동을 표현하는데 성능이 좋지 않았음
+- [[35] On the spectral bias of neural networks](https://arxiv.org/abs/1806.08734) 논문 결과와 동일,
+ - 깊은 신경망이 저주파 함수를 학습하는 쪽으로 편향되었음을 보여줌
+ - 신경망을 통과하기 전 고주파 함수를 사용하여 **입력을 고차원 공간으로 맵핑**하는 것은 고주파 변동이 포함된 데이터를 더 잘 적합 가능하게 함을 제시
+ - 저자들은 Neural scene representations 에서 위의 결과를 이용
+- **→ $F_{\Theta}$ 를 두개의 함수로 구성 $F_{\Theta}=F_{\Theta}^{\prime} \circ \gamma$ 성능을 상당히 개선 ($\gamma$ : 학습 X)**
+
+ $$
+ \gamma(p)=\left(\sin \left(2^0 \pi p\right), \cos \left(2^0 \pi p\right), \cdots, \sin \left(2^{L-1} \pi p\right), \cos \left(2^{L-1} \pi p\right)\right) .
+ $$
+
+ - $\gamma$ : mapping $\mathbb{R}$ → $\mathbb{R}^{2 L}$, $F_{\Theta}^{\prime}$ : Regular MLP
+ - $\gamma(\cdot)$ : $\mathbf{x}$ 의 각 세개의 좌표값과 Cartesian 시점 방향 벡터 $\mathbf{d}$ 의 세 성분에 $[-1,1]$사이로 정규화 후 개별적으로 적용에 분리되어 적용됨
+ - Experiments : $L=10$ for $\gamma(\mathbf{x})$ and $L=4$ for $\gamma(\mathbf{d})$
+
+
+### 5.2 Hierarchical volume sampling
+
+- **Stratified Sampling**
+ - 비효율적
+ - 렌더링된 이미지에 기여하지 않는 여유 공간(비어있는 부분) 막혀있는(가려진) 영역이 여전히 반복적으로 샘플링됨.
+- **Hierarchical volume sampling**
+ - 최종 렌더링에 대한 예상 효과에 비례하여 샘플을 할당
+ - 렌더링 효율성을 증가시킴
+
+ **➡️ Content가 더 있을 것 같은 곳을 더 뽑자 !**
+
+- scene 표현을 위해 단순히 단일 네트워크를 사용하는 것 대신에 우리는 동시에 2개의 네트워크를 최적화
+
+ **Step 1. Coarse**
+
+ **Step 2. Fine**
+
+---
+
+1. **Coarse**
+
+ **Stratified sampling** → $N_c$ 개의 위치 집합을 샘플링, 이 위치에서 $\hat{C(r)}$ 을 예측하여 **Coarse network** 를 평가
+
+2. **Fine**
+ 1. 1에서 주어진 Coarse 네트워크의 출력을 바탕으로 더 많은 정보에 기반한 포인트 샘플링을 생성 (더 많은 정보에 기반한 포인트 샘플링을 생성)
+ 2. Coarse 네트워크에서의 알파 합성 색상 $\hat{C}_c(\mathbf{r})$을 광선을 따라 샘플링된 모든 컬러 $c_i$들의 가중합 형태로 다시 씀
+
+ $$
+ \hat{C}_c(\mathbf{r})=\sum_{i=1}^{N_c} w_i c_i, \quad w_i=T_i\left(1-\exp \left(-\sigma_i \delta_i\right)\right) .
+ $$
+
+3. **piecewise-constant PDF**
+
+ Normalizing weight 를 통해 생성
+
+
+$$
+\hat{w}i= \dfrac{w_i}{\sum_{j=1}^{N_c} w_j}
+$$
+
+- 역변환 샘플링을 통해 확률 밀도함수 값에 기반한 2번째 샘플집합의 샘플 $N_f$ 개를 샘플링
+- 첫 번째와 두 번째 샘플 집합의 합집합에서 fine 네트워크를 평가
+- 모든 $N_c+N_f$ 샘플을 사용하여 광선의 최종 렌더링된 색상 $\hat{C}_f(\mathbf{r})$ 를 계산
+- 이 절차에서는 관측 가능한 content가 포함될 것으로 예상되는 영역에 더 많은 샘플을 할당
+
+### 5.3 Implementation details
+
+- **각 Scene 에 대해 네트워크 를 별도로 최적화**
+
+ scene이 캡처된 RGB 이미지, extrinsic parameter(해당 카메라 포즈), intrinsic parameter, 장면 경계로 구성된 데이터셋이 필요
+
+ - **extrinsic parameter, intrinsic parameter**
+
+ - **Extrinsic Parameter**
+ 3D 공간 내에서 카메라가 어디에 위치(3D Translation)하고 있고, 어디를 바라보고 있는지(3D Rotation)에 대한 Parameter
+
+ - **Intrinsic Parameter**
+ 카메라 렌즈와 센서 위치에 의해서 결정되어지는 항목으로, 이미지 패널이 얼마나 이동(2D Translation)하고, 얼마나 확대하고(2D Scaling), 얼마나 기울어졌는지(2D Shear) 대한 intrinsic parameter
+
+ :::{figure-md}
+
+
+ intrinsic prameter and extrinsic parameter
+ :::
+
+ - 카메라 영상 : 3차원 공간상의 점들을 2차원 이미지 평면에 투사(perspective projection)
+
+- **Training**
+
+ 1. 각 최적화 iteration에서 데이터셋의 모든 픽셀 집합에서 카메라 광선 batch를 무작위로 샘플링
+ 2. 계층적 샘플링을 따라 coarse 네트워크의 $N_c$ 개의 샘플과 fine 네트워크의$N_c + N_f$개의 샘플을 쿼리
+ 3. volume rendering 절차를 사용하여 두샘플 집합 모두에서 광선의 색상을 렌더링
+
+- **Loss**
+ coarse 렌더링과 fine 렌더링의 색상 vs 실제 픽셀 색상 간의 총 제곱 오차
+
+ $$
+ \mathcal{L}=\sum_{\mathbf{r} \in \mathcal{R}}\left[\left\|\hat{C}_c(\mathbf{r})-C(\mathbf{r})\right\|_2^2+\left\|\hat{C}_f(\mathbf{r})-C(\mathbf{r})\right\|_2^2\right]
+ $$
+
+ - $\mathcal{R}$ : 각 batch 의 광선의 집합
+ - $C(\mathbf{r})$ : Ray $\mathbf{r}$ 에 대한 Ground Truth RGB colors
+ - $\hat{C}_c(\mathbf{r})$ : Ray $\mathbf{r}$ 에 대한 Coarse volume predicted RGB colors
+ - $\hat{C}_f(\mathbf{r})$ : Ray $\mathbf{r}$ 에 대한 Fine volume predicted RGB colors
+ - 최종 렌더링은 $\hat{C}_f(\mathbf{r})$ 이지만, $\hat{C}_c(\mathbf{r})$ 의 Loss 역시 최소화
+ - Coarse 네트워크의 weight 분포가 fine network 의 샘플링의 기반이 되기 때문
+
+## 5.4 Experiments detail
+
+- a batch size of 4096 rays
+- sampling coordinates :
+ - $N_c=64$ in the coarse volume
+ - $N_f=128$ in the fine volume
+- Optimizer : Adam, lr : $5 \times 10^{-4}$ → $5 \times 10^{-5}$ (exponentially decay learning rate)
+ - Default : $\beta_1=0.9, \beta_2=0.999$,
+- iteration: 한 장면 당 10~30만 iter (NVIDIA V100 GPU 1개로 1~2일 소요)
+
+
+
+## 6. Results
+
+### 6.1 Datasets
+
+- **Synthetic renderings of object**
+:::{figure-md}
+
+
+Diffuse Synthetic : Lambertian, Realistic Synthetic : non-Lambertian
+:::
+
+1. **Diffuse Synthetic** $360 \degree$
+
+ 1. 총 4개의 Lambertian 물체가 간단한 geometry로 구성
+ 2. object : **512×512**
+ 3. 상반구에 대한 viewpoint 를 렌더링
+ 4. Train : 479, Test : 1000
+
+2. **Real Synthetic** $360 \degree$, **Forward-Facing**
+
+ 1. 총 8개의 non-Lambertian 물체 8개,
+ 2. 각각의 pathtraced image 를 포함한 형태의 데이터 셋을 구성
+ 3. object : **800×800**
+ 4. 6 Scenes : 상반구에 대한 viewpoint 를 렌더링, 2 Scenes : 구 전체에 대한 viewpoint 를 렌더링
+ 5. Train : 100, Test : 200
+
+3. **Real Forward-Facing**
+
+ 1. 복잡한 형태의 현실 scene을 앞쪽에서 본 모습을 사용
+ 2. 총 8개의 scene, (5 scenes : LLFF paper 3 scenes : 직접 캡처)
+ 3. object : **$1008 \times 756$**
+ 4. Train : Test = 7 : 1
+
+### 6.2 Comparisons
+
+- **Models**
+ - **Neural Volumes (NV)**
+ - **Scene Representation Networks (SRN)**
+ - **Local Light Field Fusion (LLFF)**
+
+### 6.3 Discussion
+
+1. comparison : Diffuse Synthetic : Lambertian, Realistic Synthetic : non-Lambertian
+- $\text{Nerf}$ : 미세 디테일, 기하학적 구조, 외양, nonLambertian 반사 반영
+- $\text{LLFF}$ : ghosting artifact (ship, lego)
+- $\text{SRN}$ : blurry and distorted rendering
+- $\text{NV}$ : detail 및 기하적 구조 반영 실패
+
+ :::{figure-md}
+
+
+ Diffuse Synthetic : Lambertian, Realistic Synthetic : non-Lambertian
+ :::
+
+- **Ghosting :** 렌더링에서의 객체 겹침 혹은 번짐
+- **Lambertian :** 모든 각도에서 동일한 밝기
+- **Non-Lambertian :** 각도에 따라 밝기와 색상 변화 / 광택, 반사, 투명도 등을 가짐
+
+2. comparison : reconstruction partially occluded regions
+ :::{figure-md}
+
+
+ NeRF also correctly reconstructs partially occluded regions
+ :::
+
+### 6.4 Ablation studies
+
+- Realistic Synthetic 360도 scene
+- 위치 인코딩(PE), 시점 의존성(VD), 계층적 샘플링(H)
+- 최대 주파수 $L$ 의 선택
+ - 5→10 (성능 향상), 10→15 (성능 감소)
+ - $2^L$ 이 샘플링 된 입력 이미지에서 존재하는 최대 주파수(본 데이터는 1024)를 초과할 때 추가적인 성능 향상에 제한
+
+ :::{figure-md}
+
+
+ ablation study
+ :::
+
+
+
+---
+
+## (Appendix) A. Additional Implementation Details
+
+1. **Volume Bounds**
+For experiments with synthetic images, we scale the scene so that it lies within a **cube of
+side length 2 centered at the origin**, and only query the representation within this bounding volume. we use normalized device coordinates **to map the depth range of these points into [−1, 1]**.
+
+2. **Training Details**
+adding random Gaussian noise with zero mean and unit variance to the **output σ values** during optimization
+
+3. **Rendering Details**
+
+ :::{figure-md}
+ >
+
+ fully-connected network architecture \ (source: {https://arxiv.org/pdf/2003.08934v2})
+ :::
+
+- Coarse network 64 + fine network 128 = 192
+- fully-connected network 구조
+- positional encoding이 더해진 형태의 위치 정보**$(\gamma(x))$** 를 input으로 투입
+- 256 채널과 ReLU로 엮인 총 8개의 네트워크를 통과하게 된다. 해당 논문에서는 DeepSDF 구조를 따르고, skip connection을 5번째 layer의 activation에 투입
+- 추가 레이어는 volume density 를 output으로 산출
diff --git a/_sources/docs/review/Point_E.md b/_sources/docs/review/Point_E.md
index 1cbb6f5f..8b640317 100755
--- a/_sources/docs/review/Point_E.md
+++ b/_sources/docs/review/Point_E.md
@@ -1,335 +1,335 @@
-```{admonition} Information
-- **Title:** Point-E: A System for Generating 3D Point Clouds from Complex Prompts (Arxiv 2022)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2212.08751](https://arxiv.org/abs/2212.08751)
- - Project: [https://openai.com/index/point-e/](https://openai.com/index/point-e/)
-
-- **Author:** [Jeonghwa Yoo](https://www.linkedin.com/in/jeonghwa-yoo-8403a716b)
-
-- **Last updated on Sep. 11, 2024**
-```
-
-# Point-E: A System for Generating 3D Point Clouds from Complex Prompts (Arxiv 2022)
-
-
-
-
-# Abstract
-
-- 제안 배경
- - 최근 텍스트 조건부 3D 객체 생성 기술(text-conditional 3D object generation)이 놀라운 발전을 보이고 있다.
- - 하지만, SOTA 모델들은 여전히 하나의 샘플을 만들기 위해 여러 GPU 시간을 요구하고 있다.
- - 본 논문에서는 단일 GPU에서 1~2분만에 3D 모델을 생성하는 3D 객체 생성을 위한 방법을 탐색한다.
-- 접근법
- - 텍스트-이미지 디퓨전 모델을 사용하여 단일 합성 뷰를 생성한 다음 두 번째 디퓨전 모델을 사용하여 3D 포인트 클라우드를 생성한다.
-- 결과
- - 샘플 품질 측면에서 SOTA 성능이 아니지만, 샘플링 속도가 1~2배 더 빠르다.
-
-# 1. Introduction
-
-- Text-to-image 생성 모델에서 text-to-vide/3D로의 발전
- - 최근 text-to-image 생성 모델이 폭발적으로 증가함에 따라 몇 초만에 자연어에서 고품질 이미지를 생성하고 수정할 수 있게 되었다.
- - 이러한 결과에 영감을 받아 최근 연구에서는 비디오나 3D 객체와 같은 다른 도메인에서의 텍스트 조건부 생성을 탐색하고 있다.
- - 본 논문도 text-to-3D 생성 문제에 중점을 둔다.
-- 최근 text-to-3D 합성의 분류
- - 최근 text-to-3D 합성은 일반적으로 다음의 두 카테고리 중 하나에 속한다.
- 1. 쌍을 이룬(paired)(ex: text, 3D) 데이터 또는 레이블이 없는(unlabeld) 3D 데이터에서 생성 모델을 직접(directly) 학습 시키는 방법
- 1. 장점: 기존 생성 모델링 접근 방식을 활용하여 샘플을 효율적으로 생성할 수 있다.
- 2. 단점: 대규모 3D 데이터셋이 없기 때문에 다양하고 복잡한 텍스트 프롬프트로 확장하기 어렵다. → 데이터셋의 한계, 확장성의 어려움
- 2. 사전 학습된 text-to-image 모델을 활용하여 미분가능한(differentiable) 3D 표현법들(representations)을 최적화하는 방법
- 1. 장점: 복잡하고 다양한 텍스트 프롬프트를 처리할 수 있다.
- 2. 단점:
- 1. 각 샘플에 대해 최적화 과정을 거쳐야 하기 때문에 계산 비용이 많이 들고 시간이 오래 걸릴 수 있다. 샘플을 생성하는 데 비용이 많이 드는 최적화 프로세스가 필요하다.
- 2. 강력한 3D prior가 없기 때문에 의미 있거나 일관된 3D 개체에 해당하지 않는 local minima에 빠질 수 있다.
-- 본 논문의 접근법
-
- :::{figure-md}
- 
-
- Point-E 파이프라인 개요
- :::
-
- - Text-to-image 모델과 image-to-3D 모델을 결합하여 두카테고리의 장점을 합치는 것을 목표로 한다.
- - 본 논문의 text-to-image 모델
- - 대규모(텍스트, 이미지)쌍 데이터를 활용하여 다양하고 복잡한 프롬프트를 따를 수 있게 한다.
- - 3D 렌더링에 대해 파인튜닝된 GLIDE 버전을 사용한다.
- - 본 논문의 image-to-3D 모델
- - 소규모의(이미지,3D)쌍 데이터로 학습된다.
- - RGB 포인트 클라우드를 생성하는 디퓨전 모델의 스택을 사용한다. (새로운 transformer 기반 아키텍처 사용)
- - 생성된 포인트 클라우드에서 메쉬를 생성하기 위해 회귀 기반(regression-based) 접근 방식을 사용한다.
- - 먼저 text-to-image 모델을 사용하여 이미지를 샘플링하고, 샘플링된 이미지를 조건으로 넣어 3D 객체를 샘플링한다.
- - 이 두 단계 모두 몇 초 내에 수행될 수 있으며, 비용이 많이 드는 최적화 과정을 필요로 하지 않는다.
-- 본 논문의 결과
- - 간단한 텍스트 프롬프트뿐만 아니라 복잡한 텍스트 프롬프트와도 일치하는 컬러 3D 포인트 클라우드를 생성할 수 있었다.
-
- → 포인트 클라우드를 효율적으로 생성한다는 의미에서 본 논문의 시스템을 Point E라고 명칭하였다.
-
-
-# 2. Background
-
-- 디퓨전 모델 개요:
- - 점진적으로 Gaussian 노이즈를 추가하는 과정을 통해 데이터를 변형한다.
- - 본 논문에서는 Ho et al. (2020)의 Gaussian 확산 설정을 따른다.
-- 노이즈 프로세스
- - 노이즈 프로세스는 시간 단계 t마다 신호에 Gaussian 노이즈를 추가한다.
- - 최종 단계에서는 샘플이 거의 정보를 포함하지 않게 된다.
-- 역 노이즈 프로세스
- - 랜던 가우시안 노이즈 $x_T$에서 시작하여 점진적으로 노이즈 프로세스를 역으로 진행하여 잡음이 없는 샘플 $x_0$에 도달할 수 있다.
-- 모델 학습
- - q(xt−1|xt)를 신경망 pθ(xt−1|xt)로 근사하여 학습한다.
- - Nichol & Dhariwal (2021)은 평균뿐만 아니라 분산도 예측하여 더 나은 성능을 얻었다.
-- 샘플링
- - 디퓨전 샘플링은 미분 방정식 관점에서 설명될 수 있으며, 이를 통해 다양한 SDE 및 ODE 해석기를 사용하여 이러한 모델에서 샘플링할 수 있다.
- - 본 논문에서는 Karras et al. (2022)의 2차 ODE 해석기를 사용한다.
-- 가이드 전략
- - Dhariwal & Nichol (2021)은 분류기 가이던스(classifier guidance)를 도입하여 생성 충실도를 높였다.
- - Ho & Salimans (2021)은 분류기 없는 가이던스(classifier-free guidance)를 도입하여 조건부 정보를 무작위로 삭제한다.
- - 본 논문에서는 학습 시 드롭 확률 0.1을 사용하여 이 기술을 적용한다.
-
-# 3. Related Work
-
-- 포인트 클라우드 생성 모델:
- - 다양한 연구들이 GAN, VAE, 플로우 모델, 디퓨전 모델 등을 사용하여 포인트 클라우드를 생성한다.
- - 본 논문의 연구와 가장 유사한 PVD 모델은 단일 디퓨전 모델을 사용하여 포인트 클라우드 직접 생성한다.
- - 본 논문에서는 더 간단한 트랜스포머 기반 아키텍처를 사용하며, RGB 채널을 함께 생성하는 점에서 차별점을 가진다.
-- 다른 3D 표현을 사용한 모델 생성:
- - 2D 이미지 데이터셋에서 3D 인식 GAN을 학습하거나, 직접 3D 메쉬를 생성하는 연구들이 있다.
- - 이러한 연구들은 주로 새로운 뷰 합성 문제에 초점을 맞추지만, 전체 360도 뷰를 재구성하려고 하지는 않는다.
-- 텍스트 조건부 3D 생성:
- - 몇몇 연구들은 텍스트-이미지 매칭 목표에 따라 3D 표현을 최적화하는 접근 방식을 탐구한다.
- - 이러한 접근 방식들은 다양한 복잡한 객체나 장면을 생성할 수 있지만, 최적화 절차가 매우 시간이 많이 걸린다.
-- 텍스트-3D 데이터 활용:
- - 텍스트-3D 쌍 데이터를 사용하여 텍스트 조건부 3D 모델을 생성하는 연구들도 있다.
- - 많은 연구들이 단순한 프롬프트나 좁은 객체 카테고리에 한정되지만, 본 논문에서는 사전 학습된 텍스트-이미지 모델을 활용하여 이러한 문제를 해결한다.
-- 이미지 기반 3D 재구성:
- - 단일 또는 소수의 이미지에서 3D 모델을 재구성하는 회귀 기반 및 생성 접근 방식이 있.
- - 이들 접근 방식은 불충분한 문제를 다루면서도 유망한 결과를 보여주고 있다.
-
-# 4. Method
-
-- 텍스트를 조건으로 받아 단일 생성 모델로 포인트 클라우드를 직접 생성하는 대신 생성 프로세스를 세 단계로 나눈다.
- 1. ‘텍스트 캡션’을 조건으로 받아 ‘합성 뷰’를 생성한다. → *4.2 내용*
- 1. GLIDE 모델 사용
- 2. 렌더링된 3D 모델로 파인튜닝
- 2. ‘합성 뷰’를 조건으로 받아 ‘대략적인(coarse) 포인트 클라우드(1024개의 포인트)’를 생성한다 → *4.3 내용*
- 1. 조건부 순열 불변 디퓨전 모델(conditional, permutation invariant diffusion model) 사용
- 3. ‘저해상도 포인트 클라우드와 합성 뷰’를 조건으로 받아 ‘고해상도 포인트 클라우드(4096 포인트)’를 생성한다. → *4.4 내용*
- 1. 2에서 사용된 모델과 유사하지만 저해상도 포인트 클라우드를 조건으로 하는 더 작은 디퓨전 모델을 사용
-- 수백만 개의 3D 모델과 관련 메타데이터로 구성된 데이터셋에서 모델을 훈련시킨다.
-- 데이터셋을 렌더링된 뷰, 텍스트 설명, 그리고 각 점에 대한 RGB 색상을 포함하는 3D 포인트 클라우드로 처리한다.
-
-## 4-1. Dataset
-
-- 수백만 개의 3D 모델은 데이터 형식과 품질이 데이터셋 전반에 걸쳐 매우 다양했고, 더 높은 데이터 품질을 보장하기 위해 다양한 후처리 단계가 필요했다.
-- 후처리 단계
- 1. Blender를 사용하여 모든 데이터를 하나의 일반적인 형식(RGBAD 이미지)으로 변환한다.
- 1. Blender: 다양한 3D 형식을 지원하며 최적화된 렌더링 엔진을 제공하는 프로그램
- 2. RGBAD 이미지: RGB 이미지에 깊이(Depth)와 알파(Alpha) 채널이 추가된 형식의 이미지
- 3. 20개의 랜덤한 카메라 각도에서 각 3D 모델을 경계 상자(bounding cube)로 정규화하고 표준 조명 설정을 구성한 후, blender의 내장된 실시간 렌더링 엔진을 사용하여 RGBAD 이미지를 내보냈다.
- 2. 각 객체를 렌더링을 사용해 색상이 있는 포인트 클라우드로 변환한다.
- 1. 각 RGBAD 이미지의 각 픽셀에 대한 점을 계산하여 각 객체에 대한 밀집된(dense) 포인트 클라우드를 구성한다.
- 2. 이러한 포인트 클라우드는 일반적으로 고르게 분포되어 있지 않으므로, 가장 먼 점 샘플링을 사용하여 4K 점의 균일한 클라우드를 생성한다.
- 3. 렌더링에서 직접 포인트 클라우드를 구성함으로써, 3D 메쉬에서 직접 점을 샘플링할 때 발생할 수 있는 여러 가지 문제를 피할 수 있었다. (모델 내부에 포함된 점을 샘플링하는 문제, 이상한 파일 형식의 3D 모델로 인한 문제)
- 3. 저품질 모델을 제거하기 위해 다양한 휴리스틱을 사용한다.
- 1. 각 포인트 클라우드의 SVD를 계산하고, 가장 작은 특이값이 일정 임계값(threshold) 이상인 경우에만 유지함으로써 평평한 객체를 제거했다.
- 2. 다음으로, CLIP 특성에 따라 데이터셋을 클러스터링 했다. (일부 클러스터는 많은 저품질 모델 카테고리를 포함하는 반면, 다른 클러스터는 더 다양하거나 해석 가능한 것으로 나타났음)
- 3. 클러스터를 여러 가지 품질의 버킷으로 나누고, 최종 데이터셋으로서 결과 버킷의 가중치 혼합을 사용했다.
-
-## 4.2 View Synthesis GLIDE Model
-
-- ‘텍스트 캡션’을 조건으로 받아 ‘합성 뷰’를 생성하는 모델
-- 4.3에서 설명할 포인트 클라우드 모델은 모두 동일한 렌더러와 동일한 조명 설정을 사용하여 생성된 데이터셋의 렌더링된 뷰를 조건으로 받는다.
-- 따라서 해당 파트에서는 데이터셋의 분포와 일치하는 3D 렌더를 명시적으로 생성하고자 하였다.
-- 이를 위해 GLIDE를 원래의 데이터셋과 저자들의 3D 렌더링 데이터셋을 혼합하여 파인튜닝 하였다.
- - 저자들의 3D 렌더링 데이터셋이 원래 GLIDE 학습셋에 비해 작기 때문에 3D 렌더링 데이터셋에서 이미지를 샘플링하는 비율을 5%로만 설정하고, 나머지 95%는 원래의 데이터셋을 사용했다.
- - 반복(iterations) 횟수는 100,000번의 설정 하였으며, 이는 모델이 3D 데이터셋을 여러 번 거치는 학습을 진행했음을 의미한다. (단, 동일한 렌더링된 시점을 두 번 사용하지 않았다.)
-- 테스트 시간에는 항상 분포 내 렌더를 샘플링하기 위해, 모든 3D 렌더의 텍스트 프롬프트에 특별한 토큰을 추가하여 이 토큰을 사용하여 샘플링을 수행하였다.
-
-## 4.3 **Point Cloud Diffusion**
-
-- ‘합성 뷰’를 조건으로 받아 ‘대략적인(coarse) 포인트 클라우드(1024개의 포인트)’를 생성하는 모델
-- 디퓨전을 이용해 포인트 클라우드를 사용하기 위해 [3D Shape Generation and Completion through Point-Voxel Diffusion](https://arxiv.org/abs/2104.03670)에서 사용한 프레임워크를 확장하여 포인트 클라우드의 각 포인트에 RGB 색상을 포함시켰다.
-- 포인트 클라우드를 K x 6 형태의 텐서로 나타내며 (K: 포인트 수), 내부 차원은 (x,y,z) 좌표와 (R,G,B) 색상을 포함한다.
-- 모든 좌표와 색상은 [-1, 1] 범위로 정규화 된다.
-- K x 6 형태의 랜덤한 노이즈에서 시작하여 이를 점진적으로 디노이징하여 텐서를 직접 생성한다.
-- 기존 3D 전용 구조를 활용하던 이전 방법들과 달리, 본 논문에서는 트랜스포머 기반 모델을 사용한다. 모델은
-이미지, 타임 스텝 t, 노이즈가 있는 포인트 클라우드 $x_t$를 조건으로 받아 $\epsilon$과 $\sum$을 예측한다.
-- 모델 구조
-
- :::{figure-md}
- 
-
- Point-E 모델 구조
- :::
-
- - 포인트 클라우드의 각 포인트를 출력 차원이 D인 선형 레이어(linear layer)에 넣어 K×D 입력 텐서를 얻고 모델에 입력 컨텍스트로 사용한다. 또한 작은 MLP에 타임스텝 t를 넣어 컨텍스트 앞에 추가할 다른 D차원 벡터를 얻는다.
- - 이미지를 조건으로 입력 받기 위해, 사전 학습된 ViT-L/14 CLIP 모델에 이미지를 입력하고 이 CLIP 모델의 마지막 레이어의 임베딩을 가져온다. (shape: 256xD’), 이를 선형 투사(lienarly project)하여 256xD shape의 또 다른 텐서를 얻고 이를 트랜스포머 컨텍스트 앞에 추가한다. → 이 방법이 단일 CLIP 이미지 또는 텍스트 임베딩을 사용하는 것보다 우수했다.
- - 최종 입력 컨텍스트는 (K+257) x D의 shape가 된다. 길이 K의 최종 출력 시퀀스를 얻기 위해 최종 토큰 K개를 가져오고 이를 프로젝션하여 입력 포인트 K개에 대한 ε와 Σ 예측을 얻는다.
-
-
-
-- 이 모델에서는 positional encoding을 사용하지 않는다. 따라서 모델 자체는 입력 포인트 클라우드에 대해 순열 분별(permutation-invariant)하다.
-
-## 4.4 **Point Cloud Upsampler**
-
-- 이미지 디퓨전 모델에서의 계층 구조
- - 이미지 디퓨전 모델의 경우 가장 좋은 품질은 일반적으로 계층 구조를 사용하는 방식으로 달성된다.
- - 이 방식에서는 저해상도의 기본 모델이 출력을 생성한 후, 이를 다른 모델이 업샘플한다.
-
- → 포인트 클라우드 생성에 이 접근 방식을 사용
-
-- 포인트 클라우드 생성에서의 계층 구조
- - 큰 베이스 모델로 1K 포인트를 생성한 후, 작은 업샘플링 모델을 사용하여 4K 포인트로 업샘플링 한다.
- - 모델 크기가 같을 때, 4K 포인트를 생성하는 데에는 1K 포인트를 생성할 때보다 네 배 더 많은 연산을 필요로 한다.
-- 업샘플러
- - 업샘플러는 베이스 모델과 동일한 아키텍처를 사용한다.
- - 모델은 저해상도 포인트 클라우드 모델과 동일한 아키텍처를 사용한다.
- - 저해상도 포인트 클라우드를 입력 받기 위한 추가 컨디셔닝 토큰이 있다.
- - 1K 포인트를 조건으로 입력 받아 추가로 3K 포인트를 생성하여 저해상도 포인트 클라우드에 추가한다.
- - $x_t$에 사용된 레이어가 아닌 별도의 선형 임베딩 레이어를 통해 저해상도 포인트를 전달하여, 모델이 positional encoding을 사용할 필요 없이 조건부 정보와 새로운 포인트를 구별할 수 있도록 한다.
-
-## 4.5 Producing Meshes
-
-- 렌더링 기반 평가를 위해 생성된 포인트 클라우드를 직접 렌더링하지 않는다.
-- 대신, 포인트 클라우드를 텍스처가 입혀진 메쉬로 변환하고 Blender를 사용해 이러한 메쉬를 렌더링한다.
-- 포인트 클라우드에서 메쉬를 생성하는 것은 때때로 어렵고, 본 논문의 모델이 생성한 포인트 클라우드는 종종 균열, 이상치 또는 기타 유형의 노이즈를 가지고 있어 더욱 어렵다.
-- 포인트 클라우드에서 메쉬를 생성하기 위해 사전 학습된 SAP모델을 사용해봣으나 포인트 클라우드에 존재했던 큰 부분이나 중요한 세부 사항을 잃어버리는 경우가 있었다.
-- 따라서 본 논문에서는 회귀(regression) 기반 모델을 사용하여 signed distance field를 예측하고, 이를 merching cube 알고리즘을 적용하여 메쉬를 추출했다.
-- 그런 다음 원래 포인트 클라우드에서 가장 가까운 점의 색을 사용하여 메쉬의 각 버텍스에 색을 할당했다.
-
-
-
-# 5. Results
-
-- 평가 지표: CLIP R-Precision, P-IS, P-FID
- - CLIP R-Precision
- - 특정 객체를 기준으로 하여 모델이 텍스트 설명과 얼마나 잘 일치하는지를 평가하는 지표
- - 계산하는 과정
- - 생성된 이미지와 텍스트 프롬프트를 기반으로 CLIP 모델을 사용하여 각 이미지의 텍스트 임베딩을 계산한다.
- - CLIP 모델에서 계산된 텍스트 임베딩과 이미지 임베딩 간의 유사도를 계산한다.
- - 유사도가 가장 높은 상위 R개의 이미지 중 실제로 맞는 이미지의 비율을 계산한다.
- - P-IS, P-FID
- - 포인트 클라우드의 Inception Score와 FID를 평가하기 위해 본 논문에서 도입한 지표
- - 수정된 PointNet++ 모델을 사용하여 포인트 클라우드에서 특징을 추출하고 클래스 확률을 에측
-
-## 5.1 **Model Scaling and Ablations**
-
-저자들은 다음과 같은 베이스 모델에 대하여 학습 중에 생성한 샘플들로 평가하였다.
-
-- 40M (uncond.): 어떠한 조건 정보도 없는 작은 모델
-- 40M (text vec.): 텍스트 캡션에만 의존하는 작은 모델 (이미지 사용 x), 파인튜닝된 GLIDE 모델 활용 x
-- 40M (image vec.): 렌더링된 이미지의 CLIP 이미지 임베딩에 의존하는 작은 모델, 단일 CLIP 임베딩 사용
-- 40M: CLIP 잠재 그리드(latent grid)를 통한 전체 이미지 조건을 사용하는 작은 모델
-- 300M: CLIP 잠재 그리드를 통한 전체 이미지 조건을 사용하는 중간 모델
-- 1B: CLIP 잠재 그리드를 통한 전체 이미지 조건을 사용하는 큰 모델
-
-평가 결과는 아래 그래프와 같다.
-
-:::{figure-md}
-
-
-평가 결과
-:::
-
-- 결과
- - 텍스트 조건만 사용하고 텍스트에서 이미지로의 단계가 없는 경우 CLIP R-Precision이 매우 나쁘게 나오는 것을 발견
- - 이미지를 조건으로 사용할 때 단일 CLIP 임베딩보다 임베딩 그리드를 사용하는 것이 성능이 더 나은 것을 발견 → 조건 이미지에 대해 더 많은 (공간적인) 정보를 보는 것이 포인트 클라우드 모델에 이점이 있음을 시사
- - 모델의 스케일을 증가시키면 P-FID 수렴 속도가 향상되고 최종 CLIP R-Precision이 증가하는 것을 발견
-
-## 5.2 Qualitative Results
-
-- 포인트 클라우드 생성 결과
- :::{figure-md}
- 
-
- 포인트클라우드 생성 결과
- :::
-
-
-- Point·E 모델이 복잡한 프롬프트에 대해 종종 일관된 고품질의 3D 형상을 생성할 수 있다는 것을 발견했다.
-- 때때로 포인트 클라우드 디퓨전 모델은 조건화된 이미지를 이해하지 못하거나 예측할 수 없는 경우가 있다. 이는 주로 두 가지 문제 중 하나로 인해 발생한다.
-
- :::{figure-md}
- 
-
- 잘못 추론한 예시
- :::
-
-
- 1. 모델이 이미지에 나타난 객체의 모양을 잘못 해석하는 경우
- 2. 모델이 이미지에서 가려진 형상의 일부를 잘못 추론하는 경우
-
-## **5.3 Comparison to Other Methods**
-
-- CLIP-R-Precision 지표를 이용하여 Point·E를 다른 3D 생성 기술과 비교했다.
-
- :::{figure-md}
- 
-
- CLIP-R-Precision 성능
- :::
-
-- Point·E는 state-of-the-art 기술(DreamFusion)보다 성능이 좋지 않지만, 이 불일치의 일부를 설명할 수 있는 이 평가의 두 가지 미묘한 점에 주목해야 한다.
- 1. DreamFusion과 같은 멀티뷰 최적화 기반 방법과 달리 Point·E는 텍스트 프롬프트와 일치하도록 모든뷰를 명시적으로 최적화하지 않는다. 특정 객체가 모든 각도에서 쉽게 식별되지 않을 수 있기 때문에 CLIP R-Precision이 낮아질 수 있다.
- 2. 본 논문의 방법은 렌더링 전에 포인트 클라우드를 전처리해야 하는데, 포인트 클라우드를 메쉬로 변환하는 것은 어려운 문제다. 본 논문이 사용하는 접근 방식은 때때로 포인트 클라우드 자체에 있는 정보를 잃을 수 있다.
-- Point·E는 최신 테크닉보다 이 평가에서 성능이 좋지 않지만 짧은 시간 내에 샘플을 생성한다.
-- 이를 통해 보다 실용적으로 응용 프로그램을 만들거나 많은 개체를 샘플링하고 최상의 개체를 휴리스틱을 따라 선택하여 고품질 3D 개체를 찾을 수 있다.
-
-# **6. Limitations and Future Work**
-
-- 합성 렌더링을 필요로 한다. → 향후 실제 세계 이미지를 조건으로 하는 3D 생성기를 훈련시켜 해결할 수 있을 것
-- 색상이 있는 3D 형태를 생성하지만, 이 과정은 비교적 낮은 해상도의 3D 형식(포인트 클라우드)로 이루어진다. 형상이나 질감의 세부 사항을 캡처하지 못한다. → 메쉬나 NeRF와 같은 고해상도 3D 표현을 생성하도록 확장하면 해결할 수 있을 것
-- 최적화 기반 기술(optimization-based techniques)을 초기화하여 초기 수렴 속도를 높이는 데 사용할 수 있다.
-- 이 모델이 DALL·E 2 시스템과 많은 제한 사항을 공유할 것으로 예상한다. (데이터셋에서 야기된 많은 편향을 포함할 수 있다)
-- 모델이 생성한 3D 모델이 실제로 물리적으로 제작될 때, 그 제품이 위험할 수 있는 물체의 청사진을 생성할 수 있다.
-
- :::{figure-md}
- 
-
- Figure 6
- :::
-
-
-# 7. Conclusion
-
-- Point·E는 합성된 뷰를 생성하고 이를 기반으로 조건화된 색상 포인트 클라우드를 생성하는 텍스트 조건 합성 시스템이다.
-- Point·E가 텍스트 프롬프트에 의해 조건화된 다양하고 복잡한 3D 형상을 효율적으로 생성할 수 있는 능력을 갖추고 있다는 것을 발견했다.
+```{admonition} Information
+- **Title:** Point-E: A System for Generating 3D Point Clouds from Complex Prompts (Arxiv 2022)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2212.08751](https://arxiv.org/abs/2212.08751)
+ - Project: [https://openai.com/index/point-e/](https://openai.com/index/point-e/)
+
+- **Author:** [Jeonghwa Yoo](https://www.linkedin.com/in/jeonghwa-yoo-8403a716b)
+
+- **Last updated on Sep. 11, 2024**
+```
+
+# Point-E: A System for Generating 3D Point Clouds from Complex Prompts (Arxiv 2022)
+
+
+
+
+# Abstract
+
+- 제안 배경
+ - 최근 텍스트 조건부 3D 객체 생성 기술(text-conditional 3D object generation)이 놀라운 발전을 보이고 있다.
+ - 하지만, SOTA 모델들은 여전히 하나의 샘플을 만들기 위해 여러 GPU 시간을 요구하고 있다.
+ - 본 논문에서는 단일 GPU에서 1~2분만에 3D 모델을 생성하는 3D 객체 생성을 위한 방법을 탐색한다.
+- 접근법
+ - 텍스트-이미지 디퓨전 모델을 사용하여 단일 합성 뷰를 생성한 다음 두 번째 디퓨전 모델을 사용하여 3D 포인트 클라우드를 생성한다.
+- 결과
+ - 샘플 품질 측면에서 SOTA 성능이 아니지만, 샘플링 속도가 1~2배 더 빠르다.
+
+# 1. Introduction
+
+- Text-to-image 생성 모델에서 text-to-vide/3D로의 발전
+ - 최근 text-to-image 생성 모델이 폭발적으로 증가함에 따라 몇 초만에 자연어에서 고품질 이미지를 생성하고 수정할 수 있게 되었다.
+ - 이러한 결과에 영감을 받아 최근 연구에서는 비디오나 3D 객체와 같은 다른 도메인에서의 텍스트 조건부 생성을 탐색하고 있다.
+ - 본 논문도 text-to-3D 생성 문제에 중점을 둔다.
+- 최근 text-to-3D 합성의 분류
+ - 최근 text-to-3D 합성은 일반적으로 다음의 두 카테고리 중 하나에 속한다.
+ 1. 쌍을 이룬(paired)(ex: text, 3D) 데이터 또는 레이블이 없는(unlabeld) 3D 데이터에서 생성 모델을 직접(directly) 학습 시키는 방법
+ 1. 장점: 기존 생성 모델링 접근 방식을 활용하여 샘플을 효율적으로 생성할 수 있다.
+ 2. 단점: 대규모 3D 데이터셋이 없기 때문에 다양하고 복잡한 텍스트 프롬프트로 확장하기 어렵다. → 데이터셋의 한계, 확장성의 어려움
+ 2. 사전 학습된 text-to-image 모델을 활용하여 미분가능한(differentiable) 3D 표현법들(representations)을 최적화하는 방법
+ 1. 장점: 복잡하고 다양한 텍스트 프롬프트를 처리할 수 있다.
+ 2. 단점:
+ 1. 각 샘플에 대해 최적화 과정을 거쳐야 하기 때문에 계산 비용이 많이 들고 시간이 오래 걸릴 수 있다. 샘플을 생성하는 데 비용이 많이 드는 최적화 프로세스가 필요하다.
+ 2. 강력한 3D prior가 없기 때문에 의미 있거나 일관된 3D 개체에 해당하지 않는 local minima에 빠질 수 있다.
+- 본 논문의 접근법
+
+ :::{figure-md}
+
+
+ Point-E 파이프라인 개요
+ :::
+
+ - Text-to-image 모델과 image-to-3D 모델을 결합하여 두카테고리의 장점을 합치는 것을 목표로 한다.
+ - 본 논문의 text-to-image 모델
+ - 대규모(텍스트, 이미지)쌍 데이터를 활용하여 다양하고 복잡한 프롬프트를 따를 수 있게 한다.
+ - 3D 렌더링에 대해 파인튜닝된 GLIDE 버전을 사용한다.
+ - 본 논문의 image-to-3D 모델
+ - 소규모의(이미지,3D)쌍 데이터로 학습된다.
+ - RGB 포인트 클라우드를 생성하는 디퓨전 모델의 스택을 사용한다. (새로운 transformer 기반 아키텍처 사용)
+ - 생성된 포인트 클라우드에서 메쉬를 생성하기 위해 회귀 기반(regression-based) 접근 방식을 사용한다.
+ - 먼저 text-to-image 모델을 사용하여 이미지를 샘플링하고, 샘플링된 이미지를 조건으로 넣어 3D 객체를 샘플링한다.
+ - 이 두 단계 모두 몇 초 내에 수행될 수 있으며, 비용이 많이 드는 최적화 과정을 필요로 하지 않는다.
+- 본 논문의 결과
+ - 간단한 텍스트 프롬프트뿐만 아니라 복잡한 텍스트 프롬프트와도 일치하는 컬러 3D 포인트 클라우드를 생성할 수 있었다.
+
+ → 포인트 클라우드를 효율적으로 생성한다는 의미에서 본 논문의 시스템을 Point E라고 명칭하였다.
+
+
+# 2. Background
+
+- 디퓨전 모델 개요:
+ - 점진적으로 Gaussian 노이즈를 추가하는 과정을 통해 데이터를 변형한다.
+ - 본 논문에서는 Ho et al. (2020)의 Gaussian 확산 설정을 따른다.
+- 노이즈 프로세스
+ - 노이즈 프로세스는 시간 단계 t마다 신호에 Gaussian 노이즈를 추가한다.
+ - 최종 단계에서는 샘플이 거의 정보를 포함하지 않게 된다.
+- 역 노이즈 프로세스
+ - 랜던 가우시안 노이즈 $x_T$에서 시작하여 점진적으로 노이즈 프로세스를 역으로 진행하여 잡음이 없는 샘플 $x_0$에 도달할 수 있다.
+- 모델 학습
+ - q(xt−1|xt)를 신경망 pθ(xt−1|xt)로 근사하여 학습한다.
+ - Nichol & Dhariwal (2021)은 평균뿐만 아니라 분산도 예측하여 더 나은 성능을 얻었다.
+- 샘플링
+ - 디퓨전 샘플링은 미분 방정식 관점에서 설명될 수 있으며, 이를 통해 다양한 SDE 및 ODE 해석기를 사용하여 이러한 모델에서 샘플링할 수 있다.
+ - 본 논문에서는 Karras et al. (2022)의 2차 ODE 해석기를 사용한다.
+- 가이드 전략
+ - Dhariwal & Nichol (2021)은 분류기 가이던스(classifier guidance)를 도입하여 생성 충실도를 높였다.
+ - Ho & Salimans (2021)은 분류기 없는 가이던스(classifier-free guidance)를 도입하여 조건부 정보를 무작위로 삭제한다.
+ - 본 논문에서는 학습 시 드롭 확률 0.1을 사용하여 이 기술을 적용한다.
+
+# 3. Related Work
+
+- 포인트 클라우드 생성 모델:
+ - 다양한 연구들이 GAN, VAE, 플로우 모델, 디퓨전 모델 등을 사용하여 포인트 클라우드를 생성한다.
+ - 본 논문의 연구와 가장 유사한 PVD 모델은 단일 디퓨전 모델을 사용하여 포인트 클라우드 직접 생성한다.
+ - 본 논문에서는 더 간단한 트랜스포머 기반 아키텍처를 사용하며, RGB 채널을 함께 생성하는 점에서 차별점을 가진다.
+- 다른 3D 표현을 사용한 모델 생성:
+ - 2D 이미지 데이터셋에서 3D 인식 GAN을 학습하거나, 직접 3D 메쉬를 생성하는 연구들이 있다.
+ - 이러한 연구들은 주로 새로운 뷰 합성 문제에 초점을 맞추지만, 전체 360도 뷰를 재구성하려고 하지는 않는다.
+- 텍스트 조건부 3D 생성:
+ - 몇몇 연구들은 텍스트-이미지 매칭 목표에 따라 3D 표현을 최적화하는 접근 방식을 탐구한다.
+ - 이러한 접근 방식들은 다양한 복잡한 객체나 장면을 생성할 수 있지만, 최적화 절차가 매우 시간이 많이 걸린다.
+- 텍스트-3D 데이터 활용:
+ - 텍스트-3D 쌍 데이터를 사용하여 텍스트 조건부 3D 모델을 생성하는 연구들도 있다.
+ - 많은 연구들이 단순한 프롬프트나 좁은 객체 카테고리에 한정되지만, 본 논문에서는 사전 학습된 텍스트-이미지 모델을 활용하여 이러한 문제를 해결한다.
+- 이미지 기반 3D 재구성:
+ - 단일 또는 소수의 이미지에서 3D 모델을 재구성하는 회귀 기반 및 생성 접근 방식이 있.
+ - 이들 접근 방식은 불충분한 문제를 다루면서도 유망한 결과를 보여주고 있다.
+
+# 4. Method
+
+- 텍스트를 조건으로 받아 단일 생성 모델로 포인트 클라우드를 직접 생성하는 대신 생성 프로세스를 세 단계로 나눈다.
+ 1. ‘텍스트 캡션’을 조건으로 받아 ‘합성 뷰’를 생성한다. → *4.2 내용*
+ 1. GLIDE 모델 사용
+ 2. 렌더링된 3D 모델로 파인튜닝
+ 2. ‘합성 뷰’를 조건으로 받아 ‘대략적인(coarse) 포인트 클라우드(1024개의 포인트)’를 생성한다 → *4.3 내용*
+ 1. 조건부 순열 불변 디퓨전 모델(conditional, permutation invariant diffusion model) 사용
+ 3. ‘저해상도 포인트 클라우드와 합성 뷰’를 조건으로 받아 ‘고해상도 포인트 클라우드(4096 포인트)’를 생성한다. → *4.4 내용*
+ 1. 2에서 사용된 모델과 유사하지만 저해상도 포인트 클라우드를 조건으로 하는 더 작은 디퓨전 모델을 사용
+- 수백만 개의 3D 모델과 관련 메타데이터로 구성된 데이터셋에서 모델을 훈련시킨다.
+- 데이터셋을 렌더링된 뷰, 텍스트 설명, 그리고 각 점에 대한 RGB 색상을 포함하는 3D 포인트 클라우드로 처리한다.
+
+## 4-1. Dataset
+
+- 수백만 개의 3D 모델은 데이터 형식과 품질이 데이터셋 전반에 걸쳐 매우 다양했고, 더 높은 데이터 품질을 보장하기 위해 다양한 후처리 단계가 필요했다.
+- 후처리 단계
+ 1. Blender를 사용하여 모든 데이터를 하나의 일반적인 형식(RGBAD 이미지)으로 변환한다.
+ 1. Blender: 다양한 3D 형식을 지원하며 최적화된 렌더링 엔진을 제공하는 프로그램
+ 2. RGBAD 이미지: RGB 이미지에 깊이(Depth)와 알파(Alpha) 채널이 추가된 형식의 이미지
+ 3. 20개의 랜덤한 카메라 각도에서 각 3D 모델을 경계 상자(bounding cube)로 정규화하고 표준 조명 설정을 구성한 후, blender의 내장된 실시간 렌더링 엔진을 사용하여 RGBAD 이미지를 내보냈다.
+ 2. 각 객체를 렌더링을 사용해 색상이 있는 포인트 클라우드로 변환한다.
+ 1. 각 RGBAD 이미지의 각 픽셀에 대한 점을 계산하여 각 객체에 대한 밀집된(dense) 포인트 클라우드를 구성한다.
+ 2. 이러한 포인트 클라우드는 일반적으로 고르게 분포되어 있지 않으므로, 가장 먼 점 샘플링을 사용하여 4K 점의 균일한 클라우드를 생성한다.
+ 3. 렌더링에서 직접 포인트 클라우드를 구성함으로써, 3D 메쉬에서 직접 점을 샘플링할 때 발생할 수 있는 여러 가지 문제를 피할 수 있었다. (모델 내부에 포함된 점을 샘플링하는 문제, 이상한 파일 형식의 3D 모델로 인한 문제)
+ 3. 저품질 모델을 제거하기 위해 다양한 휴리스틱을 사용한다.
+ 1. 각 포인트 클라우드의 SVD를 계산하고, 가장 작은 특이값이 일정 임계값(threshold) 이상인 경우에만 유지함으로써 평평한 객체를 제거했다.
+ 2. 다음으로, CLIP 특성에 따라 데이터셋을 클러스터링 했다. (일부 클러스터는 많은 저품질 모델 카테고리를 포함하는 반면, 다른 클러스터는 더 다양하거나 해석 가능한 것으로 나타났음)
+ 3. 클러스터를 여러 가지 품질의 버킷으로 나누고, 최종 데이터셋으로서 결과 버킷의 가중치 혼합을 사용했다.
+
+## 4.2 View Synthesis GLIDE Model
+
+- ‘텍스트 캡션’을 조건으로 받아 ‘합성 뷰’를 생성하는 모델
+- 4.3에서 설명할 포인트 클라우드 모델은 모두 동일한 렌더러와 동일한 조명 설정을 사용하여 생성된 데이터셋의 렌더링된 뷰를 조건으로 받는다.
+- 따라서 해당 파트에서는 데이터셋의 분포와 일치하는 3D 렌더를 명시적으로 생성하고자 하였다.
+- 이를 위해 GLIDE를 원래의 데이터셋과 저자들의 3D 렌더링 데이터셋을 혼합하여 파인튜닝 하였다.
+ - 저자들의 3D 렌더링 데이터셋이 원래 GLIDE 학습셋에 비해 작기 때문에 3D 렌더링 데이터셋에서 이미지를 샘플링하는 비율을 5%로만 설정하고, 나머지 95%는 원래의 데이터셋을 사용했다.
+ - 반복(iterations) 횟수는 100,000번의 설정 하였으며, 이는 모델이 3D 데이터셋을 여러 번 거치는 학습을 진행했음을 의미한다. (단, 동일한 렌더링된 시점을 두 번 사용하지 않았다.)
+- 테스트 시간에는 항상 분포 내 렌더를 샘플링하기 위해, 모든 3D 렌더의 텍스트 프롬프트에 특별한 토큰을 추가하여 이 토큰을 사용하여 샘플링을 수행하였다.
+
+## 4.3 **Point Cloud Diffusion**
+
+- ‘합성 뷰’를 조건으로 받아 ‘대략적인(coarse) 포인트 클라우드(1024개의 포인트)’를 생성하는 모델
+- 디퓨전을 이용해 포인트 클라우드를 사용하기 위해 [3D Shape Generation and Completion through Point-Voxel Diffusion](https://arxiv.org/abs/2104.03670)에서 사용한 프레임워크를 확장하여 포인트 클라우드의 각 포인트에 RGB 색상을 포함시켰다.
+- 포인트 클라우드를 K x 6 형태의 텐서로 나타내며 (K: 포인트 수), 내부 차원은 (x,y,z) 좌표와 (R,G,B) 색상을 포함한다.
+- 모든 좌표와 색상은 [-1, 1] 범위로 정규화 된다.
+- K x 6 형태의 랜덤한 노이즈에서 시작하여 이를 점진적으로 디노이징하여 텐서를 직접 생성한다.
+- 기존 3D 전용 구조를 활용하던 이전 방법들과 달리, 본 논문에서는 트랜스포머 기반 모델을 사용한다. 모델은
+이미지, 타임 스텝 t, 노이즈가 있는 포인트 클라우드 $x_t$를 조건으로 받아 $\epsilon$과 $\sum$을 예측한다.
+- 모델 구조
+
+ :::{figure-md}
+
+
+ Point-E 모델 구조
+ :::
+
+ - 포인트 클라우드의 각 포인트를 출력 차원이 D인 선형 레이어(linear layer)에 넣어 K×D 입력 텐서를 얻고 모델에 입력 컨텍스트로 사용한다. 또한 작은 MLP에 타임스텝 t를 넣어 컨텍스트 앞에 추가할 다른 D차원 벡터를 얻는다.
+ - 이미지를 조건으로 입력 받기 위해, 사전 학습된 ViT-L/14 CLIP 모델에 이미지를 입력하고 이 CLIP 모델의 마지막 레이어의 임베딩을 가져온다. (shape: 256xD’), 이를 선형 투사(lienarly project)하여 256xD shape의 또 다른 텐서를 얻고 이를 트랜스포머 컨텍스트 앞에 추가한다. → 이 방법이 단일 CLIP 이미지 또는 텍스트 임베딩을 사용하는 것보다 우수했다.
+ - 최종 입력 컨텍스트는 (K+257) x D의 shape가 된다. 길이 K의 최종 출력 시퀀스를 얻기 위해 최종 토큰 K개를 가져오고 이를 프로젝션하여 입력 포인트 K개에 대한 ε와 Σ 예측을 얻는다.
+
+
+
+- 이 모델에서는 positional encoding을 사용하지 않는다. 따라서 모델 자체는 입력 포인트 클라우드에 대해 순열 분별(permutation-invariant)하다.
+
+## 4.4 **Point Cloud Upsampler**
+
+- 이미지 디퓨전 모델에서의 계층 구조
+ - 이미지 디퓨전 모델의 경우 가장 좋은 품질은 일반적으로 계층 구조를 사용하는 방식으로 달성된다.
+ - 이 방식에서는 저해상도의 기본 모델이 출력을 생성한 후, 이를 다른 모델이 업샘플한다.
+
+ → 포인트 클라우드 생성에 이 접근 방식을 사용
+
+- 포인트 클라우드 생성에서의 계층 구조
+ - 큰 베이스 모델로 1K 포인트를 생성한 후, 작은 업샘플링 모델을 사용하여 4K 포인트로 업샘플링 한다.
+ - 모델 크기가 같을 때, 4K 포인트를 생성하는 데에는 1K 포인트를 생성할 때보다 네 배 더 많은 연산을 필요로 한다.
+- 업샘플러
+ - 업샘플러는 베이스 모델과 동일한 아키텍처를 사용한다.
+ - 모델은 저해상도 포인트 클라우드 모델과 동일한 아키텍처를 사용한다.
+ - 저해상도 포인트 클라우드를 입력 받기 위한 추가 컨디셔닝 토큰이 있다.
+ - 1K 포인트를 조건으로 입력 받아 추가로 3K 포인트를 생성하여 저해상도 포인트 클라우드에 추가한다.
+ - $x_t$에 사용된 레이어가 아닌 별도의 선형 임베딩 레이어를 통해 저해상도 포인트를 전달하여, 모델이 positional encoding을 사용할 필요 없이 조건부 정보와 새로운 포인트를 구별할 수 있도록 한다.
+
+## 4.5 Producing Meshes
+
+- 렌더링 기반 평가를 위해 생성된 포인트 클라우드를 직접 렌더링하지 않는다.
+- 대신, 포인트 클라우드를 텍스처가 입혀진 메쉬로 변환하고 Blender를 사용해 이러한 메쉬를 렌더링한다.
+- 포인트 클라우드에서 메쉬를 생성하는 것은 때때로 어렵고, 본 논문의 모델이 생성한 포인트 클라우드는 종종 균열, 이상치 또는 기타 유형의 노이즈를 가지고 있어 더욱 어렵다.
+- 포인트 클라우드에서 메쉬를 생성하기 위해 사전 학습된 SAP모델을 사용해봣으나 포인트 클라우드에 존재했던 큰 부분이나 중요한 세부 사항을 잃어버리는 경우가 있었다.
+- 따라서 본 논문에서는 회귀(regression) 기반 모델을 사용하여 signed distance field를 예측하고, 이를 merching cube 알고리즘을 적용하여 메쉬를 추출했다.
+- 그런 다음 원래 포인트 클라우드에서 가장 가까운 점의 색을 사용하여 메쉬의 각 버텍스에 색을 할당했다.
+
+
+
+# 5. Results
+
+- 평가 지표: CLIP R-Precision, P-IS, P-FID
+ - CLIP R-Precision
+ - 특정 객체를 기준으로 하여 모델이 텍스트 설명과 얼마나 잘 일치하는지를 평가하는 지표
+ - 계산하는 과정
+ - 생성된 이미지와 텍스트 프롬프트를 기반으로 CLIP 모델을 사용하여 각 이미지의 텍스트 임베딩을 계산한다.
+ - CLIP 모델에서 계산된 텍스트 임베딩과 이미지 임베딩 간의 유사도를 계산한다.
+ - 유사도가 가장 높은 상위 R개의 이미지 중 실제로 맞는 이미지의 비율을 계산한다.
+ - P-IS, P-FID
+ - 포인트 클라우드의 Inception Score와 FID를 평가하기 위해 본 논문에서 도입한 지표
+ - 수정된 PointNet++ 모델을 사용하여 포인트 클라우드에서 특징을 추출하고 클래스 확률을 에측
+
+## 5.1 **Model Scaling and Ablations**
+
+저자들은 다음과 같은 베이스 모델에 대하여 학습 중에 생성한 샘플들로 평가하였다.
+
+- 40M (uncond.): 어떠한 조건 정보도 없는 작은 모델
+- 40M (text vec.): 텍스트 캡션에만 의존하는 작은 모델 (이미지 사용 x), 파인튜닝된 GLIDE 모델 활용 x
+- 40M (image vec.): 렌더링된 이미지의 CLIP 이미지 임베딩에 의존하는 작은 모델, 단일 CLIP 임베딩 사용
+- 40M: CLIP 잠재 그리드(latent grid)를 통한 전체 이미지 조건을 사용하는 작은 모델
+- 300M: CLIP 잠재 그리드를 통한 전체 이미지 조건을 사용하는 중간 모델
+- 1B: CLIP 잠재 그리드를 통한 전체 이미지 조건을 사용하는 큰 모델
+
+평가 결과는 아래 그래프와 같다.
+
+:::{figure-md}
+
+
+평가 결과
+:::
+
+- 결과
+ - 텍스트 조건만 사용하고 텍스트에서 이미지로의 단계가 없는 경우 CLIP R-Precision이 매우 나쁘게 나오는 것을 발견
+ - 이미지를 조건으로 사용할 때 단일 CLIP 임베딩보다 임베딩 그리드를 사용하는 것이 성능이 더 나은 것을 발견 → 조건 이미지에 대해 더 많은 (공간적인) 정보를 보는 것이 포인트 클라우드 모델에 이점이 있음을 시사
+ - 모델의 스케일을 증가시키면 P-FID 수렴 속도가 향상되고 최종 CLIP R-Precision이 증가하는 것을 발견
+
+## 5.2 Qualitative Results
+
+- 포인트 클라우드 생성 결과
+ :::{figure-md}
+
+
+ 포인트클라우드 생성 결과
+ :::
+
+
+- Point·E 모델이 복잡한 프롬프트에 대해 종종 일관된 고품질의 3D 형상을 생성할 수 있다는 것을 발견했다.
+- 때때로 포인트 클라우드 디퓨전 모델은 조건화된 이미지를 이해하지 못하거나 예측할 수 없는 경우가 있다. 이는 주로 두 가지 문제 중 하나로 인해 발생한다.
+
+ :::{figure-md}
+
+
+ 잘못 추론한 예시
+ :::
+
+
+ 1. 모델이 이미지에 나타난 객체의 모양을 잘못 해석하는 경우
+ 2. 모델이 이미지에서 가려진 형상의 일부를 잘못 추론하는 경우
+
+## **5.3 Comparison to Other Methods**
+
+- CLIP-R-Precision 지표를 이용하여 Point·E를 다른 3D 생성 기술과 비교했다.
+
+ :::{figure-md}
+
+
+ CLIP-R-Precision 성능
+ :::
+
+- Point·E는 state-of-the-art 기술(DreamFusion)보다 성능이 좋지 않지만, 이 불일치의 일부를 설명할 수 있는 이 평가의 두 가지 미묘한 점에 주목해야 한다.
+ 1. DreamFusion과 같은 멀티뷰 최적화 기반 방법과 달리 Point·E는 텍스트 프롬프트와 일치하도록 모든뷰를 명시적으로 최적화하지 않는다. 특정 객체가 모든 각도에서 쉽게 식별되지 않을 수 있기 때문에 CLIP R-Precision이 낮아질 수 있다.
+ 2. 본 논문의 방법은 렌더링 전에 포인트 클라우드를 전처리해야 하는데, 포인트 클라우드를 메쉬로 변환하는 것은 어려운 문제다. 본 논문이 사용하는 접근 방식은 때때로 포인트 클라우드 자체에 있는 정보를 잃을 수 있다.
+- Point·E는 최신 테크닉보다 이 평가에서 성능이 좋지 않지만 짧은 시간 내에 샘플을 생성한다.
+- 이를 통해 보다 실용적으로 응용 프로그램을 만들거나 많은 개체를 샘플링하고 최상의 개체를 휴리스틱을 따라 선택하여 고품질 3D 개체를 찾을 수 있다.
+
+# **6. Limitations and Future Work**
+
+- 합성 렌더링을 필요로 한다. → 향후 실제 세계 이미지를 조건으로 하는 3D 생성기를 훈련시켜 해결할 수 있을 것
+- 색상이 있는 3D 형태를 생성하지만, 이 과정은 비교적 낮은 해상도의 3D 형식(포인트 클라우드)로 이루어진다. 형상이나 질감의 세부 사항을 캡처하지 못한다. → 메쉬나 NeRF와 같은 고해상도 3D 표현을 생성하도록 확장하면 해결할 수 있을 것
+- 최적화 기반 기술(optimization-based techniques)을 초기화하여 초기 수렴 속도를 높이는 데 사용할 수 있다.
+- 이 모델이 DALL·E 2 시스템과 많은 제한 사항을 공유할 것으로 예상한다. (데이터셋에서 야기된 많은 편향을 포함할 수 있다)
+- 모델이 생성한 3D 모델이 실제로 물리적으로 제작될 때, 그 제품이 위험할 수 있는 물체의 청사진을 생성할 수 있다.
+
+ :::{figure-md}
+
+
+ Figure 6
+ :::
+
+
+# 7. Conclusion
+
+- Point·E는 합성된 뷰를 생성하고 이를 기반으로 조건화된 색상 포인트 클라우드를 생성하는 텍스트 조건 합성 시스템이다.
+- Point·E가 텍스트 프롬프트에 의해 조건화된 다양하고 복잡한 3D 형상을 효율적으로 생성할 수 있는 능력을 갖추고 있다는 것을 발견했다.
- 본 논문의 방식이 텍스트에서 3D로의 합성 분야에서의 추가적인 연구의 시작점으로 기여할 수 있기를 희망한다.
\ No newline at end of file
diff --git a/_sources/docs/review/ProlificDreamer.md b/_sources/docs/review/ProlificDreamer.md
index e4b83ef2..ddd1148a 100755
--- a/_sources/docs/review/ProlificDreamer.md
+++ b/_sources/docs/review/ProlificDreamer.md
@@ -1,398 +1,398 @@
-```{admonition} Information
-- **Title:** ProlificDreamer: High-Fidelity and Diverse Text-to-3D Generation with Variational Score Distillation (NeurIPS 2023 Spotlight)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2305.16213](https://arxiv.org/abs/2305.16213)
- - Code: [https://github.com/thu-ml/prolificdreamer?tab=readme-ov-file](https://github.com/thu-ml/prolificdreamer?tab=readme-ov-file)
-
-- **Author:** Kyeongmin Yu
-
-- **Last updated on Dec. 26, 2024**
-```
-
-
-# ProlificDreamer: High-Fidelity and Diverse Text-to-3D Generation with Variational Score Distillation
-
-- view generation이 가능한 DM의 특성을 3D rendering 모델로 전달하여 pretrained 된 DM이 생성하는 이미지 분포와 3D representaiton의 분포를 맞춰가는 것으로 Dream Fusion(SDS)과 유사하지만 개선된 아이디어(VSD)를 제안하고자한 논문이다.
-
-:::{figure-md}
-
-
-Prolific Dreamer Overview
-:::
-
-📌 **Prolific Dreamer 2-stage approach**
-
-1. optimize a high-resolution NeRF by **VSD**
-2. geometry optimization of mesh from NeRF with **SDS** (optional)
-
-appendix를 참고하면, triangle 크기가 비교적 클때 VSD와 SDS의 차이가 크지 않으므로 SDS를 사용했다고 하며, 더 섬세한 mesh의 경우 VSD가 SDS에 비해 표현력이 좋을것으로 믿는다고 함.
-
-
-:::{figure-md}
-
-
-ProlificDreamer vs. DreamFusion 정성적 결과
-:::
-
-:::{figure-md}
-
-
-ProlificDreamer vs. DreamFusion 정성적 결과
-:::
-
-
-# 1 Introduction
-
-고품질의 3D content를 생산하는 것은 품이 많이 드는 일이다. 이러한 어려움을 해결하기 위해 text-to-3D 방식이 발전하고 있다. texture 기술을 기반으로 3D content 생성을 자동화하는 방식은 유망하며 다양한 분야(encompassing architecture, animation, gaming, AR/VR) paradigm의 변화를 일으킬 수 있을 것이다.
-
-Diffusion model의 text-to-image 생성력을 바탕으로 3D content를 생성하려는 DreamFusion과 같은 시도가 있었다. Dream Fusion은 **Score Distillation Sampling(SDS)** 알고리즘을 이용해 단일 3D representation을 최적화 했다. 이는 어떤 방향에서 렌더링된 이미지라도 주어진 text에 대해 높은 likelihood를 갖도록 한것으로써 diffusion model에 의해 evaluate되었다. (diffusion model을 loss에 활용) 하지만 over-satuation, over-smoothing, low-diversity 문제가 발생했다. 또한 text-to-3D의 design space에서 orthogonal 한 요소(rendering resolution - distillation time schedule)들에 대한 파악이 아직 부족하다.
-
-본 논문에서는 섬세한 3D representation을 얻기 위해 이러한 모든 요소에 대해 systematic study를 진행한다. 먼저 **Variational Score Distillation(VSD)** 를 제안한다. 이는 주어진 textual prompt와 해당 3D scene을 하나의 random variable로 취급하며 하나의 점(single point)로 취급한 SDS와는 다르다. VSD는 3D scene의 분포를 최적화하며 이러한 분포는 모든 시점에 대해 rendered images의 분포가 서로 최대한 가까워지도록 한다. pretrained 2D diffusion model의 경우에는 KL divergence에 해당한다?! 이러한 variational formulation에서 VS는 multiple 3D scene을 하나의 prompt에 정렬할 수 있는 특성을 가질 수 있다.
-
-- 원문참고
-
- VSD optimizesa distribution of 3D scenes such that the distribution induced on images rendered from all views aligns as closely as possible, in terms of KL divergence, with the one defined by the pretrained 2D diffusion model (see Sec. 3.1). Under this variational formulation, VSD naturally characterizes the phenomenon that multiple 3D scenes can potentially align with one prompt.
-
-
-해당 variational formulation을 효율적으로 풀기 위해 VSD는 **particle-based variational inference**를 도입하고, 3D representation을 표현하기 위해 하나의 3D parameters 집합을 particles로 표현하였다. **Wasserstein gradient flow**를 이용해 이러한 particles로 부터 새로운 gradient-based update rule을 이끌어 냈다. 이는 최적화 수렴 후, 해당 particles가 desired distribution으로 부터 sample된 것임을 보장한다. update 시에는 diffused rendered images의 분포의 score function이 필요한데 이는 **pretrained diffusion model + low-rank adaptation(LoRA)** 로 얻을 수 있었다. 최종적으로 particles과 score function을 업데이트 하는 형태가 된다.
-
-Sec 3.3에서 SDS는 variational distribution에 single-point Dirac distribution을 사용하는 VSD라고 볼 수 있음을 보인다. 이를 통해 SDS가 diversity가 fidelity가 낮은 이유를 알 수 있다. single particle만으로도 VSD는 parametric score model을 학습할 수 있고 잠재적으로 SDS보다 더 나은 생성 결과를 제공할 수 있다. 또한 동일한 렌더링 함수를 이용해 2D space에서 SDS와 VSD를 비교하여 3D 요소만 분리하여 비교한 결과를 담았다. diffusion model의 고전 샘플링 방식과 같이 VSD는 CFG의 가중치 조절을 통해 보다 사실적인 sample을 생성할 수 있다. 반면 SDS는 이전 text-to-3D연구과 유사한 over-saturation, over-smoothing문제를 보이는 부족한 결과를 보였다.
-
-:::{figure-md}
-
-
-Prolific Dreamer
-:::
-
-$$
-\delta(x)=\begin{cases}0, &{x!=0} \\ \infty, &{x=0} \end{cases}
-$$
-
-$$
-\int_{-\infty} ^\infty \delta(x) dx=1
-$$
-
-Sec 4는 text-to-3D 알고리즘의 orthogonal 요소들에 대한 추가적인 **systematically study**와 clear **design space**를 담고 있다. 특히 훈련과정 중 고화질 렌더링과 시각적 품질 개선을 위한 **annealed distilling time schedule**을 제안한다. 또한 복잡한 scene을 표현하기 위한 s**cene initialization**을 제안한다. 요소들에 대한 ablation study는 Sec 5에서 볼 수 있으며, 앞서 언급한 요소들은 VSD에 효과적임을 보인다. 결론적으로 high-fidelity, diverse 3D 결과를 얻을 수있으며 이를 **ProlificDreamer**라고 한다.
-
-Sec 5에서 ProlificDreamer의 고화질(512x512) rendering 능력과 rich structure와 complex effects를 Neural Radiance Fields(NeRF)상에서 표현할 수 있음을 보인다. ProlificDreamer는 다중 물체가 포함된 복잡한 scene의 360도 전방향을 성공적으로 표현하는 것에 처음으로 성공했다. 게다가 NeRF로 초기화 한 후 ProlificDreamer로 세세하고 photorealistic한 3D texture mesh들을 생성할 수있다.
-
-:::{figure-md}
-
-
-Prolific Dreamer 생성 결과
-:::
-
-# 2. Background
-
-### Diffusion models (DMs)
-
-**Score-Based Generative Modeling through Stochastic Differential Equations**
-
-- **forward process** $\{q_t\}_{t\in[0,1]}$ - gradually add noise to a data point $x_0\sim p_0(x_0)$
-
- $$
- q_t(x_t|x_0):=\mathcal N(\alpha_tx_0,\sigma_t^2 I)\\q_t(x_t):=\int q_t(x_t|x_0)q_0(x_0) dx_0
- $$
-
- $\alpha_t, \sigma_t >0$ 는 hyperparameter로 $\alpha_0\approx 1,\sigma_0\approx 0,\alpha_1\approx 0, \sigma_t\approx 1$ 이다.
-
-- **reverse process** $p_t$ - denoising from $p_1(x_1):=\mathcal N(0,I)$ by predicting the noise added to a clean data $x_0$
-
- noise prediction network $\epsilon_\phi(x_t,t)$을 학습하는 과정은 아래와 같다.
-
- $$
- \mathcal L_\text{Diff}(\phi):=\Bbb E_{x_0\sim q_0(x_0),t\sim\mathcal U(0,1),\epsilon \sim \mathcal N(o,I)}\Big[ \omega(t)\|\epsilon_\phi(\alpha_t x_0+\sigma_t\epsilon)-\epsilon\|_2^2\Big], \tag 1
- $$
-
- $\omega(t)$는 time dependent weighting function이다. 훈련이 끝나면 $p_t\approx q_t$ 가 되며 따라서 $p_0\approx q_0$ 으로 sample들을 그릴 수 있게 된다. 덧붙여 noise prediction network는 $p_t, q_t$ 의 score function을 approximating하는 데에도 사용가능하다. $\triangledown_{x_t}\text{log}q_t(x_t)\approx\triangledown_{x_t}\text{log}p_t(x_t)\approx-\epsilon_\phi(x_t,t)/\sigma_t$
-
-
-diffusion model이 가장 활발히 활용되고 있는 분야 중 하나는 text-to-image generation으로 text prompt $y$를 조건으로 noise를 예측한다. 또한 Classifier-free Guidence를 통해 샘플 품질과 다양성을 조절한다. guidance scale이 커질 수록 품질이 올라가지만 다양성이 감소하는 경향을 보인다.
-
-### **Text-to-3D by score distillation sampling**
-
-- **Score Distillation Sampling (SDS)** from DreamFusion
-- **Score Jacobian Chaining (SJC)** 라고도 불리며 Zero-1-to-3, Magic3d, Fantasia3d, Latent NeRF 등 다양한 연구에 활용되고 있다.
-
-사전학습된 T2I diffusion model $p_t(x_t|y)$과 noise prediction network $\epsilon_\text{pretrained}(x_t,t,y)$ 을 이용해 SDS는 single 3D representation의 parameter $\theta \in \Theta$를 최적화 한다. 이때 사용하는 metric은 **Euclidean metric**으로 $\Theta$는 Euclidean space이다.
-
-camera parameter $c$가 분포 $p(c)$를 따르고,
-differentiable rendering mapping $g(\cdot,c):\Theta \rightarrow \Bbb R^d$ 이 주어진다고 하자.
-$y^c$를 view dependent prompt라고 하면, rendering image $g(\theta,c)$에서 시작하는 forward diffusion process는 $q_t^\theta(x_t|c)$로 표현할 수 있다.
-
-SDS는 parameter $\theta$를 아래와 같이 최적화한다.
-
-$$
-\mathcal L_{\text{SDS}}(\theta):=\Bbb E_{t,c}\Big [\frac{\sigma_t}{\alpha_t}\space\omega(t)\space D_\text{KL}(q_t^\theta(x_t|c)\|p_t(x_t|y^c)\Big] \tag{2}
-$$
-
-$$
-\mathcal L_{\text{SDS}}(\theta)\approx\Bbb E_{t,\epsilon,c}\Big [\omega(t)\space \big(\epsilon_\text{pretrained}(x_t,t,y^c)-\epsilon\big)\frac{\partial g(\theta,c)}{\partial\theta}\Big] \tag{3}
-$$
-
-### 3D representations
-
-- **NeRF** → MLP
- - multilayer perceptron을 이용해 3D 객체를 표현한다. 3차원 공간상의 위치 정보를 입력하면 해당하는 색과 밀도를 얻을 수 있다. 이때 $\theta$는 MLP의 내부 파라미터를 의미한다.
- - 카메라 위치 $c$가 주어질때, rendering process $g(\theta,c)$는 casting rays로 정의되며 각 ray의 sampling points의 색을 가중합하여 각 픽셀의 값을 결정한다.
- - NeRF는 최적화 측면에서 유연하고 복잡한 장면도 표현가능하다. (매우 상대적인 표현으로 사료됨.)
-- **Textured mesh** → triangle mesh + texture
- - triangle mesh와 해당 mesh 표면의 texture, color로 3D 객체를 표현한다. 여기서 3D parameter $\theta$는 triangle meshes의 좌표와 texture parameter를 의미한다.
- - 카메라 위치 $c$가 주어질때, rendering process $g(\theta,c)$는 casting rays로 정의되며 각 ray가 지나는 mesh의 intersection의 색을 계산함으로써 각 픽셀의 값을 결정한다.
- - Textured mesh는 고화질 렌더링이 가능하고 differentiable rasterization을 이용하면 렌더링 속도가 빠르다.
-
-# 3. Variational Score Distillation
-
-:::{figure-md}
-
-
-Prolific Dreamer
-:::
-
-### 3.1 Sampling from 3D Distribution via Variational Inference
-
-3D represetation에 사용되는 parameter $\theta$들은 확률밀도 $\mu(\theta|y)$로 모델링 할 수 있다.
-$q_0^\mu(x_0|c,y)$는 rendered image $x_0;=g(\theta,c)$의 분포, $p_0(x_0|y^c)$는 $t=0$ 일때 marginal distribution이다.
-
-고품질의 3D representation을 얻기 위해서 distribution $\mu$를 최적화 하는 방법을 제안한다. 사전학습된 DM을 이용해 모든 view에 대한 rendered image sample과 distribution $\mu$를 정렬(align)하는 것은 아래와 같이 두 분포의 거리를 좁히는 것이라고 할 수 있다.
-
-$$
-\text{min}_\mu D_\text{KL}\big(q_0^\mu(x_0|c,y)\|p_0(x_0|y^c)\big) \tag{4}
-$$
-
-- SDS eq.2
-
- $$
- \mathcal L_{\text{SDS}}(\theta):=\Bbb E_{t,c}\Big [({\sigma_t}/{\alpha_t})\space\omega(t)\space D_\text{KL}(q_t^\theta(x_t|c)\|p_t(x_t|y^c)\Big] \tag{2}
- $$
-
-
-위의 식은 일반적인 variational inference problem으로 variational distribution $q_0^\mu(x_0|c,y)$을 target distribution $p_0(x_0|y^c)$으로 근사(distill)하는 방식을 사용한다.
-
-위의 식 4의 prob을 직접 푸는것은 복잡하고 비효율적이기 때문에 diffusion model을 이용해 series of optimization problem을 통해 해결하고자 한다. $t$가 $T$를 향해 점점 커질때, 위의 최적화 문제는 diffused distribution이 gaussian distribution에 가까워 지며 점점 쉬워진다.
-
-(기존 SDS 최적화 식의 parameter $\theta$가 distribution $\mu$로 바뀐 형태)
-
-$$
-\mu^*:=\text{argmin}_\mu\Bbb E_{t,c}\Big[ (\sigma_t/\alpha_t)\omega(t)D_{KL}(q_t^\mu(x_t|c,y)\|p_t(x_t|y^c))\Big] \tag5
-$$
-
-- SDS eq.2
-
- $$
- \mathcal L_{\text{SDS}}(\theta):=\Bbb E_{t,c}\Big [({\sigma_t}/{\alpha_t})\space\omega(t)\space D_\text{KL}(q_t^\theta(x_t|c)\|p_t(x_t|y^c)\Big] \tag{2}
- $$
-
-
-### 3.2 Update Rule for Variational Score Distillation
-
-식 5의 prob을 풀기위해 또 다른 생성모델을 훈련하여 풀 수 있는데 이는 resource가 많이 필요하고 최적화 과정이 복잡해진다. 앞선 particle-based variational inference 연구와 유사하게, n개의 3D particles를 유지하고 해당 particles을 위한 새로운 update rule을 제안한다. 즉, $\{\theta\}^n_{i=1}$을 현재 distribution $\mu$를 표현하기 위해 사용하는 것이다. $\theta^{(i)}$는 최적화 과정이 수렴되고 하면 최적 분포 $\mu^*$에서 샘플링된 것이 된다.
-
-$$
-\frac{d\theta_\tau}{d\tau}=-\Bbb E_{t,\epsilon,c}\Big[\omega(t)\big(-\sigma_t\triangledown_{x_t} \text{log}p_t(x_t|y^c)-(-\sigma_t\triangledown_{x_t}\text{log}q_t^{\mu_\tau}(x_t|c,y))\big)\frac{\partial g(\theta_\tau,c)}{\partial\theta_\tau} \tag 7
-$$
-
-$$
-\text{min}_{\phi}\sum^n_{i=1}\Bbb E_{t\sim\mathcal U(0,1),\epsilon\sim\mathcal N(o,I),c\sim p(c)}\Big[\|\epsilon_\phi(\alpha_tg(\theta^{(i)}),c)+\sigma_t\epsilon,t,c,y)-\epsilon\|^2_2\Big] \tag 8
-$$
-
-최종적으로는 아래와 같은 objective function을 얻는다.
-
-$$
-\triangledown_\theta\mathcal L_{VSD}(\theta)\triangleq\Bbb E_{t,\epsilon,c}\Big[\omega(t
-)(\epsilon_{\text{pretrain}}(x_t,t,y^c)-\epsilon_\phi(x_t,t,c,y))\frac{\partial g(\theta,c)}{\partial\theta}\Big]\tag {9}
-$$
-
-:::{figure-md}
-
-
-Prolific Dreamer
-:::
-
-### 3.3 Comparison with SDS
-
-**SDS as a special case of VSD**
-
-$$
-\mathcal L_{\text{SDS}}(\theta)\approx\Bbb E_{t,\epsilon,c}\Big [\omega(t)\space \big(\epsilon_\text{pretrained}(x_t,t,y^c)-\epsilon\big)\frac{\partial g(\theta,c)}{\partial\theta}\Big] \tag{SDS}
-$$
-
-$$
-\triangledown_\theta\mathcal L_{VSD}(\theta)\triangleq\Bbb E_{t,\epsilon,c}\Big[\omega(t
-)(\epsilon_{\text{pretrain}}(x_t,t,y^c)-\epsilon_\phi(x_t,t,c,y))\frac{\partial g(\theta,c)}{\partial\theta}\Big]\tag {VSD}
-$$
-
-SDS는 $\mu(\theta|y)\approx \delta(\theta-\theta^{(1)})$ 인 VSD의 special case에 해당한다. VSD는 potential mutliple particles일 뿐 아니라 parametric score function $\epsilon_\phi$도 학습하기 때문에 SDS와 동일하게 single particle을 사용해도 성능이 좋다. 또한 LoRA를 사용해 text prompt 로 부터 추가적으로 뽑아낸 정보를 estimation $\epsilon_\phi(x_t,t,c,y)$에 반영할 수 있다.
-
-:::{figure-md}
-
-
-particle이 뭘까? 느낌적인 느낌을 받아보자.
-:::
-
-
-**VSD is friendly to CFG**
-
-VSD는 사전학습된 diffusion model을 이용해 optimal $\mu^*$에서 sample $\theta$를 추출하고자 한다. 때문에 3D sampling에서 CFG를 tuning한 효과가 기존 2D이미지 생성시 DPM-solver에서 CFG 값을 조절하는 것과 유사하다. 그래서 CFG 값을 조절하면서 더 다양한 실험결과를 얻을 수 있게 된다. SDS도 이점은 마찬가지 이나, CFG 값이 클때만 유효한 3D content를 만들어 낼 수 있었다.
-
-**VSD vs. SDS in 2D experiments that isolate 3D representations**
-
-동일한 rendering 모델을 이용해 VSD와 SDS의 3D 표현력만 비교한 결과이다.
-
-:::{figure-md}
-
-
-particle이 뭘까? 느낌적인 느낌을 받아보자.
-:::
-
-
-
-Prolific Dreamer와 다른 모델의 특성 비교
-:::
-
-### 4.2 3D Representation and Training
-
-:::{figure-md}
-
-
-Prolific Dreamer 수행 결과
-:::
-
-**High-resolution rendering for NeRF training** (in 1st stage)
-
-ProlificDreamer에서는 고화질 렌더링을 위해 **Instant NGP**를 사용했으며 VSD를 이용해 512 resolution 까지 NeRF를 최적화 했다. VSD를 사용함으로써 high-fidelity 결과를 얻을 수 있었다.
-
-- Instant NGP
-
-**Scene initialization for NeRF training** (in 1st stage)
-
-NeRF의 초기 density는 $\sigma_\text{init}(\mu)=\lambda_\sigma(1-\frac{\|\mu\|_2}{r})$로 초기화 한다. $\lambda$ 는 density strength, $r$ 는 density radius, $\mu$는 3d coordinate이다.
-
-object-centric scene에서는 Magic3D의 방식을 따랐으며($\lambda=10, r=0.5$),
-복잡한 scene의 경우 $\lambda=-10$ 로 하여 density가 거의 비어있도록 하고, $r$을 2.5로 하여 camera를 둘러 싸도록 했다.
-
-**Annealed time schedule for score distillation** (in 1st stage)
-
-단순한 2단계 annealing을 score distillation objective에 적용했다. 이는 SDS나 VSD 모두에 적용가능하다. 초기 몇 스텝에서는 $t\sim \mathcal U(0.02,0.98)$로 하고 이후에는 $t\sim \mathcal U(0.02,0.50)$로 설정했다.
-
-여기서 핵심은 $q_0^\mu(x_0|c,y)$와 $p_0(x_0|y^c)$를 맞추는 것인데 t가 커지면 KL divergence가 학습초기에 더 적당한 최적화 방향으로 갈 수 있다. t가 작으면 더 세부적인 조정이 가능하므로 $p_t(x^*|y^c)$와 $p_0(x^*|y^C)$의 차를 더 줄일 수 있다.
-
-**Mesh representation and fine-tuning** (in 2nd stage)
-
-coordinate-based hash grid encoder의 특성을 이용해 NeRF에서 mesh를 추출했다. Fantasia3D의 방법론을 따랐는데 여기서는 geometry와 texture를 분리하여 최적화했다. 첫번째로는 normal map을 이용해 geometry를 최적화하고 두번째로 texture를 최적화하는 식이다. 실험결과에서 이단계에서는 SDS와 VSD의 품질 차이가 크지않아 효율성을 위해 SDS를 사용했다. 하지만 Fantasia3D와 비교했을때 VSD 및 앞선 방법론을 이용해 최적화한 NeRF에서 뽑아낸 mesh는 SDS를 이용한 것보다 뛰어났다.
-
-# 5. Experiments
-
-### 5.1 Results of Prolific Dreamer
-
-
-
-Prolific Dreamer 실험 결과
-:::
-
-**Ablation on mesh fine-tuning**
-
-:::{figure-md}
-
-
-Prolific Dreamer 실험 결과
-:::
-
-**Ablation on CFG**
-
-CFG 값이 작으면 diversity 상승, CFG 값이 크면 비교적 diversity가 하락하는 실험결과를 얻음. VSD의 경우 CFG 값이 작을때에도 좋은 품질의 3D content를 생성할 수있기 때문에 충분한 diversity의 결과를 얻을 수 있지만 SDS의 경우 CFG 값이 커야만 괜찮은 3D content를 생성하기 때문에 diversity가 하락할 수밖에 없음.
-
-:::{figure-md}
-
-
-Prolific Dreamer 실험 결과
-:::
-
-:::{figure-md}
-
-
-Prolific Dreamer 실험 결과
-:::
-
-:::{figure-md}
-
-
-Prolific Dreamer 실험 결과
-:::
-
-
- 📌개인적 감상
-
- GAN : WGAN = DreamFusion : ProlificDreamer
-
- GAN : Diffusion = DreamFusion : ProlificDreamer
-
-
-# Future Work
-
-- GECO
+```{admonition} Information
+- **Title:** ProlificDreamer: High-Fidelity and Diverse Text-to-3D Generation with Variational Score Distillation (NeurIPS 2023 Spotlight)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2305.16213](https://arxiv.org/abs/2305.16213)
+ - Code: [https://github.com/thu-ml/prolificdreamer?tab=readme-ov-file](https://github.com/thu-ml/prolificdreamer?tab=readme-ov-file)
+
+- **Author:** Kyeongmin Yu
+
+- **Last updated on Dec. 26, 2024**
+```
+
+
+# ProlificDreamer: High-Fidelity and Diverse Text-to-3D Generation with Variational Score Distillation
+
+- view generation이 가능한 DM의 특성을 3D rendering 모델로 전달하여 pretrained 된 DM이 생성하는 이미지 분포와 3D representaiton의 분포를 맞춰가는 것으로 Dream Fusion(SDS)과 유사하지만 개선된 아이디어(VSD)를 제안하고자한 논문이다.
+
+:::{figure-md}
+
+
+Prolific Dreamer Overview
+:::
+
+📌 **Prolific Dreamer 2-stage approach**
+
+1. optimize a high-resolution NeRF by **VSD**
+2. geometry optimization of mesh from NeRF with **SDS** (optional)
+
+appendix를 참고하면, triangle 크기가 비교적 클때 VSD와 SDS의 차이가 크지 않으므로 SDS를 사용했다고 하며, 더 섬세한 mesh의 경우 VSD가 SDS에 비해 표현력이 좋을것으로 믿는다고 함.
+
+
+:::{figure-md}
+
+
+ProlificDreamer vs. DreamFusion 정성적 결과
+:::
+
+:::{figure-md}
+
+
+ProlificDreamer vs. DreamFusion 정성적 결과
+:::
+
+
+# 1 Introduction
+
+고품질의 3D content를 생산하는 것은 품이 많이 드는 일이다. 이러한 어려움을 해결하기 위해 text-to-3D 방식이 발전하고 있다. texture 기술을 기반으로 3D content 생성을 자동화하는 방식은 유망하며 다양한 분야(encompassing architecture, animation, gaming, AR/VR) paradigm의 변화를 일으킬 수 있을 것이다.
+
+Diffusion model의 text-to-image 생성력을 바탕으로 3D content를 생성하려는 DreamFusion과 같은 시도가 있었다. Dream Fusion은 **Score Distillation Sampling(SDS)** 알고리즘을 이용해 단일 3D representation을 최적화 했다. 이는 어떤 방향에서 렌더링된 이미지라도 주어진 text에 대해 높은 likelihood를 갖도록 한것으로써 diffusion model에 의해 evaluate되었다. (diffusion model을 loss에 활용) 하지만 over-satuation, over-smoothing, low-diversity 문제가 발생했다. 또한 text-to-3D의 design space에서 orthogonal 한 요소(rendering resolution - distillation time schedule)들에 대한 파악이 아직 부족하다.
+
+본 논문에서는 섬세한 3D representation을 얻기 위해 이러한 모든 요소에 대해 systematic study를 진행한다. 먼저 **Variational Score Distillation(VSD)** 를 제안한다. 이는 주어진 textual prompt와 해당 3D scene을 하나의 random variable로 취급하며 하나의 점(single point)로 취급한 SDS와는 다르다. VSD는 3D scene의 분포를 최적화하며 이러한 분포는 모든 시점에 대해 rendered images의 분포가 서로 최대한 가까워지도록 한다. pretrained 2D diffusion model의 경우에는 KL divergence에 해당한다?! 이러한 variational formulation에서 VS는 multiple 3D scene을 하나의 prompt에 정렬할 수 있는 특성을 가질 수 있다.
+
+- 원문참고
+
+ VSD optimizesa distribution of 3D scenes such that the distribution induced on images rendered from all views aligns as closely as possible, in terms of KL divergence, with the one defined by the pretrained 2D diffusion model (see Sec. 3.1). Under this variational formulation, VSD naturally characterizes the phenomenon that multiple 3D scenes can potentially align with one prompt.
+
+
+해당 variational formulation을 효율적으로 풀기 위해 VSD는 **particle-based variational inference**를 도입하고, 3D representation을 표현하기 위해 하나의 3D parameters 집합을 particles로 표현하였다. **Wasserstein gradient flow**를 이용해 이러한 particles로 부터 새로운 gradient-based update rule을 이끌어 냈다. 이는 최적화 수렴 후, 해당 particles가 desired distribution으로 부터 sample된 것임을 보장한다. update 시에는 diffused rendered images의 분포의 score function이 필요한데 이는 **pretrained diffusion model + low-rank adaptation(LoRA)** 로 얻을 수 있었다. 최종적으로 particles과 score function을 업데이트 하는 형태가 된다.
+
+Sec 3.3에서 SDS는 variational distribution에 single-point Dirac distribution을 사용하는 VSD라고 볼 수 있음을 보인다. 이를 통해 SDS가 diversity가 fidelity가 낮은 이유를 알 수 있다. single particle만으로도 VSD는 parametric score model을 학습할 수 있고 잠재적으로 SDS보다 더 나은 생성 결과를 제공할 수 있다. 또한 동일한 렌더링 함수를 이용해 2D space에서 SDS와 VSD를 비교하여 3D 요소만 분리하여 비교한 결과를 담았다. diffusion model의 고전 샘플링 방식과 같이 VSD는 CFG의 가중치 조절을 통해 보다 사실적인 sample을 생성할 수 있다. 반면 SDS는 이전 text-to-3D연구과 유사한 over-saturation, over-smoothing문제를 보이는 부족한 결과를 보였다.
+
+:::{figure-md}
+
+
+Prolific Dreamer
+:::
+
+$$
+\delta(x)=\begin{cases}0, &{x!=0} \\ \infty, &{x=0} \end{cases}
+$$
+
+$$
+\int_{-\infty} ^\infty \delta(x) dx=1
+$$
+
+Sec 4는 text-to-3D 알고리즘의 orthogonal 요소들에 대한 추가적인 **systematically study**와 clear **design space**를 담고 있다. 특히 훈련과정 중 고화질 렌더링과 시각적 품질 개선을 위한 **annealed distilling time schedule**을 제안한다. 또한 복잡한 scene을 표현하기 위한 s**cene initialization**을 제안한다. 요소들에 대한 ablation study는 Sec 5에서 볼 수 있으며, 앞서 언급한 요소들은 VSD에 효과적임을 보인다. 결론적으로 high-fidelity, diverse 3D 결과를 얻을 수있으며 이를 **ProlificDreamer**라고 한다.
+
+Sec 5에서 ProlificDreamer의 고화질(512x512) rendering 능력과 rich structure와 complex effects를 Neural Radiance Fields(NeRF)상에서 표현할 수 있음을 보인다. ProlificDreamer는 다중 물체가 포함된 복잡한 scene의 360도 전방향을 성공적으로 표현하는 것에 처음으로 성공했다. 게다가 NeRF로 초기화 한 후 ProlificDreamer로 세세하고 photorealistic한 3D texture mesh들을 생성할 수있다.
+
+:::{figure-md}
+
+
+Prolific Dreamer 생성 결과
+:::
+
+# 2. Background
+
+### Diffusion models (DMs)
+
+**Score-Based Generative Modeling through Stochastic Differential Equations**
+
+- **forward process** $\{q_t\}_{t\in[0,1]}$ - gradually add noise to a data point $x_0\sim p_0(x_0)$
+
+ $$
+ q_t(x_t|x_0):=\mathcal N(\alpha_tx_0,\sigma_t^2 I)\\q_t(x_t):=\int q_t(x_t|x_0)q_0(x_0) dx_0
+ $$
+
+ $\alpha_t, \sigma_t >0$ 는 hyperparameter로 $\alpha_0\approx 1,\sigma_0\approx 0,\alpha_1\approx 0, \sigma_t\approx 1$ 이다.
+
+- **reverse process** $p_t$ - denoising from $p_1(x_1):=\mathcal N(0,I)$ by predicting the noise added to a clean data $x_0$
+
+ noise prediction network $\epsilon_\phi(x_t,t)$을 학습하는 과정은 아래와 같다.
+
+ $$
+ \mathcal L_\text{Diff}(\phi):=\Bbb E_{x_0\sim q_0(x_0),t\sim\mathcal U(0,1),\epsilon \sim \mathcal N(o,I)}\Big[ \omega(t)\|\epsilon_\phi(\alpha_t x_0+\sigma_t\epsilon)-\epsilon\|_2^2\Big], \tag 1
+ $$
+
+ $\omega(t)$는 time dependent weighting function이다. 훈련이 끝나면 $p_t\approx q_t$ 가 되며 따라서 $p_0\approx q_0$ 으로 sample들을 그릴 수 있게 된다. 덧붙여 noise prediction network는 $p_t, q_t$ 의 score function을 approximating하는 데에도 사용가능하다. $\triangledown_{x_t}\text{log}q_t(x_t)\approx\triangledown_{x_t}\text{log}p_t(x_t)\approx-\epsilon_\phi(x_t,t)/\sigma_t$
+
+
+diffusion model이 가장 활발히 활용되고 있는 분야 중 하나는 text-to-image generation으로 text prompt $y$를 조건으로 noise를 예측한다. 또한 Classifier-free Guidence를 통해 샘플 품질과 다양성을 조절한다. guidance scale이 커질 수록 품질이 올라가지만 다양성이 감소하는 경향을 보인다.
+
+### **Text-to-3D by score distillation sampling**
+
+- **Score Distillation Sampling (SDS)** from DreamFusion
+- **Score Jacobian Chaining (SJC)** 라고도 불리며 Zero-1-to-3, Magic3d, Fantasia3d, Latent NeRF 등 다양한 연구에 활용되고 있다.
+
+사전학습된 T2I diffusion model $p_t(x_t|y)$과 noise prediction network $\epsilon_\text{pretrained}(x_t,t,y)$ 을 이용해 SDS는 single 3D representation의 parameter $\theta \in \Theta$를 최적화 한다. 이때 사용하는 metric은 **Euclidean metric**으로 $\Theta$는 Euclidean space이다.
+
+camera parameter $c$가 분포 $p(c)$를 따르고,
+differentiable rendering mapping $g(\cdot,c):\Theta \rightarrow \Bbb R^d$ 이 주어진다고 하자.
+$y^c$를 view dependent prompt라고 하면, rendering image $g(\theta,c)$에서 시작하는 forward diffusion process는 $q_t^\theta(x_t|c)$로 표현할 수 있다.
+
+SDS는 parameter $\theta$를 아래와 같이 최적화한다.
+
+$$
+\mathcal L_{\text{SDS}}(\theta):=\Bbb E_{t,c}\Big [\frac{\sigma_t}{\alpha_t}\space\omega(t)\space D_\text{KL}(q_t^\theta(x_t|c)\|p_t(x_t|y^c)\Big] \tag{2}
+$$
+
+$$
+\mathcal L_{\text{SDS}}(\theta)\approx\Bbb E_{t,\epsilon,c}\Big [\omega(t)\space \big(\epsilon_\text{pretrained}(x_t,t,y^c)-\epsilon\big)\frac{\partial g(\theta,c)}{\partial\theta}\Big] \tag{3}
+$$
+
+### 3D representations
+
+- **NeRF** → MLP
+ - multilayer perceptron을 이용해 3D 객체를 표현한다. 3차원 공간상의 위치 정보를 입력하면 해당하는 색과 밀도를 얻을 수 있다. 이때 $\theta$는 MLP의 내부 파라미터를 의미한다.
+ - 카메라 위치 $c$가 주어질때, rendering process $g(\theta,c)$는 casting rays로 정의되며 각 ray의 sampling points의 색을 가중합하여 각 픽셀의 값을 결정한다.
+ - NeRF는 최적화 측면에서 유연하고 복잡한 장면도 표현가능하다. (매우 상대적인 표현으로 사료됨.)
+- **Textured mesh** → triangle mesh + texture
+ - triangle mesh와 해당 mesh 표면의 texture, color로 3D 객체를 표현한다. 여기서 3D parameter $\theta$는 triangle meshes의 좌표와 texture parameter를 의미한다.
+ - 카메라 위치 $c$가 주어질때, rendering process $g(\theta,c)$는 casting rays로 정의되며 각 ray가 지나는 mesh의 intersection의 색을 계산함으로써 각 픽셀의 값을 결정한다.
+ - Textured mesh는 고화질 렌더링이 가능하고 differentiable rasterization을 이용하면 렌더링 속도가 빠르다.
+
+# 3. Variational Score Distillation
+
+:::{figure-md}
+
+
+Prolific Dreamer
+:::
+
+### 3.1 Sampling from 3D Distribution via Variational Inference
+
+3D represetation에 사용되는 parameter $\theta$들은 확률밀도 $\mu(\theta|y)$로 모델링 할 수 있다.
+$q_0^\mu(x_0|c,y)$는 rendered image $x_0;=g(\theta,c)$의 분포, $p_0(x_0|y^c)$는 $t=0$ 일때 marginal distribution이다.
+
+고품질의 3D representation을 얻기 위해서 distribution $\mu$를 최적화 하는 방법을 제안한다. 사전학습된 DM을 이용해 모든 view에 대한 rendered image sample과 distribution $\mu$를 정렬(align)하는 것은 아래와 같이 두 분포의 거리를 좁히는 것이라고 할 수 있다.
+
+$$
+\text{min}_\mu D_\text{KL}\big(q_0^\mu(x_0|c,y)\|p_0(x_0|y^c)\big) \tag{4}
+$$
+
+- SDS eq.2
+
+ $$
+ \mathcal L_{\text{SDS}}(\theta):=\Bbb E_{t,c}\Big [({\sigma_t}/{\alpha_t})\space\omega(t)\space D_\text{KL}(q_t^\theta(x_t|c)\|p_t(x_t|y^c)\Big] \tag{2}
+ $$
+
+
+위의 식은 일반적인 variational inference problem으로 variational distribution $q_0^\mu(x_0|c,y)$을 target distribution $p_0(x_0|y^c)$으로 근사(distill)하는 방식을 사용한다.
+
+위의 식 4의 prob을 직접 푸는것은 복잡하고 비효율적이기 때문에 diffusion model을 이용해 series of optimization problem을 통해 해결하고자 한다. $t$가 $T$를 향해 점점 커질때, 위의 최적화 문제는 diffused distribution이 gaussian distribution에 가까워 지며 점점 쉬워진다.
+
+(기존 SDS 최적화 식의 parameter $\theta$가 distribution $\mu$로 바뀐 형태)
+
+$$
+\mu^*:=\text{argmin}_\mu\Bbb E_{t,c}\Big[ (\sigma_t/\alpha_t)\omega(t)D_{KL}(q_t^\mu(x_t|c,y)\|p_t(x_t|y^c))\Big] \tag5
+$$
+
+- SDS eq.2
+
+ $$
+ \mathcal L_{\text{SDS}}(\theta):=\Bbb E_{t,c}\Big [({\sigma_t}/{\alpha_t})\space\omega(t)\space D_\text{KL}(q_t^\theta(x_t|c)\|p_t(x_t|y^c)\Big] \tag{2}
+ $$
+
+
+### 3.2 Update Rule for Variational Score Distillation
+
+식 5의 prob을 풀기위해 또 다른 생성모델을 훈련하여 풀 수 있는데 이는 resource가 많이 필요하고 최적화 과정이 복잡해진다. 앞선 particle-based variational inference 연구와 유사하게, n개의 3D particles를 유지하고 해당 particles을 위한 새로운 update rule을 제안한다. 즉, $\{\theta\}^n_{i=1}$을 현재 distribution $\mu$를 표현하기 위해 사용하는 것이다. $\theta^{(i)}$는 최적화 과정이 수렴되고 하면 최적 분포 $\mu^*$에서 샘플링된 것이 된다.
+
+$$
+\frac{d\theta_\tau}{d\tau}=-\Bbb E_{t,\epsilon,c}\Big[\omega(t)\big(-\sigma_t\triangledown_{x_t} \text{log}p_t(x_t|y^c)-(-\sigma_t\triangledown_{x_t}\text{log}q_t^{\mu_\tau}(x_t|c,y))\big)\frac{\partial g(\theta_\tau,c)}{\partial\theta_\tau} \tag 7
+$$
+
+$$
+\text{min}_{\phi}\sum^n_{i=1}\Bbb E_{t\sim\mathcal U(0,1),\epsilon\sim\mathcal N(o,I),c\sim p(c)}\Big[\|\epsilon_\phi(\alpha_tg(\theta^{(i)}),c)+\sigma_t\epsilon,t,c,y)-\epsilon\|^2_2\Big] \tag 8
+$$
+
+최종적으로는 아래와 같은 objective function을 얻는다.
+
+$$
+\triangledown_\theta\mathcal L_{VSD}(\theta)\triangleq\Bbb E_{t,\epsilon,c}\Big[\omega(t
+)(\epsilon_{\text{pretrain}}(x_t,t,y^c)-\epsilon_\phi(x_t,t,c,y))\frac{\partial g(\theta,c)}{\partial\theta}\Big]\tag {9}
+$$
+
+:::{figure-md}
+
+
+Prolific Dreamer
+:::
+
+### 3.3 Comparison with SDS
+
+**SDS as a special case of VSD**
+
+$$
+\mathcal L_{\text{SDS}}(\theta)\approx\Bbb E_{t,\epsilon,c}\Big [\omega(t)\space \big(\epsilon_\text{pretrained}(x_t,t,y^c)-\epsilon\big)\frac{\partial g(\theta,c)}{\partial\theta}\Big] \tag{SDS}
+$$
+
+$$
+\triangledown_\theta\mathcal L_{VSD}(\theta)\triangleq\Bbb E_{t,\epsilon,c}\Big[\omega(t
+)(\epsilon_{\text{pretrain}}(x_t,t,y^c)-\epsilon_\phi(x_t,t,c,y))\frac{\partial g(\theta,c)}{\partial\theta}\Big]\tag {VSD}
+$$
+
+SDS는 $\mu(\theta|y)\approx \delta(\theta-\theta^{(1)})$ 인 VSD의 special case에 해당한다. VSD는 potential mutliple particles일 뿐 아니라 parametric score function $\epsilon_\phi$도 학습하기 때문에 SDS와 동일하게 single particle을 사용해도 성능이 좋다. 또한 LoRA를 사용해 text prompt 로 부터 추가적으로 뽑아낸 정보를 estimation $\epsilon_\phi(x_t,t,c,y)$에 반영할 수 있다.
+
+:::{figure-md}
+
+
+particle이 뭘까? 느낌적인 느낌을 받아보자.
+:::
+
+
+**VSD is friendly to CFG**
+
+VSD는 사전학습된 diffusion model을 이용해 optimal $\mu^*$에서 sample $\theta$를 추출하고자 한다. 때문에 3D sampling에서 CFG를 tuning한 효과가 기존 2D이미지 생성시 DPM-solver에서 CFG 값을 조절하는 것과 유사하다. 그래서 CFG 값을 조절하면서 더 다양한 실험결과를 얻을 수 있게 된다. SDS도 이점은 마찬가지 이나, CFG 값이 클때만 유효한 3D content를 만들어 낼 수 있었다.
+
+**VSD vs. SDS in 2D experiments that isolate 3D representations**
+
+동일한 rendering 모델을 이용해 VSD와 SDS의 3D 표현력만 비교한 결과이다.
+
+:::{figure-md}
+
+
+particle이 뭘까? 느낌적인 느낌을 받아보자.
+:::
+
+
+
+Prolific Dreamer와 다른 모델의 특성 비교
+:::
+
+### 4.2 3D Representation and Training
+
+:::{figure-md}
+
+
+Prolific Dreamer 수행 결과
+:::
+
+**High-resolution rendering for NeRF training** (in 1st stage)
+
+ProlificDreamer에서는 고화질 렌더링을 위해 **Instant NGP**를 사용했으며 VSD를 이용해 512 resolution 까지 NeRF를 최적화 했다. VSD를 사용함으로써 high-fidelity 결과를 얻을 수 있었다.
+
+- Instant NGP
+
+**Scene initialization for NeRF training** (in 1st stage)
+
+NeRF의 초기 density는 $\sigma_\text{init}(\mu)=\lambda_\sigma(1-\frac{\|\mu\|_2}{r})$로 초기화 한다. $\lambda$ 는 density strength, $r$ 는 density radius, $\mu$는 3d coordinate이다.
+
+object-centric scene에서는 Magic3D의 방식을 따랐으며($\lambda=10, r=0.5$),
+복잡한 scene의 경우 $\lambda=-10$ 로 하여 density가 거의 비어있도록 하고, $r$을 2.5로 하여 camera를 둘러 싸도록 했다.
+
+**Annealed time schedule for score distillation** (in 1st stage)
+
+단순한 2단계 annealing을 score distillation objective에 적용했다. 이는 SDS나 VSD 모두에 적용가능하다. 초기 몇 스텝에서는 $t\sim \mathcal U(0.02,0.98)$로 하고 이후에는 $t\sim \mathcal U(0.02,0.50)$로 설정했다.
+
+여기서 핵심은 $q_0^\mu(x_0|c,y)$와 $p_0(x_0|y^c)$를 맞추는 것인데 t가 커지면 KL divergence가 학습초기에 더 적당한 최적화 방향으로 갈 수 있다. t가 작으면 더 세부적인 조정이 가능하므로 $p_t(x^*|y^c)$와 $p_0(x^*|y^C)$의 차를 더 줄일 수 있다.
+
+**Mesh representation and fine-tuning** (in 2nd stage)
+
+coordinate-based hash grid encoder의 특성을 이용해 NeRF에서 mesh를 추출했다. Fantasia3D의 방법론을 따랐는데 여기서는 geometry와 texture를 분리하여 최적화했다. 첫번째로는 normal map을 이용해 geometry를 최적화하고 두번째로 texture를 최적화하는 식이다. 실험결과에서 이단계에서는 SDS와 VSD의 품질 차이가 크지않아 효율성을 위해 SDS를 사용했다. 하지만 Fantasia3D와 비교했을때 VSD 및 앞선 방법론을 이용해 최적화한 NeRF에서 뽑아낸 mesh는 SDS를 이용한 것보다 뛰어났다.
+
+# 5. Experiments
+
+### 5.1 Results of Prolific Dreamer
+
+
+
+Prolific Dreamer 실험 결과
+:::
+
+**Ablation on mesh fine-tuning**
+
+:::{figure-md}
+
+
+Prolific Dreamer 실험 결과
+:::
+
+**Ablation on CFG**
+
+CFG 값이 작으면 diversity 상승, CFG 값이 크면 비교적 diversity가 하락하는 실험결과를 얻음. VSD의 경우 CFG 값이 작을때에도 좋은 품질의 3D content를 생성할 수있기 때문에 충분한 diversity의 결과를 얻을 수 있지만 SDS의 경우 CFG 값이 커야만 괜찮은 3D content를 생성하기 때문에 diversity가 하락할 수밖에 없음.
+
+:::{figure-md}
+
+
+Prolific Dreamer 실험 결과
+:::
+
+:::{figure-md}
+
+
+Prolific Dreamer 실험 결과
+:::
+
+:::{figure-md}
+
+
+Prolific Dreamer 실험 결과
+:::
+
+
+ 📌개인적 감상
+
+ GAN : WGAN = DreamFusion : ProlificDreamer
+
+ GAN : Diffusion = DreamFusion : ProlificDreamer
+
+
+# Future Work
+
+- GECO
- 고정된 수의 particle을 이용하는 prolific dreamer의 단점을 보완해 새로운 샘플을 생성할 수 있도록 함.
\ No newline at end of file
diff --git a/_sources/docs/review/SDEdit.md b/_sources/docs/review/SDEdit.md
index d0d8a282..bf7c57b3 100755
--- a/_sources/docs/review/SDEdit.md
+++ b/_sources/docs/review/SDEdit.md
@@ -1,145 +1,145 @@
-```{admonition} Information
-- **Title:** SDEdit: Guided Image Synthesis and Editing with Stochastic Differential Equations
-
-- **Reference**
- - Paper: [https://arxiv.org/pdf/2108.01073.pdf](https://arxiv.org/pdf/2108.01073.pdf)
-
-- **Author:** Seunghwan Ji
-
-- **Last updated on Oct. 03, 2023**
-```
-
-# SDEdit
-
-## Abstract
-
-- 최근 이미지 생성 분야에서의 놀라운 진화 속도가 계속 되어오고있다. (GAN, Diffusion etc..)
-- 이 중 이미지에 random noise를 추가해 denoising 과정을 학습하는 Diffusion을 통해 high quality의 이미지를 생성할 수 있다.
-- 또, 생성되는 이미지를 사용자가 원하는 방향으로 이끌어내려는 연구 분야도 활발히 진행되고있다 (a.k.a Editing)
-- 하지만, GAN 또는 Diffusion을 포함한 방식으로의 Editing에는 몇가지 단점이 있고, SDEdit은 그런 문제점을 해결해나아갔다는 점을 논문의 핵심 Contribution으로 제시하였다.
-
-## 1. Introduction
-
-- Abstract에서 말한 Editing이란, 유저가 생성하고자 하는 Guide를 제시하면 모델은 해당 Guide를 기반으로 이미지를 생성해내는 Vision Task를 의미한다.
-- 이때 두가지의 평가요소가 있는데
- 1. faithful : 유저의 Guide를 얼마나 잘 따르는지
- 2. realistic : 생성된 이미지가 얼마나 real한지
-- 기존의 연구방식은 크게 두가지로 나뉜다.
- 1. GAN(Generative Adversarial Network) 기반
- 2. Diffusion 기반
-- 이 중 기존에 SOTA를 이룬 GAN 방식을 살펴보면 다시 크게 두가지로 나뉜다.
- 1. conditional GAN
- - 특징 : 원본 이미지에서 Edit된 Pair 이미지를 직접 학습
- - 단점 : Pair Dataset이 반드시 필요하고, Condition마다 재학습을 요구
- 2. GAN Inversion
- - 특징 : 이미지를 Latent space로 Inversion한 후, Latent vactor를 조작해(manipulate) Edited image를 생성
- - 단점 : 새로운 loss function이 정의되어야하고, condition마다 재학습을 요구
-- 그에 반해 SDEdit은
- 1. Pair Dataset이 필요하지 않다.
- 2. 추가적인 loss function과 재학습이 모두 필요하지 않다.
- 3. 단 한개의 pretrained weight로 모든 condition의 이미지를 생성할 수 있다.
-
-
-## 2. Related Works
-
-### 2.1. Score Based Generated Model
-:::{figure-md}
-
-
-Image 1
-:::
-
-- Key Idea
- - *“Real 이미지들은 실제 데이터 확률 분포에서 높은 값을 유지할 것이다. 따라서, 이미지를 분포가 높은곳으로 update 해나가면 좋은 퀄리티의 이미지를 생성하는 모델을 얻어낼 수 있다.”*
-- 이 때, score는 확률 밀도 함수의 순간 기울기(미분값)로 정의한다.
-
-### 2.2. Score Based Generated Diffusion Model (SDE, SMLD)
-:::{figure-md}
-
-
-Image 2
-:::
-
-
-- 위에서 제시한 Score Based Generated Model에 Diffusion 방식을 적용한 모델
-- Forward Process 과정에서 이미지에 noise를 주입하는데, 이 때 Stochastic Differential Equation 수식을 이용해 noise를 주입한다.
-- 또다른 Diffusion 모델인 (Probability based) DDPM과의 차이는 Forward, Reverse process에서 정의하는 equation의 차이 정도이다.
-- paper : [https://arxiv.org/abs/1907.05600](https://arxiv.org/abs/1907.05600)
-
-## 3. Methods
-
-1. Pre-Setup
- - Guide image의 Level을 정의한다.
- :::{figure-md}
- 
-
- Image 3
- :::
-
- 1. low-level guide : real 이미지위에 image patch를 추가
- 2. mid-level guide : real 이미지위에 stroke를 추가
- 3. high-level guide : 단순히 coarse한 stroke의 이미지
-2. Procedure
- - DDPM과 달리 SDE의 경우, 완전히 noise화된 이미지 즉, random noise로부터 denoising을 진행할 필요가 없다.
- - 즉, 적절한 $t_{0} \in [0,1]$를 지정한 후 denoising process가 가능하다.
-
- :::{figure-md}
- 
-
- Image 4
- :::
- - 이 때, 적절한 $t_{0}$를 정의해야하는데,
- 1. $t_{0}$ = 1 (i.e. random noise)이면, realistic하지만, faithful 하지않은 이미지
- 2. $t_{0}$ = 0 이면, faithful하지만, artistic한 이미지
-
- 를 얻게된다.
-
- :::{figure-md}
- 
-
- Image 5
- :::
- - 아래는 SDEdit의 적용 과정이다.
-
- :::{figure-md}
- 
-
- Image 6
- :::
-
-## 4. Experiments
-
-- Score
- - Metric
- - realistic : Kid score (lower is better)
- - faithful : $L_{2}$ score (lower is better)
- - 그 외 종합적인 평가 지표로 survey를 통한 수치를 제시하였다.
-
- :::{figure-md}
- 
-
- Image 7
- :::
- - 기존의 GAN 방식들과 비교했을 때 Kid, $L_{2}$ score 모두 더 좋은 수치를 보이는 것을 확인할 수 있다.
-- Comparison with GAN (styleGAN-ADA + Inversion)
-
- :::{figure-md}
- 
-
- Image 8
- :::
- - SDEdit이 GAN Based model보다 더 자연스럽고(realistic), 유저의 guide를 잘 따르는(faithful)것을 확인할 수 있다.
-- Comparison with original blending technique
-
- :::{figure-md}
- 
-
- Image 9
- :::
-
- :::{figure-md}
- 
-
- Image 10
- :::
- - 기존의 전통적인 방식의 몇가지 blending 기법과 비교해도 더 좋은 성능과 수치를 보이는 것을 확인할 수 있다.
+```{admonition} Information
+- **Title:** SDEdit: Guided Image Synthesis and Editing with Stochastic Differential Equations
+
+- **Reference**
+ - Paper: [https://arxiv.org/pdf/2108.01073.pdf](https://arxiv.org/pdf/2108.01073.pdf)
+
+- **Author:** Seunghwan Ji
+
+- **Last updated on Oct. 03, 2023**
+```
+
+# SDEdit
+
+## Abstract
+
+- 최근 이미지 생성 분야에서의 놀라운 진화 속도가 계속 되어오고있다. (GAN, Diffusion etc..)
+- 이 중 이미지에 random noise를 추가해 denoising 과정을 학습하는 Diffusion을 통해 high quality의 이미지를 생성할 수 있다.
+- 또, 생성되는 이미지를 사용자가 원하는 방향으로 이끌어내려는 연구 분야도 활발히 진행되고있다 (a.k.a Editing)
+- 하지만, GAN 또는 Diffusion을 포함한 방식으로의 Editing에는 몇가지 단점이 있고, SDEdit은 그런 문제점을 해결해나아갔다는 점을 논문의 핵심 Contribution으로 제시하였다.
+
+## 1. Introduction
+
+- Abstract에서 말한 Editing이란, 유저가 생성하고자 하는 Guide를 제시하면 모델은 해당 Guide를 기반으로 이미지를 생성해내는 Vision Task를 의미한다.
+- 이때 두가지의 평가요소가 있는데
+ 1. faithful : 유저의 Guide를 얼마나 잘 따르는지
+ 2. realistic : 생성된 이미지가 얼마나 real한지
+- 기존의 연구방식은 크게 두가지로 나뉜다.
+ 1. GAN(Generative Adversarial Network) 기반
+ 2. Diffusion 기반
+- 이 중 기존에 SOTA를 이룬 GAN 방식을 살펴보면 다시 크게 두가지로 나뉜다.
+ 1. conditional GAN
+ - 특징 : 원본 이미지에서 Edit된 Pair 이미지를 직접 학습
+ - 단점 : Pair Dataset이 반드시 필요하고, Condition마다 재학습을 요구
+ 2. GAN Inversion
+ - 특징 : 이미지를 Latent space로 Inversion한 후, Latent vactor를 조작해(manipulate) Edited image를 생성
+ - 단점 : 새로운 loss function이 정의되어야하고, condition마다 재학습을 요구
+- 그에 반해 SDEdit은
+ 1. Pair Dataset이 필요하지 않다.
+ 2. 추가적인 loss function과 재학습이 모두 필요하지 않다.
+ 3. 단 한개의 pretrained weight로 모든 condition의 이미지를 생성할 수 있다.
+
+
+## 2. Related Works
+
+### 2.1. Score Based Generated Model
+:::{figure-md}
+
+
+Image 1
+:::
+
+- Key Idea
+ - *“Real 이미지들은 실제 데이터 확률 분포에서 높은 값을 유지할 것이다. 따라서, 이미지를 분포가 높은곳으로 update 해나가면 좋은 퀄리티의 이미지를 생성하는 모델을 얻어낼 수 있다.”*
+- 이 때, score는 확률 밀도 함수의 순간 기울기(미분값)로 정의한다.
+
+### 2.2. Score Based Generated Diffusion Model (SDE, SMLD)
+:::{figure-md}
+
+
+Image 2
+:::
+
+
+- 위에서 제시한 Score Based Generated Model에 Diffusion 방식을 적용한 모델
+- Forward Process 과정에서 이미지에 noise를 주입하는데, 이 때 Stochastic Differential Equation 수식을 이용해 noise를 주입한다.
+- 또다른 Diffusion 모델인 (Probability based) DDPM과의 차이는 Forward, Reverse process에서 정의하는 equation의 차이 정도이다.
+- paper : [https://arxiv.org/abs/1907.05600](https://arxiv.org/abs/1907.05600)
+
+## 3. Methods
+
+1. Pre-Setup
+ - Guide image의 Level을 정의한다.
+ :::{figure-md}
+
+
+ Image 3
+ :::
+
+ 1. low-level guide : real 이미지위에 image patch를 추가
+ 2. mid-level guide : real 이미지위에 stroke를 추가
+ 3. high-level guide : 단순히 coarse한 stroke의 이미지
+2. Procedure
+ - DDPM과 달리 SDE의 경우, 완전히 noise화된 이미지 즉, random noise로부터 denoising을 진행할 필요가 없다.
+ - 즉, 적절한 $t_{0} \in [0,1]$를 지정한 후 denoising process가 가능하다.
+
+ :::{figure-md}
+
+
+ Image 4
+ :::
+ - 이 때, 적절한 $t_{0}$를 정의해야하는데,
+ 1. $t_{0}$ = 1 (i.e. random noise)이면, realistic하지만, faithful 하지않은 이미지
+ 2. $t_{0}$ = 0 이면, faithful하지만, artistic한 이미지
+
+ 를 얻게된다.
+
+ :::{figure-md}
+
+
+ Image 5
+ :::
+ - 아래는 SDEdit의 적용 과정이다.
+
+ :::{figure-md}
+
+
+ Image 6
+ :::
+
+## 4. Experiments
+
+- Score
+ - Metric
+ - realistic : Kid score (lower is better)
+ - faithful : $L_{2}$ score (lower is better)
+ - 그 외 종합적인 평가 지표로 survey를 통한 수치를 제시하였다.
+
+ :::{figure-md}
+
+
+ Image 7
+ :::
+ - 기존의 GAN 방식들과 비교했을 때 Kid, $L_{2}$ score 모두 더 좋은 수치를 보이는 것을 확인할 수 있다.
+- Comparison with GAN (styleGAN-ADA + Inversion)
+
+ :::{figure-md}
+
+
+ Image 8
+ :::
+ - SDEdit이 GAN Based model보다 더 자연스럽고(realistic), 유저의 guide를 잘 따르는(faithful)것을 확인할 수 있다.
+- Comparison with original blending technique
+
+ :::{figure-md}
+
+
+ Image 9
+ :::
+
+ :::{figure-md}
+
+
+ Image 10
+ :::
+ - 기존의 전통적인 방식의 몇가지 blending 기법과 비교해도 더 좋은 성능과 수치를 보이는 것을 확인할 수 있다.
diff --git a/_sources/docs/review/SDXL.md b/_sources/docs/review/SDXL.md
index 53748067..60786d68 100755
--- a/_sources/docs/review/SDXL.md
+++ b/_sources/docs/review/SDXL.md
@@ -1,141 +1,141 @@
-```{admonition} Information
-- **Title:** SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2307.01952](https://arxiv.org/abs/2307.01952)
- - Code: [https://github.com/Stability-AI/generative-models](https://github.com/Stability-AI/generative-models)
-
-- **Author:** Jun-Hyoung Lee
-
-- **Last updated on May. 31. 2023**
-```
-
-# SDXL
-
-## Abstract
-
-SDXL은 T2I latent diffusion 모델이다. Stable Diffusion과 비교하면, SDXL은 세 배 더 큰 규모의 UNet을 포함한다. 더 많은 attention 블록과 더 큰 cross attention context 가 SDXL에서 두 번째 text encoder로 사용되면서 모델 파라미터가 증가했다. 다수의 새로운 conditioning 방법과 다양한 비율에 맞도록 SDXL을 학습할 수 있도록 설계했다. 또한 후처리 방식의 image to image 기술을 사용해 SDXL의 생성 샘플의 시각적인 fidelity를 향상시킨 refinement model을 소개한다. SDXL은 대폭 향상된 성능을 보여준다.
-
-:::{figure-md} SDXL result
-
-
-SDXL result
-:::
-
-## Introduction
-
-세 가지 주요 기능이라 볼 수 있는데,
-
-1. 3배 더 큰 UNet backbone,
-2. 어떤 형태의 추가 감독(supervision)없는 간단하면서도 효과적인 추가의 conditioning 기술
-3. noising-denoising 과정을 적용해 시각적 품질을 향상하는 latent를 생성할 수 있는 별개의 diffusion 기반 img-to-img refinement 모델을 포함한다.
-
-:::{figure-md} Figure 1
-
-
-Figure 1
-:::
-
-그림 1에서 왼쪽 그림을 보면 추가의 refinement 단계를 추가해 성능을 높인 SDXL이 기존 SD보다 성능이 우수한 것을 확인할 수 있다. 오른쪽 그림은 아키텍처를 시각화했는데, 128x128 크기의 latent를 생성한다. 그 후 고해상도 refinement 모델을 활용하고 동일한 프롬프트를 활용해 첫 번째 단계에서 생성된 latent를 SDEdit을 적용한다. SDXL과 refinement 모델은 동일한 autoencoder를 사용한다.
-
-:::{figure-md} Table 1
-
-
-Table 1
-:::
-
-SD와 다르게 UNet 내의 transformer 블록의 heterogeneous 분포를 사용했다는 점이다. 테이블 1을 참고하면 highest feature level에서 transformer 블럭을 사용했고, lower level에서는 2, 10 개의 블럭을 사용했고, UNet에서 lowest level(8x downsampling)을 제거했다. text conditioning을 위한 pretrained 된 text encoder를 사용했다. 특히, CLIP Vit-L과 함께 OpenCLIP ViT-bigG를 사용했고, 채널 축에 두 번째 text encoder의 output을 concat 했다. 게다가 text input으로 모델에 condition을 주기 위해 cross attention 레이어를 사용했으며, 또 OpenCLIP로부터 pooled text embedding을 모델에 condition으로 추가했다. 이러한 변화는 UNet의 파라미터 사이즈가 2.6B로 증가했다. text encoder는 817M 파라미터를 가지고 있다.
-
-## 2.2 Micro-Conditioning
-
-:::{figure-md} Figure 2
-
-
-Figure 2
-:::
-
-SD 1.4/1.5 같은 경우 512 픽셀 이하 크기의 이미지는 제외하고 학습을 시키거나, 너무 작은 이미지는 upscale하여 학습을 시켰다. 이는 학습할 때의 최소 크기가 정해지는 문제점이 발생한다. 따라서 성능을 저하시키거나, 일반화를 잘 못할 수 있다.
-
-그림 2를 보면 SDXL의 데이터 셋의 분포를 시각화해주는 그림이다. 제안된 size-conditiong 없이, 256x256 픽셀 크기 미만의 데이터가 39%나 달한다. upscale 하게 된다면 최종 결과물이 blur 한 결과를 가져와 좋지 않은 아티팩트가 생긴다.
-
-대신, 저자들은 원래의 이미지 해상도에서 UNet 모델에 condition을 주었다. 특히 어떠한 rescaling 전의 원래의 크기인 $c_\text{size}=(h_\text{original}, w_\text{original})$를 제공해 추가의 condition을 줄 수 있게 했다. UNet의 denoising 할 때의 condition으로 추가된다.
-
-Inference 때, 사용자가 size-conditioning을 통해 해상도를 정할 수 있다. 모델은 conditioning 크기를 해상도에 의존적인 이미지 feature과 연관시키도록 하는 방법을 학습했다.
-
-:::{figure-md} Figure 3
-
-
-Figure 3
-:::
-
-또 ImageNet으로 평가를 진행해 size-conditiong에 대한 우수성을 입증했다.
-
-:::{figure-md} Table 2
-
-
-Table 2
-:::
-
-_CIN-512-only_ 는 512 미만의 이미지를 제외하고 학습을 시켰고(70k 장), _CIN-nocond_ 는 모든 ImageNet 이미지를 사용했으며, _CIN-size-cond_ 는 추가 size-condition을 사용했다. 표 2에서 보다시피 _CIN-size-cond_ 모델이 FID, IS 모두 높은 성능을 보였다.
-
-### Conditioning the Model on Cropping Parameters
-
-:::{figure-md} Figure 4
-
-
-Figure 4
-:::
-
-그림 4에서 SD 같은 경우 고양이 머리가 잘려진 결과를 얻었다. 이러한 이유는 학습할 때, random cropping으로 인해 생성되었기 때문이다.
-
-이러한 문제를 해결하기 위해, 간단한 효과적인 방법을 제안한다. 데이터를 loading 할 때, 균등하게 $c_\text{top}$과 $c_\text{left}$ (높이 및 너비 축을 따라 왼쪽 상단 모서리에서 잘린 픽셀의 양을 지정하는 정수)를 샘플링한다. 그 후 Fourier feature 임베딩을 통해 conditioning 파라미터로써 모델에 입력한다. 위에서 언급한 size conditioning과 비슷하다. concat 된 임베딩 $c_\text{crop}$은 추가의 conditioning 파라미터로 사용된다.
-
-저자들은 LDM 뿐만 아니라 어떠한 DM에서도 사용될 수 있다고 강조한다. crop 및 size-conditioning은 쉽게 결합될 수 있다. 이러한 경우, crop 및 size-conditioning을 feature 임베딩을 채널 축에 concat 하고 UNet의 타임스텝 임베딩에 추가한다.
-
-## 2.3 Multi-Aspect Training
-
-일반적인 T2I 모델에서 결과물의 크기는 512x512, 1024x1024 로 얻을 수 있는데, 이는 현실 세계에서 부자연스럽다. 이유는 현실 세계에서는 다양한 크기, 비율을 가진 이미지가 많고, 풍경 같은 경우 16:9 비율의 크기를 지니고 있다.
-
-따라서, 다양한 비율을 동시에 다룰수 있도록 모델을 파인튜닝했다. 픽셀수를 1024x1024 만큼 수를 최대한 유지하면서 다양한 비율의 데이터를 사용했고, 64의 배수를 지니도록 했다.
-
-:::{figure-md} /Multi aspect ratio
-
-
-Multi aspect ratio
-:::
-
-최적화 동안, 학습 배치는 동일한 버킷(같은 비율의 이미지들?)의 이미지로 구성되며, 각 훈련 스텝마다 버킷 크기를 번갈아 가며 사용했다. 추가적으로, 모델은 버킷 크기(혹은 타겟 크기)를 conditioning으로 주었으며, 위에서 언급한 size, crop conditioning과 유사하게 Fourier 공간에 임베딩되는 $c_\text{ar}=(h_\text{tgt}, w_\text{tgt})$ 형태로 표현된다.
-
-실제로, 모델이 고정된 비율및 해상도의 데이터로 pretraining이 마친 후 파인튜닝 단계에서는 다양한 비율의 데이터로 학습했고, 채널 축으로 concat 하는 2.2절에서 소개한 conditioning 기술과 함께 결합했다. 이를 아래의 그림 16에서 코드로 확인할 수 있다.
-
-## 2.4 Improved Autoencoder
-
-SD는 LDM 중 하나이고, autoencoder의 latent space를 학습한다. semantic composition은 LDM으로부터 표현되지만 저자들은 local, high frequency 디테일한 부분을 향상하고자 autoencoder를 향상했다. 끝으로, 원래의 SD를 사용한 autoencoder 아키텍처에서 더 큰 배치사이즈(256 vs 9)로 학습했고 추가로 exponential moving average를 사용한 가중치를 사용했다. 결과 autoencoder의 성능이 reconstruction 메트릭에 좋은 결과를 가져왔다.
-
-:::{figure-md} Table 3
-
-
-Table 3
-:::
-
-## 2.5 Putting Everything Together
-
-학습 파라미터를 정리해주는 절입니다. diffusion time step은 1000 step을 사용했다. 우선, base model를 내부 데이터 셋으로 그림 2에 나와있는 높이-너비 분포에 맞게 학습을 시켰다. 600,000 step을 사용했으며, 256x256 사이즈로, 배치는 2048로, size & crop conditioning을 사용했다. 그 후 512x512 이미지를 추가로 200,000 최적화 step으로 학습시켰고, 마침내 offset 노이즈 [11, 25] 0.05 수준과 함께 다중 비율 학습을 활용하여 ~ 1024x1024 영역의 다양한 비율로 모델을 학습했다.
-
-### Refinement Stage
-
-:::{figure-md} Figure 6
-
-
-Figure 6
-:::
-
-경험적으로, 그림 6처럼 특정 부분 퀄리티가 낮은 샘플의 결과를 찾았다. 왼쪽 그림이 refinement stage 적용 전, 오른쪽 그림이 refinement stage를 적용한 그림이다.
-
-이를 해결하기 위해, 고품질, 고해상도 데이터에 특화된 latent space 내에서 별도의 LDM을 학습했다. 기본 모델의 샘플에 대해 SDEdit에서 도입한 노이즈 제거 과정을 사용했다. eDiff-I 방법을 따랐으며, 이를 첫 200 노이즈 스케일에 refinement 모델을 사용했다. inference에서, base SDXL에서 latent를 추출하고 바로 diffuse와 denoise를 refinement 모델에 넣었다. 이 스텝은 선택이지만 배경 및 사람 얼굴과 같은 디테일에서 향상된 결과(그림 6, 13)를 얻을 수 있었다.
-
-:::{figure-md} Figure 13
-
-
-Figure 13
-:::
+```{admonition} Information
+- **Title:** SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2307.01952](https://arxiv.org/abs/2307.01952)
+ - Code: [https://github.com/Stability-AI/generative-models](https://github.com/Stability-AI/generative-models)
+
+- **Author:** Jun-Hyoung Lee
+
+- **Last updated on May. 31. 2023**
+```
+
+# SDXL
+
+## Abstract
+
+SDXL은 T2I latent diffusion 모델이다. Stable Diffusion과 비교하면, SDXL은 세 배 더 큰 규모의 UNet을 포함한다. 더 많은 attention 블록과 더 큰 cross attention context 가 SDXL에서 두 번째 text encoder로 사용되면서 모델 파라미터가 증가했다. 다수의 새로운 conditioning 방법과 다양한 비율에 맞도록 SDXL을 학습할 수 있도록 설계했다. 또한 후처리 방식의 image to image 기술을 사용해 SDXL의 생성 샘플의 시각적인 fidelity를 향상시킨 refinement model을 소개한다. SDXL은 대폭 향상된 성능을 보여준다.
+
+:::{figure-md} SDXL result
+
+
+SDXL result
+:::
+
+## Introduction
+
+세 가지 주요 기능이라 볼 수 있는데,
+
+1. 3배 더 큰 UNet backbone,
+2. 어떤 형태의 추가 감독(supervision)없는 간단하면서도 효과적인 추가의 conditioning 기술
+3. noising-denoising 과정을 적용해 시각적 품질을 향상하는 latent를 생성할 수 있는 별개의 diffusion 기반 img-to-img refinement 모델을 포함한다.
+
+:::{figure-md} Figure 1
+
+
+Figure 1
+:::
+
+그림 1에서 왼쪽 그림을 보면 추가의 refinement 단계를 추가해 성능을 높인 SDXL이 기존 SD보다 성능이 우수한 것을 확인할 수 있다. 오른쪽 그림은 아키텍처를 시각화했는데, 128x128 크기의 latent를 생성한다. 그 후 고해상도 refinement 모델을 활용하고 동일한 프롬프트를 활용해 첫 번째 단계에서 생성된 latent를 SDEdit을 적용한다. SDXL과 refinement 모델은 동일한 autoencoder를 사용한다.
+
+:::{figure-md} Table 1
+
+
+Table 1
+:::
+
+SD와 다르게 UNet 내의 transformer 블록의 heterogeneous 분포를 사용했다는 점이다. 테이블 1을 참고하면 highest feature level에서 transformer 블럭을 사용했고, lower level에서는 2, 10 개의 블럭을 사용했고, UNet에서 lowest level(8x downsampling)을 제거했다. text conditioning을 위한 pretrained 된 text encoder를 사용했다. 특히, CLIP Vit-L과 함께 OpenCLIP ViT-bigG를 사용했고, 채널 축에 두 번째 text encoder의 output을 concat 했다. 게다가 text input으로 모델에 condition을 주기 위해 cross attention 레이어를 사용했으며, 또 OpenCLIP로부터 pooled text embedding을 모델에 condition으로 추가했다. 이러한 변화는 UNet의 파라미터 사이즈가 2.6B로 증가했다. text encoder는 817M 파라미터를 가지고 있다.
+
+## 2.2 Micro-Conditioning
+
+:::{figure-md} Figure 2
+
+
+Figure 2
+:::
+
+SD 1.4/1.5 같은 경우 512 픽셀 이하 크기의 이미지는 제외하고 학습을 시키거나, 너무 작은 이미지는 upscale하여 학습을 시켰다. 이는 학습할 때의 최소 크기가 정해지는 문제점이 발생한다. 따라서 성능을 저하시키거나, 일반화를 잘 못할 수 있다.
+
+그림 2를 보면 SDXL의 데이터 셋의 분포를 시각화해주는 그림이다. 제안된 size-conditiong 없이, 256x256 픽셀 크기 미만의 데이터가 39%나 달한다. upscale 하게 된다면 최종 결과물이 blur 한 결과를 가져와 좋지 않은 아티팩트가 생긴다.
+
+대신, 저자들은 원래의 이미지 해상도에서 UNet 모델에 condition을 주었다. 특히 어떠한 rescaling 전의 원래의 크기인 $c_\text{size}=(h_\text{original}, w_\text{original})$를 제공해 추가의 condition을 줄 수 있게 했다. UNet의 denoising 할 때의 condition으로 추가된다.
+
+Inference 때, 사용자가 size-conditioning을 통해 해상도를 정할 수 있다. 모델은 conditioning 크기를 해상도에 의존적인 이미지 feature과 연관시키도록 하는 방법을 학습했다.
+
+:::{figure-md} Figure 3
+
+
+Figure 3
+:::
+
+또 ImageNet으로 평가를 진행해 size-conditiong에 대한 우수성을 입증했다.
+
+:::{figure-md} Table 2
+
+
+Table 2
+:::
+
+_CIN-512-only_ 는 512 미만의 이미지를 제외하고 학습을 시켰고(70k 장), _CIN-nocond_ 는 모든 ImageNet 이미지를 사용했으며, _CIN-size-cond_ 는 추가 size-condition을 사용했다. 표 2에서 보다시피 _CIN-size-cond_ 모델이 FID, IS 모두 높은 성능을 보였다.
+
+### Conditioning the Model on Cropping Parameters
+
+:::{figure-md} Figure 4
+
+
+Figure 4
+:::
+
+그림 4에서 SD 같은 경우 고양이 머리가 잘려진 결과를 얻었다. 이러한 이유는 학습할 때, random cropping으로 인해 생성되었기 때문이다.
+
+이러한 문제를 해결하기 위해, 간단한 효과적인 방법을 제안한다. 데이터를 loading 할 때, 균등하게 $c_\text{top}$과 $c_\text{left}$ (높이 및 너비 축을 따라 왼쪽 상단 모서리에서 잘린 픽셀의 양을 지정하는 정수)를 샘플링한다. 그 후 Fourier feature 임베딩을 통해 conditioning 파라미터로써 모델에 입력한다. 위에서 언급한 size conditioning과 비슷하다. concat 된 임베딩 $c_\text{crop}$은 추가의 conditioning 파라미터로 사용된다.
+
+저자들은 LDM 뿐만 아니라 어떠한 DM에서도 사용될 수 있다고 강조한다. crop 및 size-conditioning은 쉽게 결합될 수 있다. 이러한 경우, crop 및 size-conditioning을 feature 임베딩을 채널 축에 concat 하고 UNet의 타임스텝 임베딩에 추가한다.
+
+## 2.3 Multi-Aspect Training
+
+일반적인 T2I 모델에서 결과물의 크기는 512x512, 1024x1024 로 얻을 수 있는데, 이는 현실 세계에서 부자연스럽다. 이유는 현실 세계에서는 다양한 크기, 비율을 가진 이미지가 많고, 풍경 같은 경우 16:9 비율의 크기를 지니고 있다.
+
+따라서, 다양한 비율을 동시에 다룰수 있도록 모델을 파인튜닝했다. 픽셀수를 1024x1024 만큼 수를 최대한 유지하면서 다양한 비율의 데이터를 사용했고, 64의 배수를 지니도록 했다.
+
+:::{figure-md} /Multi aspect ratio
+
+
+Multi aspect ratio
+:::
+
+최적화 동안, 학습 배치는 동일한 버킷(같은 비율의 이미지들?)의 이미지로 구성되며, 각 훈련 스텝마다 버킷 크기를 번갈아 가며 사용했다. 추가적으로, 모델은 버킷 크기(혹은 타겟 크기)를 conditioning으로 주었으며, 위에서 언급한 size, crop conditioning과 유사하게 Fourier 공간에 임베딩되는 $c_\text{ar}=(h_\text{tgt}, w_\text{tgt})$ 형태로 표현된다.
+
+실제로, 모델이 고정된 비율및 해상도의 데이터로 pretraining이 마친 후 파인튜닝 단계에서는 다양한 비율의 데이터로 학습했고, 채널 축으로 concat 하는 2.2절에서 소개한 conditioning 기술과 함께 결합했다. 이를 아래의 그림 16에서 코드로 확인할 수 있다.
+
+## 2.4 Improved Autoencoder
+
+SD는 LDM 중 하나이고, autoencoder의 latent space를 학습한다. semantic composition은 LDM으로부터 표현되지만 저자들은 local, high frequency 디테일한 부분을 향상하고자 autoencoder를 향상했다. 끝으로, 원래의 SD를 사용한 autoencoder 아키텍처에서 더 큰 배치사이즈(256 vs 9)로 학습했고 추가로 exponential moving average를 사용한 가중치를 사용했다. 결과 autoencoder의 성능이 reconstruction 메트릭에 좋은 결과를 가져왔다.
+
+:::{figure-md} Table 3
+
+
+Table 3
+:::
+
+## 2.5 Putting Everything Together
+
+학습 파라미터를 정리해주는 절입니다. diffusion time step은 1000 step을 사용했다. 우선, base model를 내부 데이터 셋으로 그림 2에 나와있는 높이-너비 분포에 맞게 학습을 시켰다. 600,000 step을 사용했으며, 256x256 사이즈로, 배치는 2048로, size & crop conditioning을 사용했다. 그 후 512x512 이미지를 추가로 200,000 최적화 step으로 학습시켰고, 마침내 offset 노이즈 [11, 25] 0.05 수준과 함께 다중 비율 학습을 활용하여 ~ 1024x1024 영역의 다양한 비율로 모델을 학습했다.
+
+### Refinement Stage
+
+:::{figure-md} Figure 6
+
+
+Figure 6
+:::
+
+경험적으로, 그림 6처럼 특정 부분 퀄리티가 낮은 샘플의 결과를 찾았다. 왼쪽 그림이 refinement stage 적용 전, 오른쪽 그림이 refinement stage를 적용한 그림이다.
+
+이를 해결하기 위해, 고품질, 고해상도 데이터에 특화된 latent space 내에서 별도의 LDM을 학습했다. 기본 모델의 샘플에 대해 SDEdit에서 도입한 노이즈 제거 과정을 사용했다. eDiff-I 방법을 따랐으며, 이를 첫 200 노이즈 스케일에 refinement 모델을 사용했다. inference에서, base SDXL에서 latent를 추출하고 바로 diffuse와 denoise를 refinement 모델에 넣었다. 이 스텝은 선택이지만 배경 및 사람 얼굴과 같은 디테일에서 향상된 결과(그림 6, 13)를 얻을 수 있었다.
+
+:::{figure-md} Figure 13
+
+
+Figure 13
+:::
diff --git a/_sources/docs/review/Shap-E.md b/_sources/docs/review/Shap-E.md
index e1cfa534..f84a0d7c 100755
--- a/_sources/docs/review/Shap-E.md
+++ b/_sources/docs/review/Shap-E.md
@@ -1,359 +1,359 @@
-```{admonition} Information
-- **Title:** Shap-E: Generating Conditional 3D Implicit Function
-
-- **Reference**
- - Paper: [https:arxiv.org/abs/2305.02463](https:arxiv.org/abs/2305.02463)
- - Code: [https:github.com/openai/shap-e](https:github.com/openai/shap-e)
-
-- **Author:** Kyeongmin Yu
-
-- **Last updated on July. 18. 2024**
-```
-
-# Shap-E
-
-:::{figure-md}
-
-
-Shap-E를 통해 생성한 3D assets
-:::
-
-# 0. Abstract
->📌 **논문요약**\
-> 2023년 openai의 [Heewoo Jun](https:arxiv.org/search/cs?searchtype=author&query=Jun,+H), [Alex Nichol](https:arxiv.org/search/cs?searchtype=author&query=Nichol,+A) 가 발표한 논문입니다. official code는 [github](https:github.com/openai/shap-e/tree/main)에서, diffusers를 활용한 코드는 [huggingface](https:huggingface.co/docs/diffusers/en/api/pipelines/shap_e)에서 확인할 수 있습니다. \
->**목적 -** 조건부 3D assets 생성 \
->**생성방식 -** encoder를 통해 implicit function의 parameter 형태로 표현한 후, 이를 diffusion model의 조건으로 사용함으로써 conditional 3D assets을 생성할 수 있도록 했다.\
->**차별점 -** texture mesh 나 NeRF 모두 생성 가능한 implicit function의 parameters를 직접적으로 생성할 수 있다. (다른 3D 생성 모델의 경우 단일 표현만 가능한 경우가 많다고 합니다.)
-
-# 1. Introduction
-
-implicit neural representations (INRs)는 3D assets을 인코딩하는 방식으로 많이 사용된다. 3D asset을 표현하기 위해 INRs는 주로 3D coordinate를 location specific info(density, color)로 맵핑한다. 일반적으로 INRs는 화질에 영향을 받지 않는데 이는 고정된 grid나 sequence가 아닌 arbitrary input points를 처리할 수 있기 때문이다. 덕분에 end-to-end 미분이 가능하다. INRs은 이후 다양한 downstream applications도 가능하게 한다. 본 논문에서는 2가지 타입의 INRs을 다룬다.
-
-- **Neural Radiamce Field (NeRF)** - 3D scene을 function mapping으로 표현.
- - coordinate, viewing direction $\rightarrow$ density, colors along camera rays
-- **textured 3D mesh** (DMTet, GET3D)
- - coordinate $\rightarrow$ colors, signed distances, vertex offsets
- - INRs는 삼각메쉬를 생성할 때 사용될 수 있다.
-
-이미지, 비디오, 오디오, 3D assets 생성에 관한 다양한 연구가 있지만 downstream application에서 사용하기 편한 형태로 3D assets을 표현하는 방법에 대한 연구는 부족하다. 본 논문은 단일 representation으로 부터 두가지 형태로 rendering 가능하게 했다는 특징이 있다.
-
-# 2. Background
-
-## 2.1 Neural Radiance Fields (NeRF)
-
-Mildenhall et al. 는 아래와 같이 NeRF(3D scene을 implicit function으로 표현하는 방법)를 제안했다.
-
-$$
-F_{\Theta} : (\mathbf{x},\mathbf d)↦(\mathbf c,\sigma) \tag{1}
-$$
-
-$x$ 는 3D 공간 좌표, $d$ 는 3D 시야 각도, $c$ 는 RGB, $\sigma$ 는 density($\ge 0$) 이다. $F_\Theta$ 는 편의를 위해 $\sigma(x)$ 와 $c(x,d)$ 두개의 식으로 나누어 표현했다.
-
-새로운 시야에서 바라본 scene 을 렌더링하기 위해서, 아래와 같이 각 ray에 맞는 color값을 계산한다.
-
-$$
-\hat C(\mathbf r)=\int^\infty_0 T(t)\sigma(\mathbf R(t))\mathbf c(\mathbf r(t),\mathbf d)dt, \space \text{where} \space T(t)=\text{exp}\Big(-\int^\infty_0 \sigma(\mathbf r(s))ds\Big) \tag{2}
-$$
-
-- 수식(2) 설명
-
- :::{figure-md}
- 
-
- 수식 (2) 보충설명
- :::
-
-위의 적분식을 아래와 같이 discrete sum으로 간략화 할 수 있다.
-
-$$
-\hat C(\mathbf r)=\sum^N_{i=1} T_i(1-\text{exp}(-\sigma(\mathbf r(t_i))\delta_t))\mathbf c (\mathbf r(t_i),\mathbf d), \space \text{where} \space T_i=\text{exp}\Big(-\sum^{i-1}_{j=1} \sigma(\mathbf r(t_j))\delta_j\Big) \tag{3}
-$$
-
-구간을 나누는 방식은 중요한 부분으로 coarse와 fine 두단계로 나누어 더 세부적으로 sequence를 나눈다. 2개의 NeRF 모델을 이용하여 2번의 sampling을 한다.
-
-$$
-w_i \sim T_i(1-\text{exp}(-\sigma(\mathbf r(t_i))\delta_i))\tag{4}
-$$
-
-본 논문에서는 ray의 transmittance를 아래와 같이 추가적으로 정의하였다. 이는 직관적으로 ray의 alpha값이나 opacity의 총합에 해당한다.
-
-$$
-\hat T(\mathbf r)=1-\text{exp}\Big(-\sum^N_{i=1}\sigma(\mathbf r(t_i))\delta_i\Big)\tag{5}
-$$
-
-- 수식(5) 설명
-
- :::{figure-md}
- 
-
- 수식 (5) 보충 설명
- :::
-
-
-
-
-## 2.2 Signed Distance Functions and Texture Field (STF)
-
-본 논문에서 STF는 signed distances와 texture colors 두가지 모두를 생성하는 implicit function을 의미한다. 이번 섹션에서는 이러한 implicit function이 meshes를 구성하고 rendering을 만드는 방식을 설명한다.
-
-:::{figure-md}
-
-
-point cloud, voxel, polygon mesh의 비교 \
-source - 3D Vision with Transformers: A Survey
-:::
-
-**Signed Distance Functions (SDFs)**는 3D shape을 scaler field에서 표현하는 전통적인 방법중 하나다. 특히 SDF $f$는 coordinate $x$를 scaler 로 mapping한다. ($f(\mathbf x)=d$) 여기서 $d$는 특정 위치 $x$에서 가장 가까운 물체의 표면까지의 거리를 말한다. $d$가 0보다 작으면 해당 물체 외부임을 의미한다. 이러한 정의에 따라 $f(\mathbf x)=0$ 일때는 물체의 표면을 의미한다. $\text{sign}(d)$는 표면에 따른 normal orientation을 의미한다.
-
-- DMTet : SDFs를 활용하여 3D shape을 생성하는 모델. coarse voxel을 입력으로 받아 synthesized shape(SDF, tetrahedral)을 만들어 낸다. DMTet의 출력은 dense spatial grid에서의 각 vertex $v_i$별 SDF 값 $s_i$와 displacement $\vartriangle v_i$ 이다. 이후 설명 생략
-
-- GET3D : DMTet에 추가적인 texture 정보까지도 생성하는 모델이다. 물체의 표면의 지점 $p$ 마다 RGB color를 예측하는 모델을 따로 학습시켜 texture를 만들었다. 이후 설명 생략
-
-:::{figure-md}
-
-
-texture, bump, displacement의 비교 \
-source - [tutorials in grabcad](https:grabcad.com/tutorials/adding-textures-to-3d-models-texture-bump-and-displacement-mapping-how-to-make-photo-realistic-models)
-:::
-
-bump는 lighting 을 고려하여 texture가 더 자연스러워 졌지만 구의 표면을 보면 물체의 형태가 실제로 바뀐것은 아님을 알수 있다.displacement를 보면 texture를 따라 물체의 표면이 변화된것을 볼 수 있다.
-
-## 2.3 Diffusion Models
-
-본 논문에서 활용한 diffusion model은 DDPM으로 diffusion process(noising process)를 data sample $x_0$ 에 gaussian noise를 서서히 추가하여 완전한 노이즈가 되어가는 과정 $(x_1,x_2,…x_T)$ 으로 표현했다. 일반적으로 $x_T$는 gaussian noise와 구분불가능한 상태로 상정한다. 해당 과정은 sequential하게 진행되지만 활용시에는 아래의 식과 같이 특정 단계로 바로 “jump”하는 방식을 이용한다.
-
-$$
-x_t=\sqrt{\bar\alpha_t}x_0+\sqrt{1-\bar\alpha_t}\epsilon\tag{6}
-$$
-
-$\epsilon$ 은 랜덤한 노이즈를 의미하고, $\bar\alpha_t$는 단조감소하는 노이즈 스케줄을 의미한다. ($t=0$ 일때는 sample data가 되어야 하므로 $\bar\alpha_0=1$)
-
-모델 $\epsilon_\theta$를 학습할때는 아래의 손실함수를 사용한다.
-
-$$
-L_{\text{simple}}=E_{x_0\sim q(x_0),\epsilon\sim\mathcal N(0,\mathbf I),t\sim U[1,T]}\|\epsilon -\epsilon_\theta (x_t,t)\|^2_2\tag{7}
-$$
-
-아래와 같이 표현할 수도 있는데 Shap-E 논문에서는 아래의 식을 활용하였다. 위는 (모델이 예측하는 노이즈, diffusion process에서 더해진 노이즈)의 차이를 줄이는 방향으로 학습한다는 의미이고, 아래는 (data sample $x_0$, 모델이 예측한 노이즈를 제거하여 만든 이미지)의 차이를 줄이는 방향으로 학습한다는 의미이다.
-
-$$
-L_{x_0}=E_{x_0\sim q(x_0),\epsilon\sim\mathcal N(0,\mathbf I),t\sim U[1,T]}\|x_\theta (x_t,t)-x_0\|^2_2\tag{8}
-$$
-
-denosing시에는 높은 퀄리티와 적당한 latency를 위해 Heun sampler와 classifier-free guidance를 사용했다.
-
-$$
-\hat x_\theta(x_t,t|y)=x_\theta(x_T,t)+s\space\cdot\space (x_\theta(x_t,t|y)-x_\theta(x_t,t)) \tag{9}
-$$
-
-$s$ 는 guidance scale이고 $s=0, s=1$ 일때는 regular unconditional, conditional sampling을 뜻한다. $s$ 를 더 키우면 일관성(coherence)은 커지지만 다양성(diversity)이 떨어질 수 있다. 실험적으로 나은 결과물을 얻기 위해서는 guidance가 필요하다는 것을 알아냈다. (section 5의 figure 4 참고)
-
-## 2.4 Latent Diffusion
-
-continuous latent space에서도 diffusion을 활용하여 샘플들을 생성할 수 있다. 이는 Stable Diffusion(LDM)에서 제안된 것으로, pixel space와 latent space간의 변환을 담당하는 encoder와 decoder를 추가하여 two-stage방식으로 모델을 학습시키면 된다. 앞서 봤던 노이즈를 예측을 담당하는 모델 $\epsilon_\theta$는 latent space에서 추가된 노이즈(latent noise)를 예측하게 되는 것이다. original LDM에서는 latent noise를 원본 이미지 보다 낮은 복잡도(lower-dimensional distribution)를 가지도록 KL penalty나 vector quantization layer를 사용했다.
-
-본 논문에서도 위와 유사한 방식을 사용했으나 GAN-based objective와 perceptual loss를 사용하지 않고 단순히 $L_1$, $L_2$ reconstruction loss를 사용했다. 또한 KL regularization과 vector quantization은 bottleneck이 되므로 고정된 numerical range를 가지도록 하고 diffusion style의 noise를 추가 했다.
-
-# 3. Related Work
-
-- Point-E
-- 3D auto-encoder + implicit decoder
- - Fu et al. [16] - SDF sample grid를 encode, implicit decoder의 condition으로 사용.
- - Sanghi et al. [54] - voxel grid를 encode, implicit occupancy network의 condition으로 사용.
- - Liu et al. [34] - voxel-based encoder와 implicit occupancy, color decoder를 학습.
- - Kosiorek et al. [30] - rendered view을 encode, encoding된 latent vector를 NeRF의 condition으로 사용.
- - Chen and Wang [6] - transformer기반 모델을 사용하여 rendered view에서 MLP parameter를 곧바로 생성.
-- 학습된 encoder 없이 implicit 3D representation을 생성하는것을 목표로 하는 모델들
- - Park et al. [43] - auto decoder를 학습. 데이터셋 내의 각 샘플의 embedding vector table을 학습.
- - Bautista et al. [4] - NeRF decoder를 조건으로 scene 별 latent code를 학습.
- - Dupont et al. [12] - implicit function을 학습하기 위해 meta learning 활용.
- - Erkoç et al. [14] - implicit MLP weight를 곧바로 생성하기 위해 diffusion을 활용.
- - akin to [12] - NeRF parameter fitting을 필요로 함.
- - Wang et al. [66] - 데이터셋 내의 각 샘플의 개별 NeRF를 joint 학습.
-
-# 4. Method
-
-
->📌 훈련 방법 \
->two stage 방식으로 Shap-E를 학습시킨다.\
->**Stage 1. train an encoder** \
->**Stage 2. train a conditional diffusion model on outputs of the encoder**
-
-
-## 4.1 3D Encoder
-
-:::{figure-md}
-
-
-3D Encoder의 구조
-:::
-
-**encoder의 input :** (point clouds, rendered views) \
-**encoder의 output :** MLP의 parameter
-
-> 입력 representation의 세부 특성 \
-> Point-E와 비교하였을때, post-processing 방식을 변경하여 3D Asset별 사용하는 RGB point cloud의 point 개수를 늘이고, 더 많은 view를 256x256 크기로 렌더링 하여 사용했다. 구체적으로는 다음과 같다.
-> - Point Clouds: 기존 4K -> 16K
-> - Multiview point clouds: 기존 20 views -> 60 views (20개의 view를 사용한 경우 생성된 pointcloud에 crack이 발생했다고 함)\ view 렌더링시 조명과 물체표면의 특성을 간략화했다.
-
-
-encoder에서 얻은 parameter는 implicit function에서 asset의 representation을 의미한다. (+의미상 다양한 형태로 입력받은 3D asset의 특성을 융합하여 하나로 표현한 것, 논문의 장점으로 NeRF와 point cloud 모두를 얻을수 있다고 했으므로 상당히 의도가 느껴지는 입력으로 보인다. )
-
-:::{figure-md}
-
-
-pseudocode
-:::
-
-encoder에 입력된 point clouds와 views는 cross-attention과 transformer backbone에 의해 처리되어 sequence of vectors가 된다. 이후 latent bottleneck과 projection layer를 통과하여 MLP weight matrices를 만든다.
-
-encoder는 NeRF rendering objective를 사용(Section 4.1.1 참고)하여 사전 학습한다. mesh-based objective를 이용한 사전학습시 보다 더 안정적인 결과물을 얻을 수 있었다고 한다. 이후에는 SDF와 texture color prediction을 위해 추가적인 output head를 넣어 Section 4.1.2와 같이 two-stage 방식으로 head들을 학습시킨다.
-
-### 4.1.1 Decoding with NeRF Rendering
-
-original NeRF의 식과 유사하지만 coarse net과 fine net이 parameter들을 공유할 수 있도록 하지는 않았다. 랜덤한 4096개의 ray를 각 학습 데이터에서 샘플링하였으며, $L_1$ loss가 최소가 되도록 했다. (original NeRF에서는 $L_2$ loss를 사용)
-
-$$
-L_{\mathbf{RGB}}=E_{\mathbf r\in R}[\|\hat C_c(\mathbf r)-C(\mathbf r)\|_1+\|\hat C_f(\mathbf r)-C(\mathbf r)\|_1] \tag{10}
-$$
-
-여기에 추가적으로 각 ray의 transmittance에 대한 손실함수를 추가했다. 특히, 한 ray의 density 적분값(integrated density)을 통해 얻은transmittance로 coarse rendering과 fine rendering시 $\hat T_c(r)$ 와 $\hat T_f(r)$를 예측하였다. ground truth로는 gt rendering결과의 alpha channel을 사용하였다. 이 손실함수는 아래와 같이 표현할 수 있다. (+NeRF의 경우 novel view를 만드는 것이 목적이었으나 본 논문은 mesh도 생성해야 하므로 노이즈 제거가 더욱 중요하였을 것으로 생각된다.)
-
-$$
-L_T=E_{\mathbf r\in R}[\|\hat T_c(\mathbf r)-T(\mathbf r)\|_1 +\|\hat T_f(\mathbf r)-T(\mathbf r)\|_1]\tag{11}
-$$
-
-최종적으로는 두 손실함수를 합하여 최적화를 진행하였다.
-
-$$
-L_\text{NeRF}=L_\text{RGB}+L_T \tag{12}
-$$
-
-### 4.1.2 Decoding with STF Rendering
-
-:::{figure-md}
-
-
-texture, bump, displacement의 비교 \
-source - https:grabcad.com/tutorials/adding-textures-to-3d-models-texture-bump-and-displacement-mapping-how-to-make-photo-realistic-models
-:::
-
-NeRF 방식을 통해 사전학습한 후, MLPs에 STF output heads를 추가한다. 이러한 MLPs는 SDF와 texture color를 예측한다. triangle mesh를 생성하기 위해서는 각 vertex의 SDF를 regular $128^3$ grid로 옮겨 미분가능한 형태의 Marching Cube를 진행해야 한다. 이후 texture color는 최종 mesh의 각 vertex texture color head를 통해 얻는다. Pytorch 3D를 활용하면 미분가능한 rendering을 통해 textured mesh를 얻을 수 있다고 한다. 렌더링 시에는 데이터셋 구축시 preprocessing에 사용한 것과 동일한 lighting 조건을 사용했다.
-
-사전 실험시 랜덤 초기화된 STF output heads를 사용했을 때는 결과가 불안정 했으며, rendering based objective를 사용하여 학습하는 것이 어려웠다. 해당 문제를 완화하기 위해 SDF와 texture color를 해당 output heads를 직접 학습시키기 전에 distill 접근법을 사용했다. Point-E의 regression model을 활용하여 입력 좌표를 랜덤하게 샘플링하고, SDF distillation target을 구했다. 그리고 RGB target로는 asset RGB point cloud에서 특정위치 $x$와 가장 가까운(nearest neighbor) point의 색을 사용했다. distillation training 시 distillation loss와 NeRF loss를 더하여 사용했다.
-
-$$
-L_\text{distill}=L_\text{NeRF}+E_{\mathbf x\sim U[-1,1]^3}[\|\text{SDF}_\theta(\mathbf x)-\text{SDF}_\text{regression}(\mathbf x)\|_1+\|\text{RGB}_\theta(\mathbf x)-\text{RGB}_\text{NN}(\mathbf x)\|_1]
-\tag{13}
-$$
-
-STF output heads가 distillation을 통해 적절한 초기값을 갖게된 후, NeRF encoder와 STF rendering 전체를 end-to-end로 fine-tune한다. 실험적으로 STF rendering에는 $L_1$을 사용하는 것은 불안정했으므로 $L_2$ 손실함수만 사용하는 것이 이러한 rendering 방식에 적절함을 알 수 있었다. STF rendering에 사용한 loss는 아래와 같다.
-
-$$
-L_\text{STF}=\frac{1}{N\space \cdot\space s^2}\sum^N_{i=1}\|\text{Render}(\text{Mesh}_i)-\text{Image}_i\|^2_2\tag{14}
-$$
-
-+ mesh를 렌더링한 이미지와 target 이미지의 L2 reconstruction loss의 평균
-
-N은 이미지 개수, s는 이미지의 화질, $\text{Mesh}_i$는 $\text{sample}_i$의 constructed mesh를 말한다. $\text{Image}_i$는 RGBA rendering된 결과물로 alpha채널을 포함하고 있기 때문에 transmittance에 대한 loss를 따로 추가하지 않았다.
-
-최종 fine-tuning 단계에서는 아래와 같이 더한 objective function을 사용한다.
-
-$$
-L_\text{FT}=L_\text{NeRF}+L_\text{STF}\tag{15}
-$$
-
-## 4.2 Latent Diffusion
-
-Point-E의 transformer 기반 diffusion 구조를 채택했다. 하지만 point cloud를 latent vector의 sequence로 바꾸었다. latent sequences의 크기는 $1024\times1024$ 로 이를 길이가 1024인 1024개의 token처럼 transformer의 입력으로 사용했다. 각 token은 MLP weight matrices의 각 row와 일치한다. Shap-E의 모델은 Point-E base 모델과 유사한 부분이 많다.(context length와 width가 동일) 하지만 더 고차원의 샘플(samples in higher-dimensional)을 생성하는데 이는 입출력 채널의 복잡도(dimension)가 증가하였기 때문이다.
-
-Point-E의 conditioning 방식을 동일하게 사용하였다. 이미지 조건부 3d 생성시 256-token CLIP embedding sequence를 transformer context로 사용했으며, 텍스트 조건부 3d 생성시 single token을 사용했다.
-
-Point-E와의 차이점으로는 diffusion model의 출력을 $\epsilon$ prediction으로 parameterize하지 않았다는 것이다. 대신 본 논문에서는 곧바로 sample을 예측하는 방식을 사용했다. 대수적으로는 동일한 의미이나 초기 실험에서 더 일관된 결과물을 생성하여 해당 방식을 사용하였다고 함.
-
-## 4.3 Dataset
-
-공정한 비교를 위해 대부분의 실험에서 Point-E와 동일한 3D assets을 사용했다. 하지만 post-processing부분에서는 차이가 있다.
-
-- point cloud 계산시, 20개가 아닌 60개의 view를 rendering했다. 20개만 사용했을때 주어진 view에서 확인할 수 없는 영역때문에 crack 발생 (+NeRF 때문으로 추정)
-- point cloud를 4K 가아닌 16K의 point로 만들었다.
-- encoder학습을 위한 view를 렌더링 할때 단순한 소재와 라이팅을 사용하였다. 특히 모든 모델은 동일한 고정된 라이팅 조건내에서 렌더링 되었다. ambient와 diffuse shading만 사용 (+반사광이 고려되지 않아 표면이 매끈한 물체는 생성하기 어려울 것으로 추정됨)
-
- :::{figure-md}
- 
-
- Phong model \
- 기본적인 shading방식으로 본 논문에서는 specular를 사용하지 않았다 \
- source - [Realistic_Visualisation_of_Endoscopic_Surgery_in_a_Virtual_Training_Environment](https:www.researchgate.net/publication/265514880_Realistic_Visualisation_of_Endoscopic_Surgery_in_a_Virtual_Training_Environment)
- :::
-
-text 조건부 모델과 해당 Point-E baseline을 위해 데이터 셋을 더욱 확장했다. 이 데이터 셋을 위해 대략 100만개의 3D assets과 12만개의 (human labeled)caption을 추가로 수집했다.
-
-# 5. Result
-
-## 5.1 Encoder Evaluation
-
-:::{figure-md}
-
-
-각 스테이지 별 훈련 이후 encoder 성능평가
-:::
-
-
-distillation에서 rendering 이미지의 퀄리티가 떨어지는 것처럼 보이나 finetuning시 퀄리티가 더욱 좋아진다. 또한 STF의 퀄리티 또한 크게 상승한다.
-
-## 5.2 Comparison to Point-E
-
-:::{figure-md}
-
-
-Shap-E와 Point-E비교\
-세모 마크가 Point-E, 원형 마크가 Shap-E이다.
-:::
-
-point-E보다 Shap-E의 CLIP score가 더 높다. 더 많은수의 parameter를 가진 point-E를 사용하여도 Shap-E의 성능이 우수함.
-
-두 평가 지표 모두 OpenAI의 CLIP (Contrastive Language-Image Pretraining) 모델을 활용한 평가 지표로 CLIP score의 경우 주어진 텍스트와 생성결과의 일관성을 평가하기 위한 것이고, CLIP R precision의 경우 생성결과와 참조 이미지가 얼마나 비슷한지 평가하기 위한 것이다.
-
-:::{figure-md}
-
-
-Shap-E와 Point-E비교
-:::
-동일한 base model의 크기 동일한 데이터셋으로 학습시킨 결과. 텍스트 조건부 생성시에는 퀄리티 차이가 크지 않음.
-
-:::{figure-md}
-
-
-Shap-E와 Point-E비교
-:::
-이미지 조건부 생성시에는 비교적 차이가 크다.
-벤치 결과를 보면 point-E에서 나무사이 빈공간을 무시해버린것을 볼수 있다.
-위의 강아지와 컵 이미지 기반 생성 결과를 보면 point-E와 shap-E가 유사한 케이스에서 실패하는 모습을 보였다.
-
-## 5.3 Comparison to Other Methods
-:::{figure-md}
-
-
-COCO 데이터셋을 이용한 비교결과
-:::
-reference latency에서 point-E와 Shap-E의 차이가 있는데, 이는 Shap-E는 추가적인 upsampling diffusion model을 사용하지 않기 때문이다.
-
-# 6. Limitations and Future Work
-
-:::{figure-md}
-
-
-텍스트 조건부 생성 결과
-:::
-왼쪽 그림과 같이 여러가지 특성을 가진물체를 생성하는데에 어려움을 겪는 모습을 보인다. 이는 학습에 사용한 paired data가 제한적이기 때문으로 더 많은 3D dataset을 수집하면 나아질 수 있다. 또한 texture의 세부 특성을 encoder가 무시하는 경우도 있는데, 더 나은 encoder를 사용함으로써 개선될수 있다.
-
-Shap-E는 다양한 3D 생성 기술들을 융합하는데에 도움을 줄 수 있다. 예를 들어 Shap-E로 생성한 NeRF와 mesh를 다른 최적화 기반 모델을 초기화 하는데 사용하는 것이다. 이를 통해 더 빠른 수렴도 가능할 것으로 생각된다.
-
-# 7. Conclusion
-
-Shap-E는 latent diffusion model을 3D implicit function공간에서 전개하여 NeRF와 textured mesh 모두를 생성 할 수 있었다. 동일한 데이터셋을 활용하여 다른 생성모델들과 비교하였을때 더 나은 성능을 보임을 확인했다. 또한 text 조건부 생성시 이미지 없이도 다양한 흥미로운 물체를 생성할 수 있음확인했다. 이는 implicit represention을 생성함에 큰 가능성을 보여준다.
-
-# 8. Acknowledgements
-
+```{admonition} Information
+- **Title:** Shap-E: Generating Conditional 3D Implicit Function
+
+- **Reference**
+ - Paper: [https:arxiv.org/abs/2305.02463](https:arxiv.org/abs/2305.02463)
+ - Code: [https:github.com/openai/shap-e](https:github.com/openai/shap-e)
+
+- **Author:** Kyeongmin Yu
+
+- **Last updated on July. 18. 2024**
+```
+
+# Shap-E
+
+:::{figure-md}
+
+
+Shap-E를 통해 생성한 3D assets
+:::
+
+# 0. Abstract
+>📌 **논문요약**\
+> 2023년 openai의 [Heewoo Jun](https:arxiv.org/search/cs?searchtype=author&query=Jun,+H), [Alex Nichol](https:arxiv.org/search/cs?searchtype=author&query=Nichol,+A) 가 발표한 논문입니다. official code는 [github](https:github.com/openai/shap-e/tree/main)에서, diffusers를 활용한 코드는 [huggingface](https:huggingface.co/docs/diffusers/en/api/pipelines/shap_e)에서 확인할 수 있습니다. \
+>**목적 -** 조건부 3D assets 생성 \
+>**생성방식 -** encoder를 통해 implicit function의 parameter 형태로 표현한 후, 이를 diffusion model의 조건으로 사용함으로써 conditional 3D assets을 생성할 수 있도록 했다.\
+>**차별점 -** texture mesh 나 NeRF 모두 생성 가능한 implicit function의 parameters를 직접적으로 생성할 수 있다. (다른 3D 생성 모델의 경우 단일 표현만 가능한 경우가 많다고 합니다.)
+
+# 1. Introduction
+
+implicit neural representations (INRs)는 3D assets을 인코딩하는 방식으로 많이 사용된다. 3D asset을 표현하기 위해 INRs는 주로 3D coordinate를 location specific info(density, color)로 맵핑한다. 일반적으로 INRs는 화질에 영향을 받지 않는데 이는 고정된 grid나 sequence가 아닌 arbitrary input points를 처리할 수 있기 때문이다. 덕분에 end-to-end 미분이 가능하다. INRs은 이후 다양한 downstream applications도 가능하게 한다. 본 논문에서는 2가지 타입의 INRs을 다룬다.
+
+- **Neural Radiamce Field (NeRF)** - 3D scene을 function mapping으로 표현.
+ - coordinate, viewing direction $\rightarrow$ density, colors along camera rays
+- **textured 3D mesh** (DMTet, GET3D)
+ - coordinate $\rightarrow$ colors, signed distances, vertex offsets
+ - INRs는 삼각메쉬를 생성할 때 사용될 수 있다.
+
+이미지, 비디오, 오디오, 3D assets 생성에 관한 다양한 연구가 있지만 downstream application에서 사용하기 편한 형태로 3D assets을 표현하는 방법에 대한 연구는 부족하다. 본 논문은 단일 representation으로 부터 두가지 형태로 rendering 가능하게 했다는 특징이 있다.
+
+# 2. Background
+
+## 2.1 Neural Radiance Fields (NeRF)
+
+Mildenhall et al. 는 아래와 같이 NeRF(3D scene을 implicit function으로 표현하는 방법)를 제안했다.
+
+$$
+F_{\Theta} : (\mathbf{x},\mathbf d)↦(\mathbf c,\sigma) \tag{1}
+$$
+
+$x$ 는 3D 공간 좌표, $d$ 는 3D 시야 각도, $c$ 는 RGB, $\sigma$ 는 density($\ge 0$) 이다. $F_\Theta$ 는 편의를 위해 $\sigma(x)$ 와 $c(x,d)$ 두개의 식으로 나누어 표현했다.
+
+새로운 시야에서 바라본 scene 을 렌더링하기 위해서, 아래와 같이 각 ray에 맞는 color값을 계산한다.
+
+$$
+\hat C(\mathbf r)=\int^\infty_0 T(t)\sigma(\mathbf R(t))\mathbf c(\mathbf r(t),\mathbf d)dt, \space \text{where} \space T(t)=\text{exp}\Big(-\int^\infty_0 \sigma(\mathbf r(s))ds\Big) \tag{2}
+$$
+
+- 수식(2) 설명
+
+ :::{figure-md}
+
+
+ 수식 (2) 보충설명
+ :::
+
+위의 적분식을 아래와 같이 discrete sum으로 간략화 할 수 있다.
+
+$$
+\hat C(\mathbf r)=\sum^N_{i=1} T_i(1-\text{exp}(-\sigma(\mathbf r(t_i))\delta_t))\mathbf c (\mathbf r(t_i),\mathbf d), \space \text{where} \space T_i=\text{exp}\Big(-\sum^{i-1}_{j=1} \sigma(\mathbf r(t_j))\delta_j\Big) \tag{3}
+$$
+
+구간을 나누는 방식은 중요한 부분으로 coarse와 fine 두단계로 나누어 더 세부적으로 sequence를 나눈다. 2개의 NeRF 모델을 이용하여 2번의 sampling을 한다.
+
+$$
+w_i \sim T_i(1-\text{exp}(-\sigma(\mathbf r(t_i))\delta_i))\tag{4}
+$$
+
+본 논문에서는 ray의 transmittance를 아래와 같이 추가적으로 정의하였다. 이는 직관적으로 ray의 alpha값이나 opacity의 총합에 해당한다.
+
+$$
+\hat T(\mathbf r)=1-\text{exp}\Big(-\sum^N_{i=1}\sigma(\mathbf r(t_i))\delta_i\Big)\tag{5}
+$$
+
+- 수식(5) 설명
+
+ :::{figure-md}
+
+
+ 수식 (5) 보충 설명
+ :::
+
+
+
+
+## 2.2 Signed Distance Functions and Texture Field (STF)
+
+본 논문에서 STF는 signed distances와 texture colors 두가지 모두를 생성하는 implicit function을 의미한다. 이번 섹션에서는 이러한 implicit function이 meshes를 구성하고 rendering을 만드는 방식을 설명한다.
+
+:::{figure-md}
+
+
+point cloud, voxel, polygon mesh의 비교 \
+source - 3D Vision with Transformers: A Survey
+:::
+
+**Signed Distance Functions (SDFs)**는 3D shape을 scaler field에서 표현하는 전통적인 방법중 하나다. 특히 SDF $f$는 coordinate $x$를 scaler 로 mapping한다. ($f(\mathbf x)=d$) 여기서 $d$는 특정 위치 $x$에서 가장 가까운 물체의 표면까지의 거리를 말한다. $d$가 0보다 작으면 해당 물체 외부임을 의미한다. 이러한 정의에 따라 $f(\mathbf x)=0$ 일때는 물체의 표면을 의미한다. $\text{sign}(d)$는 표면에 따른 normal orientation을 의미한다.
+
+- DMTet : SDFs를 활용하여 3D shape을 생성하는 모델. coarse voxel을 입력으로 받아 synthesized shape(SDF, tetrahedral)을 만들어 낸다. DMTet의 출력은 dense spatial grid에서의 각 vertex $v_i$별 SDF 값 $s_i$와 displacement $\vartriangle v_i$ 이다. 이후 설명 생략
+
+- GET3D : DMTet에 추가적인 texture 정보까지도 생성하는 모델이다. 물체의 표면의 지점 $p$ 마다 RGB color를 예측하는 모델을 따로 학습시켜 texture를 만들었다. 이후 설명 생략
+
+:::{figure-md}
+
+
+texture, bump, displacement의 비교 \
+source - [tutorials in grabcad](https:grabcad.com/tutorials/adding-textures-to-3d-models-texture-bump-and-displacement-mapping-how-to-make-photo-realistic-models)
+:::
+
+bump는 lighting 을 고려하여 texture가 더 자연스러워 졌지만 구의 표면을 보면 물체의 형태가 실제로 바뀐것은 아님을 알수 있다.displacement를 보면 texture를 따라 물체의 표면이 변화된것을 볼 수 있다.
+
+## 2.3 Diffusion Models
+
+본 논문에서 활용한 diffusion model은 DDPM으로 diffusion process(noising process)를 data sample $x_0$ 에 gaussian noise를 서서히 추가하여 완전한 노이즈가 되어가는 과정 $(x_1,x_2,…x_T)$ 으로 표현했다. 일반적으로 $x_T$는 gaussian noise와 구분불가능한 상태로 상정한다. 해당 과정은 sequential하게 진행되지만 활용시에는 아래의 식과 같이 특정 단계로 바로 “jump”하는 방식을 이용한다.
+
+$$
+x_t=\sqrt{\bar\alpha_t}x_0+\sqrt{1-\bar\alpha_t}\epsilon\tag{6}
+$$
+
+$\epsilon$ 은 랜덤한 노이즈를 의미하고, $\bar\alpha_t$는 단조감소하는 노이즈 스케줄을 의미한다. ($t=0$ 일때는 sample data가 되어야 하므로 $\bar\alpha_0=1$)
+
+모델 $\epsilon_\theta$를 학습할때는 아래의 손실함수를 사용한다.
+
+$$
+L_{\text{simple}}=E_{x_0\sim q(x_0),\epsilon\sim\mathcal N(0,\mathbf I),t\sim U[1,T]}\|\epsilon -\epsilon_\theta (x_t,t)\|^2_2\tag{7}
+$$
+
+아래와 같이 표현할 수도 있는데 Shap-E 논문에서는 아래의 식을 활용하였다. 위는 (모델이 예측하는 노이즈, diffusion process에서 더해진 노이즈)의 차이를 줄이는 방향으로 학습한다는 의미이고, 아래는 (data sample $x_0$, 모델이 예측한 노이즈를 제거하여 만든 이미지)의 차이를 줄이는 방향으로 학습한다는 의미이다.
+
+$$
+L_{x_0}=E_{x_0\sim q(x_0),\epsilon\sim\mathcal N(0,\mathbf I),t\sim U[1,T]}\|x_\theta (x_t,t)-x_0\|^2_2\tag{8}
+$$
+
+denosing시에는 높은 퀄리티와 적당한 latency를 위해 Heun sampler와 classifier-free guidance를 사용했다.
+
+$$
+\hat x_\theta(x_t,t|y)=x_\theta(x_T,t)+s\space\cdot\space (x_\theta(x_t,t|y)-x_\theta(x_t,t)) \tag{9}
+$$
+
+$s$ 는 guidance scale이고 $s=0, s=1$ 일때는 regular unconditional, conditional sampling을 뜻한다. $s$ 를 더 키우면 일관성(coherence)은 커지지만 다양성(diversity)이 떨어질 수 있다. 실험적으로 나은 결과물을 얻기 위해서는 guidance가 필요하다는 것을 알아냈다. (section 5의 figure 4 참고)
+
+## 2.4 Latent Diffusion
+
+continuous latent space에서도 diffusion을 활용하여 샘플들을 생성할 수 있다. 이는 Stable Diffusion(LDM)에서 제안된 것으로, pixel space와 latent space간의 변환을 담당하는 encoder와 decoder를 추가하여 two-stage방식으로 모델을 학습시키면 된다. 앞서 봤던 노이즈를 예측을 담당하는 모델 $\epsilon_\theta$는 latent space에서 추가된 노이즈(latent noise)를 예측하게 되는 것이다. original LDM에서는 latent noise를 원본 이미지 보다 낮은 복잡도(lower-dimensional distribution)를 가지도록 KL penalty나 vector quantization layer를 사용했다.
+
+본 논문에서도 위와 유사한 방식을 사용했으나 GAN-based objective와 perceptual loss를 사용하지 않고 단순히 $L_1$, $L_2$ reconstruction loss를 사용했다. 또한 KL regularization과 vector quantization은 bottleneck이 되므로 고정된 numerical range를 가지도록 하고 diffusion style의 noise를 추가 했다.
+
+# 3. Related Work
+
+- Point-E
+- 3D auto-encoder + implicit decoder
+ - Fu et al. [16] - SDF sample grid를 encode, implicit decoder의 condition으로 사용.
+ - Sanghi et al. [54] - voxel grid를 encode, implicit occupancy network의 condition으로 사용.
+ - Liu et al. [34] - voxel-based encoder와 implicit occupancy, color decoder를 학습.
+ - Kosiorek et al. [30] - rendered view을 encode, encoding된 latent vector를 NeRF의 condition으로 사용.
+ - Chen and Wang [6] - transformer기반 모델을 사용하여 rendered view에서 MLP parameter를 곧바로 생성.
+- 학습된 encoder 없이 implicit 3D representation을 생성하는것을 목표로 하는 모델들
+ - Park et al. [43] - auto decoder를 학습. 데이터셋 내의 각 샘플의 embedding vector table을 학습.
+ - Bautista et al. [4] - NeRF decoder를 조건으로 scene 별 latent code를 학습.
+ - Dupont et al. [12] - implicit function을 학습하기 위해 meta learning 활용.
+ - Erkoç et al. [14] - implicit MLP weight를 곧바로 생성하기 위해 diffusion을 활용.
+ - akin to [12] - NeRF parameter fitting을 필요로 함.
+ - Wang et al. [66] - 데이터셋 내의 각 샘플의 개별 NeRF를 joint 학습.
+
+# 4. Method
+
+
+>📌 훈련 방법 \
+>two stage 방식으로 Shap-E를 학습시킨다.\
+>**Stage 1. train an encoder** \
+>**Stage 2. train a conditional diffusion model on outputs of the encoder**
+
+
+## 4.1 3D Encoder
+
+:::{figure-md}
+
+
+3D Encoder의 구조
+:::
+
+**encoder의 input :** (point clouds, rendered views) \
+**encoder의 output :** MLP의 parameter
+
+> 입력 representation의 세부 특성 \
+> Point-E와 비교하였을때, post-processing 방식을 변경하여 3D Asset별 사용하는 RGB point cloud의 point 개수를 늘이고, 더 많은 view를 256x256 크기로 렌더링 하여 사용했다. 구체적으로는 다음과 같다.
+> - Point Clouds: 기존 4K -> 16K
+> - Multiview point clouds: 기존 20 views -> 60 views (20개의 view를 사용한 경우 생성된 pointcloud에 crack이 발생했다고 함)\ view 렌더링시 조명과 물체표면의 특성을 간략화했다.
+
+
+encoder에서 얻은 parameter는 implicit function에서 asset의 representation을 의미한다. (+의미상 다양한 형태로 입력받은 3D asset의 특성을 융합하여 하나로 표현한 것, 논문의 장점으로 NeRF와 point cloud 모두를 얻을수 있다고 했으므로 상당히 의도가 느껴지는 입력으로 보인다. )
+
+:::{figure-md}
+
+
+pseudocode
+:::
+
+encoder에 입력된 point clouds와 views는 cross-attention과 transformer backbone에 의해 처리되어 sequence of vectors가 된다. 이후 latent bottleneck과 projection layer를 통과하여 MLP weight matrices를 만든다.
+
+encoder는 NeRF rendering objective를 사용(Section 4.1.1 참고)하여 사전 학습한다. mesh-based objective를 이용한 사전학습시 보다 더 안정적인 결과물을 얻을 수 있었다고 한다. 이후에는 SDF와 texture color prediction을 위해 추가적인 output head를 넣어 Section 4.1.2와 같이 two-stage 방식으로 head들을 학습시킨다.
+
+### 4.1.1 Decoding with NeRF Rendering
+
+original NeRF의 식과 유사하지만 coarse net과 fine net이 parameter들을 공유할 수 있도록 하지는 않았다. 랜덤한 4096개의 ray를 각 학습 데이터에서 샘플링하였으며, $L_1$ loss가 최소가 되도록 했다. (original NeRF에서는 $L_2$ loss를 사용)
+
+$$
+L_{\mathbf{RGB}}=E_{\mathbf r\in R}[\|\hat C_c(\mathbf r)-C(\mathbf r)\|_1+\|\hat C_f(\mathbf r)-C(\mathbf r)\|_1] \tag{10}
+$$
+
+여기에 추가적으로 각 ray의 transmittance에 대한 손실함수를 추가했다. 특히, 한 ray의 density 적분값(integrated density)을 통해 얻은transmittance로 coarse rendering과 fine rendering시 $\hat T_c(r)$ 와 $\hat T_f(r)$를 예측하였다. ground truth로는 gt rendering결과의 alpha channel을 사용하였다. 이 손실함수는 아래와 같이 표현할 수 있다. (+NeRF의 경우 novel view를 만드는 것이 목적이었으나 본 논문은 mesh도 생성해야 하므로 노이즈 제거가 더욱 중요하였을 것으로 생각된다.)
+
+$$
+L_T=E_{\mathbf r\in R}[\|\hat T_c(\mathbf r)-T(\mathbf r)\|_1 +\|\hat T_f(\mathbf r)-T(\mathbf r)\|_1]\tag{11}
+$$
+
+최종적으로는 두 손실함수를 합하여 최적화를 진행하였다.
+
+$$
+L_\text{NeRF}=L_\text{RGB}+L_T \tag{12}
+$$
+
+### 4.1.2 Decoding with STF Rendering
+
+:::{figure-md}
+
+
+texture, bump, displacement의 비교 \
+source - https:grabcad.com/tutorials/adding-textures-to-3d-models-texture-bump-and-displacement-mapping-how-to-make-photo-realistic-models
+:::
+
+NeRF 방식을 통해 사전학습한 후, MLPs에 STF output heads를 추가한다. 이러한 MLPs는 SDF와 texture color를 예측한다. triangle mesh를 생성하기 위해서는 각 vertex의 SDF를 regular $128^3$ grid로 옮겨 미분가능한 형태의 Marching Cube를 진행해야 한다. 이후 texture color는 최종 mesh의 각 vertex texture color head를 통해 얻는다. Pytorch 3D를 활용하면 미분가능한 rendering을 통해 textured mesh를 얻을 수 있다고 한다. 렌더링 시에는 데이터셋 구축시 preprocessing에 사용한 것과 동일한 lighting 조건을 사용했다.
+
+사전 실험시 랜덤 초기화된 STF output heads를 사용했을 때는 결과가 불안정 했으며, rendering based objective를 사용하여 학습하는 것이 어려웠다. 해당 문제를 완화하기 위해 SDF와 texture color를 해당 output heads를 직접 학습시키기 전에 distill 접근법을 사용했다. Point-E의 regression model을 활용하여 입력 좌표를 랜덤하게 샘플링하고, SDF distillation target을 구했다. 그리고 RGB target로는 asset RGB point cloud에서 특정위치 $x$와 가장 가까운(nearest neighbor) point의 색을 사용했다. distillation training 시 distillation loss와 NeRF loss를 더하여 사용했다.
+
+$$
+L_\text{distill}=L_\text{NeRF}+E_{\mathbf x\sim U[-1,1]^3}[\|\text{SDF}_\theta(\mathbf x)-\text{SDF}_\text{regression}(\mathbf x)\|_1+\|\text{RGB}_\theta(\mathbf x)-\text{RGB}_\text{NN}(\mathbf x)\|_1]
+\tag{13}
+$$
+
+STF output heads가 distillation을 통해 적절한 초기값을 갖게된 후, NeRF encoder와 STF rendering 전체를 end-to-end로 fine-tune한다. 실험적으로 STF rendering에는 $L_1$을 사용하는 것은 불안정했으므로 $L_2$ 손실함수만 사용하는 것이 이러한 rendering 방식에 적절함을 알 수 있었다. STF rendering에 사용한 loss는 아래와 같다.
+
+$$
+L_\text{STF}=\frac{1}{N\space \cdot\space s^2}\sum^N_{i=1}\|\text{Render}(\text{Mesh}_i)-\text{Image}_i\|^2_2\tag{14}
+$$
+
++ mesh를 렌더링한 이미지와 target 이미지의 L2 reconstruction loss의 평균
+
+N은 이미지 개수, s는 이미지의 화질, $\text{Mesh}_i$는 $\text{sample}_i$의 constructed mesh를 말한다. $\text{Image}_i$는 RGBA rendering된 결과물로 alpha채널을 포함하고 있기 때문에 transmittance에 대한 loss를 따로 추가하지 않았다.
+
+최종 fine-tuning 단계에서는 아래와 같이 더한 objective function을 사용한다.
+
+$$
+L_\text{FT}=L_\text{NeRF}+L_\text{STF}\tag{15}
+$$
+
+## 4.2 Latent Diffusion
+
+Point-E의 transformer 기반 diffusion 구조를 채택했다. 하지만 point cloud를 latent vector의 sequence로 바꾸었다. latent sequences의 크기는 $1024\times1024$ 로 이를 길이가 1024인 1024개의 token처럼 transformer의 입력으로 사용했다. 각 token은 MLP weight matrices의 각 row와 일치한다. Shap-E의 모델은 Point-E base 모델과 유사한 부분이 많다.(context length와 width가 동일) 하지만 더 고차원의 샘플(samples in higher-dimensional)을 생성하는데 이는 입출력 채널의 복잡도(dimension)가 증가하였기 때문이다.
+
+Point-E의 conditioning 방식을 동일하게 사용하였다. 이미지 조건부 3d 생성시 256-token CLIP embedding sequence를 transformer context로 사용했으며, 텍스트 조건부 3d 생성시 single token을 사용했다.
+
+Point-E와의 차이점으로는 diffusion model의 출력을 $\epsilon$ prediction으로 parameterize하지 않았다는 것이다. 대신 본 논문에서는 곧바로 sample을 예측하는 방식을 사용했다. 대수적으로는 동일한 의미이나 초기 실험에서 더 일관된 결과물을 생성하여 해당 방식을 사용하였다고 함.
+
+## 4.3 Dataset
+
+공정한 비교를 위해 대부분의 실험에서 Point-E와 동일한 3D assets을 사용했다. 하지만 post-processing부분에서는 차이가 있다.
+
+- point cloud 계산시, 20개가 아닌 60개의 view를 rendering했다. 20개만 사용했을때 주어진 view에서 확인할 수 없는 영역때문에 crack 발생 (+NeRF 때문으로 추정)
+- point cloud를 4K 가아닌 16K의 point로 만들었다.
+- encoder학습을 위한 view를 렌더링 할때 단순한 소재와 라이팅을 사용하였다. 특히 모든 모델은 동일한 고정된 라이팅 조건내에서 렌더링 되었다. ambient와 diffuse shading만 사용 (+반사광이 고려되지 않아 표면이 매끈한 물체는 생성하기 어려울 것으로 추정됨)
+
+ :::{figure-md}
+
+
+ Phong model \
+ 기본적인 shading방식으로 본 논문에서는 specular를 사용하지 않았다 \
+ source - [Realistic_Visualisation_of_Endoscopic_Surgery_in_a_Virtual_Training_Environment](https:www.researchgate.net/publication/265514880_Realistic_Visualisation_of_Endoscopic_Surgery_in_a_Virtual_Training_Environment)
+ :::
+
+text 조건부 모델과 해당 Point-E baseline을 위해 데이터 셋을 더욱 확장했다. 이 데이터 셋을 위해 대략 100만개의 3D assets과 12만개의 (human labeled)caption을 추가로 수집했다.
+
+# 5. Result
+
+## 5.1 Encoder Evaluation
+
+:::{figure-md}
+
+
+각 스테이지 별 훈련 이후 encoder 성능평가
+:::
+
+
+distillation에서 rendering 이미지의 퀄리티가 떨어지는 것처럼 보이나 finetuning시 퀄리티가 더욱 좋아진다. 또한 STF의 퀄리티 또한 크게 상승한다.
+
+## 5.2 Comparison to Point-E
+
+:::{figure-md}
+
+
+Shap-E와 Point-E비교\
+세모 마크가 Point-E, 원형 마크가 Shap-E이다.
+:::
+
+point-E보다 Shap-E의 CLIP score가 더 높다. 더 많은수의 parameter를 가진 point-E를 사용하여도 Shap-E의 성능이 우수함.
+
+두 평가 지표 모두 OpenAI의 CLIP (Contrastive Language-Image Pretraining) 모델을 활용한 평가 지표로 CLIP score의 경우 주어진 텍스트와 생성결과의 일관성을 평가하기 위한 것이고, CLIP R precision의 경우 생성결과와 참조 이미지가 얼마나 비슷한지 평가하기 위한 것이다.
+
+:::{figure-md}
+
+
+Shap-E와 Point-E비교
+:::
+동일한 base model의 크기 동일한 데이터셋으로 학습시킨 결과. 텍스트 조건부 생성시에는 퀄리티 차이가 크지 않음.
+
+:::{figure-md}
+
+
+Shap-E와 Point-E비교
+:::
+이미지 조건부 생성시에는 비교적 차이가 크다.
+벤치 결과를 보면 point-E에서 나무사이 빈공간을 무시해버린것을 볼수 있다.
+위의 강아지와 컵 이미지 기반 생성 결과를 보면 point-E와 shap-E가 유사한 케이스에서 실패하는 모습을 보였다.
+
+## 5.3 Comparison to Other Methods
+:::{figure-md}
+
+
+COCO 데이터셋을 이용한 비교결과
+:::
+reference latency에서 point-E와 Shap-E의 차이가 있는데, 이는 Shap-E는 추가적인 upsampling diffusion model을 사용하지 않기 때문이다.
+
+# 6. Limitations and Future Work
+
+:::{figure-md}
+
+
+텍스트 조건부 생성 결과
+:::
+왼쪽 그림과 같이 여러가지 특성을 가진물체를 생성하는데에 어려움을 겪는 모습을 보인다. 이는 학습에 사용한 paired data가 제한적이기 때문으로 더 많은 3D dataset을 수집하면 나아질 수 있다. 또한 texture의 세부 특성을 encoder가 무시하는 경우도 있는데, 더 나은 encoder를 사용함으로써 개선될수 있다.
+
+Shap-E는 다양한 3D 생성 기술들을 융합하는데에 도움을 줄 수 있다. 예를 들어 Shap-E로 생성한 NeRF와 mesh를 다른 최적화 기반 모델을 초기화 하는데 사용하는 것이다. 이를 통해 더 빠른 수렴도 가능할 것으로 생각된다.
+
+# 7. Conclusion
+
+Shap-E는 latent diffusion model을 3D implicit function공간에서 전개하여 NeRF와 textured mesh 모두를 생성 할 수 있었다. 동일한 데이터셋을 활용하여 다른 생성모델들과 비교하였을때 더 나은 성능을 보임을 확인했다. 또한 text 조건부 생성시 이미지 없이도 다양한 흥미로운 물체를 생성할 수 있음확인했다. 이는 implicit represention을 생성함에 큰 가능성을 보여준다.
+
+# 8. Acknowledgements
+
특정 인물들에 대한 언급 외에도 ChatGPT로 부터 valuable writing feedback을 받았다고 표현한 부분있었다.
\ No newline at end of file
diff --git a/_sources/docs/review/StyO.md b/_sources/docs/review/StyO.md
index 94e82323..63881073 100755
--- a/_sources/docs/review/StyO.md
+++ b/_sources/docs/review/StyO.md
@@ -1,169 +1,169 @@
-```{admonition} Information
-- **Title:** StyO: Stylize Your Face in Only One-Shot
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2303.03231](https://arxiv.org/abs/2303.03231)
-
-- **Author:** Seunghwan Ji
-
-- **Last updated on Aug. 6, 2023**
-```
-# StyO
-
-## Abstract
-
-- “**Sty**lize the face in only **O**ne-shot.”
-- 한장의 이미지만으로 다른 이미지로 스타일을 Transfer!
-
-## 1. Introduction
-
-- 현재 다양한 분야에서 이미지에 특정 스타일을 입히고자하는 연구들이 활발히 진행중이다.
-- 이전까지의 연구들은 대부분 각각의 source 이미지, target 이미지 한장씩을 사용해 GAN based model을 활용하려는 식이 주를 이루었다.
-- 단 이러한 방식에는 한계가 있는데,
- 1. Real Face를 학습한 pre-trained GAN 모델의 의존도가 너무 커서 Style을 입히기 힘들다.
- 2. latent space안에서 Content 정보와 Style 정보가 Entangle 되어있다.
-- **StyO는?**
- - GAN 대신 Data의 Distribution을 더 잘 포용하는 Latent Diffusion Model을 Base모델로 채용한다.
- - 총 2 Stage로 구성되는데
- 1. Identifier Disentanglement Learner(IDL)
- - 이미지의 content 정보와 Style 정보를 분리
- 2. Fine-grained Content Controller(FCC)
- - IDL로부터 분리된 Content와 Style을 원하는대로 재조합
- - 추가로 src 이미지의 detail한 정보(head-pose, hair color 등)를 유지하기위해 Generate 과정에서 src 이미지의 attention map을 재사용하는 trick을 제안했다.
-- 이러한 StyO는 GAN based 모델에 비해 더 좋은 퀄리티의 이미지를 생성해내고, one-shot face stylization 분야에서 SOTA를 기록했다.
-
-## 2. Related Work
-
-### 2.1. Diffusion Model
-
-- GAN이 생성 분야를 장악하던 중 최근 DDPM의 등장으로 Diffusion 모델이 주목을 받기 시작했다.
-- text prompt를 기반으로 manipulated image 생성이 가능해졌지만, detail한 부분까지 control하기에는 한계가 있었다.
-- 이 때, StyO는 이미지의 fine한 style 정보까지 transfer 가능한 diffusion model이다.
-
-### 2.2. Face Stylization
-
-- 최근 GAN Based 생성 모델이 좋은 성능을 보이면서 styleGAN을 베이스로 하는 face image style transfer 모델이 좋은 성능을 보여주었다.
-- 하지만 real face dataset을 학습한 pretrained checkpoint를 사용하고 이에 대한 의존성이 너무 커 artistic style 정보를 입히는데 한계를 보여준다.
-- StyO는 이러한 한계를 개선한 결과를 보여준다.
-
-## 3. Method
-
-### 3.2. Framework of StyO
-:::{figure-md}
-
-
-Figure 1
-:::
-
-- image 간의 style transfer를 위해 **identifier disentaglement learner**과 **fine-grained content controller**를 제안한다.
-
-**IDL**
-
-- image의 content 정보와 style 정보를 분리하는 방향으로 학습이 진행
-- src 이미지는 `"a drawing with $S_{src}$ not $S_{tgt}$ style of $C_{src}$ not $C_{tgt}$ portrait"` prompt로 학습 (tgt 이미지는 반대)
-
-⇒ 이미지 간의 Style 정보와 Content 정보가 Disentangle 되고, $S_{src}$안에 이미지 A의 Style 정보가, $C_{tgt}$ 안에 src 이미지의 content 정보가 embedding 되도록 학습
-
-- 이 때 $S_{src}$, $C_{src}$에 target 이미지의 conext 정보를 배제함과 동시에$S_{tgt}$, $C_{tgt}$에 포함하기위해 앞에 negator(=부정의 의미를 가진 단어)를 사용
- - *e.g*. *not, without, except …*
-- src, tgt 이미지에 추가로 auxiliary 이미지 셋을 구성해 `“a drawing with $S_{src}$ not $S_{tgt}$ style of portrait”` prompt로 학습
- - $X_{aux}$ : FFHQ dataset에서 임의로 200장의 데이터를 sampling
-- 효과
- 1. auxiliary 이미지를 학습함으로써 key prompt간 disentanglement를 향상
- 2. auxiliary 이미지에는 없는 src 이미지만의 정보를 $C_{src}$ 에 주입
- 3. src 이미지의 style과 tgt 이미지의 style을 구별하는데 도움을 줌
-- Full Loss
- :::{figure-md}
- 
-
- Equation 1
- :::
-
-- 이러한 IDL의 학습만으로 src 이미지와 tgt 이미지의 style transfer가 가능하다.
- - `“a drawing with $S_{tgt}$ not $S_{src}$ style of $C_{src}$ not $C_{tgt}$ portrait”`
- :::{figure-md}
- 
-
- Figure 2
- :::
-
-- 하지만 위 이미지처럼 src 이미지의 content 정보(head-pose, facial feature)를 잃어버리는 경향이 있다.
-- 이러한 문제점을 개선하기위해 **FCC**를 추가로 도입하였다.
-
-**FCC**
-
-- IDL로 분리된 content 정보와 style 정보를 원하는 방식으로 조합(Recombination)할 때 A의 Content 정보를 유지하도록 하는 Trick
-1. Cross Attention Control
- - LDM은 기본적으로 Text 정보를 생성 이미지에 주입하기위해 cross attention mechanism을 사용
- - $Attn(z, r) = M(z, r)V$, *z : image latent, r : text embedding*
- - 이 때 “prompt-to-promt” paper에서 **attention map M의 값이 생성 이미지의 Layout에 강한 영향을 미친다**는 점을 확인
- - 따라서 src 이미지의 attention mask를 generate 과정에 주입합으로써 content 정보를 좀 더 잘 유지하도록 유도
- - 단, attention map의 모든 값을 replace하지않고, content에 관한 Index만 선택적으로 replace
- - content index : '$C_{src}$`, `not`, `$C_{tgt}$`, `portrait`
- :::{figure-md}
- 
-
- Equation 3
- :::
-
-2. Augmented Text Prompt
- - training time에서 key prompt를 n번 사용함으로서 생성되는 이미지에 context 정보를 강하게 주입
- - src 이미지는 `“a drawing with ($S_{src}$ not $S_{tgt}$) * $n_{s}$ style of ($C_{src}$ not $C_{tgt}$) * $n_{c}$ portrait”` (tgt 이미지는 반대)
- - 실험상 hyperparameter $n_{s}$와 $n_{c}$는 3 이하의 값을 추천
-
-## 4. Experiments
-
-**Implementation Details**
-
-- base model : Pretrained LDM model checkpoint (trained by LAION-5B)
-- hyper parameter
- - key prompt : “ak47”, “aug”, “sks”, m4a1”
- - Learning rate : 1e-6
- - Optimizer : Adam
- - train step : 400
- - $n_{s}$ : 3, $n_{c}$ : 1
- - 나머지는 LDM과 동일
-
-**Comparison with SOTA methods**
-:::{figure-md}
-
-
-Figure 3
-:::
-
-- StyO가 src 이미지의 face identity와 local detail 모두 잘 유지함과 동시에, style 정보를 자연스럽게 입힌 결과물을 생성해낸다.
-- User Study도 다른 모델들에 비해 좋은 결과를 보였다.
-
- :::{figure-md}
- 
-
- Table 1
- :::
-
-
-**Ablation Study**
-
-1. *Effect of Contrastive Disentangled Prompt Template*
- - negative prompt 없이 positive prompt만 넣고 학습할경우 학습 이미지의 overfitting이 심하고, style과 content 정보의 분리에 어려움을 보인다.
- :::{figure-md}
- 
-
- Figure 4
- :::
-
- - 또, source 이미지의 local detail을 유지하기위해 auxiliary set의 trick도 적용하는것이 Best Quality의 결과물을 생성해냈다.
-2. *Effect of Fine-grained Content Controller*
- - FCC 없이 Inference할 경우 generated 이미지의 높은 diversity를 보이지만, FCC를 포함할 경우 src 이미지의 fidelity가 높아져 좀더 significant한 이미지가 생성되는것을 보여주었다.
- :::{figure-md}
- 
-
- Figure 5
- :::
-
-1. *Hyper-parameters in Augmented Text Prompt*
- - $n_{s}$ 값이 커질수록 이미지가 photorealistic에서 artistic하게 바뀌고, $n_{c}$도 마찬가지로 값이 커질수록 src 이미지에 overfitting된 이미지가 나오는 경향을 보여주었다.
-
-## 5. Conclusion
-
-- StyO는 IDL과 FCC를 사용해 기존 GAN을 이용한 SOTA 모델들보다 더 자연스럽고 Quality 좋은 style transfered 이미지를 생성해낼 수 있었다.
-- **단, style 하나의 transfer를 위해 single GPU로 10분이 걸리므로 time-efficiency가 좋지 못하다는 단점이 있다.**
+```{admonition} Information
+- **Title:** StyO: Stylize Your Face in Only One-Shot
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2303.03231](https://arxiv.org/abs/2303.03231)
+
+- **Author:** Seunghwan Ji
+
+- **Last updated on Aug. 6, 2023**
+```
+# StyO
+
+## Abstract
+
+- “**Sty**lize the face in only **O**ne-shot.”
+- 한장의 이미지만으로 다른 이미지로 스타일을 Transfer!
+
+## 1. Introduction
+
+- 현재 다양한 분야에서 이미지에 특정 스타일을 입히고자하는 연구들이 활발히 진행중이다.
+- 이전까지의 연구들은 대부분 각각의 source 이미지, target 이미지 한장씩을 사용해 GAN based model을 활용하려는 식이 주를 이루었다.
+- 단 이러한 방식에는 한계가 있는데,
+ 1. Real Face를 학습한 pre-trained GAN 모델의 의존도가 너무 커서 Style을 입히기 힘들다.
+ 2. latent space안에서 Content 정보와 Style 정보가 Entangle 되어있다.
+- **StyO는?**
+ - GAN 대신 Data의 Distribution을 더 잘 포용하는 Latent Diffusion Model을 Base모델로 채용한다.
+ - 총 2 Stage로 구성되는데
+ 1. Identifier Disentanglement Learner(IDL)
+ - 이미지의 content 정보와 Style 정보를 분리
+ 2. Fine-grained Content Controller(FCC)
+ - IDL로부터 분리된 Content와 Style을 원하는대로 재조합
+ - 추가로 src 이미지의 detail한 정보(head-pose, hair color 등)를 유지하기위해 Generate 과정에서 src 이미지의 attention map을 재사용하는 trick을 제안했다.
+- 이러한 StyO는 GAN based 모델에 비해 더 좋은 퀄리티의 이미지를 생성해내고, one-shot face stylization 분야에서 SOTA를 기록했다.
+
+## 2. Related Work
+
+### 2.1. Diffusion Model
+
+- GAN이 생성 분야를 장악하던 중 최근 DDPM의 등장으로 Diffusion 모델이 주목을 받기 시작했다.
+- text prompt를 기반으로 manipulated image 생성이 가능해졌지만, detail한 부분까지 control하기에는 한계가 있었다.
+- 이 때, StyO는 이미지의 fine한 style 정보까지 transfer 가능한 diffusion model이다.
+
+### 2.2. Face Stylization
+
+- 최근 GAN Based 생성 모델이 좋은 성능을 보이면서 styleGAN을 베이스로 하는 face image style transfer 모델이 좋은 성능을 보여주었다.
+- 하지만 real face dataset을 학습한 pretrained checkpoint를 사용하고 이에 대한 의존성이 너무 커 artistic style 정보를 입히는데 한계를 보여준다.
+- StyO는 이러한 한계를 개선한 결과를 보여준다.
+
+## 3. Method
+
+### 3.2. Framework of StyO
+:::{figure-md}
+
+
+Figure 1
+:::
+
+- image 간의 style transfer를 위해 **identifier disentaglement learner**과 **fine-grained content controller**를 제안한다.
+
+**IDL**
+
+- image의 content 정보와 style 정보를 분리하는 방향으로 학습이 진행
+- src 이미지는 `"a drawing with $S_{src}$ not $S_{tgt}$ style of $C_{src}$ not $C_{tgt}$ portrait"` prompt로 학습 (tgt 이미지는 반대)
+
+⇒ 이미지 간의 Style 정보와 Content 정보가 Disentangle 되고, $S_{src}$안에 이미지 A의 Style 정보가, $C_{tgt}$ 안에 src 이미지의 content 정보가 embedding 되도록 학습
+
+- 이 때 $S_{src}$, $C_{src}$에 target 이미지의 conext 정보를 배제함과 동시에$S_{tgt}$, $C_{tgt}$에 포함하기위해 앞에 negator(=부정의 의미를 가진 단어)를 사용
+ - *e.g*. *not, without, except …*
+- src, tgt 이미지에 추가로 auxiliary 이미지 셋을 구성해 `“a drawing with $S_{src}$ not $S_{tgt}$ style of portrait”` prompt로 학습
+ - $X_{aux}$ : FFHQ dataset에서 임의로 200장의 데이터를 sampling
+- 효과
+ 1. auxiliary 이미지를 학습함으로써 key prompt간 disentanglement를 향상
+ 2. auxiliary 이미지에는 없는 src 이미지만의 정보를 $C_{src}$ 에 주입
+ 3. src 이미지의 style과 tgt 이미지의 style을 구별하는데 도움을 줌
+- Full Loss
+ :::{figure-md}
+
+
+ Equation 1
+ :::
+
+- 이러한 IDL의 학습만으로 src 이미지와 tgt 이미지의 style transfer가 가능하다.
+ - `“a drawing with $S_{tgt}$ not $S_{src}$ style of $C_{src}$ not $C_{tgt}$ portrait”`
+ :::{figure-md}
+
+
+ Figure 2
+ :::
+
+- 하지만 위 이미지처럼 src 이미지의 content 정보(head-pose, facial feature)를 잃어버리는 경향이 있다.
+- 이러한 문제점을 개선하기위해 **FCC**를 추가로 도입하였다.
+
+**FCC**
+
+- IDL로 분리된 content 정보와 style 정보를 원하는 방식으로 조합(Recombination)할 때 A의 Content 정보를 유지하도록 하는 Trick
+1. Cross Attention Control
+ - LDM은 기본적으로 Text 정보를 생성 이미지에 주입하기위해 cross attention mechanism을 사용
+ - $Attn(z, r) = M(z, r)V$, *z : image latent, r : text embedding*
+ - 이 때 “prompt-to-promt” paper에서 **attention map M의 값이 생성 이미지의 Layout에 강한 영향을 미친다**는 점을 확인
+ - 따라서 src 이미지의 attention mask를 generate 과정에 주입합으로써 content 정보를 좀 더 잘 유지하도록 유도
+ - 단, attention map의 모든 값을 replace하지않고, content에 관한 Index만 선택적으로 replace
+ - content index : '$C_{src}$`, `not`, `$C_{tgt}$`, `portrait`
+ :::{figure-md}
+
+
+ Equation 3
+ :::
+
+2. Augmented Text Prompt
+ - training time에서 key prompt를 n번 사용함으로서 생성되는 이미지에 context 정보를 강하게 주입
+ - src 이미지는 `“a drawing with ($S_{src}$ not $S_{tgt}$) * $n_{s}$ style of ($C_{src}$ not $C_{tgt}$) * $n_{c}$ portrait”` (tgt 이미지는 반대)
+ - 실험상 hyperparameter $n_{s}$와 $n_{c}$는 3 이하의 값을 추천
+
+## 4. Experiments
+
+**Implementation Details**
+
+- base model : Pretrained LDM model checkpoint (trained by LAION-5B)
+- hyper parameter
+ - key prompt : “ak47”, “aug”, “sks”, m4a1”
+ - Learning rate : 1e-6
+ - Optimizer : Adam
+ - train step : 400
+ - $n_{s}$ : 3, $n_{c}$ : 1
+ - 나머지는 LDM과 동일
+
+**Comparison with SOTA methods**
+:::{figure-md}
+
+
+Figure 3
+:::
+
+- StyO가 src 이미지의 face identity와 local detail 모두 잘 유지함과 동시에, style 정보를 자연스럽게 입힌 결과물을 생성해낸다.
+- User Study도 다른 모델들에 비해 좋은 결과를 보였다.
+
+ :::{figure-md}
+
+
+ Table 1
+ :::
+
+
+**Ablation Study**
+
+1. *Effect of Contrastive Disentangled Prompt Template*
+ - negative prompt 없이 positive prompt만 넣고 학습할경우 학습 이미지의 overfitting이 심하고, style과 content 정보의 분리에 어려움을 보인다.
+ :::{figure-md}
+
+
+ Figure 4
+ :::
+
+ - 또, source 이미지의 local detail을 유지하기위해 auxiliary set의 trick도 적용하는것이 Best Quality의 결과물을 생성해냈다.
+2. *Effect of Fine-grained Content Controller*
+ - FCC 없이 Inference할 경우 generated 이미지의 높은 diversity를 보이지만, FCC를 포함할 경우 src 이미지의 fidelity가 높아져 좀더 significant한 이미지가 생성되는것을 보여주었다.
+ :::{figure-md}
+
+
+ Figure 5
+ :::
+
+1. *Hyper-parameters in Augmented Text Prompt*
+ - $n_{s}$ 값이 커질수록 이미지가 photorealistic에서 artistic하게 바뀌고, $n_{c}$도 마찬가지로 값이 커질수록 src 이미지에 overfitting된 이미지가 나오는 경향을 보여주었다.
+
+## 5. Conclusion
+
+- StyO는 IDL과 FCC를 사용해 기존 GAN을 이용한 SOTA 모델들보다 더 자연스럽고 Quality 좋은 style transfered 이미지를 생성해낼 수 있었다.
+- **단, style 하나의 transfer를 위해 single GPU로 10분이 걸리므로 time-efficiency가 좋지 못하다는 단점이 있다.**
diff --git a/_sources/docs/review/StyleGAN.md b/_sources/docs/review/StyleGAN.md
index 9f86ec6d..432e8c58 100755
--- a/_sources/docs/review/StyleGAN.md
+++ b/_sources/docs/review/StyleGAN.md
@@ -1,171 +1,171 @@
-```{admonition} Information
-- **Title:** A Style-Based Generator Architecture for Generative Adversarial Networks (CVPR 2019)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/1812.04948](https://arxiv.org/abs/1812.04948)
- - Code: [https://github.com/huangzh13/StyleGAN.pytorch](https://github.com/huangzh13/StyleGAN.pytorch)
-
-- **Author:** Jisu Kim
-
-- **Last updated on Apr. 12, 2023**
-```
-
-# StyleGAN
-
-오늘 알아볼 모델은 StyleGAN입니다. 기존에 다뤘던 GAN과 같이 이미지를 생성하는 모델입니다. generator 구조를 변경함으로써 성능을 올리고 feature의 control이 가능하게 했습니다. loss나 discriminator 구조 개선에 관한 논문은 아닙니다. 먼저 결과를 보도록 하죠.
-
-:::{figure-md}
-
-
-Images generated by StyleGAN
-:::
-
-이 논문의 contribution은 다음과 같습니다.
-
-1. 새로운 구조를 제안하여 성능을 높이면서 feature의 control이 가능해졌습니다.
-2. 새로운 데이터셋을 제안했습니다. (FFHQ)
-
-이 중에서 첫 번째 contribution을 자세히 보도록 하겠습니다. 논문의 abstract에는 다음과 같은 문장이 있습니다.
-
-> The new architecture leads to an automatically learned, **unsupervised separation of high-level attributes** (e.g., pose and identity when trained on human faces) and stochastic variation in the generated images (e.g., freckles, hair), and it enables intuitive, scale-specific control of the synthesis.
->
-
-논문에서 제안한 새로운 generator 구조가 할 수 있는 일을 설명하는 부분입니다. 여기서 보시면 high level attribute의 separation이 가능하다고 얘기하고 있습니다. 저는 개인적으로 이 부분이 StyleGAN의 가장 중요한 특징이라고 생각합니다.
-
-생성 모델로 이미지를 생성하고자 할 때, 사용자는 어떠한 목적을 가지고 자신이 원하는 이미지를 만들고자 할 것입니다. 이미지의 품질이 좋더라도 모델이 사용자의 의도와 상관없는 랜덤한 이미지를 내뱉어준다면 그 모델의 실용성이 좋다고 할 수 없을 것입니다. 근래에 Text-to-Image 모델들이 인기를 얻었던 이유도 누구나 쉽게 텍스트를 통해서 생성되는 이미지를 조절할 수 있다는 점도 한몫했다고 생각합니다. StyleGAN은 그런 controllability를 어느 정도 가능하게 한 모델이라는 측면에서 의미있다고 생각합니다.
-
-StyleGAN의 구조는 아래 그림과 같습니다. synthesis network는 해상도를 4x4에서 시작해서 1024x1024까지 높여줍니다. 최종적으로 1024x1024 해상도를 가지는 이미지를 갖게됩니다. 아래 구조를 보면 기존 GAN하고 비교해서 특이한 점이 세 가지 있습니다.
-
-1. z를 input으로 받는 mapping network
-
-2. style과 AdaIN
-
-3. noise와 B (stochastic variation)
-
-이 각각에 대해서 알아보도록 합시다.
-
-:::{figure-md}
-
-
-Structure of StyleGAN
-:::
-
-## Mapping Network
-
-:::{figure-md}
-
-
-Mappings with $w$ and without $w$
-:::
-
-기존 GAN을 생각해보면 z를 input으로 받아서 generator를 거쳐서 이미지를 생성하는 구조입니다. 이 z는 보통 Gaussian distribution에서 샘플링으로 얻습니다. GAN은 학습을 통해 Gaussian distribution을 data distribution으로 보내는 방법을 배우게 될 것이고, 이 분포는 (b)처럼 생기게 될 것입니다. 그런데 데이터가 (a)처럼 주어져서 특정한 데이터가 없거나 적을 수도 있을 것입니다. 예를 들어, 데이터에 피부가 희면서 머리가 긴 샘플들이 없다고 해봅시다. 그러면 피부색과 머리 길이라는 두 feature는 서로 얽히게(entangled)되어, 하나를 바꿀 때 다른 하나도 같이 바뀌는 현상이 일어나게 됩니다. 이런 현상을 완화하기 위해 논문에서는 Gaussian에서 뽑은 z를 바로 사용하는 것이 아니라 mapping network를 통해 learnable distribution에서 뽑은 w를 사용합니다.
-
-## Style and AdaIN
-
-instance normalization은 샘플 하나의 각 채널마다 정규화를 취해주는 방법입니다.
-
-:::{figure-md}
-
-
-Normalization methods
-:::
-
-adaptive instance normalization (AdaIN) 은 instance normalization에 scale을 곱해주고 bias를 더해주는 형태입니다. 그런데 이 scale과 bias가 style vector의 linear transformation으로 주어지는 형태입니다. linear layer를 통해서 w는 $\mathbf{y}=(\mathbf{y}_{s},\mathbf{y}_{b})$로 보내지게 됩니다. AdaIN의 수식은 아래와 같습니다.
-
-$$
-AdaIN(\mathbf{x}_{i},\mathbf{y})=\mathbf{y}_{s,i}\frac{\mathbf{x}_{i}-\mu(\mathbf{x}_{i})}{\sigma(\mathbf{x}_{i})}+\mathbf{y}_{b,i}
-$$
-
-AdaIN은 각 블록마다 두 개씩 들어가서 style은 총 열여덟 번 AdaIN을 통해 generator에 들어가게 됩니다. AdaIN은 localization이라는 특징과도 연관이 있습니다. 여기서 말하는 localization이란 열여덟 개의 style 중에서 일부를 바꿈으로써 이미지의 일부 특징들을 바꿀 수 있다는 의미입니다. AdaIN은 각 convolution layer 다음에 적용이 됩니다. 이 때 feature map들은 normalization되고 style에 의해 새로운 statistics를 가지게 됩니다. style은 하나의 convolution에 적용되고, 다음 convolution에서 다시 normalization이 수행되기 때문에 이전 layer에 적용된 style과 다음 layer에 적용된 style이 분리되게 학습될 수 있습니다.
-
-관련 코드
-
-```python
-class StyleMod(nn.Module):
- def __init__(self, latent_size, channels, use_wscale):
- super(StyleMod, self).__init__()
- self.lin = EqualizedLinear(latent_size,
- channels * 2,
- gain=1.0, use_wscale=use_wscale)
-
- def forward(self, x, latent):
- style = self.lin(latent) # style => [batch_size, n_channels*2]
-
- shape = [-1, 2, x.size(1)] + (x.dim() - 2) * [1]
- style = style.view(shape) # [batch_size, 2, n_channels, ...]
- x = x * (style[:, 0] + 1.) + style[:, 1]
- return x
-
-class LayerEpilogue(nn.Module):
- """Things to do at the end of each layer."""
-
- def __init__(self, channels, dlatent_size, use_wscale,
- use_noise, use_pixel_norm, use_instance_norm, use_styles, activation_layer):
- super().__init__()
-
- layers = []
- if use_noise:
- layers.append(('noise', NoiseLayer(channels)))
- layers.append(('activation', activation_layer))
- if use_pixel_norm:
- layers.append(('pixel_norm', PixelNormLayer()))
- if use_instance_norm:
- layers.append(('instance_norm', nn.InstanceNorm2d(channels)))
-
- self.top_epi = nn.Sequential(OrderedDict(layers))
-
- if use_styles:
- self.style_mod = StyleMod(dlatent_size, channels, use_wscale=use_wscale)
- else:
- self.style_mod = None
-
- def forward(self, x, dlatents_in_slice=None):
- x = self.top_epi(x)
- if self.style_mod is not None:
- x = self.style_mod(x, dlatents_in_slice)
- else:
- assert dlatents_in_slice is None
- return x
-```
-
-code from [https://github.com/huangzh13/StyleGAN.pytorch](https://github.com/huangzh13/StyleGAN.pytorch)
-
-아래 그림은 source A의 style 중 일부를 source B의 style로 변경해서 만든 이미지들입니다. style은 총 18곳에서 사용되는데 처음 4곳 ($4^2 - 8^2$)을 coarse, 그다음 4곳 ($16^2-32^2$)을 middle, 마지막 10곳 ($64^2-1024^2$)을 fine style로 정의하였습니다. 그림을 보시면 윗 부분에서는 포즈나 전체적인 머리 스타일같이 coarse style은 source B의 것을 유지하고, 아래로 갈수록 source A의 큰 틀을 유지하면서 세부적인 부분들을 B에서 가져왔음을 볼 수 있습니다.
-
-:::{figure-md}
-
-
-Mixing two styles
-:::
-
-## Stochastic Variation
-
-한 사람의 이미지 안에는 확률적으로 바뀔 수 있는 부분이 있습니다. (주근깨, 머릿결, 피부) 이를 모델링하기 위해서 noise를 추가적인 input으로 사용하여 각 convolution layer 다음에 더해집니다. 아래 그림에서 (a)의 생성된 한 사람의 이미지 안에서도 디테일들은 (b)와 같이 달라질 수 있습니다. (c)와 같이 standard deviation을 구해봤을 때 얼굴형과 같은 attribute는 변하지않지만 noise에 의해서 머리카락과 같은 부분은 variation이 생김을 볼 수 있습니다.
-
-:::{figure-md}
-
-
-Examples of stochastic variation
-:::
-
-아래 그림에서 (a)는 모든 layer에 noise를 준 경우, (b)는 noise를 주지 않은 경우, (c)는 fine layers ($64^2 - 1024^2$)에만 noise를 준 경우, (d)는 coarse layers ($4^2 - 32^2$)에만 noise를 준 경우입니다. (b)를 보면 noise가 없을 경우 머리카락같은 디테일이 제대로 살아있지 않은 것을 볼 수 있습니다. (c)와 (d)를 보면 fine layers에 들어간 noise가 머리카락의 더 세밀한 부분에 영향을 끼친다는 것을 볼 수 있습니다.
-
-:::{figure-md}
-
-
-Effect of noise inputs at different layers
-:::
-
-## Mixing Regularization
-
-논문에서는 localization이 더 잘 되게하기 위해 style mixing이라는 방법을 훈련에 사용합니다. 두 개의 style vector $\mathbf{w}_{1},\mathbf{w}_{2}$를 사용하여 앞 쪽 layer에는 $\mathbf{w}_{1}$을, 뒤 쪽 layer에는 $\mathbf{w}_{2}$를 사용하는 방법입니다. 이는 generator가 인접한 style끼리 correlated되어있다고 학습하는 것을 막아서 localization을 더 잘 되게 하는 목적입니다.
-
-## 실험 결과
-
-마지막으로 저자들이 제안한 방법들이 실제로 효과가 있었는지 확인해봅시다. 아래 표와 같이 실험적으로 보았을 때 저자들이 제안한 방법들을 모두 사용한 경우 FID가 가장 우수하게 나왔습니다.
-
-:::{figure-md}
-
-
-FID for various generator designs
-:::
+```{admonition} Information
+- **Title:** A Style-Based Generator Architecture for Generative Adversarial Networks (CVPR 2019)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/1812.04948](https://arxiv.org/abs/1812.04948)
+ - Code: [https://github.com/huangzh13/StyleGAN.pytorch](https://github.com/huangzh13/StyleGAN.pytorch)
+
+- **Author:** Jisu Kim
+
+- **Last updated on Apr. 12, 2023**
+```
+
+# StyleGAN
+
+오늘 알아볼 모델은 StyleGAN입니다. 기존에 다뤘던 GAN과 같이 이미지를 생성하는 모델입니다. generator 구조를 변경함으로써 성능을 올리고 feature의 control이 가능하게 했습니다. loss나 discriminator 구조 개선에 관한 논문은 아닙니다. 먼저 결과를 보도록 하죠.
+
+:::{figure-md}
+
+
+Images generated by StyleGAN
+:::
+
+이 논문의 contribution은 다음과 같습니다.
+
+1. 새로운 구조를 제안하여 성능을 높이면서 feature의 control이 가능해졌습니다.
+2. 새로운 데이터셋을 제안했습니다. (FFHQ)
+
+이 중에서 첫 번째 contribution을 자세히 보도록 하겠습니다. 논문의 abstract에는 다음과 같은 문장이 있습니다.
+
+> The new architecture leads to an automatically learned, **unsupervised separation of high-level attributes** (e.g., pose and identity when trained on human faces) and stochastic variation in the generated images (e.g., freckles, hair), and it enables intuitive, scale-specific control of the synthesis.
+>
+
+논문에서 제안한 새로운 generator 구조가 할 수 있는 일을 설명하는 부분입니다. 여기서 보시면 high level attribute의 separation이 가능하다고 얘기하고 있습니다. 저는 개인적으로 이 부분이 StyleGAN의 가장 중요한 특징이라고 생각합니다.
+
+생성 모델로 이미지를 생성하고자 할 때, 사용자는 어떠한 목적을 가지고 자신이 원하는 이미지를 만들고자 할 것입니다. 이미지의 품질이 좋더라도 모델이 사용자의 의도와 상관없는 랜덤한 이미지를 내뱉어준다면 그 모델의 실용성이 좋다고 할 수 없을 것입니다. 근래에 Text-to-Image 모델들이 인기를 얻었던 이유도 누구나 쉽게 텍스트를 통해서 생성되는 이미지를 조절할 수 있다는 점도 한몫했다고 생각합니다. StyleGAN은 그런 controllability를 어느 정도 가능하게 한 모델이라는 측면에서 의미있다고 생각합니다.
+
+StyleGAN의 구조는 아래 그림과 같습니다. synthesis network는 해상도를 4x4에서 시작해서 1024x1024까지 높여줍니다. 최종적으로 1024x1024 해상도를 가지는 이미지를 갖게됩니다. 아래 구조를 보면 기존 GAN하고 비교해서 특이한 점이 세 가지 있습니다.
+
+1. z를 input으로 받는 mapping network
+
+2. style과 AdaIN
+
+3. noise와 B (stochastic variation)
+
+이 각각에 대해서 알아보도록 합시다.
+
+:::{figure-md}
+
+
+Structure of StyleGAN
+:::
+
+## Mapping Network
+
+:::{figure-md}
+
+
+Mappings with $w$ and without $w$
+:::
+
+기존 GAN을 생각해보면 z를 input으로 받아서 generator를 거쳐서 이미지를 생성하는 구조입니다. 이 z는 보통 Gaussian distribution에서 샘플링으로 얻습니다. GAN은 학습을 통해 Gaussian distribution을 data distribution으로 보내는 방법을 배우게 될 것이고, 이 분포는 (b)처럼 생기게 될 것입니다. 그런데 데이터가 (a)처럼 주어져서 특정한 데이터가 없거나 적을 수도 있을 것입니다. 예를 들어, 데이터에 피부가 희면서 머리가 긴 샘플들이 없다고 해봅시다. 그러면 피부색과 머리 길이라는 두 feature는 서로 얽히게(entangled)되어, 하나를 바꿀 때 다른 하나도 같이 바뀌는 현상이 일어나게 됩니다. 이런 현상을 완화하기 위해 논문에서는 Gaussian에서 뽑은 z를 바로 사용하는 것이 아니라 mapping network를 통해 learnable distribution에서 뽑은 w를 사용합니다.
+
+## Style and AdaIN
+
+instance normalization은 샘플 하나의 각 채널마다 정규화를 취해주는 방법입니다.
+
+:::{figure-md}
+
+
+Normalization methods
+:::
+
+adaptive instance normalization (AdaIN) 은 instance normalization에 scale을 곱해주고 bias를 더해주는 형태입니다. 그런데 이 scale과 bias가 style vector의 linear transformation으로 주어지는 형태입니다. linear layer를 통해서 w는 $\mathbf{y}=(\mathbf{y}_{s},\mathbf{y}_{b})$로 보내지게 됩니다. AdaIN의 수식은 아래와 같습니다.
+
+$$
+AdaIN(\mathbf{x}_{i},\mathbf{y})=\mathbf{y}_{s,i}\frac{\mathbf{x}_{i}-\mu(\mathbf{x}_{i})}{\sigma(\mathbf{x}_{i})}+\mathbf{y}_{b,i}
+$$
+
+AdaIN은 각 블록마다 두 개씩 들어가서 style은 총 열여덟 번 AdaIN을 통해 generator에 들어가게 됩니다. AdaIN은 localization이라는 특징과도 연관이 있습니다. 여기서 말하는 localization이란 열여덟 개의 style 중에서 일부를 바꿈으로써 이미지의 일부 특징들을 바꿀 수 있다는 의미입니다. AdaIN은 각 convolution layer 다음에 적용이 됩니다. 이 때 feature map들은 normalization되고 style에 의해 새로운 statistics를 가지게 됩니다. style은 하나의 convolution에 적용되고, 다음 convolution에서 다시 normalization이 수행되기 때문에 이전 layer에 적용된 style과 다음 layer에 적용된 style이 분리되게 학습될 수 있습니다.
+
+관련 코드
+
+```python
+class StyleMod(nn.Module):
+ def __init__(self, latent_size, channels, use_wscale):
+ super(StyleMod, self).__init__()
+ self.lin = EqualizedLinear(latent_size,
+ channels * 2,
+ gain=1.0, use_wscale=use_wscale)
+
+ def forward(self, x, latent):
+ style = self.lin(latent) # style => [batch_size, n_channels*2]
+
+ shape = [-1, 2, x.size(1)] + (x.dim() - 2) * [1]
+ style = style.view(shape) # [batch_size, 2, n_channels, ...]
+ x = x * (style[:, 0] + 1.) + style[:, 1]
+ return x
+
+class LayerEpilogue(nn.Module):
+ """Things to do at the end of each layer."""
+
+ def __init__(self, channels, dlatent_size, use_wscale,
+ use_noise, use_pixel_norm, use_instance_norm, use_styles, activation_layer):
+ super().__init__()
+
+ layers = []
+ if use_noise:
+ layers.append(('noise', NoiseLayer(channels)))
+ layers.append(('activation', activation_layer))
+ if use_pixel_norm:
+ layers.append(('pixel_norm', PixelNormLayer()))
+ if use_instance_norm:
+ layers.append(('instance_norm', nn.InstanceNorm2d(channels)))
+
+ self.top_epi = nn.Sequential(OrderedDict(layers))
+
+ if use_styles:
+ self.style_mod = StyleMod(dlatent_size, channels, use_wscale=use_wscale)
+ else:
+ self.style_mod = None
+
+ def forward(self, x, dlatents_in_slice=None):
+ x = self.top_epi(x)
+ if self.style_mod is not None:
+ x = self.style_mod(x, dlatents_in_slice)
+ else:
+ assert dlatents_in_slice is None
+ return x
+```
+
+code from [https://github.com/huangzh13/StyleGAN.pytorch](https://github.com/huangzh13/StyleGAN.pytorch)
+
+아래 그림은 source A의 style 중 일부를 source B의 style로 변경해서 만든 이미지들입니다. style은 총 18곳에서 사용되는데 처음 4곳 ($4^2 - 8^2$)을 coarse, 그다음 4곳 ($16^2-32^2$)을 middle, 마지막 10곳 ($64^2-1024^2$)을 fine style로 정의하였습니다. 그림을 보시면 윗 부분에서는 포즈나 전체적인 머리 스타일같이 coarse style은 source B의 것을 유지하고, 아래로 갈수록 source A의 큰 틀을 유지하면서 세부적인 부분들을 B에서 가져왔음을 볼 수 있습니다.
+
+:::{figure-md}
+
+
+Mixing two styles
+:::
+
+## Stochastic Variation
+
+한 사람의 이미지 안에는 확률적으로 바뀔 수 있는 부분이 있습니다. (주근깨, 머릿결, 피부) 이를 모델링하기 위해서 noise를 추가적인 input으로 사용하여 각 convolution layer 다음에 더해집니다. 아래 그림에서 (a)의 생성된 한 사람의 이미지 안에서도 디테일들은 (b)와 같이 달라질 수 있습니다. (c)와 같이 standard deviation을 구해봤을 때 얼굴형과 같은 attribute는 변하지않지만 noise에 의해서 머리카락과 같은 부분은 variation이 생김을 볼 수 있습니다.
+
+:::{figure-md}
+
+
+Examples of stochastic variation
+:::
+
+아래 그림에서 (a)는 모든 layer에 noise를 준 경우, (b)는 noise를 주지 않은 경우, (c)는 fine layers ($64^2 - 1024^2$)에만 noise를 준 경우, (d)는 coarse layers ($4^2 - 32^2$)에만 noise를 준 경우입니다. (b)를 보면 noise가 없을 경우 머리카락같은 디테일이 제대로 살아있지 않은 것을 볼 수 있습니다. (c)와 (d)를 보면 fine layers에 들어간 noise가 머리카락의 더 세밀한 부분에 영향을 끼친다는 것을 볼 수 있습니다.
+
+:::{figure-md}
+
+
+Effect of noise inputs at different layers
+:::
+
+## Mixing Regularization
+
+논문에서는 localization이 더 잘 되게하기 위해 style mixing이라는 방법을 훈련에 사용합니다. 두 개의 style vector $\mathbf{w}_{1},\mathbf{w}_{2}$를 사용하여 앞 쪽 layer에는 $\mathbf{w}_{1}$을, 뒤 쪽 layer에는 $\mathbf{w}_{2}$를 사용하는 방법입니다. 이는 generator가 인접한 style끼리 correlated되어있다고 학습하는 것을 막아서 localization을 더 잘 되게 하는 목적입니다.
+
+## 실험 결과
+
+마지막으로 저자들이 제안한 방법들이 실제로 효과가 있었는지 확인해봅시다. 아래 표와 같이 실험적으로 보았을 때 저자들이 제안한 방법들을 모두 사용한 경우 FID가 가장 우수하게 나왔습니다.
+
+:::{figure-md}
+
+
+FID for various generator designs
+:::
diff --git a/_sources/docs/review/Synthetic_Data_from_Diffusion_Models_Improves_ImageNet_Classification.md b/_sources/docs/review/Synthetic_Data_from_Diffusion_Models_Improves_ImageNet_Classification.md
index 671f43ae..231cd96b 100755
--- a/_sources/docs/review/Synthetic_Data_from_Diffusion_Models_Improves_ImageNet_Classification.md
+++ b/_sources/docs/review/Synthetic_Data_from_Diffusion_Models_Improves_ImageNet_Classification.md
@@ -1,256 +1,256 @@
-```{admonition} Information
-- **Title:** Synthetic Data from Diffusion Models Improves ImageNet Classification
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2304.08466](https://arxiv.org/abs/2303.03231)
-
-- **Author:** [Jeonghwa Yoo](https://www.linkedin.com/in/jeonghwa-yoo-8403a716b)
-
-- **Last updated on Oct. 25, 2023**
-```
-
-# Synthetic Data from Diffusion Models Improves ImageNet Classification
-
-이번에 리뷰할 논문은 구글 리서치 그룹에서 TMLR(Transactions on Machine Learning Research) 2023에 제출한 논문인 [Synthetic Data from Diffusion Models Improves ImageNet Classification](https://arxiv.org/abs/2304.08466)입니다.
-
-생성 모델이 놀라운 속도로 발전하고 있는데요! 해당 논문에서는 생성 모델의 수준이 얼만큼 왔는지, 복잡한 이미지 데이터인 ImageNet 데이터에 대해서도 충분한 퀄리티의 데이터를 생성할 수 있는 정도가 되었는지, 그래서 이 생성된 데이터를 augment된 데이터로 사용할 수 있는 정도까지 왔는지에 대한 실험과 답을 제시합니다. 이 글의 목차는 논문 내용과 동일하게 구성하였습니다.
-
-
-
-
-본 논문에서는 기술적으로 엄청 새로운 내용은 없는데요! 다만 보통 사전학습된 text-to-image diffusion 모델을 사용하던 기존 방법들과는 달리 Imagen을 ImageNet에 대해 파인튜닝 했다는 것이 새롭습니다.
-
-
-# 1. Introduction
-Diffusion 모델의 등장으로 생성 기술이 크게 발전되었습니다. 현재 생성 기술 수준이 data augmentation으로 사용될 수 있을 만큼의 자연스러운 이미지를 생성하는 것도 가능할까?에 대한 질문이 나오는 것은 당연하고, 본 논문에서는 이에 대한 답을 찾고자 했습니다. 먼저 이 질문에 대한 답을 이야기 하면 아래와 같습니다.
-- 결과 요약
- - ImageNet에 대해 fine-tuning된 Imagen이 FID, Inception Score, CAS 성능에 대해 SOTA 성능을 달성 하였다.
- - 합성 데이터와 실제 데이터를 결합하여 사용하고, 합성 데이터의 양이 많고, 훈련 시간이 길수록 생성 데이터로 훈련된 모델의 성능이 더욱 향상되었다.
-
- :::{figure-md}
- 
-
- 위 그림: 합성 데이터로만 학습된 모델 분류 성능과 진짜 데이터로 학습된 모델의 분류 성능 비교 \\
- 아래 그림: 합성 및 진짜 데이터를 사용하였을 때의 분류 성능과 진짜 데이터로 학습된 모델의 분류 성능 비교
- :::
-
-
-위의 그림에서 볼 수 있듯이 합성 데이터로만 학습한 모델의 정확도와 실제 데이터로 학습한 모델의 정확도를 비교했을 때, 다른 모델들에 비해 본 논문에서 제안한 모델이 훨씬 성능 차이가 적다는 것을 알 수 있습니다. 또한, 아래 그림을 보면, 실제 데이터와 생성된 데이터를 더해서 학습했을 경우에는 ResNet 기반 모델과 Transformer 기반 모델들에서 모두 실제 데이터를 사용했을 때보다 성능 향상이 있었습니다.
-
-
-# 2. Related Work
-생성 모델을 이용해 data augmentation을 하려고 했던 기존 방법들에 대해 짧게 이야기 햐려고 합니다. 최근에는 large-scale text-to-image 모델들이 학습 데이터를 보강하는데 사용되기 시작했습니다.
-
-그 예로 "[Is synthetic data from generative models ready for image recognition?](https://arxiv.org/abs/2210.07574)" 논문이 있습니다. 해당 논문에서는 GLIDE로 생성된 합성 데이터가 zero-shot과 few-shot 이미지 분류 성능을 향상 시켰으며, CIFAR-100 이미지에서 GLIDE를 fine-tuning하여 생성된 합성 데이터 세트가 CIFAR-100의 분류 정확도를 크게 향상 시켰다고 이야기 합니다.
-
-하지만, 위의 논문을 포함해서 기존의 논문들은 이런 생성 모델을 이용해서 data augmentation을 하여도 ImageNet validation set에 대해서는 성능을 향상 시키지 못했습니다. 또한, 기존에 논문들은 pretrained Stable Diffusion 모델을 사용하고, fine-tuning은 하지 않았습니다. 본 논문에서는 기존 논문들과는 다르게 Imagen을 ImageNet에 잘 동작하고 fine-tuning을 하였고, 그 결과 ImageNet validation set에 대해서도 성능을 향상 시킬 수 있었습니다.
-
-
-# 3. Background
-
-본 논문에서는 Classification Accuracy Scores(CAS)라는 성능 지표를 소개합니다. FID와 Inception Score는 생성 모델의 성능 지표로 워낙 많이 쓰여서 설명은 생략하고, CAS에 대해서는 논문에서 써져 있는 내용으로 소개하겠습니다.
-
-CAS는 FID와 Inception Score와 마찬가지로 생성 모델이 만들어낸 샘플의 품질을 평가하는 방법으로 제안 된 성능 지표입니다. 이것은 '합성 데이터'로만 훈련된 ResNet-50 모델에 대한 ImageNet validation set에 대한 분류 성능을 의미합니다. 먼저, 생성 모델을 통해 ImageNet 데이터에 대한 합성 데이터를 만들어냅니다. 그리고 이 합성 데이터만을 이용하여 ResNet-50을 훈련 시키고, 그 훈련된 모델의 실제 ImageNet validation set에 대해 분류 성능이 CAS가 됩니다. 만약 합성 데이터가 실제 ImageNet과 비슷하다면 그 합성 데이터로 학습된 모델은 실제 ImageNet validation set에 대해 좋은 분류 성능을 보일 것이라는 가정을 이용한 성능 지표라고 이해하면 될 것 같습니다.
-
-저자에 의하면 그동안 생성모델의 CAS 성능은 좋지 않았다고 합니다. 생성된 샘플로만 훈련된 모델은 실제 데이터로 훈련된 모델보다 성능이 떨어졌고 (이는 당연해보입니다), 실제 데이터에 합성 데이터를 추가하면 성능이 떨어졌다고 합니다. 이는 아마도 생성된 샘플의 품질, 다양성 등이 원인일 수 있을 것이라고 합니다.
-
-
-# 4. Generative Model Training and Sampling
-
-여기서는 실제로 저자들이 어떻게 text-to-image diffusion 모델을 학습하고, 샘플링을 하였는지에 대한 설명을 합니다.
-
-먼저 저자들은 text-to-image diffusion 모델로는 Imagen을 사용하였습니다. Text-to-image 모델을 어떻게 ImageNet 클래스와 alignment 할 지에 대한 고민이 필요했다고 합니다. 처음에는 CLIP에서 사용한 방법과 유사하게 짧은 텍스트를 ImageNet 클래스의 텍스트 프롬프트로 사용했다고 하였는데 이 경우에 성능이 좋지 않았다고 합니다. 이는 Imagen에서 high guidance weight를 사용하여 샘플의 다양성이 저하 되면서 생기는 현상일 수 있다고 합니다. 따라서, 저자들은 프롬프트를 한 두단어 클래스 이름으로 수정하고, 모델의 weight와 sampling parameter를 fine-tuning 했다고 합니다.
-
-:::{figure-md}
-
-
-Figure 2
-
-:::
-
-왼쪽 그림이 fine-tuning이 적용된 Imagen이 만들어낸 이미지고, 오른쪽이 fine-tuning이 적용되지 않은 Imagen입니다. 아래에서 두 번째 클래스인 Schipperke를 보면, 이것은 스키퍼키라는 개 품종을 의미하는데 fine-tuning이 적용되지 않은 Imagen의 경우는 꽃과 같은 전혀 엉뚱한 이미지를 만들고 있는 것을 볼 수 있습니다.
-
-## 4.1. Imagen Fine-tuning
-
-이 부분은 Imagen을 어떻게 fine-tuning 했는지를 설명하는 부분입니다.
-
-먼저 Imagen 구조는 아래와 같습니다.
-
-:::{figure-md}
-
-
-Imagen 구조
-
-:::
-
-
-본 논문에서는 위의 Imagen 구조에서 빨간 원으로 표시된 부분에 대해서만 fine-tuning 했습니다. Frozen Text Encoder의 경우는 원래 Imagen에서도 학습을 하지 않는 부분이라 마찬가지로 학습을 하지 않았고, 1024x1024 Image를 출력으로 하는 마지막 Super-Resolution Diffusion Model의 경우 ImageNet에 고해상도의 데이터가 적어서 fine-tuning을 하지 않았다고 합니다.
-
-64x64 모델의 경우는 210K step 정도 학습하였고, optimizer의 경우는 Imagen에서 사용하였던 Adafactor optimizer를 사용하였다고 합니다. 64x64 → 256x256 super-resolution 모델의 경우는 490K step 정도 하였고, Adam optimizer를 사용하였다고 합니다.
-
-최적의 모델 선택의 기준으로는 기본 Imagen sampler와 ImageNet-1K validation set에 대해 10K개의 샘플들에 대해 FID score를 계산했을 때 가장 좋은 성능의 모델을 선택했다고 합니다.
-
-
-## 4.2. Sampling Parameters
-이 부분은 본 논문에서 sampling parameter는 어떻게 정했는지를 설명하는 부분입니다. 먼저, Text-conditioned diffusion model 샘플링의 품질, 다양성, 속도는 디퓨전 스텝 수, noise condition augmentation, guidance weight for classifier-free guidance, log-variance mixing coefficient 등에 대해 큰 영향을 받는다고 합니다.
-
-각각에 대해 간단하게 설명하면 아래와 같습니다.
-
-- Noise condition augmentation:
-
- 이미지 생성 과정에서 확률적인 요소를 도입하여 생성된 이미지의 다양성을 증가시키는 기술. 일반적으로, 모델은 잠재 공간의 랜덤한 노이즈를 입력으로 받아 다양한 이미지를 생성하게 됨. 이것은 생성된 이미지가 조금씩 다른 것으로 보이게 만들며, 더 다양한 결과를 얻을 수 있게 함 (자세한 내용은 "[Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding](https://arxiv.org/abs/2205.11487)"를 참고해주세요)
-
- -- Guidance weight for classifier-free guidance: - - "Classifier-free guidance"는 이미지를 생성하는 데 분류기나 특정 지표 없이 외부 정보를 사용한다는 것. "Guidance weights"는 외부 정보를 모델에 어떻게 반영할지를 조절하는 가중치를 의미할 수 있으며, 이러한 가중치를 조절하여 모델이 원하는 특성이나 스타일을 가진 이미지를 더 잘 생성하도록 함 (자세한 내용은 "[Classifier-free diffusion guidance](https://arxiv.org/abs/2207.12598)"를 참고해주세요) -
- -- Log-variance mixing coefficient: - - 이미지 생성 모델에서 사용되는 확률 분포의 변동성을 조절하는 데 사용되는 계수를 나타냄. 이미지 생성 모델은 일반적으로 확률 분포를 사용하여 이미지를 생성하며, 이 확률 분포의 평균과 분산을 조절함으로써 생성된 이미지의 다양성과 품질을 조절할 수 있음. 로그-분산 혼합 계수는 이러한 분산을 조절하는 데 사용되며, 높은 값은 더 큰 분산을 의미하고, 작은 값은 더 작은 분산을 의미함. 이를 통해 이미지 생성의 다양성을 조절할 수 있음 (자세한 내용은 "[Improved denoising diffusion probabilistic models](https://arxiv.org/abs/2102.09672)"를 참고해주세요) -
- -64x64 기반 모델의 샘플링 parameter 설정법에 대해 설명하겠습니다. 해당 모델의 샘플링 이미지 샘플링의 전반적인 특징과 다양성의 영향을 주게 됩니다. 1차 sweep으로 DDPM 샘플러를 이용하여 FID-50K에 대해 가장 최적의 하이퍼파라미터를 찾습니다. Sweep의 사용한 각 하이퍼파라미터의 범위는 아래와 같습니다. - - -- Guidance weight: [1.0, 1.25, 1.5, 1.75, 2.0, 5.0] -- Log-variance: [0.0, 0.2, 0.3, 0.4, 1.0] -- Denoise step: [128, 500, 1000] - -1차 sweep 결과 최적의 FID는 log-variance는 0이고 denoising step은 1000이었을 때라고 합니다. - -1차 sweep이 끝난 후에는 guidance weight에 대해서만 sweep을 합니다. 이 때에는 1.2M 이미지를 사용하고, 각 guidacne weight에 대해 FID, IS, CAS를 측정했다고 합니다. - -각 샘플링 하이퍼파라미터에 대한 실험 결과는 아래와 같습니다. - -:::{figure-md} -
-
-Figure 3
-
-:::
-
-왼쪽 그림이 1차 sweep에 대한 결과고, 가운데와 오른쪽 그림이 2차 sweep에 대한 결과로 guidance weight에 따른 FID, IS, CAS를 나타낸 결과입니다.
-
-
-이제 다음으로는 64x64 → 256x256 super-resolution 모델에 대해 하이퍼파라미터를 선택하는 부분에 대해 설명하겠습니다. 하이퍼파라미터의 range는 아래와 같습니다.
- - Guidance weight: [1.0, 2.0, 5.0, 10.0, 30.0]
- - Noise conditioning augmentation: [0.0, 0.1, 0.2, 0.3, 0.4]
- - Log-variance mixing coefficients: [0,1, 0.3]
- - Denose steps: [129, 500, 1000]
-
-:::{figure-md}
-
-
-Figure 4
-
-:::
-
-위 그래프는 guidance weight를 1.0으로 설정하고 noise condition 파라미터를 변경했을 때 FID와 CAS의 그래프를 나타낸 그래프입니다. CAS 같은 경우는 logvar coeff가 0.3일 때 전반적으로 좋은 성능을 보였으며, FID 같은 경우도 logvar coeff가 0.3일 때 전반적으로 좋은 성능을 보인 것을 알 수 있습니다.
-
-
- -샘플링 하이퍼파라미터의 결과를 분석해보자면, 전반적으로 FID와 CAS는 높은 상관관계가 있으며 (Figure 4 참고), guidance weight가 작을수록 CAS는 높아지지만, Inception Score에는 부정적인 영향을 주며 (Figure 3 참고), noise augmentation이 0일 때 FID가 가장 작은 것을 볼 수 있습니다. (Figure 4 참고) - -
- -이런 하이퍼파라미터 설정 방법을 기준으로 본 논문에서 최종적으로 설정한 값은 아래와 같다고 합니다. -- Guidance weight - - 베이스 모델: 1.25 - - 나머지 resolution: 1.0 -- Log-variance mixing coefficients (sampler, steps) - - 64x64 샘플: 0.0 (DDPM, 1000 denoising steps) - - 256x256 샘플: 0.1 (DDPM, 1000 denoising steps) - - 1024x1024 샘플: 0.0 (DDIM, 32 denoising steps) - -## 4.3. Generation Protocol -이 부분은 실제로 데이터 합성은 어떤 프로토콜을 따랐는지에 대해 설명하는 부분입니다. 본 논문에서는 원본 데이터셋의 class balance를 유지하며 데이터를 합성했으며, 합성된 결과 총 훈련 데이터셋의 규모는 1배인 1.2M 에서 10배인 12M 규모의 데이터셋의 범위를 가지도록 데이터를 합성했다고 합니다. - -# 5. Result - - -## 5-1. Sample Quality: FID and IS -먼저, 합성된 데이터의 품질을 합성 태스크에서 많이 사용되는 지표인 FID와 IS의 관점으로 봅니다. - -:::{figure-md} -
-
-Table 1
-
-:::
-
-위 표에서 볼 수 있듯이, 본 논문의 파인 튜닝된 Imagen이 ImageNet에 대한 데이터 생성에 대해 다른 베이스모델들 보다 FID와 IS가 뛰어난 것을 알 수 있습니다. 이는 64x64 resolution과 256x256 resolution에서 모두 해당되었습니다.
-
-## 5.2. Classification Accuracy Score
-이 부분은 CAS 성능 지표를 통해 본 논문에서 제안한 모델의 데이터 합성 능력을 확인하는 부분입니다.
-
-:::{figure-md}
-
-
-CAS score
-
-:::
-
-Figure 5에서 파란색 부분은 실제 학습 데이터로 학습된 모델의 분류 성능이고, 빨간색 부분은 합성된 데이터로 학습된 모델의 분류 성능입니다. 왼쪽 그림은 베이스라인 중 하나인 CDM 모델의 성능을 나타낸 그림이며, 가운데는 본 논문에서 256x256 resolution 모델의 성능, 오른쪽은 본 논문에서 제안한 1024x1024 resolution 모델의 성능을 나타낸 것입니다. 빨간색 부분이 파란색 부분보다 전반적으로 위쪽에 위치하면 모델의 성능이 좋다고 해석할 수 있습니다. 이 그림을 통해 본 논문에서 제안한 모델들이 베이스라인보다 좋은 성능을 보인다는 것을 알 수 있습니다.
-
-Table 2에서도 마찬가지로 본 논문 모델이 다른 베이스 모델보다 성능이 뛰어난 것을 알 수 있습니다. 여기서 주목할 만한 점은 CAS를 평가하기 위한 ResNet50이 256x256으로 입력 데이터를 다운샘플링 함에도 1024x1024 샘플에 대한 결과가 훨씬 좋다는 것을 볼 수 있습니다. (Ours 256x256 resolution보다 Ours 1024x1024 resolution의 CAS 성능이 월등히 높음)
-
-## 5.3. Classification Accuracy with Different Models
-이 부분은 합성된 데이터를 여러 종류의 모델로 학습 시켰을 때, 각 모델의 분류 성능을 확인하는 부분입니다. CAS와 비슷하지만 CAS에서는 ResNet50 모델로 분류 성능을 확인했지만 여기서는 ResNet50 이외에 모델로도 분류 성능을 본다는 차이점이 있습니다.
-
-:::{figure-md}
-
-
-Table 3
-
-:::
-
-위 표에서 확인할 수 있듯이, 다양한 모델에 대해서 분류 정확도를 살펴본 결과 생성된 데이터로만 학습될 경우에는 실제 데이터로 학습할 때 보다 성능이 낮았지만, 실제 데이터와 생성된 데이터를 합쳐서 학습할 경우 실제 데이터만 사용했을 때보다 성능이 증가한 것을 볼 수 있습니다. 이것은 onvNet기반 모델과 transformer 기반 모델에 대해서 동일한 양상을 보였습니다.
-
-## 5.4. Merging Real and Synthetic Data at Scale
-이 부분은 합성 데이터 규모에 따른 ResNet-50의 성능을 분석한 부분입니다.
-
-:::{figure-md}
-
-
-Figure 6
-
-:::
-
-64x64 이미지의 경우 생성되는 데이터의 양이 증가함에 따라 성능이 지속적으로 향상되는 것을 볼 수 있습니다.
-
-:::{figure-md}
-
-
-Table 4
-
-:::
-
-하지만 다른 resolution에 대해서는 다른 양상을 보였습니다. 학습 데이터가 4.8M 규모가 될 때까지는 합성 데이터를 추가하는 것이 분류 성능에 좋았으나, 합성 데이터를 더 늘려 그 이상의 규모가 되었을 때는 오히려 성능이 떨어지는 것을 볼 수 있었습니다.
-
-# 6. Conclusion
-
-본 논문에 결론 부분을 보자면, 이 논문에서는 Large-sclae text-to-image diffusion 모델을 파인튜닝하여 FID, Inception Score, CAS 성능 지표에 대해서 SOTA를 달성했습니다.
-- FID: 1.76 at 256x256
-- Inception Score: 239 at 256x256
-- CAS: 64.96 for 256x256, 69.24 for 1024x1024
-
-또한 그렇게 생성 데이터를 이용하여 ResNet과 Transformer 기반 모델들에 대한 ImageNet classification accuracy를 향상 시켰습니다.
-
-실험 결과에 대해서 생각해볼만한 거리들이 있었는데 그 중 하나는 CAS 성능 측정할 때 ResNet50이 입력을 256x256으로 다운샘플링 함에도 불구하고 256x256보다 1024x1024의 모델의 CAS가 좋은 것이 있었습니다. 이는 다운샘플링을 하더라도 다운샘플링 전 원본 데이터 resolution이 클 때 더 많은 정보를 담는다는 것을 의미하는 것일 수 있습니다. 또한, 64x64 데이터에서 합성 데이터의 양이 증가함에 따라 분류 정확도가 지속적으로 증가했지만 고해상도 데이터에서는 그렇지 않았던 것을 통해 고해상도에 이미지에 대해서는 보다 정교한 훈련 방법이 필요할 수 있음을 시사하고 있습니다.
-
----
-
-이렇게 Synthetic Data from Diffusion Models Improves ImageNet Classification 논문의 리뷰를 마치겠습니다. 개인적으로 느낀 점은 실제 산업에서는 data shortage나 class imbalance 문제가 대부분 발생하는데 본 논문이 그 해결법 중 하나가 될 수 있을 것 같다는 생각이 들었습니다. 다만 Frozen Text Encoder는 추가적으로 파인튜닝이 되지 않기 때문에 특정 산업에서만 쓰이는 특정 텍스트가 들어왔을 때는 잘 동작할 수 있을까 하는 의문이 들었습니다. 또한 합성하고자 하는 데이터셋에 맞게 파인튜닝을 해야하는 점이 꽤나 불편할 것 같아서 파인튜닝이 모델 성능에 얼마나 큰 의미를 갖는지, 파인튜닝을 하지 않았을 때의 CAS 성능도 논문에 있었으면 좋았을 것 같다는 개인적인 생각이 들었습니다. (물론 Figure 2를 보고 어느 정도 결과를 유추해볼 순 있지만요!)
+```{admonition} Information
+- **Title:** Synthetic Data from Diffusion Models Improves ImageNet Classification
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2304.08466](https://arxiv.org/abs/2303.03231)
+
+- **Author:** [Jeonghwa Yoo](https://www.linkedin.com/in/jeonghwa-yoo-8403a716b)
+
+- **Last updated on Oct. 25, 2023**
+```
+
+# Synthetic Data from Diffusion Models Improves ImageNet Classification
+
+이번에 리뷰할 논문은 구글 리서치 그룹에서 TMLR(Transactions on Machine Learning Research) 2023에 제출한 논문인 [Synthetic Data from Diffusion Models Improves ImageNet Classification](https://arxiv.org/abs/2304.08466)입니다.
+
+생성 모델이 놀라운 속도로 발전하고 있는데요! 해당 논문에서는 생성 모델의 수준이 얼만큼 왔는지, 복잡한 이미지 데이터인 ImageNet 데이터에 대해서도 충분한 퀄리티의 데이터를 생성할 수 있는 정도가 되었는지, 그래서 이 생성된 데이터를 augment된 데이터로 사용할 수 있는 정도까지 왔는지에 대한 실험과 답을 제시합니다. 이 글의 목차는 논문 내용과 동일하게 구성하였습니다.
+
+
+
+
+본 논문에서는 기술적으로 엄청 새로운 내용은 없는데요! 다만 보통 사전학습된 text-to-image diffusion 모델을 사용하던 기존 방법들과는 달리 Imagen을 ImageNet에 대해 파인튜닝 했다는 것이 새롭습니다.
+
+
+# 1. Introduction
+Diffusion 모델의 등장으로 생성 기술이 크게 발전되었습니다. 현재 생성 기술 수준이 data augmentation으로 사용될 수 있을 만큼의 자연스러운 이미지를 생성하는 것도 가능할까?에 대한 질문이 나오는 것은 당연하고, 본 논문에서는 이에 대한 답을 찾고자 했습니다. 먼저 이 질문에 대한 답을 이야기 하면 아래와 같습니다.
+- 결과 요약
+ - ImageNet에 대해 fine-tuning된 Imagen이 FID, Inception Score, CAS 성능에 대해 SOTA 성능을 달성 하였다.
+ - 합성 데이터와 실제 데이터를 결합하여 사용하고, 합성 데이터의 양이 많고, 훈련 시간이 길수록 생성 데이터로 훈련된 모델의 성능이 더욱 향상되었다.
+
+ :::{figure-md}
+
+
+ 위 그림: 합성 데이터로만 학습된 모델 분류 성능과 진짜 데이터로 학습된 모델의 분류 성능 비교 \\
+ 아래 그림: 합성 및 진짜 데이터를 사용하였을 때의 분류 성능과 진짜 데이터로 학습된 모델의 분류 성능 비교
+ :::
+
+
+위의 그림에서 볼 수 있듯이 합성 데이터로만 학습한 모델의 정확도와 실제 데이터로 학습한 모델의 정확도를 비교했을 때, 다른 모델들에 비해 본 논문에서 제안한 모델이 훨씬 성능 차이가 적다는 것을 알 수 있습니다. 또한, 아래 그림을 보면, 실제 데이터와 생성된 데이터를 더해서 학습했을 경우에는 ResNet 기반 모델과 Transformer 기반 모델들에서 모두 실제 데이터를 사용했을 때보다 성능 향상이 있었습니다.
+
+
+# 2. Related Work
+생성 모델을 이용해 data augmentation을 하려고 했던 기존 방법들에 대해 짧게 이야기 햐려고 합니다. 최근에는 large-scale text-to-image 모델들이 학습 데이터를 보강하는데 사용되기 시작했습니다.
+
+그 예로 "[Is synthetic data from generative models ready for image recognition?](https://arxiv.org/abs/2210.07574)" 논문이 있습니다. 해당 논문에서는 GLIDE로 생성된 합성 데이터가 zero-shot과 few-shot 이미지 분류 성능을 향상 시켰으며, CIFAR-100 이미지에서 GLIDE를 fine-tuning하여 생성된 합성 데이터 세트가 CIFAR-100의 분류 정확도를 크게 향상 시켰다고 이야기 합니다.
+
+하지만, 위의 논문을 포함해서 기존의 논문들은 이런 생성 모델을 이용해서 data augmentation을 하여도 ImageNet validation set에 대해서는 성능을 향상 시키지 못했습니다. 또한, 기존에 논문들은 pretrained Stable Diffusion 모델을 사용하고, fine-tuning은 하지 않았습니다. 본 논문에서는 기존 논문들과는 다르게 Imagen을 ImageNet에 잘 동작하고 fine-tuning을 하였고, 그 결과 ImageNet validation set에 대해서도 성능을 향상 시킬 수 있었습니다.
+
+
+# 3. Background
+
+본 논문에서는 Classification Accuracy Scores(CAS)라는 성능 지표를 소개합니다. FID와 Inception Score는 생성 모델의 성능 지표로 워낙 많이 쓰여서 설명은 생략하고, CAS에 대해서는 논문에서 써져 있는 내용으로 소개하겠습니다.
+
+CAS는 FID와 Inception Score와 마찬가지로 생성 모델이 만들어낸 샘플의 품질을 평가하는 방법으로 제안 된 성능 지표입니다. 이것은 '합성 데이터'로만 훈련된 ResNet-50 모델에 대한 ImageNet validation set에 대한 분류 성능을 의미합니다. 먼저, 생성 모델을 통해 ImageNet 데이터에 대한 합성 데이터를 만들어냅니다. 그리고 이 합성 데이터만을 이용하여 ResNet-50을 훈련 시키고, 그 훈련된 모델의 실제 ImageNet validation set에 대해 분류 성능이 CAS가 됩니다. 만약 합성 데이터가 실제 ImageNet과 비슷하다면 그 합성 데이터로 학습된 모델은 실제 ImageNet validation set에 대해 좋은 분류 성능을 보일 것이라는 가정을 이용한 성능 지표라고 이해하면 될 것 같습니다.
+
+저자에 의하면 그동안 생성모델의 CAS 성능은 좋지 않았다고 합니다. 생성된 샘플로만 훈련된 모델은 실제 데이터로 훈련된 모델보다 성능이 떨어졌고 (이는 당연해보입니다), 실제 데이터에 합성 데이터를 추가하면 성능이 떨어졌다고 합니다. 이는 아마도 생성된 샘플의 품질, 다양성 등이 원인일 수 있을 것이라고 합니다.
+
+
+# 4. Generative Model Training and Sampling
+
+여기서는 실제로 저자들이 어떻게 text-to-image diffusion 모델을 학습하고, 샘플링을 하였는지에 대한 설명을 합니다.
+
+먼저 저자들은 text-to-image diffusion 모델로는 Imagen을 사용하였습니다. Text-to-image 모델을 어떻게 ImageNet 클래스와 alignment 할 지에 대한 고민이 필요했다고 합니다. 처음에는 CLIP에서 사용한 방법과 유사하게 짧은 텍스트를 ImageNet 클래스의 텍스트 프롬프트로 사용했다고 하였는데 이 경우에 성능이 좋지 않았다고 합니다. 이는 Imagen에서 high guidance weight를 사용하여 샘플의 다양성이 저하 되면서 생기는 현상일 수 있다고 합니다. 따라서, 저자들은 프롬프트를 한 두단어 클래스 이름으로 수정하고, 모델의 weight와 sampling parameter를 fine-tuning 했다고 합니다.
+
+:::{figure-md}
+
+
+Figure 2
+
+:::
+
+왼쪽 그림이 fine-tuning이 적용된 Imagen이 만들어낸 이미지고, 오른쪽이 fine-tuning이 적용되지 않은 Imagen입니다. 아래에서 두 번째 클래스인 Schipperke를 보면, 이것은 스키퍼키라는 개 품종을 의미하는데 fine-tuning이 적용되지 않은 Imagen의 경우는 꽃과 같은 전혀 엉뚱한 이미지를 만들고 있는 것을 볼 수 있습니다.
+
+## 4.1. Imagen Fine-tuning
+
+이 부분은 Imagen을 어떻게 fine-tuning 했는지를 설명하는 부분입니다.
+
+먼저 Imagen 구조는 아래와 같습니다.
+
+:::{figure-md}
+
+
+Imagen 구조
+
+:::
+
+
+본 논문에서는 위의 Imagen 구조에서 빨간 원으로 표시된 부분에 대해서만 fine-tuning 했습니다. Frozen Text Encoder의 경우는 원래 Imagen에서도 학습을 하지 않는 부분이라 마찬가지로 학습을 하지 않았고, 1024x1024 Image를 출력으로 하는 마지막 Super-Resolution Diffusion Model의 경우 ImageNet에 고해상도의 데이터가 적어서 fine-tuning을 하지 않았다고 합니다.
+
+64x64 모델의 경우는 210K step 정도 학습하였고, optimizer의 경우는 Imagen에서 사용하였던 Adafactor optimizer를 사용하였다고 합니다. 64x64 → 256x256 super-resolution 모델의 경우는 490K step 정도 하였고, Adam optimizer를 사용하였다고 합니다.
+
+최적의 모델 선택의 기준으로는 기본 Imagen sampler와 ImageNet-1K validation set에 대해 10K개의 샘플들에 대해 FID score를 계산했을 때 가장 좋은 성능의 모델을 선택했다고 합니다.
+
+
+## 4.2. Sampling Parameters
+이 부분은 본 논문에서 sampling parameter는 어떻게 정했는지를 설명하는 부분입니다. 먼저, Text-conditioned diffusion model 샘플링의 품질, 다양성, 속도는 디퓨전 스텝 수, noise condition augmentation, guidance weight for classifier-free guidance, log-variance mixing coefficient 등에 대해 큰 영향을 받는다고 합니다.
+
+각각에 대해 간단하게 설명하면 아래와 같습니다.
+
+- Noise condition augmentation:
+
+ 이미지 생성 과정에서 확률적인 요소를 도입하여 생성된 이미지의 다양성을 증가시키는 기술. 일반적으로, 모델은 잠재 공간의 랜덤한 노이즈를 입력으로 받아 다양한 이미지를 생성하게 됨. 이것은 생성된 이미지가 조금씩 다른 것으로 보이게 만들며, 더 다양한 결과를 얻을 수 있게 함 (자세한 내용은 "[Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding](https://arxiv.org/abs/2205.11487)"를 참고해주세요)
+
+ +- Guidance weight for classifier-free guidance: + + "Classifier-free guidance"는 이미지를 생성하는 데 분류기나 특정 지표 없이 외부 정보를 사용한다는 것. "Guidance weights"는 외부 정보를 모델에 어떻게 반영할지를 조절하는 가중치를 의미할 수 있으며, 이러한 가중치를 조절하여 모델이 원하는 특성이나 스타일을 가진 이미지를 더 잘 생성하도록 함 (자세한 내용은 "[Classifier-free diffusion guidance](https://arxiv.org/abs/2207.12598)"를 참고해주세요) +
+ +- Log-variance mixing coefficient: + + 이미지 생성 모델에서 사용되는 확률 분포의 변동성을 조절하는 데 사용되는 계수를 나타냄. 이미지 생성 모델은 일반적으로 확률 분포를 사용하여 이미지를 생성하며, 이 확률 분포의 평균과 분산을 조절함으로써 생성된 이미지의 다양성과 품질을 조절할 수 있음. 로그-분산 혼합 계수는 이러한 분산을 조절하는 데 사용되며, 높은 값은 더 큰 분산을 의미하고, 작은 값은 더 작은 분산을 의미함. 이를 통해 이미지 생성의 다양성을 조절할 수 있음 (자세한 내용은 "[Improved denoising diffusion probabilistic models](https://arxiv.org/abs/2102.09672)"를 참고해주세요) +
+ +64x64 기반 모델의 샘플링 parameter 설정법에 대해 설명하겠습니다. 해당 모델의 샘플링 이미지 샘플링의 전반적인 특징과 다양성의 영향을 주게 됩니다. 1차 sweep으로 DDPM 샘플러를 이용하여 FID-50K에 대해 가장 최적의 하이퍼파라미터를 찾습니다. Sweep의 사용한 각 하이퍼파라미터의 범위는 아래와 같습니다. + + +- Guidance weight: [1.0, 1.25, 1.5, 1.75, 2.0, 5.0] +- Log-variance: [0.0, 0.2, 0.3, 0.4, 1.0] +- Denoise step: [128, 500, 1000] + +1차 sweep 결과 최적의 FID는 log-variance는 0이고 denoising step은 1000이었을 때라고 합니다. + +1차 sweep이 끝난 후에는 guidance weight에 대해서만 sweep을 합니다. 이 때에는 1.2M 이미지를 사용하고, 각 guidacne weight에 대해 FID, IS, CAS를 측정했다고 합니다. + +각 샘플링 하이퍼파라미터에 대한 실험 결과는 아래와 같습니다. + +:::{figure-md} +
+
+Figure 3
+
+:::
+
+왼쪽 그림이 1차 sweep에 대한 결과고, 가운데와 오른쪽 그림이 2차 sweep에 대한 결과로 guidance weight에 따른 FID, IS, CAS를 나타낸 결과입니다.
+
+
+이제 다음으로는 64x64 → 256x256 super-resolution 모델에 대해 하이퍼파라미터를 선택하는 부분에 대해 설명하겠습니다. 하이퍼파라미터의 range는 아래와 같습니다.
+ - Guidance weight: [1.0, 2.0, 5.0, 10.0, 30.0]
+ - Noise conditioning augmentation: [0.0, 0.1, 0.2, 0.3, 0.4]
+ - Log-variance mixing coefficients: [0,1, 0.3]
+ - Denose steps: [129, 500, 1000]
+
+:::{figure-md}
+
+
+Figure 4
+
+:::
+
+위 그래프는 guidance weight를 1.0으로 설정하고 noise condition 파라미터를 변경했을 때 FID와 CAS의 그래프를 나타낸 그래프입니다. CAS 같은 경우는 logvar coeff가 0.3일 때 전반적으로 좋은 성능을 보였으며, FID 같은 경우도 logvar coeff가 0.3일 때 전반적으로 좋은 성능을 보인 것을 알 수 있습니다.
+
+
+ +샘플링 하이퍼파라미터의 결과를 분석해보자면, 전반적으로 FID와 CAS는 높은 상관관계가 있으며 (Figure 4 참고), guidance weight가 작을수록 CAS는 높아지지만, Inception Score에는 부정적인 영향을 주며 (Figure 3 참고), noise augmentation이 0일 때 FID가 가장 작은 것을 볼 수 있습니다. (Figure 4 참고) + +
+ +이런 하이퍼파라미터 설정 방법을 기준으로 본 논문에서 최종적으로 설정한 값은 아래와 같다고 합니다. +- Guidance weight + - 베이스 모델: 1.25 + - 나머지 resolution: 1.0 +- Log-variance mixing coefficients (sampler, steps) + - 64x64 샘플: 0.0 (DDPM, 1000 denoising steps) + - 256x256 샘플: 0.1 (DDPM, 1000 denoising steps) + - 1024x1024 샘플: 0.0 (DDIM, 32 denoising steps) + +## 4.3. Generation Protocol +이 부분은 실제로 데이터 합성은 어떤 프로토콜을 따랐는지에 대해 설명하는 부분입니다. 본 논문에서는 원본 데이터셋의 class balance를 유지하며 데이터를 합성했으며, 합성된 결과 총 훈련 데이터셋의 규모는 1배인 1.2M 에서 10배인 12M 규모의 데이터셋의 범위를 가지도록 데이터를 합성했다고 합니다. + +# 5. Result + + +## 5-1. Sample Quality: FID and IS +먼저, 합성된 데이터의 품질을 합성 태스크에서 많이 사용되는 지표인 FID와 IS의 관점으로 봅니다. + +:::{figure-md} +
+
+Table 1
+
+:::
+
+위 표에서 볼 수 있듯이, 본 논문의 파인 튜닝된 Imagen이 ImageNet에 대한 데이터 생성에 대해 다른 베이스모델들 보다 FID와 IS가 뛰어난 것을 알 수 있습니다. 이는 64x64 resolution과 256x256 resolution에서 모두 해당되었습니다.
+
+## 5.2. Classification Accuracy Score
+이 부분은 CAS 성능 지표를 통해 본 논문에서 제안한 모델의 데이터 합성 능력을 확인하는 부분입니다.
+
+:::{figure-md}
+
+
+CAS score
+
+:::
+
+Figure 5에서 파란색 부분은 실제 학습 데이터로 학습된 모델의 분류 성능이고, 빨간색 부분은 합성된 데이터로 학습된 모델의 분류 성능입니다. 왼쪽 그림은 베이스라인 중 하나인 CDM 모델의 성능을 나타낸 그림이며, 가운데는 본 논문에서 256x256 resolution 모델의 성능, 오른쪽은 본 논문에서 제안한 1024x1024 resolution 모델의 성능을 나타낸 것입니다. 빨간색 부분이 파란색 부분보다 전반적으로 위쪽에 위치하면 모델의 성능이 좋다고 해석할 수 있습니다. 이 그림을 통해 본 논문에서 제안한 모델들이 베이스라인보다 좋은 성능을 보인다는 것을 알 수 있습니다.
+
+Table 2에서도 마찬가지로 본 논문 모델이 다른 베이스 모델보다 성능이 뛰어난 것을 알 수 있습니다. 여기서 주목할 만한 점은 CAS를 평가하기 위한 ResNet50이 256x256으로 입력 데이터를 다운샘플링 함에도 1024x1024 샘플에 대한 결과가 훨씬 좋다는 것을 볼 수 있습니다. (Ours 256x256 resolution보다 Ours 1024x1024 resolution의 CAS 성능이 월등히 높음)
+
+## 5.3. Classification Accuracy with Different Models
+이 부분은 합성된 데이터를 여러 종류의 모델로 학습 시켰을 때, 각 모델의 분류 성능을 확인하는 부분입니다. CAS와 비슷하지만 CAS에서는 ResNet50 모델로 분류 성능을 확인했지만 여기서는 ResNet50 이외에 모델로도 분류 성능을 본다는 차이점이 있습니다.
+
+:::{figure-md}
+
+
+Table 3
+
+:::
+
+위 표에서 확인할 수 있듯이, 다양한 모델에 대해서 분류 정확도를 살펴본 결과 생성된 데이터로만 학습될 경우에는 실제 데이터로 학습할 때 보다 성능이 낮았지만, 실제 데이터와 생성된 데이터를 합쳐서 학습할 경우 실제 데이터만 사용했을 때보다 성능이 증가한 것을 볼 수 있습니다. 이것은 onvNet기반 모델과 transformer 기반 모델에 대해서 동일한 양상을 보였습니다.
+
+## 5.4. Merging Real and Synthetic Data at Scale
+이 부분은 합성 데이터 규모에 따른 ResNet-50의 성능을 분석한 부분입니다.
+
+:::{figure-md}
+
+
+Figure 6
+
+:::
+
+64x64 이미지의 경우 생성되는 데이터의 양이 증가함에 따라 성능이 지속적으로 향상되는 것을 볼 수 있습니다.
+
+:::{figure-md}
+
+
+Table 4
+
+:::
+
+하지만 다른 resolution에 대해서는 다른 양상을 보였습니다. 학습 데이터가 4.8M 규모가 될 때까지는 합성 데이터를 추가하는 것이 분류 성능에 좋았으나, 합성 데이터를 더 늘려 그 이상의 규모가 되었을 때는 오히려 성능이 떨어지는 것을 볼 수 있었습니다.
+
+# 6. Conclusion
+
+본 논문에 결론 부분을 보자면, 이 논문에서는 Large-sclae text-to-image diffusion 모델을 파인튜닝하여 FID, Inception Score, CAS 성능 지표에 대해서 SOTA를 달성했습니다.
+- FID: 1.76 at 256x256
+- Inception Score: 239 at 256x256
+- CAS: 64.96 for 256x256, 69.24 for 1024x1024
+
+또한 그렇게 생성 데이터를 이용하여 ResNet과 Transformer 기반 모델들에 대한 ImageNet classification accuracy를 향상 시켰습니다.
+
+실험 결과에 대해서 생각해볼만한 거리들이 있었는데 그 중 하나는 CAS 성능 측정할 때 ResNet50이 입력을 256x256으로 다운샘플링 함에도 불구하고 256x256보다 1024x1024의 모델의 CAS가 좋은 것이 있었습니다. 이는 다운샘플링을 하더라도 다운샘플링 전 원본 데이터 resolution이 클 때 더 많은 정보를 담는다는 것을 의미하는 것일 수 있습니다. 또한, 64x64 데이터에서 합성 데이터의 양이 증가함에 따라 분류 정확도가 지속적으로 증가했지만 고해상도 데이터에서는 그렇지 않았던 것을 통해 고해상도에 이미지에 대해서는 보다 정교한 훈련 방법이 필요할 수 있음을 시사하고 있습니다.
+
+---
+
+이렇게 Synthetic Data from Diffusion Models Improves ImageNet Classification 논문의 리뷰를 마치겠습니다. 개인적으로 느낀 점은 실제 산업에서는 data shortage나 class imbalance 문제가 대부분 발생하는데 본 논문이 그 해결법 중 하나가 될 수 있을 것 같다는 생각이 들었습니다. 다만 Frozen Text Encoder는 추가적으로 파인튜닝이 되지 않기 때문에 특정 산업에서만 쓰이는 특정 텍스트가 들어왔을 때는 잘 동작할 수 있을까 하는 의문이 들었습니다. 또한 합성하고자 하는 데이터셋에 맞게 파인튜닝을 해야하는 점이 꽤나 불편할 것 같아서 파인튜닝이 모델 성능에 얼마나 큰 의미를 갖는지, 파인튜닝을 하지 않았을 때의 CAS 성능도 논문에 있었으면 좋았을 것 같다는 개인적인 생각이 들었습니다. (물론 Figure 2를 보고 어느 정도 결과를 유추해볼 순 있지만요!)
diff --git a/_sources/docs/review/Textual_Inversion.md b/_sources/docs/review/Textual_Inversion.md
index 5293d739..7fb72e34 100755
--- a/_sources/docs/review/Textual_Inversion.md
+++ b/_sources/docs/review/Textual_Inversion.md
@@ -1,206 +1,206 @@
-```{admonition} Information
-- **Title:** An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion
-
-- **Reference**
- - Paper: [https://arxiv.org/pdf/2208.01618.pdf](https://arxiv.org/pdf/2208.01618.pdf)
- - Code: [https://textual-inversion.github.io/](https://textual-inversion.github.io/)
- - Review: [https://devocean.sk.com/blog/techBoardDetail.do?page=&query=&ID=164320&boardType=writer&searchData=sam56903&subIndex=&idList=&pnwriterID=sam56903](https://devocean.sk.com/blog/techBoardDetail.do?page=&query=&ID=164320&boardType=writer&searchData=sam56903&subIndex=&idList=&pnwriterID=sam56903)
-
-- **Author:** Kwang-Su Mun
-
-- **Last updated on May. 31. 2023**
-```
-
-# Textual Inversion
-
-# Abstract
-```
-이미지 3-5장으로 새로운 개념(또는 콘셉트, concept)을 학습해 관련된 이미지를 뽑아내는 모델
-```
-
- text-to-image model은 자연어를 통한 creation에 전례없는 자유도를 주었다. 하지만, 특정한 contept를 생성하고, 그것의 생김새를 바꾸거나, 새로운 역할이 주어지거나 참신한 장면이 그려지는건 아직 불분명하다. 즉, '이것을 그려줘'라고 말할 때, '이것'에 대한 설명을 prompt로 어떻게 할 것이냐는 물음에는 아직 한계가 있는 것 같다. 이를 해결하기 위해, 저자는 image를 3-5개만으로 사물이나 스타일과 같은 concept, 즉 새로운 '단어'를 고정된 text-to-image model의 embedding space에서 표현하는 방법을 제안한다. 이러한 '단어'는 자연어 문장에 녹아들어가, 직관적인 방법으로 '개인화된' 이미지 생성을 이끌어 낸다. 특히, 독자적이면서 다양한 콘셉트를 capture하기 위해서는 single word embedding이 충분하다는 것을 알게 되었다.
-
-:::{figure-md} textual inverison example
-
-
-textual inversion example \ (source: https://arxiv.org/abs/2208.01618)
-:::
-
-# Introduction
-대규모 학습된 모델에 새로운 개념을 도입하는 일은 어려운 일이다. 각 새로운 개념에 대해 확장된 데이터 셋을 사용해 모델을 retraining하는 것은 엄청나게 비용이 많이 들고, 몇 가지 예제에 해서 fine-tuning은 보통 치명적인 망각을 초래한다. 따라서 저자들은 사전 훈련된 텍스트-이미지 모델의 텍스트 임베딩 공간에서 새로운 단어를 찾아 이러한 문제를 극복할 것을 제안.
-
-
-:::{figure-md} architecture
-
-
-architecture \ (source: https://arxiv.org/abs/2208.01618)
-:::
-위 figure에서, "A photo of S*"은 tokenizer를 지나면서 각각 '508', '701', '73', '*'과 같은 형태의 token set으로 변환되고, 이후 각 토큰은 자체 임베딩 벡터로 변환되고 이러한 벡터는 다운스트림 모델을 통해 제공됨.
-
-input image의 concept를 나타내는, 새로운 pseudo-word인 S*를 이용해 새로운 embedding vector(v*)를 나타낸다. 이후 이 vector는 다른 단어와 같이 처리되며 생성 모델에 대한 새로운 text query를 구성하는데 사용될 수 있음. 따라서 이 query는 generator에 들어가서 사용자가 의도한바와 일치하도록 새로운 image를 생성하도록 하는 것이 전반적인 그림이라고 볼 수 있음.
-
-여기서 중요한 것은, 이 과정에서 생성모델(여기서는 LDM이 쓰임)은 untouched되어 있다는 것(즉, 따로 수정이 들어가지 않는듯함). 그렇게 함으로써 새로운 task에 대한 fine-tuning을 할 때 일반적으로 손실되는 text에 대한 이해도나 generalization을 유지할 수 있음.
-
-이러한 '유사단어'를 찾기 위해, 이 작업을 하나로 inversion시켜 프레임화 한다. 그리고 고정된, pre-trained text-to-image model을 사용하고, 3-5개의 concept를 나타내는 small image set이 주어진다. 저자들은 'a photo of S*'와 같은 형태의 문장을 설정해 주어진 작은 dataset에서 이미지를 재구성 하는 것으로 이어지는 single-word embedding을 찾는 것을 목표로 함.
-
-이 모델의 목표는 **새로운 concept인 입력 이미지를 나타내는 S*를 표현하는 방법을 찾는 것**이며, 이러한 task를 **'textual inversion'**이라고 한다고 함.
-
-```
-This embedding is found through an optimization process, which we refer to as “Textual Inversion”.
-```
-
-# Related work
-- text-guided synthesis
-- GAN inversion
-- Diffusion-based inversion
-- personalization
- - PALAVRA: image를 S*으로 바꾸는데 사용되는 기술로 추정.
- - pre-trained CLIP model을 이용해서 personalized object의 복구 및 segmentation을 수행. PALAVRA는 특정 개체를 참조하는 CLIP의 textual embedding space에서 pseudo-word를 식별함. 그 다음 검색을 위해 이미지를 설명하거나 어떤 장면에서 특정 개체를 분할하기 위해 사용됨. figure 5에서 보듯이, 그들의 접근 방식은 새로운 장면에서 그럴듯한 재구성 또는 합성에 필요한 세부 정보를 캡처하지 못함.
-
-# Method
-```
-Our goal is to enable language-guided generation of new, user-specified concepts.
-```
-- 의역) 목표: 유저가 의도한 것에 초첨을 맞춘, 새로운 concept를 embedding으로 잘 가이드해서 괜찮은 성과물을 내는 것.
-
-따라서 pre-trained text-to-image model의 중간 단계의 representation으로 이러한 새로운 'concepts'을 인코딩하는데 초점을 맞춤. 일반적인 text-to-image model에서는 image의 representation에 대한 후보군을 text encoder의 word-embedding 단계에서 찾는다. 그러나 이러한 접근 방식은 이미지에 대한 in-depth visual understanding을 필요로 하지 않는다(생성자가 이미지에 대해서 시각적인 이해? 없이 그린다.) 따라서 여기서는 GAN inversion에서 영감을 받은 visual reconstruction objective를 제시.
-
-## cf) GAN Inversion(이해 못함)
-출처) - https://hyoseok-personality.tistory.com/entry/GAN-Inversion
-
-:::{figure-md} GAN inversion
-
-
-GAN inversion \ (source: https://hyoseok-personality.tistory.com/entry/GAN-Inversion)
-:::
-
-- 입력 이미지와 유사한 결과 이미지를 얻을 수 있도록 하는 latent vector를 찾는 과정. GAN이 학습되면 random latent vector로부터 이미지를 생성해낸다. GAN inversion은 이의 역과정으로써 GAN의 latent space로 input image를 inverting시켜 latent vector를 알아가는 과정.
-
-## LDM(Latent Diffusion Model)
-논문에서는 생성모델로서 LDM(Latent Diffusion Model)을 사용함. 이전에 말했듯이, LDM은 하나도 건들지 않음.
-
-:::{figure-md} LDM objective function
-
-
-LDM objective function \ (source: https://arxiv.org/pdf/2208.01618.pdf)
-:::
-
-## Text Embeddings
-:::{figure-md} Text-Embedding
-
-
-Text-Embedding \ (source: https://arxiv.org/pdf/2208.01618.pdf)
-:::
-- 입력된 문자열의 각 단어, 하위 단어는 tokenizer를 통과하며, 미리 정의된 dictionary에서 index token으로 변환함. 각 토큰을 통해 찾을 수 있는 고유한 임베딩 벡터에 연결됨.
-- index에 의한 embedding vector는 일반적으로 text encoder인 C_Θ의 일부로 학습된다. 이러한 space를 inversion target으로 삼았음. 새로운 개념을 나타내기 위해 자리표시자 문자열인 S*를 새롭게 지정함. 이 과정에서 PALAVRA를 사용했을 것으로 추정함. 임베딩 process에 개입해서 tokenize된 문자열과 관련된 vector를 새로운 학습된 embedding V*로 대체하여 본질적으로 어휘(pseudo-word)에 개념을 주입함. 이렇게 함으로써 다른 단어와 마찬가지로 concept를 포함하는 새로운 문장을 만들 수 있었음.
-
-## Textual Inversion
-새로운 embedding을 찾기 위해 작은 규모의 dataset(3-5장)을 사용해 다양한 배경 또는 포즈와 같은 여러 설정에 걸쳐 목표 concept을 묘사함. 이러한 작은 dataset에서 LDM loss를 최소화하는 과정을 통해 V를 최적화함. 생성 조건을 고정하기 위해 CLIP ImageNet 템플릿에서 파생된 중립 컨텍스트 텍스트를 무작위로 샘플링한다. 여기에는 "A photo of S*", "A rendition of S*" 등의 형식 프롬프트가 포함된다.(아마 원본 이미지와 최대한 비슷하게 만들어서 원본과 비교하기 위한 목적이 아닐까 싶음) 최적화 목표식은 다음과 같음.
-
-:::{figure-md} textual inversion objective function
-
-
-textual inversion objective function \ (source: https://arxiv.org/pdf/2208.01618.pdf)
-:::
-
-LDM loss함수와 매우 유사함. 여기서 CΘ와 eΘ는 고정. 해당 따라서 학습된 embedding이 개념에 미세한 시각적 detail을 포착할 수 있을것으로 기대함.
-
-# 성능평가
-## DALL:E-2와 비교
-:::{figure-md} compare with DALLE-2
-
-
-compare with DALLE-2 \ (source: https://arxiv.org/pdf/2208.01618.pdf)
-:::
-- input image에 대한 디테일을 더 잘 포착하는 모습을 볼 수 있다.
-
-## Text guided synthesis
-
-:::{figure-md} text guided synthesis
-
-
-text guided synthesis - 입력 이미지의 스타일과 유사하면서도 text guide에 맞춰서 잘 진행함.
- \ (source: https://arxiv.org/pdf/2208.01618.pdf)
-:::
-
-- Textual Inversion 모델은 새로운 주제에 대해 더 정확하게 개념을 보존하고, 새로운 임베딩과 나머지 캡션들에 대해서도 모두 추론이 가능했음.
-
-:::{figure-md} style transfer
-
-
-style transfer \ (source: https://arxiv.org/pdf/2208.01618.pdf)
-:::
-- 적은 데이터셋으로도 style을 보존하면서 표현한 그림
-
-## pseudo word 두 개 사용
-
-:::{figure-md} two pseudo word
-
-
-two pseudo word \ (source: https://arxiv.org/pdf/2208.01618.pdf)
-:::
-
-## Bias Reduction
-:::{figure-md} Bias reduction
-
-
-Bias reduction \ (source: https://arxiv.org/pdf/2208.01618.pdf)
-:::
-
-기존 모델의 결과를 보면, 위 사진에서와 같이 '의사'라는 단어를 사용하면, 보통 백인 남성 의사를 잘 그려냈음. 이는 기존 데이터셋에서 남성 의사 사진 데이터가 많았음을 보여준다. 보다 작은 imageset에서 새로운 embedding을 학습함으로써 이러한 bias를 줄일 수 있음을 보여준다(즉, 성별 및 인종적 다양성에 대한 인식을 높일 수 있음).
-
-# 정량평가
-
-latent space embedding의 품질을 분석.
-
-1. reconstruction(y축?): target concept를 얼마나 잘 복제하는지. 특정 이미지가 아닌 개념에 대한 변형을 생성하므로 의미적 CLIP 공간 거리를 고려하여 유사성을 측정.(이미지에 자체가 아닌, 이미지가 가진 '개념'에 대해 latent space를 생성하므로) 각 컨셉에 대해 "A photo of S*"라는 prompt를 사용해 64개의 이미지를 생성.
-2. editability(x축?): text prompt를 사용해 개념을 수정하는 능력을 평가. 다양한 난이도와 다양한 설정의 prompt를 사용해 일련의 이미지를 생성.
-
-각 prompt 별로, 50 DDIM step을 사용해 64개의 샘플을 만들고, CLIP-space embedding을 평가, textual prompt의 CLIP-space embedding에서 cosine similarity를 계산. 높은 스코어는 더 높은 editing capability와 prompt의 신뢰도를 보여줌.
-
-## 평가 setups
-GAN inversion에서 영감을 받은 실험 환경 설정에 따름. 생략
-
-## 결과
-:::{figure-md} quantative evaluation1
-
-
-quantative evaluation1 \ (source: https://arxiv.org/pdf/2208.01618.pdf)
-:::
-
-### 주목할 점
-
-1. 많은 baseline과 우리 방법의 semantic reconstruction quality는 단순히 training set에서 임의의 이미지를 샘플링하는 것과 비슷함(== 원본 이미지와 생성된 이미지가 큰 차이가 없었다?)
-
-2. single-word method는 비슷한 reconstruction quality를 달성하고, 모든 multi-word baseline에서 상당히 향상된 editablity을 달성. 이러한 점은 text embedding space의 인상적인 유연성을 나타내고, 단일 pseudo word만 사용하면서 높은 정확도로 새로운 개념을 캡처하는데 도움이 될 수 있음을 보여줌.
-
-3. baseline이 distortion-editability tradeoff 곡선의 outline을 그리며 실제 단어 분포에 더 가까운 embedding이 더 쉽게 수정될 수 있음. 그러나 target의 세부 정보를 캡처하지는 못함. 반대로, 단어 분포에서 멀리 벗어나면 editability가 크게 감소하는 대신 향상된 reconstruction이 가능해짐. 특히 single embedding model은 단순히 learning rate를 변경해 이 곡선을 따라 이동할 수 있으므로 사용자에게 이 tradeoff에 대한 어느 정도의 제어를 제공함.
-
-4. concept에 대한 human description을 사용하면 유사성을 포착하지 못하면서도, editability가 감소함.
-
-
-## 사용자평가
-
-:::{figure-md} human test
-
-
-human test \ (source: https://arxiv.org/pdf/2208.01618.pdf)
-:::
-
-두 개의 설문지:
-1) 사용자는 concept의 training set에서 4개의 이미지를 제공받았고, 이미지와의 유사성에 따라 5개의 모델에서 생성된 결과의 순위를 매김.
-
-2) 이미지 context를 설명하는 텍스트를 제공받았고, 텍스트와 생성된 이미지의 유사성에 따라 순위를 매김.
-
-각 질문별로 600개씩 총 1,200개의 응답을 수집.
-
-# Limitation
-1. 이미지 생성에 더 많은 자유도를 제공하지만, concept의 의미론적인 본질을 파악하거나, 정확한 shape를 학습하는데 한계.
-2. 최적화가 오래 걸린다. 하나의 concept를 학습하는데 약 2시간이 소요됨.
-
-# 마무리
-: 새로운 설정과 장면에서 특정 concept의 이미지를 생성하기 위해 text-to-image model를 활용하는 개인화되며, language-guided generation을 소개함. 여기서 사용한 'text inversion'은 pretrained text-to-image 모델의 text embedding space 내에서 concept를 새로운 pseudo word로 inverse하여 작동함. 이러한 pseudo-word는 간단한 자연어 설명을 사용해 새로운 장면에 삽입할 수 있으므로 간단하고 직관적인 수정이 가능함.
-
- 어떤 의미에서 이 방법은 사용자가 편집하기 쉽도록 텍스트 기반 interpace를 사용하지만 자연 언어의 한계에 접근할 때 시각적 단서를 제공하는 등 multi modal 정보를 활용할 수 있도록 함.
-
+```{admonition} Information
+- **Title:** An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion
+
+- **Reference**
+ - Paper: [https://arxiv.org/pdf/2208.01618.pdf](https://arxiv.org/pdf/2208.01618.pdf)
+ - Code: [https://textual-inversion.github.io/](https://textual-inversion.github.io/)
+ - Review: [https://devocean.sk.com/blog/techBoardDetail.do?page=&query=&ID=164320&boardType=writer&searchData=sam56903&subIndex=&idList=&pnwriterID=sam56903](https://devocean.sk.com/blog/techBoardDetail.do?page=&query=&ID=164320&boardType=writer&searchData=sam56903&subIndex=&idList=&pnwriterID=sam56903)
+
+- **Author:** Kwang-Su Mun
+
+- **Last updated on May. 31. 2023**
+```
+
+# Textual Inversion
+
+# Abstract
+```
+이미지 3-5장으로 새로운 개념(또는 콘셉트, concept)을 학습해 관련된 이미지를 뽑아내는 모델
+```
+
+ text-to-image model은 자연어를 통한 creation에 전례없는 자유도를 주었다. 하지만, 특정한 contept를 생성하고, 그것의 생김새를 바꾸거나, 새로운 역할이 주어지거나 참신한 장면이 그려지는건 아직 불분명하다. 즉, '이것을 그려줘'라고 말할 때, '이것'에 대한 설명을 prompt로 어떻게 할 것이냐는 물음에는 아직 한계가 있는 것 같다. 이를 해결하기 위해, 저자는 image를 3-5개만으로 사물이나 스타일과 같은 concept, 즉 새로운 '단어'를 고정된 text-to-image model의 embedding space에서 표현하는 방법을 제안한다. 이러한 '단어'는 자연어 문장에 녹아들어가, 직관적인 방법으로 '개인화된' 이미지 생성을 이끌어 낸다. 특히, 독자적이면서 다양한 콘셉트를 capture하기 위해서는 single word embedding이 충분하다는 것을 알게 되었다.
+
+:::{figure-md} textual inverison example
+
+
+textual inversion example \ (source: https://arxiv.org/abs/2208.01618)
+:::
+
+# Introduction
+대규모 학습된 모델에 새로운 개념을 도입하는 일은 어려운 일이다. 각 새로운 개념에 대해 확장된 데이터 셋을 사용해 모델을 retraining하는 것은 엄청나게 비용이 많이 들고, 몇 가지 예제에 해서 fine-tuning은 보통 치명적인 망각을 초래한다. 따라서 저자들은 사전 훈련된 텍스트-이미지 모델의 텍스트 임베딩 공간에서 새로운 단어를 찾아 이러한 문제를 극복할 것을 제안.
+
+
+:::{figure-md} architecture
+
+
+architecture \ (source: https://arxiv.org/abs/2208.01618)
+:::
+위 figure에서, "A photo of S*"은 tokenizer를 지나면서 각각 '508', '701', '73', '*'과 같은 형태의 token set으로 변환되고, 이후 각 토큰은 자체 임베딩 벡터로 변환되고 이러한 벡터는 다운스트림 모델을 통해 제공됨.
+
+input image의 concept를 나타내는, 새로운 pseudo-word인 S*를 이용해 새로운 embedding vector(v*)를 나타낸다. 이후 이 vector는 다른 단어와 같이 처리되며 생성 모델에 대한 새로운 text query를 구성하는데 사용될 수 있음. 따라서 이 query는 generator에 들어가서 사용자가 의도한바와 일치하도록 새로운 image를 생성하도록 하는 것이 전반적인 그림이라고 볼 수 있음.
+
+여기서 중요한 것은, 이 과정에서 생성모델(여기서는 LDM이 쓰임)은 untouched되어 있다는 것(즉, 따로 수정이 들어가지 않는듯함). 그렇게 함으로써 새로운 task에 대한 fine-tuning을 할 때 일반적으로 손실되는 text에 대한 이해도나 generalization을 유지할 수 있음.
+
+이러한 '유사단어'를 찾기 위해, 이 작업을 하나로 inversion시켜 프레임화 한다. 그리고 고정된, pre-trained text-to-image model을 사용하고, 3-5개의 concept를 나타내는 small image set이 주어진다. 저자들은 'a photo of S*'와 같은 형태의 문장을 설정해 주어진 작은 dataset에서 이미지를 재구성 하는 것으로 이어지는 single-word embedding을 찾는 것을 목표로 함.
+
+이 모델의 목표는 **새로운 concept인 입력 이미지를 나타내는 S*를 표현하는 방법을 찾는 것**이며, 이러한 task를 **'textual inversion'**이라고 한다고 함.
+
+```
+This embedding is found through an optimization process, which we refer to as “Textual Inversion”.
+```
+
+# Related work
+- text-guided synthesis
+- GAN inversion
+- Diffusion-based inversion
+- personalization
+ - PALAVRA: image를 S*으로 바꾸는데 사용되는 기술로 추정.
+ - pre-trained CLIP model을 이용해서 personalized object의 복구 및 segmentation을 수행. PALAVRA는 특정 개체를 참조하는 CLIP의 textual embedding space에서 pseudo-word를 식별함. 그 다음 검색을 위해 이미지를 설명하거나 어떤 장면에서 특정 개체를 분할하기 위해 사용됨. figure 5에서 보듯이, 그들의 접근 방식은 새로운 장면에서 그럴듯한 재구성 또는 합성에 필요한 세부 정보를 캡처하지 못함.
+
+# Method
+```
+Our goal is to enable language-guided generation of new, user-specified concepts.
+```
+- 의역) 목표: 유저가 의도한 것에 초첨을 맞춘, 새로운 concept를 embedding으로 잘 가이드해서 괜찮은 성과물을 내는 것.
+
+따라서 pre-trained text-to-image model의 중간 단계의 representation으로 이러한 새로운 'concepts'을 인코딩하는데 초점을 맞춤. 일반적인 text-to-image model에서는 image의 representation에 대한 후보군을 text encoder의 word-embedding 단계에서 찾는다. 그러나 이러한 접근 방식은 이미지에 대한 in-depth visual understanding을 필요로 하지 않는다(생성자가 이미지에 대해서 시각적인 이해? 없이 그린다.) 따라서 여기서는 GAN inversion에서 영감을 받은 visual reconstruction objective를 제시.
+
+## cf) GAN Inversion(이해 못함)
+출처) - https://hyoseok-personality.tistory.com/entry/GAN-Inversion
+
+:::{figure-md} GAN inversion
+
+
+GAN inversion \ (source: https://hyoseok-personality.tistory.com/entry/GAN-Inversion)
+:::
+
+- 입력 이미지와 유사한 결과 이미지를 얻을 수 있도록 하는 latent vector를 찾는 과정. GAN이 학습되면 random latent vector로부터 이미지를 생성해낸다. GAN inversion은 이의 역과정으로써 GAN의 latent space로 input image를 inverting시켜 latent vector를 알아가는 과정.
+
+## LDM(Latent Diffusion Model)
+논문에서는 생성모델로서 LDM(Latent Diffusion Model)을 사용함. 이전에 말했듯이, LDM은 하나도 건들지 않음.
+
+:::{figure-md} LDM objective function
+
+
+LDM objective function \ (source: https://arxiv.org/pdf/2208.01618.pdf)
+:::
+
+## Text Embeddings
+:::{figure-md} Text-Embedding
+
+
+Text-Embedding \ (source: https://arxiv.org/pdf/2208.01618.pdf)
+:::
+- 입력된 문자열의 각 단어, 하위 단어는 tokenizer를 통과하며, 미리 정의된 dictionary에서 index token으로 변환함. 각 토큰을 통해 찾을 수 있는 고유한 임베딩 벡터에 연결됨.
+- index에 의한 embedding vector는 일반적으로 text encoder인 C_Θ의 일부로 학습된다. 이러한 space를 inversion target으로 삼았음. 새로운 개념을 나타내기 위해 자리표시자 문자열인 S*를 새롭게 지정함. 이 과정에서 PALAVRA를 사용했을 것으로 추정함. 임베딩 process에 개입해서 tokenize된 문자열과 관련된 vector를 새로운 학습된 embedding V*로 대체하여 본질적으로 어휘(pseudo-word)에 개념을 주입함. 이렇게 함으로써 다른 단어와 마찬가지로 concept를 포함하는 새로운 문장을 만들 수 있었음.
+
+## Textual Inversion
+새로운 embedding을 찾기 위해 작은 규모의 dataset(3-5장)을 사용해 다양한 배경 또는 포즈와 같은 여러 설정에 걸쳐 목표 concept을 묘사함. 이러한 작은 dataset에서 LDM loss를 최소화하는 과정을 통해 V를 최적화함. 생성 조건을 고정하기 위해 CLIP ImageNet 템플릿에서 파생된 중립 컨텍스트 텍스트를 무작위로 샘플링한다. 여기에는 "A photo of S*", "A rendition of S*" 등의 형식 프롬프트가 포함된다.(아마 원본 이미지와 최대한 비슷하게 만들어서 원본과 비교하기 위한 목적이 아닐까 싶음) 최적화 목표식은 다음과 같음.
+
+:::{figure-md} textual inversion objective function
+
+
+textual inversion objective function \ (source: https://arxiv.org/pdf/2208.01618.pdf)
+:::
+
+LDM loss함수와 매우 유사함. 여기서 CΘ와 eΘ는 고정. 해당 따라서 학습된 embedding이 개념에 미세한 시각적 detail을 포착할 수 있을것으로 기대함.
+
+# 성능평가
+## DALL:E-2와 비교
+:::{figure-md} compare with DALLE-2
+
+
+compare with DALLE-2 \ (source: https://arxiv.org/pdf/2208.01618.pdf)
+:::
+- input image에 대한 디테일을 더 잘 포착하는 모습을 볼 수 있다.
+
+## Text guided synthesis
+
+:::{figure-md} text guided synthesis
+
+
+text guided synthesis - 입력 이미지의 스타일과 유사하면서도 text guide에 맞춰서 잘 진행함.
+ \ (source: https://arxiv.org/pdf/2208.01618.pdf)
+:::
+
+- Textual Inversion 모델은 새로운 주제에 대해 더 정확하게 개념을 보존하고, 새로운 임베딩과 나머지 캡션들에 대해서도 모두 추론이 가능했음.
+
+:::{figure-md} style transfer
+
+
+style transfer \ (source: https://arxiv.org/pdf/2208.01618.pdf)
+:::
+- 적은 데이터셋으로도 style을 보존하면서 표현한 그림
+
+## pseudo word 두 개 사용
+
+:::{figure-md} two pseudo word
+
+
+two pseudo word \ (source: https://arxiv.org/pdf/2208.01618.pdf)
+:::
+
+## Bias Reduction
+:::{figure-md} Bias reduction
+
+
+Bias reduction \ (source: https://arxiv.org/pdf/2208.01618.pdf)
+:::
+
+기존 모델의 결과를 보면, 위 사진에서와 같이 '의사'라는 단어를 사용하면, 보통 백인 남성 의사를 잘 그려냈음. 이는 기존 데이터셋에서 남성 의사 사진 데이터가 많았음을 보여준다. 보다 작은 imageset에서 새로운 embedding을 학습함으로써 이러한 bias를 줄일 수 있음을 보여준다(즉, 성별 및 인종적 다양성에 대한 인식을 높일 수 있음).
+
+# 정량평가
+
+latent space embedding의 품질을 분석.
+
+1. reconstruction(y축?): target concept를 얼마나 잘 복제하는지. 특정 이미지가 아닌 개념에 대한 변형을 생성하므로 의미적 CLIP 공간 거리를 고려하여 유사성을 측정.(이미지에 자체가 아닌, 이미지가 가진 '개념'에 대해 latent space를 생성하므로) 각 컨셉에 대해 "A photo of S*"라는 prompt를 사용해 64개의 이미지를 생성.
+2. editability(x축?): text prompt를 사용해 개념을 수정하는 능력을 평가. 다양한 난이도와 다양한 설정의 prompt를 사용해 일련의 이미지를 생성.
+
+각 prompt 별로, 50 DDIM step을 사용해 64개의 샘플을 만들고, CLIP-space embedding을 평가, textual prompt의 CLIP-space embedding에서 cosine similarity를 계산. 높은 스코어는 더 높은 editing capability와 prompt의 신뢰도를 보여줌.
+
+## 평가 setups
+GAN inversion에서 영감을 받은 실험 환경 설정에 따름. 생략
+
+## 결과
+:::{figure-md} quantative evaluation1
+
+
+quantative evaluation1 \ (source: https://arxiv.org/pdf/2208.01618.pdf)
+:::
+
+### 주목할 점
+
+1. 많은 baseline과 우리 방법의 semantic reconstruction quality는 단순히 training set에서 임의의 이미지를 샘플링하는 것과 비슷함(== 원본 이미지와 생성된 이미지가 큰 차이가 없었다?)
+
+2. single-word method는 비슷한 reconstruction quality를 달성하고, 모든 multi-word baseline에서 상당히 향상된 editablity을 달성. 이러한 점은 text embedding space의 인상적인 유연성을 나타내고, 단일 pseudo word만 사용하면서 높은 정확도로 새로운 개념을 캡처하는데 도움이 될 수 있음을 보여줌.
+
+3. baseline이 distortion-editability tradeoff 곡선의 outline을 그리며 실제 단어 분포에 더 가까운 embedding이 더 쉽게 수정될 수 있음. 그러나 target의 세부 정보를 캡처하지는 못함. 반대로, 단어 분포에서 멀리 벗어나면 editability가 크게 감소하는 대신 향상된 reconstruction이 가능해짐. 특히 single embedding model은 단순히 learning rate를 변경해 이 곡선을 따라 이동할 수 있으므로 사용자에게 이 tradeoff에 대한 어느 정도의 제어를 제공함.
+
+4. concept에 대한 human description을 사용하면 유사성을 포착하지 못하면서도, editability가 감소함.
+
+
+## 사용자평가
+
+:::{figure-md} human test
+
+
+human test \ (source: https://arxiv.org/pdf/2208.01618.pdf)
+:::
+
+두 개의 설문지:
+1) 사용자는 concept의 training set에서 4개의 이미지를 제공받았고, 이미지와의 유사성에 따라 5개의 모델에서 생성된 결과의 순위를 매김.
+
+2) 이미지 context를 설명하는 텍스트를 제공받았고, 텍스트와 생성된 이미지의 유사성에 따라 순위를 매김.
+
+각 질문별로 600개씩 총 1,200개의 응답을 수집.
+
+# Limitation
+1. 이미지 생성에 더 많은 자유도를 제공하지만, concept의 의미론적인 본질을 파악하거나, 정확한 shape를 학습하는데 한계.
+2. 최적화가 오래 걸린다. 하나의 concept를 학습하는데 약 2시간이 소요됨.
+
+# 마무리
+: 새로운 설정과 장면에서 특정 concept의 이미지를 생성하기 위해 text-to-image model를 활용하는 개인화되며, language-guided generation을 소개함. 여기서 사용한 'text inversion'은 pretrained text-to-image 모델의 text embedding space 내에서 concept를 새로운 pseudo word로 inverse하여 작동함. 이러한 pseudo-word는 간단한 자연어 설명을 사용해 새로운 장면에 삽입할 수 있으므로 간단하고 직관적인 수정이 가능함.
+
+ 어떤 의미에서 이 방법은 사용자가 편집하기 쉽도록 텍스트 기반 interpace를 사용하지만 자연 언어의 한계에 접근할 때 시각적 단서를 제공하는 등 multi modal 정보를 활용할 수 있도록 함.
+
이러한 접근 방식은 공개적으로 사용가능한 가장 큰 text-to-image model인 LDM을 통해 구현됨. 그러나 접근 방식에 아키텍처 세부 정보에 의존하지 않음. 따라서 textual inversion은 추가적인 대규모 text-to-image model에 쉽게 적용할 수 있다고 생각. 거기에서 text-to-image alignment, shape preseravation, image generation fidelity가 더 향상될 수 있음.
\ No newline at end of file
diff --git a/_sources/docs/review/VideoLDM.md b/_sources/docs/review/VideoLDM.md
index f3d443b0..ebb1c7ec 100755
--- a/_sources/docs/review/VideoLDM.md
+++ b/_sources/docs/review/VideoLDM.md
@@ -1,193 +1,193 @@
-```{admonition} Information
-- **Title:** Align your Latents: High-Resolution Video Synthesis with Latent Diffusion Models
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2304.08818](https://arxiv.org/abs/2304.08818)
-
-- **Author:** Jun-Hyoung Lee
-
-- **Last updated on Nov. 30. 2023**
-```
-
-# VideoLDM
-
-:::{figure-md}
-
-
-Video LDM samples
-:::
-
-## Abstract
-
-- Latent Diffusion Models (LDMs)는 computing resource 를 줄이기 위해 낮은 차원의 latent space 로 압축하여 high quality 의 image synthesis 를 가능하게 했다.
-- 비디오 생성 모델링의 퀄리티 부족하며,
- - 이유가 학습에 필요한 computing cost 가 많이 발생, 데이터 셋 부족하다.
-- 제안
- :::{figure-md}
- 
-
- Temproal Video finetuning
- :::
-
- - 기존에는 가우시안 노이즈의 랜덤한 샘플들 끼리의 denoising 결과 다른 이미지를 생성했다.
- - Temporal Video finetuning 을 거치게 되면 비디오 시퀀스의 형태(시간축에 정렬된 이미지)로 생성할 수 있다.
-- VideoLDM 은 기존 LDM 방법에 고해상도의 비디오 생성을 적용했다.
- 1. 대규모 이미지 데이터 셋을 활용해 LDM 을 pre-train 했고, (only image)
- - pre-trained image LDMs 를 활용 가능하다.
- - temporal modeling 만 학습한다.(기존 이미지 LDM은 freeze)
- - 1280x2048 해상도 까지 가능하다.
- 2. 그 후, 이미지 generator 를 비디오 generator 로 전환한다.
- - latent space diffusion model 에 temporal(시간적) 차원을 적용한다.
- - 이미지 시퀀스(비디오)를 인코딩해 파인 튜닝 진행한다.
- 3. diffusion model upsampler 를 시간적으로 정렬하여 일관적인 비디오 super resolution model 로 변환한다.
-- Applied task
- - 자율 주행의 시뮬레이션 엔진 (512x1024 해상도로 실제로 평가 진행해 sota 달성)
- - creative content creation (using text-to-video)
-
-## 3. Latent Video Diffusion Models
-
-- 비디오 데이터 셋: $x ∈ R^{T×3×\tilde H×\tilde W}$ 로 표현
- - $T$: frame 수, $\tilde H, \tilde W$: 높이, 너비
-
-### 3.1. Turning Latent Image into Video Generators
-
-- 잘 학습된 image LDM 을 활용하는 것이 주요한 key point.
- - 문제점
- - image LDM 은 개별의 프레임에 대한 high quality 이미지를 생성할 수 있고,
- → 시간적인 정보는 포함하고 있지 않다.
- - 따라서 이를 연속적인 프레임으로 렌더링해 사용할 수 없다.
-- $l_\phi ^i$ 로 표현하는 temporal neural network 를 추가했다.
- - 이는 이미지 LDM 의 공간적인 정보에 연관되며, 시간적으로 일관된 방식으로 개별 프레임을 정렬할 수 있도록 한다.
- - 비디오를 인식할 수 있는 backbone 을 정의한다.
-
- :::{figure-md}
- 
-
- Video-Aware Temporal Backbone
- :::
-
- :::{figure-md}
- 
-
- Einops notation
- :::
-
- - einops 로 구현했으며, spatial layer 에서는 비디오(배치x시간) 정보가 함께 인코딩이 되며,
- - temporal layer 에서는 이를 rearrange 를 통해 배치, 시간 정보를 나눠 시간 차원에서 인코딩이 진행된다.
- - (option) 이때 text prompt 가 conditioning 이 될 수 있다.
- - (i) temporal attention (ii) 3D conv 로 구성된다.
- - + Sinusoidal embedding 을 사용해 시간에 대한 위치 인코딩 활용했다.
- - temporal layer 을 거친 후, spatial layer 의 output 과 가중합을 통해 정보가 결합된다.
-
-
-#### 3.1.1 Temporal Autoencoder Finetuning
-
-- Image LDM 을 사용하면 시퀀스로 생성할 때 flickering이 발생하는 문제가 있다.
- - 이를 해결하기 위해, autoencoder 의 decoder 에서 temporal 한 layer 를 추가한다.
- - 이는 3D conv 로 구축된 patch-wise temporal discriminator 도 추가해 비디오 데이터를 fine tuning 한다.
-
- :::{figure-md}
- 
-
- Temporal Autoencoder Finetuning
- :::
-
-- 인코딩된 비디오 프레임의 latent space 내에서 image DM 을 사용할 수 있도록 인코더는 학습이 되지 않는다.
-
-### 3.2. Prediction Models for Long-Term Generation
-
-- 그럼에도 불구하고, 긴 동영상은 생성하지 못하는 한계가 있다.
-- 따라서 전체 $T$ 프레임에서 마스킹된 $S$ 프레임으로 구성해 모델이 예측하게끔 학습을 한다.
- - 이러한 프레임들은 LDM 의 인코더를 통해 채널 차원에 concat 되며, temporal layer 에 입력된다.
-- inference 에서는 반복적인 샘플링 과정을 통해 긴 영상을 생성할 수 있게 했다.
- - 최신 prediction 을 재 사용해 새로운 context 를 생성했다.
- - classifier-free guidance 를 도입해 마스킹된 프레임 수를 0, 1, 2 개를 사용해 학습.
-
-### 3.3. Temporal Interpolation for High Frame Rates
-
-:::{figure-md}
-
-
-Temporal Interpolation
-:::
-
-- High resolution video 란 해상도 뿐만 아니라 높은 frame rate 를 가지고 있어야 한다.
-- 이를 위해 두 가지 과정으로 진행한다.
- 1. semantic 한 큰 변화가 있는 키 프레임을 생성한다.
- - 메모리 제약으로 인해 low frame rate 로 생성할 수 있다.
- 2. 키 프레임을 활용한 interpolate 진행한다.
- - interpolate 할 프레임을 masking 을 씌운다.
- - 두 개의 키 프레임에 대해 세 개의 프레임을 예측하는 것으로 T → 4T interpolation model 을 학습해 사용했다.
- - 높은 frame rate 를 위해 16T 까지 interpolation 모델 구축.
-
-
-### 3.4. Temporal Fine-tuning of SR Models
-
-- megapixel 의 해상도까지 생성하는 것이 목표이다.
- - cascaded DMs 에 영감받아 4배 해상도를 키웠다.
-
- :::{figure-md}
- 
-
- Cascaded DM
- :::
-
- - noise augmentation(with noise level conditioning) 으로 super resolution 모델 학습했다.
-- 또한 consistency 한 SR 모델을 구축하기 위해 spatial / temporal layer를 추가했다.
- - 저해상도 시퀀스 길이 $T$ 를 concat 하여 conditioning
- - locally 하게 patch 단위로 연산하고, 후에 convolution 을 진행한다.
-- computing resource
- - VideoLDM 에서의 main LDM 을 효율적으로 연산을 하기 위해 latent space 에서 모든 비디오 모델링이 수행된다.
- - 그로 인해, 높은 배치 사이즈 + 긴 영상 생성 가능하다.
- - upsampler 는 패치 단위로 진행하기에 computing resource 를 줄일 수 있다.
-
-## 4. Experiments
-
-- Dataset
- - RDS(real driving scene): 683,060 개, 8초(30 fps), 512×1024, day/night, “crowdedness”
- - WebVid-10M: 10.7M video-caption pairs, 52K video hours, resized 320×512
-- Evaluation metric
- - FVD + human evaluation
- - CLIP similarity (CLIP- SIM) + IS
-
-### 4.1. High-Resolution Driving Video Synthesis
-
-:::{figure-md}
-
-
-Real-World Driving Scenes with Video LDM
-:::
-
-### 4.2. Text-to-Video with Stable Diffusion
-
-- WebVid-10M 데이터셋(resized 320×512)으로 Stable Diffusion 의 spatial layer 에 대해 학습했고,
- - text-conditioning 을 적용한 temporal layer 를 추가해 학습 진행했다.
- - 그 후 upscaler 를 학습해 4배 upscale 해 1280×2048 해상도로 비디오 생성 가능해졌다.
- - 113 frames: 24fps 4.7초 or 30fps 3.8초
-
- :::{figure-md}
- 
-
- Text-to-Video with Stable Diffusion
- :::
-
- - 다양성이 적은 Real video 로 제한적인 데이터로 학습했지만, 기존 Stable Diffusion 의 생성 능력을 가져와 artistic 한 생성이 가능하다.
- - performance
-
- :::{figure-md}
- 
-
- Performance Table
- :::
-
- - Make-A-Video 의 경우 VideoLDM 보다 더 많은 데이터 셋과 text-to-video를 entirely하게 학습했다.
-
-#### 4.2.1 Personalized Text-to-Video with Dreambooth
-
-:::{figure-md}
-
-
-Text-to-Video with DreamBooth
-:::
-
-- 위쪽의 VideoLDM 을 활용한 결과가 consistency 한 결과를 가져왔다.
+```{admonition} Information
+- **Title:** Align your Latents: High-Resolution Video Synthesis with Latent Diffusion Models
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2304.08818](https://arxiv.org/abs/2304.08818)
+
+- **Author:** Jun-Hyoung Lee
+
+- **Last updated on Nov. 30. 2023**
+```
+
+# VideoLDM
+
+:::{figure-md}
+
+
+Video LDM samples
+:::
+
+## Abstract
+
+- Latent Diffusion Models (LDMs)는 computing resource 를 줄이기 위해 낮은 차원의 latent space 로 압축하여 high quality 의 image synthesis 를 가능하게 했다.
+- 비디오 생성 모델링의 퀄리티 부족하며,
+ - 이유가 학습에 필요한 computing cost 가 많이 발생, 데이터 셋 부족하다.
+- 제안
+ :::{figure-md}
+
+
+ Temproal Video finetuning
+ :::
+
+ - 기존에는 가우시안 노이즈의 랜덤한 샘플들 끼리의 denoising 결과 다른 이미지를 생성했다.
+ - Temporal Video finetuning 을 거치게 되면 비디오 시퀀스의 형태(시간축에 정렬된 이미지)로 생성할 수 있다.
+- VideoLDM 은 기존 LDM 방법에 고해상도의 비디오 생성을 적용했다.
+ 1. 대규모 이미지 데이터 셋을 활용해 LDM 을 pre-train 했고, (only image)
+ - pre-trained image LDMs 를 활용 가능하다.
+ - temporal modeling 만 학습한다.(기존 이미지 LDM은 freeze)
+ - 1280x2048 해상도 까지 가능하다.
+ 2. 그 후, 이미지 generator 를 비디오 generator 로 전환한다.
+ - latent space diffusion model 에 temporal(시간적) 차원을 적용한다.
+ - 이미지 시퀀스(비디오)를 인코딩해 파인 튜닝 진행한다.
+ 3. diffusion model upsampler 를 시간적으로 정렬하여 일관적인 비디오 super resolution model 로 변환한다.
+- Applied task
+ - 자율 주행의 시뮬레이션 엔진 (512x1024 해상도로 실제로 평가 진행해 sota 달성)
+ - creative content creation (using text-to-video)
+
+## 3. Latent Video Diffusion Models
+
+- 비디오 데이터 셋: $x ∈ R^{T×3×\tilde H×\tilde W}$ 로 표현
+ - $T$: frame 수, $\tilde H, \tilde W$: 높이, 너비
+
+### 3.1. Turning Latent Image into Video Generators
+
+- 잘 학습된 image LDM 을 활용하는 것이 주요한 key point.
+ - 문제점
+ - image LDM 은 개별의 프레임에 대한 high quality 이미지를 생성할 수 있고,
+ → 시간적인 정보는 포함하고 있지 않다.
+ - 따라서 이를 연속적인 프레임으로 렌더링해 사용할 수 없다.
+- $l_\phi ^i$ 로 표현하는 temporal neural network 를 추가했다.
+ - 이는 이미지 LDM 의 공간적인 정보에 연관되며, 시간적으로 일관된 방식으로 개별 프레임을 정렬할 수 있도록 한다.
+ - 비디오를 인식할 수 있는 backbone 을 정의한다.
+
+ :::{figure-md}
+
+
+ Video-Aware Temporal Backbone
+ :::
+
+ :::{figure-md}
+
+
+ Einops notation
+ :::
+
+ - einops 로 구현했으며, spatial layer 에서는 비디오(배치x시간) 정보가 함께 인코딩이 되며,
+ - temporal layer 에서는 이를 rearrange 를 통해 배치, 시간 정보를 나눠 시간 차원에서 인코딩이 진행된다.
+ - (option) 이때 text prompt 가 conditioning 이 될 수 있다.
+ - (i) temporal attention (ii) 3D conv 로 구성된다.
+ - + Sinusoidal embedding 을 사용해 시간에 대한 위치 인코딩 활용했다.
+ - temporal layer 을 거친 후, spatial layer 의 output 과 가중합을 통해 정보가 결합된다.
+
+
+#### 3.1.1 Temporal Autoencoder Finetuning
+
+- Image LDM 을 사용하면 시퀀스로 생성할 때 flickering이 발생하는 문제가 있다.
+ - 이를 해결하기 위해, autoencoder 의 decoder 에서 temporal 한 layer 를 추가한다.
+ - 이는 3D conv 로 구축된 patch-wise temporal discriminator 도 추가해 비디오 데이터를 fine tuning 한다.
+
+ :::{figure-md}
+
+
+ Temporal Autoencoder Finetuning
+ :::
+
+- 인코딩된 비디오 프레임의 latent space 내에서 image DM 을 사용할 수 있도록 인코더는 학습이 되지 않는다.
+
+### 3.2. Prediction Models for Long-Term Generation
+
+- 그럼에도 불구하고, 긴 동영상은 생성하지 못하는 한계가 있다.
+- 따라서 전체 $T$ 프레임에서 마스킹된 $S$ 프레임으로 구성해 모델이 예측하게끔 학습을 한다.
+ - 이러한 프레임들은 LDM 의 인코더를 통해 채널 차원에 concat 되며, temporal layer 에 입력된다.
+- inference 에서는 반복적인 샘플링 과정을 통해 긴 영상을 생성할 수 있게 했다.
+ - 최신 prediction 을 재 사용해 새로운 context 를 생성했다.
+ - classifier-free guidance 를 도입해 마스킹된 프레임 수를 0, 1, 2 개를 사용해 학습.
+
+### 3.3. Temporal Interpolation for High Frame Rates
+
+:::{figure-md}
+
+
+Temporal Interpolation
+:::
+
+- High resolution video 란 해상도 뿐만 아니라 높은 frame rate 를 가지고 있어야 한다.
+- 이를 위해 두 가지 과정으로 진행한다.
+ 1. semantic 한 큰 변화가 있는 키 프레임을 생성한다.
+ - 메모리 제약으로 인해 low frame rate 로 생성할 수 있다.
+ 2. 키 프레임을 활용한 interpolate 진행한다.
+ - interpolate 할 프레임을 masking 을 씌운다.
+ - 두 개의 키 프레임에 대해 세 개의 프레임을 예측하는 것으로 T → 4T interpolation model 을 학습해 사용했다.
+ - 높은 frame rate 를 위해 16T 까지 interpolation 모델 구축.
+
+
+### 3.4. Temporal Fine-tuning of SR Models
+
+- megapixel 의 해상도까지 생성하는 것이 목표이다.
+ - cascaded DMs 에 영감받아 4배 해상도를 키웠다.
+
+ :::{figure-md}
+
+
+ Cascaded DM
+ :::
+
+ - noise augmentation(with noise level conditioning) 으로 super resolution 모델 학습했다.
+- 또한 consistency 한 SR 모델을 구축하기 위해 spatial / temporal layer를 추가했다.
+ - 저해상도 시퀀스 길이 $T$ 를 concat 하여 conditioning
+ - locally 하게 patch 단위로 연산하고, 후에 convolution 을 진행한다.
+- computing resource
+ - VideoLDM 에서의 main LDM 을 효율적으로 연산을 하기 위해 latent space 에서 모든 비디오 모델링이 수행된다.
+ - 그로 인해, 높은 배치 사이즈 + 긴 영상 생성 가능하다.
+ - upsampler 는 패치 단위로 진행하기에 computing resource 를 줄일 수 있다.
+
+## 4. Experiments
+
+- Dataset
+ - RDS(real driving scene): 683,060 개, 8초(30 fps), 512×1024, day/night, “crowdedness”
+ - WebVid-10M: 10.7M video-caption pairs, 52K video hours, resized 320×512
+- Evaluation metric
+ - FVD + human evaluation
+ - CLIP similarity (CLIP- SIM) + IS
+
+### 4.1. High-Resolution Driving Video Synthesis
+
+:::{figure-md}
+
+
+Real-World Driving Scenes with Video LDM
+:::
+
+### 4.2. Text-to-Video with Stable Diffusion
+
+- WebVid-10M 데이터셋(resized 320×512)으로 Stable Diffusion 의 spatial layer 에 대해 학습했고,
+ - text-conditioning 을 적용한 temporal layer 를 추가해 학습 진행했다.
+ - 그 후 upscaler 를 학습해 4배 upscale 해 1280×2048 해상도로 비디오 생성 가능해졌다.
+ - 113 frames: 24fps 4.7초 or 30fps 3.8초
+
+ :::{figure-md}
+
+
+ Text-to-Video with Stable Diffusion
+ :::
+
+ - 다양성이 적은 Real video 로 제한적인 데이터로 학습했지만, 기존 Stable Diffusion 의 생성 능력을 가져와 artistic 한 생성이 가능하다.
+ - performance
+
+ :::{figure-md}
+
+
+ Performance Table
+ :::
+
+ - Make-A-Video 의 경우 VideoLDM 보다 더 많은 데이터 셋과 text-to-video를 entirely하게 학습했다.
+
+#### 4.2.1 Personalized Text-to-Video with Dreambooth
+
+:::{figure-md}
+
+
+Text-to-Video with DreamBooth
+:::
+
+- 위쪽의 VideoLDM 을 활용한 결과가 consistency 한 결과를 가져왔다.
diff --git a/_sources/docs/review/Your_Diffusion_Model_is_Secretly_a_Zero_Shot_Classifier.md b/_sources/docs/review/Your_Diffusion_Model_is_Secretly_a_Zero_Shot_Classifier.md
index 1e2ed35f..c2b6446a 100755
--- a/_sources/docs/review/Your_Diffusion_Model_is_Secretly_a_Zero_Shot_Classifier.md
+++ b/_sources/docs/review/Your_Diffusion_Model_is_Secretly_a_Zero_Shot_Classifier.md
@@ -1,271 +1,271 @@
-``` {admonition} Information
-- **Title:** {Your Diffusion Model is Secretly a Zero-Shot Classifier}, {ICCV 2023}
-
-- **Reference**
- - Paper: [https://arxiv.org/pdf/2303.16203.pdf](https://arxiv.org/pdf/2303.16203.pdf)
- - Github io: [https://diffusion-classifier.github.io/](https://diffusion-classifier.github.io/)
- - Code: [https://github.com/diffusion-classifier/diffusion-classifier](https://github.com/diffusion-classifier/diffusion-classifier)
-
-- **Author:** SeonHoon Kim
-- **Edited by:** SeonHoon Kim
-
-- **Last updated on Nov. 09, 2023**
-```
-
-# Your Diffusion Model is Secretly a Zero-Shot Classifier
-
-- **핵심**
- - 학습된 **Diffusion Models 에서 Classifier 를 추가 학습 없이 획득**할 수 있다.
- - **Stable Diffusion** 같은 거대 모델로부터 **Zero-shot classifier** 를 얻을 수 있다.
- - **Class-conditional Diffusion Models** 에서는 **일반적인 (non Zero-shot) classifier** 를 얻을 수 있다.
-- **결과 요약**
- - **Classification 성능이 나쁘지 않았다.**
- - **Zero-shot classifier 는 Multimodal Compositional reasoning ability 가 매우 훌륭**했다.
- - 이렇게 Diffusion 모델에서 추출된 Classifiers 는 **Distribution shift 에 대해 Robust** 한 성능을 보여주었다.
-
-- **Classifier 구현 방법**
-
-:::{figure-md}
-
-
-Diffusion Classifier 아키텍쳐
-:::
-
-- **예시로 먼저 살펴보기.**
-- 예를 들어, 어떤 동물 이미지 X 를 Stable Diffusion 으로 Classification 하고 싶다면..
- 1. 일단 해당 동물의 클래스를 포함하고 있을 만한 데이터셋을 구한다.
- 37개의 동물 클래스가 존재하는 Pets 데이터셋을 사용한다고 치자.
- 2. text prompts 로 “호랑이” 가 주어진 Stable Diffusion 으로,
- X 의 Noised Image 에서 Reverse process 를 진행한다. 그럼 Loss 를 획득할 수 있을 것이다.
- 3. 37개의 모든 Pets Classes 에 대해서 이를 수행해서,
- 가장 Loss 가 작은 Class 를 판별한다.
- 이 Class 가 바로 이미지 X 의 클래스이다. - -:::{figure-md} -
-
-Algorithm 1 : Diffusion Classifier 학습 알고리즘
-:::
-
-1. `n_samples` 에 지정된 수 만큼 t 와 noise 를 각각 샘플링해 벡터를 만든다.
-2. 클래스 판별이 필요한 이미지 X 의 t-step Noised image 인 X_t 를 구한다.
-3. X_t 를 Diffusion Model 에 Input 으로 주어 Noise 를 출력한다.
-4. **loss** 를 구한다.
-- 위 과정을, 여러 번 (`n_trials` 만큼) 시도해서 평균낼 수도 있다. -5. loss 가 가장 낮은 Class 를 찾을 때 까지, 가능한 모든 Class 에 대해 추론한다. -6. 최종 남은 Class 를 X 의 Class 라고 판정한다. -- Zero-shot classification 도 위와 동일한 과정으로 진행된다.
-다만 추론할 Class list 가 필요하다.
- - 예를 들어서, Stable Diffusion 의 Zero-shot classification 을 수행하기 위해서는,
- (Stable Diffusion 이 학습하지는 않았지만) 37개의 클래스가 정의되어 있는
- Pets 와 같은 데이터셋으로 Classification 을 수행할 수 있다. -- 하지만, Class 마다 n_samples 수 만큼 t 를 샘플링하고,
-또 X_t 를 구하고,
-Diffusion Model 로 노이즈를 추론하고,
-loss 를 구하는 것은 Inference times 가 많이 소모됨.
-따라서 다음의 방법을 활용해 inference times 을 줄인다. - -:::{figure-md} -
-
-Algorithm 2. Efficient Diffusion Classifier Algorithm
-:::
-
-1. **일단 작은 수의 n_samples 로 error 가 높은 class 들을 걸러낸다.**
-2. **소수의 class 만 남았다면,
-이제는 정확한 추론을 위해서 더 큰 n_samples 를 설정해 추론한다.
-(large n_samples 로 t 와 $\epsilon$ 을 sampling 한다.)** -- c.f. - -```markdown -### Oxford-IIIT Pets -```bash -python eval_prob_adaptive.py --dataset pets --split test --n_trials 1 \ - --to_keep 5 1 --n_samples 25 250 --loss l1 \ - --prompt_path prompts/pets_prompts.csv -``` - -- 왜 이렇게까지 inference time 을 줄이려고 하지??
- - 위의 스크립트 그대로 RTX 3090 에서 돌리면,
- Pets 이미지 1장 Classification 하는데 18초 걸린다.
- - ImageNet 은 Class 1,000 개 있는데,
- 512x512 이미지 1장 Classification 하려면 1,000 초 걸린다. -- **c.f. Loss 계산 코드 (eval_prob_adaptive.py)** - -```python -all_noise = torch.randn((max_n_samples * args.n_trials, 4, latent_size, latent_size), device=latent.device) - -def eval_error(unet, scheduler, latent, all_noise, ts, noise_idxs, - text_embeds, text_embed_idxs, batch_size=32, dtype='float32', loss='l2'): - assert len(ts) == len(noise_idxs) == len(text_embed_idxs) - pred_errors = torch.zeros(len(ts), device='cpu') - idx = 0 - with torch.inference_mode(): - for _ in tqdm.trange(len(ts) // batch_size + int(len(ts) % batch_size != 0), leave=False): - batch_ts = torch.tensor(ts[idx: idx + batch_size]) - noise = all_noise[noise_idxs[idx: idx + batch_size]] - noised_latent = latent * (scheduler.alphas_cumprod[batch_ts] 0.5).view(-1, 1, 1, 1).to(device) + \ - noise * ((1 - scheduler.alphas_cumprod[batch_ts]) 0.5).view(-1, 1, 1, 1).to(device) - t_input = batch_ts.to(device).half() if dtype == 'float16' else batch_ts.to(device) - text_input = text_embeds[text_embed_idxs[idx: idx + batch_size]] - noise_pred = unet(noised_latent, t_input, encoder_hidden_states=text_input).sample - if loss == 'l2': - error = F.mse_loss(noise, noise_pred, reduction='none').mean(dim=(1, 2, 3)) - elif loss == 'l1': - error = F.l1_loss(noise, noise_pred, reduction='none').mean(dim=(1, 2, 3)) - elif loss == 'huber': - error = F.huber_loss(noise, noise_pred, reduction='none').mean(dim=(1, 2, 3)) - else: - raise NotImplementedError - pred_errors[idx: idx + len(batch_ts)] = error.detach().cpu() - idx += len(batch_ts) - return pred_errors -``` - - -- **실험 결과** - - **Figure 2** - - :::{figure-md} -
-
- Figure 2
- :::
-
- - 특정한 이미지 x 의 모든 클래스에 대해서 loss 를 추론하게 될텐데,
- **모든 클래스에 대해서
- 동일한 $\epsilon$** (즉 sampled noise) **과 동일한 t** (즉 sampled time steps) **를 사용해야** 한다.
- **이 두 변수에 따라 loss 가 크게 달라지기 때문.** - -- **Figure 3 & Figure 4** - - **Figure 3** - - t 에 따라서, Classification 성능이 달라졌다. - - **Figure 4** - - Figure 3 의 결과에 따라서,
- intermediate timesteps 를 더 많이 sampling 하면 성능이 올라가는지 실험해보았다. - - 그렇지 않았다.
- timesteps 를 Uniform 하게 sampling 했을 때 성능이 가장 좋았다. - -:::{figure-md} -
-
-Figure 3
-:::
-
-:::{figure-md}
-
-
-Figure 4
-:::
-
-- **Table 1** (+ F. Additional Implementation Details 참고)
-
-:::{figure-md}
-
-
-Table 1
-:::
-
-- 본 논문에서 제시한 Diffusion Classifier 가 Classification 능력이 나쁘지 않았다.
-1. Diffusion 모델에서 knowledge 를 추출해내는 다른 방법들보다 성능이 뛰어났다.
- - Diffusion Classifier 는 **Zero-shot 성능**이,
- **“Stable Diffusion 으로 생성된 영상을“ 학습한** **ResNet-50** **classifier** 보다 뛰어났다.
- - **Synthetic SD data :**
- Class 마다 10,000 장의 이미지를 Stable Diffusion 2.0 으로 생성해
- 데이터셋을 구축하고 (90% train / 10% validation),
- 해당 데이터셋으로 ResNet-50 classifier 를 학습시켜서 classification 수행한 결과
- - Diffusion Classifier 는 **Classification 성능**이,
- **Stable Diffusion 의 intermediate U-Net layer 를 추출해 학습시킨
- ResNet-based 모델**보다 뛰어났다.
- - **SD features :**
- Input 이미지에 따른 Stable Diffusion 의 Intermediate U-Net features 를
- ResNet 기반의 classifier 에 전달해서 추론.
- 이 때 classifier 는 모든 데이터셋을 직접 학습한다. 따라서 zero-shot 은 아니다.
-2. **CLIP ResNet-50 모델보다도 성능이 뛰어났다.** -3. **OpenCLIP ViT-H/14 모델에 competitive** 했다. - -- **Table 2** - -:::{figure-md} -
-
-Table 2
-:::
-
-- **Stable Diffusion 은**
-Resolution 이 높은지, Aesthetic 한지, Safe-for-work 한지에 따라서 **filtered 된
-LAION-5B 데이터셋을 학습**했다. -- 이와 같은 기준으로 filtering 하면,
-**CIFAR10, Pets, Flowers, STL10, ImageNet 데이터셋의 test set 은 97~100% 가 filtered out** 된다. -- 따라서, **이들 데이터셋은 Stable Diffusion 에게 완전한 out-of-distribution 데이터**이다. -- 따라서, **필터링이 안된 데이터로 Stable Diffusion 을 추가 학습시키면
-classification 성능도 올라갈 것**이다. - -- **Figure 5 & Table 3** - -:::{figure-md} -
-
-Figure 5
-:::
-
-:::{figure-md}
-
-
-Table 3
-:::
-
-- 본 논문에서는 Winoground 데이터셋을 활용해
-visio-linguistic compositional reasoning abilities 를 측정했다.
- - 주어진 captions 를 적절한 이미지에 매치시키는 능력을 측정하는 것이다.
- - Winoground 데이터셋
- - Object 는 명사절끼리 뒤바뀐 경우
- - Relation 은 동사끼리 or 형용사끼리 or 부사끼리 뒤바뀐 경우
- - Both 는 다른 품사끼리 서로 뒤바뀐 경우
-- Stable Diffusion 의 Diffusion Classifier 가 최고의 성능을 보여주었다. -- 본 논문에서 제시한 method 를 통해서 **추가 학습 없이,**
-여느 diffusion 모델처럼 sample generation 만을 학습했음에도,
-**Stable Diffusion 모델을 훌륭한 classifier 이자 reasoner 로 변모**시킬 수 있었다. - -- **Table 4** - -:::{figure-md} -
-
-Table 4
-:::
-
-- ImageNet 에 존재하는 **1,000 개의 클래스를 활용해**
-Pretrained **DiT** (Diffusion Transformer) 를 활용한 **Diffusion Classifier 의 성능**을,
-**Discriminative Classifiers** (ResNet-101 and ViT-B/16) **와 비교**했다. -- **ImageNet** 에 대해서, **79.1% 의 top-1 accuracy 를 기록하며 ViT-L/32 을 능가**했다. -- **더 적은 augmentation 기법**을 사용하였고,
-**regularization 은 사용하지 않았음에도** Discriminative Classifiers 의 성능을 능가했다. - -- **Figure 6** - -:::{figure-md} -
-
-Figure 6
-:::
-
-- ImageNet 데이터셋에서,
-ImageNet-A 와 겹치는 클래스에 대해서만 Classification 을 수행한다. -- 일반적인 **discriminative classifiers 는 신뢰구간 과 함께 파란 점**으로 찍혀 있다. -- **Diffusion Classifiers 는 신뢰구간 과 함께 별 모양의 점**으로 찍혀 있다. -- Diffusion Classifiers 는 In-distribution (ImageNet) 에서 획득한 Accuracy 에 따라
-기대되는 것보다,
-훨씬 Out-of-distribution (ImageNet-A) 에서의 성능이 뛰어났다.
- - 즉, OOD 에 훨씬 Robust 하다. - -- 결론 - - Diffusion Models 에서 **Diffusion Classifier 를 추출하는 방법을 제시**함 - - Stable Diffusion 에서 추출한 **Diffusion Classifier 가 Zero-shot 능력이 우수함을 확인** - - DiT 에서 추출한 **Diffusion Classifier 가 Standard Classification 능력이 우수함을 확인** - - Diffusion Classifiers 의 **Compositional Reasoning 능력이 우수함을 확인** - - Diffusion Classifiers 가 **OOD 에 매우 Robust 함** - - **Filtering 되지 않은 데이터도 학습시킬 수 있다면,
- Stable Diffusion 의 Diffusion Classifier 성능은 더 개선될 것**임. - - Imagen 의 경우 OpenCLIP 보다 훨씬 큰 거대 언어 모델인, T5-XXL 을 활용했음.
+``` {admonition} Information +- **Title:** {Your Diffusion Model is Secretly a Zero-Shot Classifier}, {ICCV 2023} + +- **Reference** + - Paper: [https://arxiv.org/pdf/2303.16203.pdf](https://arxiv.org/pdf/2303.16203.pdf) + - Github io: [https://diffusion-classifier.github.io/](https://diffusion-classifier.github.io/) + - Code: [https://github.com/diffusion-classifier/diffusion-classifier](https://github.com/diffusion-classifier/diffusion-classifier) + +- **Author:** SeonHoon Kim +- **Edited by:** SeonHoon Kim + +- **Last updated on Nov. 09, 2023** +``` + +# Your Diffusion Model is Secretly a Zero-Shot Classifier + +- **핵심** + - 학습된 **Diffusion Models 에서 Classifier 를 추가 학습 없이 획득**할 수 있다. + - **Stable Diffusion** 같은 거대 모델로부터 **Zero-shot classifier** 를 얻을 수 있다. + - **Class-conditional Diffusion Models** 에서는 **일반적인 (non Zero-shot) classifier** 를 얻을 수 있다. +- **결과 요약** + - **Classification 성능이 나쁘지 않았다.** + - **Zero-shot classifier 는 Multimodal Compositional reasoning ability 가 매우 훌륭**했다. + - 이렇게 Diffusion 모델에서 추출된 Classifiers 는 **Distribution shift 에 대해 Robust** 한 성능을 보여주었다. + +- **Classifier 구현 방법** + +:::{figure-md} +
+
+Diffusion Classifier 아키텍쳐
+:::
+
+- **예시로 먼저 살펴보기.**
+- 예를 들어, 어떤 동물 이미지 X 를 Stable Diffusion 으로 Classification 하고 싶다면..
+ 1. 일단 해당 동물의 클래스를 포함하고 있을 만한 데이터셋을 구한다.
+ 37개의 동물 클래스가 존재하는 Pets 데이터셋을 사용한다고 치자.
+ 2. text prompts 로 “호랑이” 가 주어진 Stable Diffusion 으로,
+ X 의 Noised Image 에서 Reverse process 를 진행한다. 그럼 Loss 를 획득할 수 있을 것이다.
+ 3. 37개의 모든 Pets Classes 에 대해서 이를 수행해서,
+ 가장 Loss 가 작은 Class 를 판별한다.
+ 이 Class 가 바로 이미지 X 의 클래스이다. + +:::{figure-md} +
+
+Algorithm 1 : Diffusion Classifier 학습 알고리즘
+:::
+
+1. `n_samples` 에 지정된 수 만큼 t 와 noise 를 각각 샘플링해 벡터를 만든다.
+2. 클래스 판별이 필요한 이미지 X 의 t-step Noised image 인 X_t 를 구한다.
+3. X_t 를 Diffusion Model 에 Input 으로 주어 Noise 를 출력한다.
+4. **loss** 를 구한다.
+- 위 과정을, 여러 번 (`n_trials` 만큼) 시도해서 평균낼 수도 있다. +5. loss 가 가장 낮은 Class 를 찾을 때 까지, 가능한 모든 Class 에 대해 추론한다. +6. 최종 남은 Class 를 X 의 Class 라고 판정한다. +- Zero-shot classification 도 위와 동일한 과정으로 진행된다.
+다만 추론할 Class list 가 필요하다.
+ - 예를 들어서, Stable Diffusion 의 Zero-shot classification 을 수행하기 위해서는,
+ (Stable Diffusion 이 학습하지는 않았지만) 37개의 클래스가 정의되어 있는
+ Pets 와 같은 데이터셋으로 Classification 을 수행할 수 있다. +- 하지만, Class 마다 n_samples 수 만큼 t 를 샘플링하고,
+또 X_t 를 구하고,
+Diffusion Model 로 노이즈를 추론하고,
+loss 를 구하는 것은 Inference times 가 많이 소모됨.
+따라서 다음의 방법을 활용해 inference times 을 줄인다. + +:::{figure-md} +
+
+Algorithm 2. Efficient Diffusion Classifier Algorithm
+:::
+
+1. **일단 작은 수의 n_samples 로 error 가 높은 class 들을 걸러낸다.**
+2. **소수의 class 만 남았다면,
+이제는 정확한 추론을 위해서 더 큰 n_samples 를 설정해 추론한다.
+(large n_samples 로 t 와 $\epsilon$ 을 sampling 한다.)** +- c.f. + +```markdown +### Oxford-IIIT Pets +```bash +python eval_prob_adaptive.py --dataset pets --split test --n_trials 1 \ + --to_keep 5 1 --n_samples 25 250 --loss l1 \ + --prompt_path prompts/pets_prompts.csv +``` + +- 왜 이렇게까지 inference time 을 줄이려고 하지??
+ - 위의 스크립트 그대로 RTX 3090 에서 돌리면,
+ Pets 이미지 1장 Classification 하는데 18초 걸린다.
+ - ImageNet 은 Class 1,000 개 있는데,
+ 512x512 이미지 1장 Classification 하려면 1,000 초 걸린다. +- **c.f. Loss 계산 코드 (eval_prob_adaptive.py)** + +```python +all_noise = torch.randn((max_n_samples * args.n_trials, 4, latent_size, latent_size), device=latent.device) + +def eval_error(unet, scheduler, latent, all_noise, ts, noise_idxs, + text_embeds, text_embed_idxs, batch_size=32, dtype='float32', loss='l2'): + assert len(ts) == len(noise_idxs) == len(text_embed_idxs) + pred_errors = torch.zeros(len(ts), device='cpu') + idx = 0 + with torch.inference_mode(): + for _ in tqdm.trange(len(ts) // batch_size + int(len(ts) % batch_size != 0), leave=False): + batch_ts = torch.tensor(ts[idx: idx + batch_size]) + noise = all_noise[noise_idxs[idx: idx + batch_size]] + noised_latent = latent * (scheduler.alphas_cumprod[batch_ts] 0.5).view(-1, 1, 1, 1).to(device) + \ + noise * ((1 - scheduler.alphas_cumprod[batch_ts]) 0.5).view(-1, 1, 1, 1).to(device) + t_input = batch_ts.to(device).half() if dtype == 'float16' else batch_ts.to(device) + text_input = text_embeds[text_embed_idxs[idx: idx + batch_size]] + noise_pred = unet(noised_latent, t_input, encoder_hidden_states=text_input).sample + if loss == 'l2': + error = F.mse_loss(noise, noise_pred, reduction='none').mean(dim=(1, 2, 3)) + elif loss == 'l1': + error = F.l1_loss(noise, noise_pred, reduction='none').mean(dim=(1, 2, 3)) + elif loss == 'huber': + error = F.huber_loss(noise, noise_pred, reduction='none').mean(dim=(1, 2, 3)) + else: + raise NotImplementedError + pred_errors[idx: idx + len(batch_ts)] = error.detach().cpu() + idx += len(batch_ts) + return pred_errors +``` + + +- **실험 결과** + - **Figure 2** + + :::{figure-md} +
+
+ Figure 2
+ :::
+
+ - 특정한 이미지 x 의 모든 클래스에 대해서 loss 를 추론하게 될텐데,
+ **모든 클래스에 대해서
+ 동일한 $\epsilon$** (즉 sampled noise) **과 동일한 t** (즉 sampled time steps) **를 사용해야** 한다.
+ **이 두 변수에 따라 loss 가 크게 달라지기 때문.** + +- **Figure 3 & Figure 4** + - **Figure 3** + - t 에 따라서, Classification 성능이 달라졌다. + - **Figure 4** + - Figure 3 의 결과에 따라서,
+ intermediate timesteps 를 더 많이 sampling 하면 성능이 올라가는지 실험해보았다. + - 그렇지 않았다.
+ timesteps 를 Uniform 하게 sampling 했을 때 성능이 가장 좋았다. + +:::{figure-md} +
+
+Figure 3
+:::
+
+:::{figure-md}
+
+
+Figure 4
+:::
+
+- **Table 1** (+ F. Additional Implementation Details 참고)
+
+:::{figure-md}
+
+
+Table 1
+:::
+
+- 본 논문에서 제시한 Diffusion Classifier 가 Classification 능력이 나쁘지 않았다.
+1. Diffusion 모델에서 knowledge 를 추출해내는 다른 방법들보다 성능이 뛰어났다.
+ - Diffusion Classifier 는 **Zero-shot 성능**이,
+ **“Stable Diffusion 으로 생성된 영상을“ 학습한** **ResNet-50** **classifier** 보다 뛰어났다.
+ - **Synthetic SD data :**
+ Class 마다 10,000 장의 이미지를 Stable Diffusion 2.0 으로 생성해
+ 데이터셋을 구축하고 (90% train / 10% validation),
+ 해당 데이터셋으로 ResNet-50 classifier 를 학습시켜서 classification 수행한 결과
+ - Diffusion Classifier 는 **Classification 성능**이,
+ **Stable Diffusion 의 intermediate U-Net layer 를 추출해 학습시킨
+ ResNet-based 모델**보다 뛰어났다.
+ - **SD features :**
+ Input 이미지에 따른 Stable Diffusion 의 Intermediate U-Net features 를
+ ResNet 기반의 classifier 에 전달해서 추론.
+ 이 때 classifier 는 모든 데이터셋을 직접 학습한다. 따라서 zero-shot 은 아니다.
+2. **CLIP ResNet-50 모델보다도 성능이 뛰어났다.** +3. **OpenCLIP ViT-H/14 모델에 competitive** 했다. + +- **Table 2** + +:::{figure-md} +
+
+Table 2
+:::
+
+- **Stable Diffusion 은**
+Resolution 이 높은지, Aesthetic 한지, Safe-for-work 한지에 따라서 **filtered 된
+LAION-5B 데이터셋을 학습**했다. +- 이와 같은 기준으로 filtering 하면,
+**CIFAR10, Pets, Flowers, STL10, ImageNet 데이터셋의 test set 은 97~100% 가 filtered out** 된다. +- 따라서, **이들 데이터셋은 Stable Diffusion 에게 완전한 out-of-distribution 데이터**이다. +- 따라서, **필터링이 안된 데이터로 Stable Diffusion 을 추가 학습시키면
+classification 성능도 올라갈 것**이다. + +- **Figure 5 & Table 3** + +:::{figure-md} +
+
+Figure 5
+:::
+
+:::{figure-md}
+
+
+Table 3
+:::
+
+- 본 논문에서는 Winoground 데이터셋을 활용해
+visio-linguistic compositional reasoning abilities 를 측정했다.
+ - 주어진 captions 를 적절한 이미지에 매치시키는 능력을 측정하는 것이다.
+ - Winoground 데이터셋
+ - Object 는 명사절끼리 뒤바뀐 경우
+ - Relation 은 동사끼리 or 형용사끼리 or 부사끼리 뒤바뀐 경우
+ - Both 는 다른 품사끼리 서로 뒤바뀐 경우
+- Stable Diffusion 의 Diffusion Classifier 가 최고의 성능을 보여주었다. +- 본 논문에서 제시한 method 를 통해서 **추가 학습 없이,**
+여느 diffusion 모델처럼 sample generation 만을 학습했음에도,
+**Stable Diffusion 모델을 훌륭한 classifier 이자 reasoner 로 변모**시킬 수 있었다. + +- **Table 4** + +:::{figure-md} +
+
+Table 4
+:::
+
+- ImageNet 에 존재하는 **1,000 개의 클래스를 활용해**
+Pretrained **DiT** (Diffusion Transformer) 를 활용한 **Diffusion Classifier 의 성능**을,
+**Discriminative Classifiers** (ResNet-101 and ViT-B/16) **와 비교**했다. +- **ImageNet** 에 대해서, **79.1% 의 top-1 accuracy 를 기록하며 ViT-L/32 을 능가**했다. +- **더 적은 augmentation 기법**을 사용하였고,
+**regularization 은 사용하지 않았음에도** Discriminative Classifiers 의 성능을 능가했다. + +- **Figure 6** + +:::{figure-md} +
+
+Figure 6
+:::
+
+- ImageNet 데이터셋에서,
+ImageNet-A 와 겹치는 클래스에 대해서만 Classification 을 수행한다. +- 일반적인 **discriminative classifiers 는 신뢰구간 과 함께 파란 점**으로 찍혀 있다. +- **Diffusion Classifiers 는 신뢰구간 과 함께 별 모양의 점**으로 찍혀 있다. +- Diffusion Classifiers 는 In-distribution (ImageNet) 에서 획득한 Accuracy 에 따라
+기대되는 것보다,
+훨씬 Out-of-distribution (ImageNet-A) 에서의 성능이 뛰어났다.
+ - 즉, OOD 에 훨씬 Robust 하다. + +- 결론 + - Diffusion Models 에서 **Diffusion Classifier 를 추출하는 방법을 제시**함 + - Stable Diffusion 에서 추출한 **Diffusion Classifier 가 Zero-shot 능력이 우수함을 확인** + - DiT 에서 추출한 **Diffusion Classifier 가 Standard Classification 능력이 우수함을 확인** + - Diffusion Classifiers 의 **Compositional Reasoning 능력이 우수함을 확인** + - Diffusion Classifiers 가 **OOD 에 매우 Robust 함** + - **Filtering 되지 않은 데이터도 학습시킬 수 있다면,
+ Stable Diffusion 의 Diffusion Classifier 성능은 더 개선될 것**임. + - Imagen 의 경우 OpenCLIP 보다 훨씬 큰 거대 언어 모델인, T5-XXL 을 활용했음.
**Imagen 의 Classification 능력은 Stable Diffusion 보다 뛰어날 것으로 예상**됨. \ No newline at end of file diff --git a/_sources/docs/review/consistency_models.md b/_sources/docs/review/consistency_models.md index 2f05044a..edac379e 100755 --- a/_sources/docs/review/consistency_models.md +++ b/_sources/docs/review/consistency_models.md @@ -1,322 +1,322 @@ -```{admonition} Information -- **Title:** Consistency Models (ICML 2023) - -- **Reference** - - Paper: [https://arxiv.org/pdf/2303.01469](https://arxiv.org/pdf/2303.01469) - - Code: [https://github.com/openai/consistency_models](https://github.com/openai/consistency_models) - -- **Author:** Sangwoo Jo - -- **Last updated on Apr. 26, 2024** -``` - -# Consistency Models - -## 1. Introduction - -Diffusion Models 은 image generation, audio synthesis, video generation 등의 다양한 분야에 연구가 진행되어 왔습니다. 하지만 single-step generative model 인 VAE, GAN, 그리고 normalizing flows 에 비해 추론 속도가 10-2000배 더 많은 연산작업을 요하는 치명적인 단점이 존재합니다. - -이러한 문제를 해결하기 위해 논문에서 Consistency Model 을 소개합니다. - -:::{figure-md} -
-
-Overview of Consistency Models
-:::
-
-위의 사진처럼 주어진 PF ODE (Probability Flow Ordinary Differential Equation) 에 대해서 동일한 trajectory 에 있는 point 들이 동일한 시작점으로 매핑되도록 모델을 학습하는 방식을 제안하고, 이러한 self-consistency 특성을 만족시킬 수 있도록 2가지 학습 방식을 소개합니다.
-
-1) 첫번째 방식으로는 우선적으로 numerical ODE solver 와 사전 학습된 diffusion model을 사용하여 PF ODE trajectory 에서 인접한 point 쌍을 생성합니다. 그리고 이러한 쌍에 대한 모델 출력 간의 차이를 최소화하도록 모델을 학습함으로써 diffusion model 을 consistency model 로 효과적으로 knowledge distillation 을 적용할 수 있고, 단 한번의 step 만으로도 high quality sample 을 생성할 수 있게 됩니다.
-
-2) 두번째 방식으로는 사전학습된 diffusion model 에 의존하지 않고 독립적으로 consistency model 을 학습하는 방식입니다.
-
-CIFAR-10, ImageNet 64x64, LSUN 256x256 데이터셋에 실험한 결과, 기존 distillation 기법을 적용한 모델 (i.e., progressive distillation) 보다 성능이 개선되고, 독립적인 모델로서도 사전학습된 diffusion model 없이 GAN 을 제외한 single-step generative model 보다 성능이 좋다고 합니다. 마지막으로 다양한 zero-shot data editing (image denoising, interpolation, inpainting, colorization, super-resolution, stroke-guided image editing) task 에도 consistency model 이 좋은 성능을 보여준다는 것을 확인하였습니다.
-
-## 2. Diffusion Models
-
-**Diffusion Models in Continuous Time**
-
-Continuous time 에서의 diffusion model 을 다음과 같이 SDE 수식으로 표현할 수 있습니다. ([Song et al., 2021](https://arxiv.org/abs/2011.13456))
-
-:::{figure-md}
-
-
-Diffusion Models in Continuous Time
-:::
-
-- $t \in [0,T], T > 0$
-- $\mu(\cdot,\cdot), \sigma(\cdot)$ := drift, diffusion coefficients
-- $\{w_t\}_{t \in [0,T]}$ := standard Brownian motion
-
-그리고 해당 SDE 는 아래 식과 같은 PF ODE 로 표현할 수 있다는 성질을 가지고 있습니다. 이때 $\nabla \log p_t(x_t)$ 를 *score function* 이라고 하고, 시점 t 에 대한 solution trajectory 가 $p_t(x)$ 에 따라 분포합니다.
-
-:::{figure-md}
-
-
-Probability Flow (PF) ODE
-:::
-
-일반적으로 위의 SDE 수식에서 $p_T(x)$ 가 Gaussian distribution $\pi(x)$ 를 따르도록 정의하고, 해당 논문에서 [Karras et al., 2022](https://arxiv.org/abs/2206.00364) 와 동일하게 $\mu(x,t) = 0, \sigma(t) = \sqrt{2}t$ 로 설정하였습니다. 그리고 sampling 시, score matching 을 통해 score model $s_{\phi}(x,t) \approx \nabla \log p_t(x)$ 우선적으로 학습한 후, 위의 식에 대입하면 다음과 같은 empirical PF ODE 로 표현할 수 있습니다
-
-:::{figure-md}
-
-
-Empirical PF ODE
-:::
-
-다음 과정으로는 initial condition $x_T \sim N(0, T^2I)$ 을 기반으로 Euler 나 Heun 등의 numerical ode solver 를 통해 역방향으로 풀어 solution trajectory $\{x_t\}_{t \in [0,T]}$${x_t}$$\hat{x}_0$${x_t}$$p_{data}(x)$ 로부터 나온 샘플에 대한 근사값이라고 할 수 있습니다.
-
-추가적으로 논문에서 numerical instability 를 방지하기 위해 고정된 작은 양수 $\epsilon$ 에 대해 $t = \epsilon$ 에서 solver 를 멈추고 $\hat{x}_{\epsilon}$ 를 $p_{data}(x)$ 에 대한 근사값으로 간주합니다. 그리고 [Karras et al., 2022](https://arxiv.org/abs/2206.00364) 와 동일하게 이미지 픽셀 값을 $[-1,1]$ 로 rescale 하고 $T = 80, \epsilon = 0.002$ 로 설정합니다.
-
-앞서 소개드린 방식으로 diffusion model 을 통한 sampling 시, ode solver 를 사용하는데 score model $s_{\phi}(x_t,t)$ 의 수많은 iterative evaluation 작업이 필요합니다. 빠른 sampling 작업을 위해, 더 빠른 numerical ode solver 에 대한 연구들이 진행되었지만, 이를 활용해도 최소 10번 이상의 evaluation step 을 거쳐야만 competitive 한 성능을 보여준다고 합니다. 여러 distillation 기법들에 대한 연구들도 진행되었지만, [Salimans & Ho (2022)](https://arxiv.org/abs/2202.00512) 를 제외하고는 distillation 작업을 하기 위해서 사전에 diffusion model 로부터 대량의 데이터를 수집해야한다는 단점이 있습니다.
-
-## 3. Consistency Models
-
-논문에서 single-step generation 이 가능한 consistency model 을 제안하고, 학습하는 방식으로 1) 사전학습된 diffusion model 로부터 knowledge distillation 진행하는 방식과 2) 독립적으로 학습하는 방식 을 소개합니다.
-
-**Definition**
-
-주어진 PF ODE 에 대한 trajectory $\{x_t\}_{t \in [0,T]}$ 에 대해서 다음과 같은 *consistency function* $f : (x_t, t) \mapsto x_{\epsilon}$ 을 정의하고, 함수 $f$ 는 동일한 trajectory 에 있는 임의의 두 $t, t' \in [\epsilon, T]$ 에 대해 $f(x_t, t) = f(x_{t'}, t')$, 즉 *self-consistency* 성질을 만족합니다. 이러한 함수 $f$ 를 예측하기 위해 데이터로부터 $f_{\theta}$ 을 학습하는 것이 consistency model 의 objective 이며, 이는 [Bilos et al., 2021](https://arxiv.org/abs/2110.13040) 에서 정의하는 neural flow 와 유사하지만, consistency model 은 invertible property 를 부여하지는 않습니다.
-
-:::{figure-md}
-
-
-Self-Consistency
-:::
-
-**Parameterization**
-
-앞서 정의한 부분에 의해, 모든 consistency function $f$ 에 대해서 $f(x_{\epsilon}, t) = x_{\epsilon}$ 를 만족해야 하는 *boundary condition* 이 존재하고, 이를 만족하기 위해 다음과 같이 두 가지 방식으로 parameterization 방식을 정의하였습니다.
-
-:::{figure-md}
-
-
-Parameterization Method 1
-:::
-
-여기서 $F_{\theta}(x,t)$ 는 output 차원이 $x$ 와 동일한 free-form deep neural network 입니다. 두번째 방식으로는, 다음과 같이 skip-connection 을 활용합니다.
-
-:::{figure-md}
-
-
-Parameterization Method 2
-:::
-
-이때, $F_{\theta}(x,t), c_{skip}(t), c_{out}(t)$ 는 $c_{skip}(\epsilon) = 1, c_{out}(\epsilon) = 0$ 조건을 만족시키는 미분 가능한 함수로 정의합니다.
-
-:::{figure-md}
-
-
-Parameterization Method 2 - $c_{skip}(t), c_{out}(t)$
-:::
-
-두번째 parameterization 기법이 diffusion model 형식과 매우 유사하여 이러한 diffusion model 아키텍쳐를 leverage 하기 위해 논문에서 두번째 방식으로 parameterization 을 하는 방식을 택합니다.
-
-**Sampling**
-
-학습된 consistency model $f_{\theta}(\cdot,\cdot)$ 와 initial distribution $\hat{x}_T \sim N(0, T^2I)$ 를 활용하여 단일 sampling step 만으로 $\hat{x}_{\epsilon} = f_{\theta}(\hat{x}_{T}, T)$ 를 생성할 수 있습니다. 더불어 하단 pseudo code 에 보이듯이, denoising 과 noise injection 작업을 여러 번 거치는 *multistep* consistency sampling 을 통해 computing cost 와 sample quality 를 trade-off 할 수 있는 유연성도 제공합니다.
-
-:::{figure-md}
-
-
-Multistep Consistency Sampling
-:::
-
-**Zero-Shot Data Editing**
-
-Diffusion model 과 유사하게 추가적인 학습 없이 zero-shot 형태로 image editing 그리고 manipulation task 이 가능합니다. 예를 들어, consistency model 은 Gaussian noise 로부터 one-to-one mapping 을 통해 $x_{\epsilon}$을 생성하기 때문에 GAN, VAE, normalizing flow 와 유사하게 latent space 을 통해 sample 들간의 interpolation 이 가능합니다. 또한, multistep consistency sampling 을 통해 zero-shot 의 한계점을 보완하면서 image editing, inpainting, colorization, super-resolution, stroke-guided image editing ([Meng et al., 2021](https://arxiv.org/abs/2108.01073)) 등의 다양한 task 를 수행할 수 있습니다. 대표적으로 몇 가지 zero-shot image editing 결과 예시들을 공유합니다.
-
-- Inpainting
-
- :::{figure-md}
- 
-
- Consistency Models - Inpainting
- :::
-
-- Interpolation
-
- :::{figure-md}
- 
-
- Consistency Models - Interpolation
- :::
-
-- Self-consistency
-
- :::{figure-md}
- 
-
- Consistency Models - Self-consistency
- :::
-
-
-## 4. Training Consistency Models via Distillation
-
-앞서 소개한 두 가지 학습 방식 중, 첫번째로 사전학습된 score model $s_{\phi}(x,t)$ 를 consistency model 에 knowledge distillation 하는 학습하는 방식을 소개합니다.
-
-논문에서 특히 continuous time interval $[\epsilon, T]$ 을 boundary $t_1 = \epsilon < t_2 < \cdots < t_N=T$ 를 기준으로 $N-1$ 개의 interval 로 discretize 하는 상황을 가정하고, [Karras et al., 2022](https://arxiv.org/abs/2206.00364) 의 설정과 동일하게 boundary 를 다음과 같이 정의합니다.
-
-$$
-t_i = (\epsilon^{1/\rho} + \frac{i-1}{N-1}(T^{1/\rho}-\epsilon^{1/\rho}))^{\rho}, \quad \rho = 7
-$$
-
-이때, $N$ 이 충분히 크다면 다음과 같이 numerical ode solver 의 discretization step 을 한번 진행시켜 $x_{t_{n+1}}$ 로부터 $x_{t_n}$ 에 대한 정확한 예측값을 얻을 수 있다고 합니다.
-
-:::{figure-md}
-
-
-One Discretization Step of a Numerical ODE Solver
-:::
-
-이때, $\Phi(\cdots; \phi)$ 은 empirical PF ODE 에 적용되는 one step ODE solver 의 update function 입니다. Euler solver 같은 경우, $\Phi(x,t;\phi) = -ts_{\phi}(x,t)$ 를 대입하면 다음과 같이 표현할 수 있게 됩니다.
-
-:::{figure-md}
-
-
-One Discretization Step of a Euler ODE Solver
-:::
-
-위 수식을 활용하여 주어진 $x \sim p_{data}$ 에 대해서 PF ODE trajectory 에 있는 인접한 두 지점 $(\hat{x}^{\phi}_{t_n}, x_{t_{n+1}})$ 을 샘플링할 수 있게 됩니다. 더 자세하게는, $x_{t_{n+1}} \sim N(x,t^2_{n+1}I)$ 를 우선적으로 샘플링한 후, 위 수식을 기반으로 numerical ode solver 의 discretization step 을 한번 거쳐 $\hat{x}^{\phi}_{t_n}$ 을 계산합니다. 최종적으로 $(\hat{x}^{\phi}_{t_n}, x_{t_{n+1}})$ 로부터의 모델 출력값 차이를 최소화하도록 consistency model 을 학습하게 되고, 학습 시 사용되는 *consistency distillation loss* 는 다음과 같이 정의합니다.
-
-:::{figure-md}
-
-
-Consistency Distillation Loss
-:::
-
-여기서 metric function $d(\cdot,\cdot)$ 로는 L1 distance, L2 distance, 그리고 LPIPS distance 를 사용하였고, 실험적으로 확인해본 결과 $\lambda(t_n) \equiv 1$ 를 적용했을 때 모델 성능이 가장 좋은 부분을 확인할 수 있었다고 합니다. 파라미터 $\theta$ 는 stochastic gradient descent 그리고 $\theta^-$ 는 exponential moving average (EMA) 로 학습하였다고 합니다.
-
-:::{figure-md}
-
-
-Exponential Moving Average (EMA)
-:::
-
-이처럼 EMA update 와 stopgrad operator 로 학습할 시, $\theta = \theta^{-}$ 로 설정할때보다 모델을 더 안정적으로 학습할 수 있고 성능에도 개선이 있었다고 합니다. 전체적인 학습 절차는 하단의 Algorithm 2 처럼 정리할 수 있습니다.
-
-:::{figure-md}
-
-
-Overview of Consistency Distillation (CD)
-:::
-
-$\theta^{-}$ 는 과거 $\theta$ 에 대한 running average 이므로 Algorithm 2 가 수렴할 시 이 둘은 일치하게 됩니다. 즉, target network $f_{\theta^-}$와 online network $f_{\theta}$ 가 일치하게 됩니다.
-
-## 5. Training Consistency Models in Isolation
-
-Consistency Distillation 방식에서는 ground truth score function $\nabla \log p_t(x_t)$ 을 근사하는 사전학습된 score model $s_{\phi}(x,t)$ 에 의존했다면, 이에 의존하지 않고 다음과 같은 $\nabla \log p_t(x_t)$ 에 대한 unbiased estimator 를 활용할 수도 있습니다. 다시 말해, $-(x_t - x)/t^2$ 로 $\nabla \log p_t(x_t)$ 를 근사할 수 있습니다.
-
-:::{figure-md}
-
-
-Unbiased Estimator of Score Function
-:::
-
-- $x \sim p_{data}, x_t \sim N(x; t^2I)$
-
-Consistency Training (CT) Loss 는 다음과 같이 정의하고, 이는 사전학습된 diffusion model 파라미터 $\phi$ 와는 독립적인 사실을 확인할 수 있습다.
-
-$$
-L_{CT}^{N}(\theta,\theta^{-}) = \mathbb{E}[\lambda(t_n)d(f_{\theta}(x + t_{n+1}z, t_{n+1}), f_{\theta^-}(x+t_nz, t_n))]
-$$
-
-- $x \sim p_{data}, n \sim \mathbb{U}[[1,N-1]], x_{t_{n+1}} \sim N(x;t^2_{n+1}I), z \sim N(0,I)$
-- Consistency Training Loss 를 위와 같이 정의하게 된 배경은 다음과 같습니다.
-
- :::{figure-md}
- 
-
- Consistency Training Loss
- :::
-
-
-:::{figure-md}
-
-
-Schedule Functions for Consistency Training
-:::
-
-논문에서 추가적인 성능 개선을 위해 $N$ 을 점진적으로 증가시키는 방식을 제안합니다. $N$ 이 작을수록 ($i.e., \Delta t$ 가 클수록) consistency training loss 가 consistency distillation loss 와 비교했을때 variance 는 감소하지만 bias 는 증가하게 되어, 초기에 더 빠른 convergence 에 이르는데 용이합니다. 반면에, $N$ 이 클수록 ($i.e., \Delta t$ 가 작을수록) variance 는 증가하고 bias 는 감소하게 되어, 학습의 마지막 단계에 적용하는 것이 바람직하다고 제안합니다. EMA decay rate schedule function $\mu(\cdot)$ 도 $N$ 에 따라 바뀌는 함수로 최종적으로 정의합니다. 전체적인 학습 절차는 하단의 Algorithm 3 처럼 정리할 수 있습니다.
-
-:::{figure-md}
-
-
-Overview of Consistency Training (CT)
-:::
-
-
-## 6. Experiments
-
-논문에서 CIFAR-10, ImageNet 64x64, LSUN Bedroom 256x256, 그리고 LSUN Cat 256x256 데이터셋에 consistency distillation, consistency training 두 학습 방식을 모두 실험하였고, 모델 성능 지표는 FID, IS, Precision, 그리고 Recall 을 사용하였습니다. 모델 architecture 는 CIFAR-10 데이터셋에는 NCSN++, 그리고 그 외 데이터셋에는 ADM 모델을 사용하였습니다.
-
-### 6.1. Training Consistency Models
-
-CIFAR-10 데이터셋에 다음과 같은 hyperparameter tuning 작업을 진행하였습니다. (metric function $d(\cdot,\cdot)$, ODE solver, CD (Consistency Distillation) 에서의 number of discretization steps $N$, 그리고 CT (Consistency Training)) 에서의 schedule functions $N(\cdot), \mu(\cdot)$)
-
-**Parameter Initialization**
-
-모델 초기 파라미터 값은 다음과 같이 설정하였습니다.
-
-- Consistency Distillation - 사전학습된 diffusion model 파라미터 값
-- Consistency Training - Random Initialization
-
-**Results**
-
-모델 실험 결과를 다음과 같이 정리할 수 있습니다.
-
-:::{figure-md}
-
-
-Experimental Results - Hyperparameters
-:::
-
-- Consistency Distillation (CD)
- - LPIPS 를 metric function 으로 사용했을때 모델 성능이 가장 좋았고, 이는 LPIPS metric 이 CIFAR-10 와 같은 natural image 들 간의 유사도를 측정하는데 특화되어 있기 때문이라고 합니다.
- - Euler ODE solver 보다 Heun ODE solver 를 사용했을 때, 그리고 $N = 18$ 로 설정했을때 모델 성능이 가장 좋았습니다. 또한, 동일한 $N$ 에 대해서 Heun’s second ode solver 를 사용했을때 Euler’s first ode solver 를 사용했을 때보다 모델 성능이 우월한 부분을 확인할 수 있었다고 합니다.
-
- 이외에도 다른 데이터셋에 hyperparameter tuning 작업을 별도로 진행하였습니다.
-
-- Consistency Training (CT)
- - CD 와 동일하게 LPIPS metric function 사용하였고, ODE solver 는 사용하지 않았습니다.
- - $N$ 이 작을수록, 모델이 더 빨리 수렴하지만 생성된 이미지 퀄리티는 좋지 않은 부분을 재차 확인할 수 있습니다. (and vice versa)
- - $N$ 을 점차적으로 증가시키면서 $\mu$ 도 변화시켰을때 성능이 가장 좋았습니다.
-
-
-#### 6.2. Few-Step Image Generation
-
-**Distillation**
-
-논문에서는 Consistency Distillation 모델의 성능을 synthetic data generation 을 필요하지 않는 knowledge distillation 기법 (PD, [Salimans & Ho (2022)](https://arxiv.org/abs/2202.00512)) 과 다음과 같이 비교합니다.
-
-:::{figure-md}
-
-
-Experimental Results - Distillation
-:::
-
-**Direct Generation**
-
-CIFAR-10 데이터셋 기준으로 VAE, normalizing flow 를 비롯한 타 single-step generative model 보다 CT 가 성능이 가장 좋았습니다. 또한, distillation 기법 없이도 Progressive Distillation (PD, [Salimans & Ho (2022)](https://arxiv.org/abs/2202.00512)) 와 견줄만한 성능을 가진 부분을 확인할 수 있습니다. 마지막으로 동일한 noise 로부터 높은 structural similarity 를 가진 이미지들을 생성함으로써 self-consistency 성질도 확인할 수 있었다고 합니다.
-
-:::{figure-md}
-
-
-Experimental Results - Direct Generation
-:::
-
-### 6.3. Zero-Shot Image Editing
-
-Diffusion model 과 유사하게 consistency model 도 multistep sampling 알고리즘을 수정함으로써 zero shot image editing 이 가능합니다. 해당 사진은 LSUN Bedroom 데이터셋에 colorization, super-resolution, stroke-guided image editing task 를 적용한 결과입니다.
-
-:::{figure-md}
-
-
-Pseudocode for Zero-Shot Image Editing
-:::
-
-:::{figure-md}
-
-
-Zero-Shot Image Editing Results
-:::
+```{admonition} Information
+- **Title:** Consistency Models (ICML 2023)
+
+- **Reference**
+ - Paper: [https://arxiv.org/pdf/2303.01469](https://arxiv.org/pdf/2303.01469)
+ - Code: [https://github.com/openai/consistency_models](https://github.com/openai/consistency_models)
+
+- **Author:** Sangwoo Jo
+
+- **Last updated on Apr. 26, 2024**
+```
+
+# Consistency Models
+
+## 1. Introduction
+
+Diffusion Models 은 image generation, audio synthesis, video generation 등의 다양한 분야에 연구가 진행되어 왔습니다. 하지만 single-step generative model 인 VAE, GAN, 그리고 normalizing flows 에 비해 추론 속도가 10-2000배 더 많은 연산작업을 요하는 치명적인 단점이 존재합니다.
+
+이러한 문제를 해결하기 위해 논문에서 Consistency Model 을 소개합니다.
+
+:::{figure-md}
+
+
+Overview of Consistency Models
+:::
+
+위의 사진처럼 주어진 PF ODE (Probability Flow Ordinary Differential Equation) 에 대해서 동일한 trajectory 에 있는 point 들이 동일한 시작점으로 매핑되도록 모델을 학습하는 방식을 제안하고, 이러한 self-consistency 특성을 만족시킬 수 있도록 2가지 학습 방식을 소개합니다.
+
+1) 첫번째 방식으로는 우선적으로 numerical ODE solver 와 사전 학습된 diffusion model을 사용하여 PF ODE trajectory 에서 인접한 point 쌍을 생성합니다. 그리고 이러한 쌍에 대한 모델 출력 간의 차이를 최소화하도록 모델을 학습함으로써 diffusion model 을 consistency model 로 효과적으로 knowledge distillation 을 적용할 수 있고, 단 한번의 step 만으로도 high quality sample 을 생성할 수 있게 됩니다.
+
+2) 두번째 방식으로는 사전학습된 diffusion model 에 의존하지 않고 독립적으로 consistency model 을 학습하는 방식입니다.
+
+CIFAR-10, ImageNet 64x64, LSUN 256x256 데이터셋에 실험한 결과, 기존 distillation 기법을 적용한 모델 (i.e., progressive distillation) 보다 성능이 개선되고, 독립적인 모델로서도 사전학습된 diffusion model 없이 GAN 을 제외한 single-step generative model 보다 성능이 좋다고 합니다. 마지막으로 다양한 zero-shot data editing (image denoising, interpolation, inpainting, colorization, super-resolution, stroke-guided image editing) task 에도 consistency model 이 좋은 성능을 보여준다는 것을 확인하였습니다.
+
+## 2. Diffusion Models
+
+**Diffusion Models in Continuous Time**
+
+Continuous time 에서의 diffusion model 을 다음과 같이 SDE 수식으로 표현할 수 있습니다. ([Song et al., 2021](https://arxiv.org/abs/2011.13456))
+
+:::{figure-md}
+
+
+Diffusion Models in Continuous Time
+:::
+
+- $t \in [0,T], T > 0$
+- $\mu(\cdot,\cdot), \sigma(\cdot)$ := drift, diffusion coefficients
+- $\{w_t\}_{t \in [0,T]}$ := standard Brownian motion
+
+그리고 해당 SDE 는 아래 식과 같은 PF ODE 로 표현할 수 있다는 성질을 가지고 있습니다. 이때 $\nabla \log p_t(x_t)$ 를 *score function* 이라고 하고, 시점 t 에 대한 solution trajectory 가 $p_t(x)$ 에 따라 분포합니다.
+
+:::{figure-md}
+
+
+Probability Flow (PF) ODE
+:::
+
+일반적으로 위의 SDE 수식에서 $p_T(x)$ 가 Gaussian distribution $\pi(x)$ 를 따르도록 정의하고, 해당 논문에서 [Karras et al., 2022](https://arxiv.org/abs/2206.00364) 와 동일하게 $\mu(x,t) = 0, \sigma(t) = \sqrt{2}t$ 로 설정하였습니다. 그리고 sampling 시, score matching 을 통해 score model $s_{\phi}(x,t) \approx \nabla \log p_t(x)$ 우선적으로 학습한 후, 위의 식에 대입하면 다음과 같은 empirical PF ODE 로 표현할 수 있습니다
+
+:::{figure-md}
+
+
+Empirical PF ODE
+:::
+
+다음 과정으로는 initial condition $x_T \sim N(0, T^2I)$ 을 기반으로 Euler 나 Heun 등의 numerical ode solver 를 통해 역방향으로 풀어 solution trajectory $\{x_t\}_{t \in [0,T]}$${x_t}$$\hat{x}_0$${x_t}$$p_{data}(x)$ 로부터 나온 샘플에 대한 근사값이라고 할 수 있습니다.
+
+추가적으로 논문에서 numerical instability 를 방지하기 위해 고정된 작은 양수 $\epsilon$ 에 대해 $t = \epsilon$ 에서 solver 를 멈추고 $\hat{x}_{\epsilon}$ 를 $p_{data}(x)$ 에 대한 근사값으로 간주합니다. 그리고 [Karras et al., 2022](https://arxiv.org/abs/2206.00364) 와 동일하게 이미지 픽셀 값을 $[-1,1]$ 로 rescale 하고 $T = 80, \epsilon = 0.002$ 로 설정합니다.
+
+앞서 소개드린 방식으로 diffusion model 을 통한 sampling 시, ode solver 를 사용하는데 score model $s_{\phi}(x_t,t)$ 의 수많은 iterative evaluation 작업이 필요합니다. 빠른 sampling 작업을 위해, 더 빠른 numerical ode solver 에 대한 연구들이 진행되었지만, 이를 활용해도 최소 10번 이상의 evaluation step 을 거쳐야만 competitive 한 성능을 보여준다고 합니다. 여러 distillation 기법들에 대한 연구들도 진행되었지만, [Salimans & Ho (2022)](https://arxiv.org/abs/2202.00512) 를 제외하고는 distillation 작업을 하기 위해서 사전에 diffusion model 로부터 대량의 데이터를 수집해야한다는 단점이 있습니다.
+
+## 3. Consistency Models
+
+논문에서 single-step generation 이 가능한 consistency model 을 제안하고, 학습하는 방식으로 1) 사전학습된 diffusion model 로부터 knowledge distillation 진행하는 방식과 2) 독립적으로 학습하는 방식 을 소개합니다.
+
+**Definition**
+
+주어진 PF ODE 에 대한 trajectory $\{x_t\}_{t \in [0,T]}$ 에 대해서 다음과 같은 *consistency function* $f : (x_t, t) \mapsto x_{\epsilon}$ 을 정의하고, 함수 $f$ 는 동일한 trajectory 에 있는 임의의 두 $t, t' \in [\epsilon, T]$ 에 대해 $f(x_t, t) = f(x_{t'}, t')$, 즉 *self-consistency* 성질을 만족합니다. 이러한 함수 $f$ 를 예측하기 위해 데이터로부터 $f_{\theta}$ 을 학습하는 것이 consistency model 의 objective 이며, 이는 [Bilos et al., 2021](https://arxiv.org/abs/2110.13040) 에서 정의하는 neural flow 와 유사하지만, consistency model 은 invertible property 를 부여하지는 않습니다.
+
+:::{figure-md}
+
+
+Self-Consistency
+:::
+
+**Parameterization**
+
+앞서 정의한 부분에 의해, 모든 consistency function $f$ 에 대해서 $f(x_{\epsilon}, t) = x_{\epsilon}$ 를 만족해야 하는 *boundary condition* 이 존재하고, 이를 만족하기 위해 다음과 같이 두 가지 방식으로 parameterization 방식을 정의하였습니다.
+
+:::{figure-md}
+
+
+Parameterization Method 1
+:::
+
+여기서 $F_{\theta}(x,t)$ 는 output 차원이 $x$ 와 동일한 free-form deep neural network 입니다. 두번째 방식으로는, 다음과 같이 skip-connection 을 활용합니다.
+
+:::{figure-md}
+
+
+Parameterization Method 2
+:::
+
+이때, $F_{\theta}(x,t), c_{skip}(t), c_{out}(t)$ 는 $c_{skip}(\epsilon) = 1, c_{out}(\epsilon) = 0$ 조건을 만족시키는 미분 가능한 함수로 정의합니다.
+
+:::{figure-md}
+
+
+Parameterization Method 2 - $c_{skip}(t), c_{out}(t)$
+:::
+
+두번째 parameterization 기법이 diffusion model 형식과 매우 유사하여 이러한 diffusion model 아키텍쳐를 leverage 하기 위해 논문에서 두번째 방식으로 parameterization 을 하는 방식을 택합니다.
+
+**Sampling**
+
+학습된 consistency model $f_{\theta}(\cdot,\cdot)$ 와 initial distribution $\hat{x}_T \sim N(0, T^2I)$ 를 활용하여 단일 sampling step 만으로 $\hat{x}_{\epsilon} = f_{\theta}(\hat{x}_{T}, T)$ 를 생성할 수 있습니다. 더불어 하단 pseudo code 에 보이듯이, denoising 과 noise injection 작업을 여러 번 거치는 *multistep* consistency sampling 을 통해 computing cost 와 sample quality 를 trade-off 할 수 있는 유연성도 제공합니다.
+
+:::{figure-md}
+
+
+Multistep Consistency Sampling
+:::
+
+**Zero-Shot Data Editing**
+
+Diffusion model 과 유사하게 추가적인 학습 없이 zero-shot 형태로 image editing 그리고 manipulation task 이 가능합니다. 예를 들어, consistency model 은 Gaussian noise 로부터 one-to-one mapping 을 통해 $x_{\epsilon}$을 생성하기 때문에 GAN, VAE, normalizing flow 와 유사하게 latent space 을 통해 sample 들간의 interpolation 이 가능합니다. 또한, multistep consistency sampling 을 통해 zero-shot 의 한계점을 보완하면서 image editing, inpainting, colorization, super-resolution, stroke-guided image editing ([Meng et al., 2021](https://arxiv.org/abs/2108.01073)) 등의 다양한 task 를 수행할 수 있습니다. 대표적으로 몇 가지 zero-shot image editing 결과 예시들을 공유합니다.
+
+- Inpainting
+
+ :::{figure-md}
+
+
+ Consistency Models - Inpainting
+ :::
+
+- Interpolation
+
+ :::{figure-md}
+
+
+ Consistency Models - Interpolation
+ :::
+
+- Self-consistency
+
+ :::{figure-md}
+
+
+ Consistency Models - Self-consistency
+ :::
+
+
+## 4. Training Consistency Models via Distillation
+
+앞서 소개한 두 가지 학습 방식 중, 첫번째로 사전학습된 score model $s_{\phi}(x,t)$ 를 consistency model 에 knowledge distillation 하는 학습하는 방식을 소개합니다.
+
+논문에서 특히 continuous time interval $[\epsilon, T]$ 을 boundary $t_1 = \epsilon < t_2 < \cdots < t_N=T$ 를 기준으로 $N-1$ 개의 interval 로 discretize 하는 상황을 가정하고, [Karras et al., 2022](https://arxiv.org/abs/2206.00364) 의 설정과 동일하게 boundary 를 다음과 같이 정의합니다.
+
+$$
+t_i = (\epsilon^{1/\rho} + \frac{i-1}{N-1}(T^{1/\rho}-\epsilon^{1/\rho}))^{\rho}, \quad \rho = 7
+$$
+
+이때, $N$ 이 충분히 크다면 다음과 같이 numerical ode solver 의 discretization step 을 한번 진행시켜 $x_{t_{n+1}}$ 로부터 $x_{t_n}$ 에 대한 정확한 예측값을 얻을 수 있다고 합니다.
+
+:::{figure-md}
+
+
+One Discretization Step of a Numerical ODE Solver
+:::
+
+이때, $\Phi(\cdots; \phi)$ 은 empirical PF ODE 에 적용되는 one step ODE solver 의 update function 입니다. Euler solver 같은 경우, $\Phi(x,t;\phi) = -ts_{\phi}(x,t)$ 를 대입하면 다음과 같이 표현할 수 있게 됩니다.
+
+:::{figure-md}
+
+
+One Discretization Step of a Euler ODE Solver
+:::
+
+위 수식을 활용하여 주어진 $x \sim p_{data}$ 에 대해서 PF ODE trajectory 에 있는 인접한 두 지점 $(\hat{x}^{\phi}_{t_n}, x_{t_{n+1}})$ 을 샘플링할 수 있게 됩니다. 더 자세하게는, $x_{t_{n+1}} \sim N(x,t^2_{n+1}I)$ 를 우선적으로 샘플링한 후, 위 수식을 기반으로 numerical ode solver 의 discretization step 을 한번 거쳐 $\hat{x}^{\phi}_{t_n}$ 을 계산합니다. 최종적으로 $(\hat{x}^{\phi}_{t_n}, x_{t_{n+1}})$ 로부터의 모델 출력값 차이를 최소화하도록 consistency model 을 학습하게 되고, 학습 시 사용되는 *consistency distillation loss* 는 다음과 같이 정의합니다.
+
+:::{figure-md}
+
+
+Consistency Distillation Loss
+:::
+
+여기서 metric function $d(\cdot,\cdot)$ 로는 L1 distance, L2 distance, 그리고 LPIPS distance 를 사용하였고, 실험적으로 확인해본 결과 $\lambda(t_n) \equiv 1$ 를 적용했을 때 모델 성능이 가장 좋은 부분을 확인할 수 있었다고 합니다. 파라미터 $\theta$ 는 stochastic gradient descent 그리고 $\theta^-$ 는 exponential moving average (EMA) 로 학습하였다고 합니다.
+
+:::{figure-md}
+
+
+Exponential Moving Average (EMA)
+:::
+
+이처럼 EMA update 와 stopgrad operator 로 학습할 시, $\theta = \theta^{-}$ 로 설정할때보다 모델을 더 안정적으로 학습할 수 있고 성능에도 개선이 있었다고 합니다. 전체적인 학습 절차는 하단의 Algorithm 2 처럼 정리할 수 있습니다.
+
+:::{figure-md}
+
+
+Overview of Consistency Distillation (CD)
+:::
+
+$\theta^{-}$ 는 과거 $\theta$ 에 대한 running average 이므로 Algorithm 2 가 수렴할 시 이 둘은 일치하게 됩니다. 즉, target network $f_{\theta^-}$와 online network $f_{\theta}$ 가 일치하게 됩니다.
+
+## 5. Training Consistency Models in Isolation
+
+Consistency Distillation 방식에서는 ground truth score function $\nabla \log p_t(x_t)$ 을 근사하는 사전학습된 score model $s_{\phi}(x,t)$ 에 의존했다면, 이에 의존하지 않고 다음과 같은 $\nabla \log p_t(x_t)$ 에 대한 unbiased estimator 를 활용할 수도 있습니다. 다시 말해, $-(x_t - x)/t^2$ 로 $\nabla \log p_t(x_t)$ 를 근사할 수 있습니다.
+
+:::{figure-md}
+
+
+Unbiased Estimator of Score Function
+:::
+
+- $x \sim p_{data}, x_t \sim N(x; t^2I)$
+
+Consistency Training (CT) Loss 는 다음과 같이 정의하고, 이는 사전학습된 diffusion model 파라미터 $\phi$ 와는 독립적인 사실을 확인할 수 있습다.
+
+$$
+L_{CT}^{N}(\theta,\theta^{-}) = \mathbb{E}[\lambda(t_n)d(f_{\theta}(x + t_{n+1}z, t_{n+1}), f_{\theta^-}(x+t_nz, t_n))]
+$$
+
+- $x \sim p_{data}, n \sim \mathbb{U}[[1,N-1]], x_{t_{n+1}} \sim N(x;t^2_{n+1}I), z \sim N(0,I)$
+- Consistency Training Loss 를 위와 같이 정의하게 된 배경은 다음과 같습니다.
+
+ :::{figure-md}
+
+
+ Consistency Training Loss
+ :::
+
+
+:::{figure-md}
+
+
+Schedule Functions for Consistency Training
+:::
+
+논문에서 추가적인 성능 개선을 위해 $N$ 을 점진적으로 증가시키는 방식을 제안합니다. $N$ 이 작을수록 ($i.e., \Delta t$ 가 클수록) consistency training loss 가 consistency distillation loss 와 비교했을때 variance 는 감소하지만 bias 는 증가하게 되어, 초기에 더 빠른 convergence 에 이르는데 용이합니다. 반면에, $N$ 이 클수록 ($i.e., \Delta t$ 가 작을수록) variance 는 증가하고 bias 는 감소하게 되어, 학습의 마지막 단계에 적용하는 것이 바람직하다고 제안합니다. EMA decay rate schedule function $\mu(\cdot)$ 도 $N$ 에 따라 바뀌는 함수로 최종적으로 정의합니다. 전체적인 학습 절차는 하단의 Algorithm 3 처럼 정리할 수 있습니다.
+
+:::{figure-md}
+
+
+Overview of Consistency Training (CT)
+:::
+
+
+## 6. Experiments
+
+논문에서 CIFAR-10, ImageNet 64x64, LSUN Bedroom 256x256, 그리고 LSUN Cat 256x256 데이터셋에 consistency distillation, consistency training 두 학습 방식을 모두 실험하였고, 모델 성능 지표는 FID, IS, Precision, 그리고 Recall 을 사용하였습니다. 모델 architecture 는 CIFAR-10 데이터셋에는 NCSN++, 그리고 그 외 데이터셋에는 ADM 모델을 사용하였습니다.
+
+### 6.1. Training Consistency Models
+
+CIFAR-10 데이터셋에 다음과 같은 hyperparameter tuning 작업을 진행하였습니다. (metric function $d(\cdot,\cdot)$, ODE solver, CD (Consistency Distillation) 에서의 number of discretization steps $N$, 그리고 CT (Consistency Training)) 에서의 schedule functions $N(\cdot), \mu(\cdot)$)
+
+**Parameter Initialization**
+
+모델 초기 파라미터 값은 다음과 같이 설정하였습니다.
+
+- Consistency Distillation - 사전학습된 diffusion model 파라미터 값
+- Consistency Training - Random Initialization
+
+**Results**
+
+모델 실험 결과를 다음과 같이 정리할 수 있습니다.
+
+:::{figure-md}
+
+
+Experimental Results - Hyperparameters
+:::
+
+- Consistency Distillation (CD)
+ - LPIPS 를 metric function 으로 사용했을때 모델 성능이 가장 좋았고, 이는 LPIPS metric 이 CIFAR-10 와 같은 natural image 들 간의 유사도를 측정하는데 특화되어 있기 때문이라고 합니다.
+ - Euler ODE solver 보다 Heun ODE solver 를 사용했을 때, 그리고 $N = 18$ 로 설정했을때 모델 성능이 가장 좋았습니다. 또한, 동일한 $N$ 에 대해서 Heun’s second ode solver 를 사용했을때 Euler’s first ode solver 를 사용했을 때보다 모델 성능이 우월한 부분을 확인할 수 있었다고 합니다.
+
+ 이외에도 다른 데이터셋에 hyperparameter tuning 작업을 별도로 진행하였습니다.
+
+- Consistency Training (CT)
+ - CD 와 동일하게 LPIPS metric function 사용하였고, ODE solver 는 사용하지 않았습니다.
+ - $N$ 이 작을수록, 모델이 더 빨리 수렴하지만 생성된 이미지 퀄리티는 좋지 않은 부분을 재차 확인할 수 있습니다. (and vice versa)
+ - $N$ 을 점차적으로 증가시키면서 $\mu$ 도 변화시켰을때 성능이 가장 좋았습니다.
+
+
+#### 6.2. Few-Step Image Generation
+
+**Distillation**
+
+논문에서는 Consistency Distillation 모델의 성능을 synthetic data generation 을 필요하지 않는 knowledge distillation 기법 (PD, [Salimans & Ho (2022)](https://arxiv.org/abs/2202.00512)) 과 다음과 같이 비교합니다.
+
+:::{figure-md}
+
+
+Experimental Results - Distillation
+:::
+
+**Direct Generation**
+
+CIFAR-10 데이터셋 기준으로 VAE, normalizing flow 를 비롯한 타 single-step generative model 보다 CT 가 성능이 가장 좋았습니다. 또한, distillation 기법 없이도 Progressive Distillation (PD, [Salimans & Ho (2022)](https://arxiv.org/abs/2202.00512)) 와 견줄만한 성능을 가진 부분을 확인할 수 있습니다. 마지막으로 동일한 noise 로부터 높은 structural similarity 를 가진 이미지들을 생성함으로써 self-consistency 성질도 확인할 수 있었다고 합니다.
+
+:::{figure-md}
+
+
+Experimental Results - Direct Generation
+:::
+
+### 6.3. Zero-Shot Image Editing
+
+Diffusion model 과 유사하게 consistency model 도 multistep sampling 알고리즘을 수정함으로써 zero shot image editing 이 가능합니다. 해당 사진은 LSUN Bedroom 데이터셋에 colorization, super-resolution, stroke-guided image editing task 를 적용한 결과입니다.
+
+:::{figure-md}
+
+
+Pseudocode for Zero-Shot Image Editing
+:::
+
+:::{figure-md}
+
+
+Zero-Shot Image Editing Results
+:::
diff --git a/_sources/docs/review/cycleGAN.md b/_sources/docs/review/cycleGAN.md
index 883f125f..147d2da5 100755
--- a/_sources/docs/review/cycleGAN.md
+++ b/_sources/docs/review/cycleGAN.md
@@ -1,297 +1,297 @@
-```{admonition} Information
-- **Title:** Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks (ICCV 2017)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/1703.10593](https://arxiv.org/abs/1703.10593)
- - Code: [TensorFlow CycleGAN tutorial](https://www.tensorflow.org/tutorials/generative/cyclegan?hl=ko)
- - [[논문리뷰] Cycle GAN: Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks](https://velog.io/@sjinu/CycleGAN)
- [CycleGAN을 만든 사람이 한국인이라고? CycleGAN 논문 뜯어보기](https://comlini8-8.tistory.com/9)
-
-- **Author:** KwangSu Mun
-
-- **Author:** ChangHwan Lee
-
-- **Last updated on May. 16, 2024**
-```
-
-# CycleGAN
-
-## Abstract
-
-- Image-to-image translation 은 한 이미지 도메인을 다른 이미지 도메인으로 변환시키는 computer vision 의 한 task 입니다.
-- Image-to-image translation 은 보통 input과 output이 짝이 지어진 상태에서 학습하지만 짝이 지어진 학습 데이터를 얻는 것이 어렵습니다. 따라서 CycleGAN 논문에서는 짝지어진 예시 없이 $X$ 라는 domain 으로부터 얻은 이미지를 target domain $Y$ 로 바꾸는 방법을 제안합니다. 이 연구는 Adversarial loss 를 활용해, $G(x)$ 로부터 생성된 이미지 데이터의 분포와 $Y$ 로부터의 이미지 데이터의 분포가 구분이 불가능하도록 함수 $G: X -> Y$ 를 학습시키는 것을 목표로 합니다. 더불어, $X -> Y$ 로의 mapping 에 제약을 가해서 원하는 이미지를 강제하기 위해 $F: Y -> X$ 와 같은 역방향 매핑을 함께 진행합니다. 즉, $F(G(x))$ 가 $X$ 와 유사해지도록 강제하는 cycle consistency loss 를 도입했습니다.
-- 결과적으로 collection style transfer, object transfiguration, season transfer, photo enhancement 등의 task 에서 이미지 pair 가 존재하지 않는 상태에서 우수한 결과를 보여줬다고 합니다.
-
-
-## Related work
-
-- GAN : adversarial loss 를 사용하여 이미지를 생성하는 방법입니다.
-- Image-to-Image Translation : 특정 image 를 input 로 넣으면 그에 맞는 image 가 output 로 나오는 방법입니다. pix2pix 같은 방법이 있으며 상세한 설명은 아래의 Background section 을 참조하면 됩니다.
-- Unpaired Image-to-Image Translation : 위의 Image-to-Image Translation 에서 pair 가 아닌 데이터로 학습해서 Image-to-Image Translation 과 같은 input, output 결과가 나오도록 만드는 방법입니다.
-- Cycle Consistency : 한 이미지를 다른 도메인으로 변환하고 다시 원래 도메인으로 변환할 때 처음의 원본으로 되도록 하여 일종의 순환(사이클)을 만드는 방법으로 학습 프로세스가 더 안정적이게 되고, 이미지 간의 일관성을 보다 잘 유지할 수 있도록 만듭니다. (ex) $X$ 를 모델 $A$ 에 거쳐 $Y$ 로 만든 뒤 다시 모델 $B$ 를 거쳐 $X$ 로 복구)
-- Neural Style Transfer : pre-trained 된 deep features 의 Gram matrix statistics 일치를 기반으로 이미지 content 를 다른 image 의 스타일과 결합하여 새로운 이미지를 합성하는 방법입니다.
-
-
-## Background
-
-### Image-to-Image Translation
-
-:::{figure-md}
-
-
-image-to-image translation
-:::
-
-
-Image-to-image translation 은 input image 를 다른 스타일, 속성, 구조 등을 가진 output image 로 변환하는 task 입니다. 예를 들어 사진을 그림으로 변환한다거나, 낮에 찍은 사진을 밤에 찍은 것 처럼 변환하는 것을 말합니다. 흔히 translation 은 input 과 output 로 짝이 지어진 데이터를 바탕으로 학습이 이루어져 있었는데요. 짝이 지어진 사진 데이터를 얻는 것은 어렵고 값이 비싼 일이 됩니다.
-
-:::{figure-md}
-
-
-paired and unpaired data
-:::
-
- 이 논문에서는 input image와 output image가 일대일로 짝지어지지 않은 상태에서 하나의 image 모음의 특성을 캡쳐하고, 이러한 특성을 다른 image 모음으로 변환할 수 있는 방법을 제시합니다.
-GAN은 domain $X$ 에 이미지 한 세트, domain $Y$ 에 이미지 한 세트가 제공되고, model 의 output 과 $Y$ 가 discriminator 에 의해 구별할 수 없도록 모델 $G: X -> Y$ 를 학습합니다. 하지만, 이것이 개별 입력 $x$ 와 출력 $y$ 가 무조건 유의미하게 쌍을 이룬다는 것을 뜻하지는 않습니다. $G$ 가 생성할 수 있는 image 에는 무한한 경우의 수가 있기 때문에 종종 mode collapse 현상이 일어나기도 합니다.
-
-### Mode Collapse
-
-:::{figure-md}
-
-
-mode collapsing 출처: http://dl-ai.blogspot.com/2017/08/gan-problems.html
-:::
-
-어떤 input image 든 모두 같은 output image 로 매핑하면서 최적화에 실패하는 현상입니다. 이 현상은 generator 입장에서, discriminator 가 이 사진이 진짜 $Y$인지 가짜인 $\hat{Y}$인지 구별하는 것을 '**속이기만**' 하면 되기 때문에 우리의 목적과 전혀 상관이 없는 데이터를 generator 가 만들더라도 문제가 생기지 않아서 발생합니다.
-- 참고: [http://dl-ai.blogspot.com/2017/08/gan-problems.html](http://dl-ai.blogspot.com/2017/08/gan-problems.html)
-
-이러한 이슈로 인해 추가 objective function 이 필요해졌습니다. 따라서 translation task 는 영어 -> 프랑스어 -> 영어로 번역했을 때 원래 문장에 다시 도달하는 것처럼, $X --> Y --> X'$ 로 돌아가는 과정에서 $X$ 와 $X'$ 이 최대한 같아야 한다는 의미의 cycle consistency 이라는 속성을 이용합니다. 필요한 목적식을 간단하게 정리하면 다음과 같습니다.
-
-- 정방향, 역방향 adversarial loss: $X -> Y & Y -> X$
-- Cycle consistency loss: $X $\approx$ F(G(x))$
-
-## Method
-
-
-
-### Overview
-
-:::{figure-md}
-
-
-CycleGAN 도식화 자료
-:::
-
-- 목표: $X$, $Y$ 를 mapping 하는 function 을 학습하는 것
-- 용어 정리
- - data 분포를 $x ~ p_{data}(x)$, $y ~ p_{data}(y)$ 로 표기
- - $G : X -> Y$, $F: Y -> X$ 는 generator
- - $D_X$, $D_Y$ 는 discriminator
- - $D_X$ 는 $X$ 와 $F(y)$ 그리고 $D_Y$ 는 $y$ 와 $G(x)$ 를 구분하고, 다음과 같이 두 개의 목적식으로 학습합니다.
- - adversarial loss: 생성된 이미지의 분포를 대상 domain 의 data distribution 과 일치시키기 위한 것.
- - cycle consistency loss: 학습된 mapping $G$ 와 $F$ 가 서로 모순되는 것을 방지하기 위한 것.
-
-### Adversarial Loss
-
-$G: X -> Y$ 와 $D_Y$ 에 대한 목적식은 다음과 같습니다.
-
-:::{figure-md} $\mathcal{L}_{GAN}$ Loss function
-
-
-$\mathcal{L}_{GAN}$ Loss function (source: https://arxiv.org/abs/1703.10593)
-:::
-
-이는 GAN 에서 쓰이는 loss function 를 사용하지만, 차이점이 있다면 $X -> Y$ 로 갈 때와 $Y -> X$ 로 갈 때 총 두 개의 수식이 나옵니다. 다시 말해, $F: Y -> X$ 와 $D_X$ 에 대해서도 $F$, $D_X$ 를 넣은 동일한 수식을 사용합니다.
-
-### Cycle Consistency Loss
-
-:::{figure-md}
-
-
-cycle consistency loss function
-:::
-
-- 앞서 말했듯이, mapping distribution 에 제한을 두어 최대한 우리가 원하는 이미지를 생성하기 위해 사용되는 loss function 입니다.
-- 예비 실험에서 L1 norm 을 adversarial loss 로 대체해봤는데, 성능 향상을 관찰할 수 없었다고 합니다.
-- cycle consistency loss 를 통해 유도된 결과는 아래 그림에서 볼 수 있습니다.
-
-:::{figure-md}
-
-
-cycle consistency loss result
-:::
-
-### Full Objective
-
-:::{figure-md}
-
-
-full objective function
-:::
-
-이때 consistency loss 앞에 붙은 가중치 $\lambda$ 는 GAN Loss 와의 상대적 중요도에 따라 결정됩니다.
-
-
-## Implementation
-
-### Network Architecture
-
-Baseline architecture 로서 neural style transfer 와 super-resolution 에 인상적인 결과를 보여준 논문(https://arxiv.org/abs/1603.08155) 에서 사용된 구조를 채택합니다.
-
-- 3 개의 convolutions and several residual blocks,
-- fractionally-strided convolution with stride 1/2,
-- feature 를 RGB 로 매핑하는 one convolution layer.
-- 6 blocks for 128 x 128 image // 9 blocks for 256 x 256 및 고해상도 학습 image.
-- instance normalization
-
-### Training details
-
-모델 학습을 안정화시키기 위해 아래와 같은 테크닉을 추가로 적용합니다.
-
-- Loss function $\mathcal{L}_{GAN}$ 에서 nll loss 를 least-squared loss 로 변경
-- 생성된 이미지 중 가장 최근의 50개를 따로 저장해 discriminator 가 이를 한꺼번에 분류(모델 진동을 최소화하기 위함)
-
-### (참고) least-square loss 추가 설명
-
-- [https://velog.io/@sjinu/CycleGAN](https://velog.io/@sjinu/CycleGAN)
--[https://ysbsb.github.io/gan/2022/02/23/LSGAN.html](https://ysbsb.github.io/gan/2022/02/23/LSGAN.html)
-
-LSGAN 을 참고했으며, 논문에서는 generator 업데이트시 더 안정적인 학습과 quality 높은 결과를 생성한다고 합니다.
-
-:::{figure-md}
-
-
-출처: https://velog.io/@sjinu/CycleGAN
-:::
-
-(원래 Discriminator 는 이보다 더 고차원이지만) 간략히 2차원을 표방하면 결정경계를 위와 같이 나타낼 수 있습니다. 윗 쪽이 가짜 영역, 아래 쪽이 진짜 영역입니다 이 때, 아래에 보면 진짜 데이터 샘플과 거리가 먼 가짜 데이터 샘플이 존재합니다. 즉, NLL Loss 를 사용한다면, Generator 의 입장에서는 이미 Discriminator 를 잘 속이고 있기 때문에 학습할 필요가 없게 됩니다. 즉, Vanishing Gradient 현상이 일어나기 때문에, Discriminator 를 잘 속인다는 이유만으로, 안 좋은 샘플을 생성하는 것에 대해 패널티를 줄 수가 없게 됩니다. 이 때, LSGAN 을 사용한다면 실제 데이터 분포와 가짜 데이터 샘플이 거리가 먼 것에 대해서도 패널티를 주게 됩니다.
-
-:::{figure-md}
-
-
-출처: https://velog.io/@sjinu/CycleGAN
-:::
-
-그리고 모든 실험에 대해서 $\lambda$ 를 10 으로 설정하고, batch size = 1, 그리고 Adam solver 를 사용했습니다. 첫 100 epoch 동안에는 learning rate 를 0.0002 로 설정했고, 다음 100 epoch 마다 0 으로 조금식 수렴하게 scheduling 하였습니다.
-
-
-## Evaluation
-
-모델 성능 평가를 위해 아래와 같은 세 개의 지표를 기반으로 기존의 CoGAN, SimGAN, pix2pix baseline 모델과 비교했습니다. 그 외 loss function 에 대한 ablation study 도 수행했습니다.
-
-1. AMT perceptual studies: 참가자들은 실제 사진이미지 vs 가짜 이미지, 또는 지도 이미지 vs 가짜이미지에 노출된 후 진짜라고 생각되는 이미지를 선택하게 합니다.
-2. FCN Score: 1번 study 가 테스트에 있어 매우 좋은 기준임에도 불구하고, 이번에는 사람을 대상으로 한 실험이 아닌 양적인 기준을 사용합니다. 우선적으로 FCN 모델을 통해 생성된 사진에 대한 레이블 맵을 예측합니다. 이 레이블 맵은 아래에서 설명하는 standard semantic segmentation metric 을 사용하여 input ground truth label 과 비교할 수 있습니다. "도로 상의 자동차"라는 label 에서 사진 이미지를 생성하면, 생성된 이미지에 적용된 FCN 이 "도로 상의 자동차"를 감지하면 성공한 것입니다.
-3. Semantic segmentation metric: pixel 당 정확도, class 당 정확도, 그리고 IoU(Intersection-Over-Union) 를 포함하는 cityscapes benchmark 의 표준 metric 를 사용합니다.
-
-
-### Comparison against baselines
-
-:::{figure-md}
-
-
-Comparison aginst baselines
-:::
-
-타 baseline 모델보다 성능이 좋을 뿐만 아니라, fully supervised 모델인 pix2pix 와 비슷한 품질의 translation 성능을 보여줍니다.
-
-* AMT Score *
-
-:::{figure-md}
-
-
-AMT score
-:::
-
-Table 1 은 AMT perceptual realism task 에 대한 성능을 나타냅니다. CycleGAN 의 지도에서 항공 사진, 그리고 항공 사진에서 지도 translation 결과에서 약 1/4의 참가자를 속일 수 있었던 반면에 그 외 모든 baseline 모델은 참가자를 거의 속일 수 없었습니다.
-
-* FCN Score *
-
-:::{figure-md}
-
-
-FCN scores
-:::
-
-Table 2, Table 3 는 각각 도시 풍경에 대한 label -> photo, 그리고 photo -> label translation task 의 성능을 보여줍니다. 두 경우 모두 CycleGAN 이 baseline 들의 성능을 능가합니다.
-
-### Ablation Study - Analysis of the loss function
-
-:::{figure-md}
-
-
-Analysis of loss function
-:::
-
-GAN 과 cycle consistency loss 의 중요성을 보여주는 ablation study 입니다. GAN loss 그리고 cycle consistency loss 를 각각 제거하면 성능이 크게 저하되는 부분을 확인할 수 있습니다. 또한 한쪽 방향에 대해서만 GAN + forward cycle 만 돌렸을 때와 GAN + backward cycle 만 돌렸을 때 학습의 불안정성을 보이고, mode collapse 를 유발하는 것을 확인할 수 있었다고 합니다.
-
-### Image reconstruction quality
-
-:::{figure-md}
-
-
-Results on Cycle Consistency
-:::
-
-Reconctructed 된 이미지 예시들입니다. 지도 -> 항공 사진과 같이 하나의 도메인이 훨씬 더 다양한 정보를 나타내는 경우에도 재구성된 이미지가 훈련 및 테스트 시 모두 원래 입력 $x$ 에 가깝게 복원되는 경우가 많았습니다.
-
-### Additional results on paired datasets
-
-:::{figure-md}
-
-
-Additional results on paired datasets
-:::
-
-Figure 8 은 CMP Facade Database 의 건축 레이블 <-> 사진, 그리고 UT Zapoos50K dataset 의 edge <-> 신발 을 비롯하여 pix2pix 에 사용된 paired dataset 에 대한 몇 가지 예시 결과를 보여줍니다. CycleGAN 이 생성한 이미지 품질이 fully supervised 된 pix2pix 에 대응하는 성능을 보여주는 것을 확인할 수 있습니다.
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
- : shallow depth of field: 얕은 초점. 초점이 맞은 대상과 배경이 흐릿하게 보이는 효과. 인물 사진 / 작품 사진에 활용. 구목하고자 하는 대상을 강조하기 위해 활용. -->
- 따라서 source domain은 스마트폰의 **작은 조리개로 깊은 초점** \--> target은 **조리개가 커서 얕은 초점**.-->
-
-
-
-
-## Limitations and Discusssion
-
-:::{figure-md}
-
-
-Limitations and Discussion
-:::
-
-이 방법은 많은 경우에 흥미로운 결과를 얻을 수 있지만, 결과가 균일하게 좋은 것은 아니었습니다.
-
-1. 개 <-> 고양이 translation task 와 같은 경우는 input image 에서 최소한의 변화만 주어, 사람이 보았을 때 실제로 변화가 안되는 경우도 있었고, 형체가 애매해진 경우도 있었습니다. 이를 보았을 때, geometry 가 반영되는 눈, 코, 입 등의 세부적인 구조에 대한 정확히 구현하는데 한계가 있어 보입니다.
-2. 말 <--> 얼룩말 translation 예제의 경우, 말은 사람이 타는 모습이 많았는데 얼룩말의 경우는 사람이 타는 사진이 없다보니, 사람 뿐만 아니라 배경도 얼룩 그림을 그리거나 단순히 얼룩말에서 노랗게 칠한 경우가 존재합니다.
-3. 때때로 photo -> image translation task 에서 나무와 건물의 label 을 바꾸는 경우도 있었습니다.
- 이러한 모호성을 해결하려면 weak semantic supervision 이 필요할 수도 있을 것 같습니다.
-
-그럼에도 불구하고 해당 논문은 완전히 paired 되지 않은 "unsupervised" setting 에서도 image translation task 의 한계를 늘리는데 기여합니다.
+```{admonition} Information
+- **Title:** Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks (ICCV 2017)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/1703.10593](https://arxiv.org/abs/1703.10593)
+ - Code: [TensorFlow CycleGAN tutorial](https://www.tensorflow.org/tutorials/generative/cyclegan?hl=ko)
+ - [[논문리뷰] Cycle GAN: Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks](https://velog.io/@sjinu/CycleGAN)
+ [CycleGAN을 만든 사람이 한국인이라고? CycleGAN 논문 뜯어보기](https://comlini8-8.tistory.com/9)
+
+- **Author:** KwangSu Mun
+
+- **Author:** ChangHwan Lee
+
+- **Last updated on May. 16, 2024**
+```
+
+# CycleGAN
+
+## Abstract
+
+- Image-to-image translation 은 한 이미지 도메인을 다른 이미지 도메인으로 변환시키는 computer vision 의 한 task 입니다.
+- Image-to-image translation 은 보통 input과 output이 짝이 지어진 상태에서 학습하지만 짝이 지어진 학습 데이터를 얻는 것이 어렵습니다. 따라서 CycleGAN 논문에서는 짝지어진 예시 없이 $X$ 라는 domain 으로부터 얻은 이미지를 target domain $Y$ 로 바꾸는 방법을 제안합니다. 이 연구는 Adversarial loss 를 활용해, $G(x)$ 로부터 생성된 이미지 데이터의 분포와 $Y$ 로부터의 이미지 데이터의 분포가 구분이 불가능하도록 함수 $G: X -> Y$ 를 학습시키는 것을 목표로 합니다. 더불어, $X -> Y$ 로의 mapping 에 제약을 가해서 원하는 이미지를 강제하기 위해 $F: Y -> X$ 와 같은 역방향 매핑을 함께 진행합니다. 즉, $F(G(x))$ 가 $X$ 와 유사해지도록 강제하는 cycle consistency loss 를 도입했습니다.
+- 결과적으로 collection style transfer, object transfiguration, season transfer, photo enhancement 등의 task 에서 이미지 pair 가 존재하지 않는 상태에서 우수한 결과를 보여줬다고 합니다.
+
+
+## Related work
+
+- GAN : adversarial loss 를 사용하여 이미지를 생성하는 방법입니다.
+- Image-to-Image Translation : 특정 image 를 input 로 넣으면 그에 맞는 image 가 output 로 나오는 방법입니다. pix2pix 같은 방법이 있으며 상세한 설명은 아래의 Background section 을 참조하면 됩니다.
+- Unpaired Image-to-Image Translation : 위의 Image-to-Image Translation 에서 pair 가 아닌 데이터로 학습해서 Image-to-Image Translation 과 같은 input, output 결과가 나오도록 만드는 방법입니다.
+- Cycle Consistency : 한 이미지를 다른 도메인으로 변환하고 다시 원래 도메인으로 변환할 때 처음의 원본으로 되도록 하여 일종의 순환(사이클)을 만드는 방법으로 학습 프로세스가 더 안정적이게 되고, 이미지 간의 일관성을 보다 잘 유지할 수 있도록 만듭니다. (ex) $X$ 를 모델 $A$ 에 거쳐 $Y$ 로 만든 뒤 다시 모델 $B$ 를 거쳐 $X$ 로 복구)
+- Neural Style Transfer : pre-trained 된 deep features 의 Gram matrix statistics 일치를 기반으로 이미지 content 를 다른 image 의 스타일과 결합하여 새로운 이미지를 합성하는 방법입니다.
+
+
+## Background
+
+### Image-to-Image Translation
+
+:::{figure-md}
+
+
+image-to-image translation
+:::
+
+
+Image-to-image translation 은 input image 를 다른 스타일, 속성, 구조 등을 가진 output image 로 변환하는 task 입니다. 예를 들어 사진을 그림으로 변환한다거나, 낮에 찍은 사진을 밤에 찍은 것 처럼 변환하는 것을 말합니다. 흔히 translation 은 input 과 output 로 짝이 지어진 데이터를 바탕으로 학습이 이루어져 있었는데요. 짝이 지어진 사진 데이터를 얻는 것은 어렵고 값이 비싼 일이 됩니다.
+
+:::{figure-md}
+
+
+paired and unpaired data
+:::
+
+ 이 논문에서는 input image와 output image가 일대일로 짝지어지지 않은 상태에서 하나의 image 모음의 특성을 캡쳐하고, 이러한 특성을 다른 image 모음으로 변환할 수 있는 방법을 제시합니다.
+GAN은 domain $X$ 에 이미지 한 세트, domain $Y$ 에 이미지 한 세트가 제공되고, model 의 output 과 $Y$ 가 discriminator 에 의해 구별할 수 없도록 모델 $G: X -> Y$ 를 학습합니다. 하지만, 이것이 개별 입력 $x$ 와 출력 $y$ 가 무조건 유의미하게 쌍을 이룬다는 것을 뜻하지는 않습니다. $G$ 가 생성할 수 있는 image 에는 무한한 경우의 수가 있기 때문에 종종 mode collapse 현상이 일어나기도 합니다.
+
+### Mode Collapse
+
+:::{figure-md}
+
+
+mode collapsing 출처: http://dl-ai.blogspot.com/2017/08/gan-problems.html
+:::
+
+어떤 input image 든 모두 같은 output image 로 매핑하면서 최적화에 실패하는 현상입니다. 이 현상은 generator 입장에서, discriminator 가 이 사진이 진짜 $Y$인지 가짜인 $\hat{Y}$인지 구별하는 것을 '**속이기만**' 하면 되기 때문에 우리의 목적과 전혀 상관이 없는 데이터를 generator 가 만들더라도 문제가 생기지 않아서 발생합니다.
+- 참고: [http://dl-ai.blogspot.com/2017/08/gan-problems.html](http://dl-ai.blogspot.com/2017/08/gan-problems.html)
+
+이러한 이슈로 인해 추가 objective function 이 필요해졌습니다. 따라서 translation task 는 영어 -> 프랑스어 -> 영어로 번역했을 때 원래 문장에 다시 도달하는 것처럼, $X --> Y --> X'$ 로 돌아가는 과정에서 $X$ 와 $X'$ 이 최대한 같아야 한다는 의미의 cycle consistency 이라는 속성을 이용합니다. 필요한 목적식을 간단하게 정리하면 다음과 같습니다.
+
+- 정방향, 역방향 adversarial loss: $X -> Y & Y -> X$
+- Cycle consistency loss: $X $\approx$ F(G(x))$
+
+## Method
+
+
+
+### Overview
+
+:::{figure-md}
+
+
+CycleGAN 도식화 자료
+:::
+
+- 목표: $X$, $Y$ 를 mapping 하는 function 을 학습하는 것
+- 용어 정리
+ - data 분포를 $x ~ p_{data}(x)$, $y ~ p_{data}(y)$ 로 표기
+ - $G : X -> Y$, $F: Y -> X$ 는 generator
+ - $D_X$, $D_Y$ 는 discriminator
+ - $D_X$ 는 $X$ 와 $F(y)$ 그리고 $D_Y$ 는 $y$ 와 $G(x)$ 를 구분하고, 다음과 같이 두 개의 목적식으로 학습합니다.
+ - adversarial loss: 생성된 이미지의 분포를 대상 domain 의 data distribution 과 일치시키기 위한 것.
+ - cycle consistency loss: 학습된 mapping $G$ 와 $F$ 가 서로 모순되는 것을 방지하기 위한 것.
+
+### Adversarial Loss
+
+$G: X -> Y$ 와 $D_Y$ 에 대한 목적식은 다음과 같습니다.
+
+:::{figure-md} $\mathcal{L}_{GAN}$ Loss function
+
+
+$\mathcal{L}_{GAN}$ Loss function (source: https://arxiv.org/abs/1703.10593)
+:::
+
+이는 GAN 에서 쓰이는 loss function 를 사용하지만, 차이점이 있다면 $X -> Y$ 로 갈 때와 $Y -> X$ 로 갈 때 총 두 개의 수식이 나옵니다. 다시 말해, $F: Y -> X$ 와 $D_X$ 에 대해서도 $F$, $D_X$ 를 넣은 동일한 수식을 사용합니다.
+
+### Cycle Consistency Loss
+
+:::{figure-md}
+
+
+cycle consistency loss function
+:::
+
+- 앞서 말했듯이, mapping distribution 에 제한을 두어 최대한 우리가 원하는 이미지를 생성하기 위해 사용되는 loss function 입니다.
+- 예비 실험에서 L1 norm 을 adversarial loss 로 대체해봤는데, 성능 향상을 관찰할 수 없었다고 합니다.
+- cycle consistency loss 를 통해 유도된 결과는 아래 그림에서 볼 수 있습니다.
+
+:::{figure-md}
+
+
+cycle consistency loss result
+:::
+
+### Full Objective
+
+:::{figure-md}
+
+
+full objective function
+:::
+
+이때 consistency loss 앞에 붙은 가중치 $\lambda$ 는 GAN Loss 와의 상대적 중요도에 따라 결정됩니다.
+
+
+## Implementation
+
+### Network Architecture
+
+Baseline architecture 로서 neural style transfer 와 super-resolution 에 인상적인 결과를 보여준 논문(https://arxiv.org/abs/1603.08155) 에서 사용된 구조를 채택합니다.
+
+- 3 개의 convolutions and several residual blocks,
+- fractionally-strided convolution with stride 1/2,
+- feature 를 RGB 로 매핑하는 one convolution layer.
+- 6 blocks for 128 x 128 image // 9 blocks for 256 x 256 및 고해상도 학습 image.
+- instance normalization
+
+### Training details
+
+모델 학습을 안정화시키기 위해 아래와 같은 테크닉을 추가로 적용합니다.
+
+- Loss function $\mathcal{L}_{GAN}$ 에서 nll loss 를 least-squared loss 로 변경
+- 생성된 이미지 중 가장 최근의 50개를 따로 저장해 discriminator 가 이를 한꺼번에 분류(모델 진동을 최소화하기 위함)
+
+### (참고) least-square loss 추가 설명
+
+- [https://velog.io/@sjinu/CycleGAN](https://velog.io/@sjinu/CycleGAN)
+-[https://ysbsb.github.io/gan/2022/02/23/LSGAN.html](https://ysbsb.github.io/gan/2022/02/23/LSGAN.html)
+
+LSGAN 을 참고했으며, 논문에서는 generator 업데이트시 더 안정적인 학습과 quality 높은 결과를 생성한다고 합니다.
+
+:::{figure-md}
+
+
+출처: https://velog.io/@sjinu/CycleGAN
+:::
+
+(원래 Discriminator 는 이보다 더 고차원이지만) 간략히 2차원을 표방하면 결정경계를 위와 같이 나타낼 수 있습니다. 윗 쪽이 가짜 영역, 아래 쪽이 진짜 영역입니다 이 때, 아래에 보면 진짜 데이터 샘플과 거리가 먼 가짜 데이터 샘플이 존재합니다. 즉, NLL Loss 를 사용한다면, Generator 의 입장에서는 이미 Discriminator 를 잘 속이고 있기 때문에 학습할 필요가 없게 됩니다. 즉, Vanishing Gradient 현상이 일어나기 때문에, Discriminator 를 잘 속인다는 이유만으로, 안 좋은 샘플을 생성하는 것에 대해 패널티를 줄 수가 없게 됩니다. 이 때, LSGAN 을 사용한다면 실제 데이터 분포와 가짜 데이터 샘플이 거리가 먼 것에 대해서도 패널티를 주게 됩니다.
+
+:::{figure-md}
+
+
+출처: https://velog.io/@sjinu/CycleGAN
+:::
+
+그리고 모든 실험에 대해서 $\lambda$ 를 10 으로 설정하고, batch size = 1, 그리고 Adam solver 를 사용했습니다. 첫 100 epoch 동안에는 learning rate 를 0.0002 로 설정했고, 다음 100 epoch 마다 0 으로 조금식 수렴하게 scheduling 하였습니다.
+
+
+## Evaluation
+
+모델 성능 평가를 위해 아래와 같은 세 개의 지표를 기반으로 기존의 CoGAN, SimGAN, pix2pix baseline 모델과 비교했습니다. 그 외 loss function 에 대한 ablation study 도 수행했습니다.
+
+1. AMT perceptual studies: 참가자들은 실제 사진이미지 vs 가짜 이미지, 또는 지도 이미지 vs 가짜이미지에 노출된 후 진짜라고 생각되는 이미지를 선택하게 합니다.
+2. FCN Score: 1번 study 가 테스트에 있어 매우 좋은 기준임에도 불구하고, 이번에는 사람을 대상으로 한 실험이 아닌 양적인 기준을 사용합니다. 우선적으로 FCN 모델을 통해 생성된 사진에 대한 레이블 맵을 예측합니다. 이 레이블 맵은 아래에서 설명하는 standard semantic segmentation metric 을 사용하여 input ground truth label 과 비교할 수 있습니다. "도로 상의 자동차"라는 label 에서 사진 이미지를 생성하면, 생성된 이미지에 적용된 FCN 이 "도로 상의 자동차"를 감지하면 성공한 것입니다.
+3. Semantic segmentation metric: pixel 당 정확도, class 당 정확도, 그리고 IoU(Intersection-Over-Union) 를 포함하는 cityscapes benchmark 의 표준 metric 를 사용합니다.
+
+
+### Comparison against baselines
+
+:::{figure-md}
+
+
+Comparison aginst baselines
+:::
+
+타 baseline 모델보다 성능이 좋을 뿐만 아니라, fully supervised 모델인 pix2pix 와 비슷한 품질의 translation 성능을 보여줍니다.
+
+* AMT Score *
+
+:::{figure-md}
+
+
+AMT score
+:::
+
+Table 1 은 AMT perceptual realism task 에 대한 성능을 나타냅니다. CycleGAN 의 지도에서 항공 사진, 그리고 항공 사진에서 지도 translation 결과에서 약 1/4의 참가자를 속일 수 있었던 반면에 그 외 모든 baseline 모델은 참가자를 거의 속일 수 없었습니다.
+
+* FCN Score *
+
+:::{figure-md}
+
+
+FCN scores
+:::
+
+Table 2, Table 3 는 각각 도시 풍경에 대한 label -> photo, 그리고 photo -> label translation task 의 성능을 보여줍니다. 두 경우 모두 CycleGAN 이 baseline 들의 성능을 능가합니다.
+
+### Ablation Study - Analysis of the loss function
+
+:::{figure-md}
+
+
+Analysis of loss function
+:::
+
+GAN 과 cycle consistency loss 의 중요성을 보여주는 ablation study 입니다. GAN loss 그리고 cycle consistency loss 를 각각 제거하면 성능이 크게 저하되는 부분을 확인할 수 있습니다. 또한 한쪽 방향에 대해서만 GAN + forward cycle 만 돌렸을 때와 GAN + backward cycle 만 돌렸을 때 학습의 불안정성을 보이고, mode collapse 를 유발하는 것을 확인할 수 있었다고 합니다.
+
+### Image reconstruction quality
+
+:::{figure-md}
+
+
+Results on Cycle Consistency
+:::
+
+Reconctructed 된 이미지 예시들입니다. 지도 -> 항공 사진과 같이 하나의 도메인이 훨씬 더 다양한 정보를 나타내는 경우에도 재구성된 이미지가 훈련 및 테스트 시 모두 원래 입력 $x$ 에 가깝게 복원되는 경우가 많았습니다.
+
+### Additional results on paired datasets
+
+:::{figure-md}
+
+
+Additional results on paired datasets
+:::
+
+Figure 8 은 CMP Facade Database 의 건축 레이블 <-> 사진, 그리고 UT Zapoos50K dataset 의 edge <-> 신발 을 비롯하여 pix2pix 에 사용된 paired dataset 에 대한 몇 가지 예시 결과를 보여줍니다. CycleGAN 이 생성한 이미지 품질이 fully supervised 된 pix2pix 에 대응하는 성능을 보여주는 것을 확인할 수 있습니다.
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ : shallow depth of field: 얕은 초점. 초점이 맞은 대상과 배경이 흐릿하게 보이는 효과. 인물 사진 / 작품 사진에 활용. 구목하고자 하는 대상을 강조하기 위해 활용. -->
+ 따라서 source domain은 스마트폰의 **작은 조리개로 깊은 초점** \--> target은 **조리개가 커서 얕은 초점**.-->
+
+
+
+
+## Limitations and Discusssion
+
+:::{figure-md}
+
+
+Limitations and Discussion
+:::
+
+이 방법은 많은 경우에 흥미로운 결과를 얻을 수 있지만, 결과가 균일하게 좋은 것은 아니었습니다.
+
+1. 개 <-> 고양이 translation task 와 같은 경우는 input image 에서 최소한의 변화만 주어, 사람이 보았을 때 실제로 변화가 안되는 경우도 있었고, 형체가 애매해진 경우도 있었습니다. 이를 보았을 때, geometry 가 반영되는 눈, 코, 입 등의 세부적인 구조에 대한 정확히 구현하는데 한계가 있어 보입니다.
+2. 말 <--> 얼룩말 translation 예제의 경우, 말은 사람이 타는 모습이 많았는데 얼룩말의 경우는 사람이 타는 사진이 없다보니, 사람 뿐만 아니라 배경도 얼룩 그림을 그리거나 단순히 얼룩말에서 노랗게 칠한 경우가 존재합니다.
+3. 때때로 photo -> image translation task 에서 나무와 건물의 label 을 바꾸는 경우도 있었습니다.
+ 이러한 모호성을 해결하려면 weak semantic supervision 이 필요할 수도 있을 것 같습니다.
+
+그럼에도 불구하고 해당 논문은 완전히 paired 되지 않은 "unsupervised" setting 에서도 image translation task 의 한계를 늘리는데 기여합니다.
diff --git a/_sources/docs/review/dalle.md b/_sources/docs/review/dalle.md
index 05066e68..8cf8662f 100755
--- a/_sources/docs/review/dalle.md
+++ b/_sources/docs/review/dalle.md
@@ -1,243 +1,243 @@
-```{admonition} Information
-- **Title:** Zero-shot text-to-image generation (ICML 2021)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2102.12092](https://arxiv.org/abs/2102.12092)
- - Code: [Unofficial-PyTorch](https://github.com/lucidrains/DALLE-pytorch)
- - Code: [Official](https://github.com/openai/DALL-E)
-
-- **Author:** Donggeun "Sean" Ko
-
-- **Last updated on June 22 2023**
-```
-
-# DALL-E
-
-## 1. Introduction
-
-- GPT-3 기반 모델이며 120억개 parameter 수와 2.5억 데이터 (text,image) set으로 학습
-- Autoregressive 한 모델링을 통하여 image와 text를 이용하여 text-to-image generation task를 수행
-- 2021년 기준 zero-shot SOTA performance 달성
-- 아래 그림과 같이 text input에 따라 diverse한 이미지 생성
-
-
-:::{figure-md}
-
-
-Images generated using DALL-E
-:::
-
-:::{figure-md}
-
-
-Images generated using DALL-E
-:::
-
-
-## 2. Background
-- GPT-3와 VQ-VAE를 활용하여 나온 논문.
-- VQ-VAE를 먼저 학습하고, Autoregressive Transformer을 순차적으로 학습하여 zero-shot architecture을 구축.
-
-### GPT-3
-- Autoregressive Language Model며 few-shot learning을 통해 fine-tuning 없이 높은 성능을 냄 *(fine-tuning 을 할 수는 있지만 본 논문에서는 task-agnostic performance 에 중점을 맞춰 Few shot을 함)
-- GPT-3 는 transformer에서 decoder 부분만 사용 (GPT-2 와 유사한 구조를 가지고 있음 )
-- 약 1750억 parameter 개수의 모델
-
-
-:::{figure-md}
-
-
-Transformer 아키텍쳐 \ (source: https://arxiv.org/pdf/2005.14165.pdf)
-
-:::
-
-:::{figure-md}
-
-
-GPT 3 Animation \ (source: https://jalammar.github.io/how-gpt3-works-visualizations-animations/)
-:::
-
-
-### VQ-VAE
-- Encoder에서 나온 output은 discrete 하며 posterior 과 prior 이 categorical distribution을 갖는다고 가정함.
-- CNN (encoder) 을 거친 각 D차원의 위치에 $H \times W$ 그리드로 이미지를 나누고 embedding space (Codebook) 에서 $𝑒_1$부터 $𝑒_𝑘$ 중에서 가까운 1개 embedding code로 변환.
-- Quantization: Encoding output $z_{e}(x)$ representation 과 유사한 codebook embedding $e_j$ 를 찾아서 $k$ 값을 부여함.
-
-:::{figure-md}
-
-
-VQ-VAE 아키텍쳐, Loss 함수 \ (source: https://velog.io/@p2yeong/Understanding-VQ-VAE-DALL-E-Explained-Pt.-1)
-
-:::
-
-
-
-:::{figure-md}
-
-
-Quantization of VQ-VAE
-:::
-
-
-
-## 3. Methodology
-
-## Limitation of Previous Works
-
-1. Memory/Bottleneck Issue
-- 각 Image에서 나오는 pixel을 직접적으로 image token을 사용하면 고화질 이미지일수록 너무 많은 메모리량이 필요해서 “비효율적”
-
-
-2. Short-range dependence modeling between pixels
-- Model들 중 Likelihood function을 objective function으로 사용하면 short-range dependency를 우선적으로 볼 것이며 low-frequency 보다 high-frequency detail에 더욱 집중하게 됨.
-- Low frequency 는 visually recognizable해서 시각적으로 더 도움이 되는 부분
-
-이 2가지 문제점을 극복하고자 Two-stage training process 제안
-
-
-## DALL-E Overview
-### Stage 1: Training VQ-VAE
-- **Discrete VAE**를 이용하여 $256 \times 256$ RGB image \rightarrow $32 \times 32$ 이미지 토큰으로 압축
-- 각 이미지 토큰은 8,192개의 code 값 중에 하나 배정
-- 이미지의 **quality 손실 없이** $8 \times 8 \times 3$ 배 만큼 context size를 적게 만들 수 있음.
-
-
-### Stage 2: Training an Autoregressive Transformer
-- **최대 256 BPE-Encoded text tokens**들과 1024 image tokens ($32 \times 32$) 를 연속적으로 입력함 (concatenate)
-- Text token과 Image Tokens 들의 joint distribution (결합 분포)를 모델링하여 autoregressive transformer을 학습
-
-
-## DALL-E Pipeline 예시
-
-
-:::{figure-md}
-
-
-DALL-E 시각화 \ (source:https://jiho-ml.com/weekly-nlp-40/)
-:::
-
-:::{figure-md}
-
-
-DALL-E 파이프라인 \ (source:https://www.youtube.com/watch?v=CQoM0r2kMvI&t=1729s)
-:::
-
-
-## Methodology Details
-
-### DALL-E Equations
-
-:::{figure-md}
-
-
-equation 1
-:::
-
-:::{figure-md}
-
-
-equation 2: Maximizing ELBO
-:::
-
-x: images, y: captions , z: encoded RGB image tokens
-
-**𝑞Φ (red)** : input image에서 dVAE encoder에서 생성한 32 x 32 image token를 예측
-
-**𝑝𝜃 (blue)**: image token에서 dVAE decoder에서 생성한 RGB image를 예측
-
-**𝑝ψ (purple)**: transformer 모델로 모델링한 text와 image token들의 결합 분포 (joint distribution)
-
-### DALL-E 학습과정 Stage 1: Learning the VIsual Codebook
-- Transformer을 고정하고 dVAE encoder & decoder (𝑞_Φ , 𝑝_𝜃) 을 학습함
- - 즉, ELB (Evidence Lower Bound를 maximize 함)
- - K = 8,192 codebook (embedding space)로 설정
-
-
-- **ELB를 optimize** 하기 위해서는 discrete distribution을 continuous를 바꿔야 함
- - 학습시에는 결국, argmax를 사용해서 codebook vector 인덱스를 선택하여 계산하면 Reparameterization gradient를 연산 X
- - argmax 대신 **gumbel softmax**를 사용하여 해결
-
- - 평가를 진행할 때에는 $z = codebook[\underset{i}{argmax}[g_i+log(q(e_i|x))]]$
-
-- Gumbel Softmax Relaxation를 사용하여 해결! $q_\phi \rightarrow q_{\phi}^{\tau}$, temperature $\tau \rightarrow 0$, relaxation을 tight하게 잡아줌.
-
-
-### DALL-E 학습과정 Stage 2: Learning the Prior
-- Transformer을 고정하고 dVAE encoder & decoder ($q_{phi}$ , $p_{\theta}$) transformer의 prior distribution $p_{\psi}$를 학습함.
-- 이때, $p_{\psi}$의 ELB를 maximize 하며 120억개의 parameter를 가진 sparse transformer 구조를 사용함
-
-- Image token은 dVAE Encoder logit에서 Argmax sampling을 통해 생성
-- Text token은 소문자화 후 16,384 개의 vocabulary를 BPE-encoding 통해 한번에 최대 256 token을 활용
-
-:::{figure-md}
-
-
-Text-to-text attention: causal attention mask
-Image-to-image attention: row/column/convolutional attention mask 적용
-:::
-
-
-## Results
-- 추론 시에는 text에 대하여 N개의 이미지를 생성.
-- Best of N개는 **N개 생성 후 best**를 골라서 선택 함.
-
-- 우수한 이미지를 고르기 위해 CLIP (Contrastive Language-Image Pretraining, 2021) 논문에서 제시한 text 와 k 번째로 similarity 점수가 높은 이미지를 선택함 (k=1)
-
-:::{figure-md}
-
-
-DALL-E 결과물. Best를 고를때 N 수가 증가할수록 주어진 text prompt랑 더 유사한 결과물이 나옴.
-:::
-
-- 생성한 512개 이미지 중 CLIP 알고리즘을 통해 similarity score이 제일 높은 이미지를 뽑음.
-- Ours (DALL-E) vs 다른 baseline method 와 비교 시 text에 더욱 알맞은 이미지를 생성한 것을 확인 할 수 있음.
-
-
-:::{figure-md}
-
-
-선택하는 이미지 개수에 따른 성능 향상
-:::
-
-
-- DF-GAN 이랑 비교해서 MS-COCO dataset에 대하여 정성적 평가를 진행.
-- Best-of-Five votes 중에 DF-GAN보다 매번 압도적인 차이로 투표 수를 받았음.
-
-
-:::{figure-md}
-
-
-DF-GAN 이랑 Qualitative Results 비교
-:::
-
-
-
-
-- FID (Frechet Inception Distance)는 값이 낮을수록 좋으며 / IS (Inception Score)는 높을수록 좋음
-- MS-COCO 랑 CUB (새 특화 데이터셋) 기준, DALL-E는 MS-COCO에서는 뛰어난 성능을 보여줬음.
-- CUB에서는 SOTA를 찍지 못하였고 Inception score에서는 낮은 점수를 기록함.
-- 저자들은 Fine-tuning 으로 CUB에 성능 계선을 할 수 있다고 생각함.
-
-:::{figure-md}
-
-
-MS-COCO 와 CUB dataset에서 FID/IS 결과값 비교
-:::
-
-## Conclusion
-- GPT-3의 확장 모델로 120억개의 parameter과 autoregressive Transformer (Decoder only) 기반 모델링을 통해 text-to-image generation task를 뛰어나게 해결함.
-- Zero-shot learning에서 다른 모델보다 훌륭한 일반화 성능을 보임
-- 정량적 / 정성적 평가에서 준수한 성능을 보이고 있으며 다양한 이미지 생성이 가능함.
-
-** Limitations: **
-- 생성하고 싶은 이미지에 다양한 객체가 포함되면 어려움을 겪음
-- (b)에 보면 고슴도치가 2마리거나 강아지와 고슴도치 둘다 크리스마스 스웨터를 입고 있음.
-
-- CUB dataset 처럼 다소 아쉬운 성능을 보인 데이터셋이 있지만 fine-tuning으로 해결
-
-
-:::{figure-md}
-
-
-Limitation을 보여주는 결과물.
-:::
+```{admonition} Information
+- **Title:** Zero-shot text-to-image generation (ICML 2021)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2102.12092](https://arxiv.org/abs/2102.12092)
+ - Code: [Unofficial-PyTorch](https://github.com/lucidrains/DALLE-pytorch)
+ - Code: [Official](https://github.com/openai/DALL-E)
+
+- **Author:** Donggeun "Sean" Ko
+
+- **Last updated on June 22 2023**
+```
+
+# DALL-E
+
+## 1. Introduction
+
+- GPT-3 기반 모델이며 120억개 parameter 수와 2.5억 데이터 (text,image) set으로 학습
+- Autoregressive 한 모델링을 통하여 image와 text를 이용하여 text-to-image generation task를 수행
+- 2021년 기준 zero-shot SOTA performance 달성
+- 아래 그림과 같이 text input에 따라 diverse한 이미지 생성
+
+
+:::{figure-md}
+
+
+Images generated using DALL-E
+:::
+
+:::{figure-md}
+
+
+Images generated using DALL-E
+:::
+
+
+## 2. Background
+- GPT-3와 VQ-VAE를 활용하여 나온 논문.
+- VQ-VAE를 먼저 학습하고, Autoregressive Transformer을 순차적으로 학습하여 zero-shot architecture을 구축.
+
+### GPT-3
+- Autoregressive Language Model며 few-shot learning을 통해 fine-tuning 없이 높은 성능을 냄 *(fine-tuning 을 할 수는 있지만 본 논문에서는 task-agnostic performance 에 중점을 맞춰 Few shot을 함)
+- GPT-3 는 transformer에서 decoder 부분만 사용 (GPT-2 와 유사한 구조를 가지고 있음 )
+- 약 1750억 parameter 개수의 모델
+
+
+:::{figure-md}
+
+
+Transformer 아키텍쳐 \ (source: https://arxiv.org/pdf/2005.14165.pdf)
+
+:::
+
+:::{figure-md}
+
+
+GPT 3 Animation \ (source: https://jalammar.github.io/how-gpt3-works-visualizations-animations/)
+:::
+
+
+### VQ-VAE
+- Encoder에서 나온 output은 discrete 하며 posterior 과 prior 이 categorical distribution을 갖는다고 가정함.
+- CNN (encoder) 을 거친 각 D차원의 위치에 $H \times W$ 그리드로 이미지를 나누고 embedding space (Codebook) 에서 $𝑒_1$부터 $𝑒_𝑘$ 중에서 가까운 1개 embedding code로 변환.
+- Quantization: Encoding output $z_{e}(x)$ representation 과 유사한 codebook embedding $e_j$ 를 찾아서 $k$ 값을 부여함.
+
+:::{figure-md}
+
+
+VQ-VAE 아키텍쳐, Loss 함수 \ (source: https://velog.io/@p2yeong/Understanding-VQ-VAE-DALL-E-Explained-Pt.-1)
+
+:::
+
+
+
+:::{figure-md}
+
+
+Quantization of VQ-VAE
+:::
+
+
+
+## 3. Methodology
+
+## Limitation of Previous Works
+
+1. Memory/Bottleneck Issue
+- 각 Image에서 나오는 pixel을 직접적으로 image token을 사용하면 고화질 이미지일수록 너무 많은 메모리량이 필요해서 “비효율적”
+
+
+2. Short-range dependence modeling between pixels
+- Model들 중 Likelihood function을 objective function으로 사용하면 short-range dependency를 우선적으로 볼 것이며 low-frequency 보다 high-frequency detail에 더욱 집중하게 됨.
+- Low frequency 는 visually recognizable해서 시각적으로 더 도움이 되는 부분
+
+이 2가지 문제점을 극복하고자 Two-stage training process 제안
+
+
+## DALL-E Overview
+### Stage 1: Training VQ-VAE
+- **Discrete VAE**를 이용하여 $256 \times 256$ RGB image \rightarrow $32 \times 32$ 이미지 토큰으로 압축
+- 각 이미지 토큰은 8,192개의 code 값 중에 하나 배정
+- 이미지의 **quality 손실 없이** $8 \times 8 \times 3$ 배 만큼 context size를 적게 만들 수 있음.
+
+
+### Stage 2: Training an Autoregressive Transformer
+- **최대 256 BPE-Encoded text tokens**들과 1024 image tokens ($32 \times 32$) 를 연속적으로 입력함 (concatenate)
+- Text token과 Image Tokens 들의 joint distribution (결합 분포)를 모델링하여 autoregressive transformer을 학습
+
+
+## DALL-E Pipeline 예시
+
+
+:::{figure-md}
+
+
+DALL-E 시각화 \ (source:https://jiho-ml.com/weekly-nlp-40/)
+:::
+
+:::{figure-md}
+
+
+DALL-E 파이프라인 \ (source:https://www.youtube.com/watch?v=CQoM0r2kMvI&t=1729s)
+:::
+
+
+## Methodology Details
+
+### DALL-E Equations
+
+:::{figure-md}
+
+
+equation 1
+:::
+
+:::{figure-md}
+
+
+equation 2: Maximizing ELBO
+:::
+
+x: images, y: captions , z: encoded RGB image tokens
+
+**𝑞Φ (red)** : input image에서 dVAE encoder에서 생성한 32 x 32 image token를 예측
+
+**𝑝𝜃 (blue)**: image token에서 dVAE decoder에서 생성한 RGB image를 예측
+
+**𝑝ψ (purple)**: transformer 모델로 모델링한 text와 image token들의 결합 분포 (joint distribution)
+
+### DALL-E 학습과정 Stage 1: Learning the VIsual Codebook
+- Transformer을 고정하고 dVAE encoder & decoder (𝑞_Φ , 𝑝_𝜃) 을 학습함
+ - 즉, ELB (Evidence Lower Bound를 maximize 함)
+ - K = 8,192 codebook (embedding space)로 설정
+
+
+- **ELB를 optimize** 하기 위해서는 discrete distribution을 continuous를 바꿔야 함
+ - 학습시에는 결국, argmax를 사용해서 codebook vector 인덱스를 선택하여 계산하면 Reparameterization gradient를 연산 X
+ - argmax 대신 **gumbel softmax**를 사용하여 해결
+
+ - 평가를 진행할 때에는 $z = codebook[\underset{i}{argmax}[g_i+log(q(e_i|x))]]$
+
+- Gumbel Softmax Relaxation를 사용하여 해결! $q_\phi \rightarrow q_{\phi}^{\tau}$, temperature $\tau \rightarrow 0$, relaxation을 tight하게 잡아줌.
+
+
+### DALL-E 학습과정 Stage 2: Learning the Prior
+- Transformer을 고정하고 dVAE encoder & decoder ($q_{phi}$ , $p_{\theta}$) transformer의 prior distribution $p_{\psi}$를 학습함.
+- 이때, $p_{\psi}$의 ELB를 maximize 하며 120억개의 parameter를 가진 sparse transformer 구조를 사용함
+
+- Image token은 dVAE Encoder logit에서 Argmax sampling을 통해 생성
+- Text token은 소문자화 후 16,384 개의 vocabulary를 BPE-encoding 통해 한번에 최대 256 token을 활용
+
+:::{figure-md}
+
+
+Text-to-text attention: causal attention mask
+Image-to-image attention: row/column/convolutional attention mask 적용
+:::
+
+
+## Results
+- 추론 시에는 text에 대하여 N개의 이미지를 생성.
+- Best of N개는 **N개 생성 후 best**를 골라서 선택 함.
+
+- 우수한 이미지를 고르기 위해 CLIP (Contrastive Language-Image Pretraining, 2021) 논문에서 제시한 text 와 k 번째로 similarity 점수가 높은 이미지를 선택함 (k=1)
+
+:::{figure-md}
+
+
+DALL-E 결과물. Best를 고를때 N 수가 증가할수록 주어진 text prompt랑 더 유사한 결과물이 나옴.
+:::
+
+- 생성한 512개 이미지 중 CLIP 알고리즘을 통해 similarity score이 제일 높은 이미지를 뽑음.
+- Ours (DALL-E) vs 다른 baseline method 와 비교 시 text에 더욱 알맞은 이미지를 생성한 것을 확인 할 수 있음.
+
+
+:::{figure-md}
+
+
+선택하는 이미지 개수에 따른 성능 향상
+:::
+
+
+- DF-GAN 이랑 비교해서 MS-COCO dataset에 대하여 정성적 평가를 진행.
+- Best-of-Five votes 중에 DF-GAN보다 매번 압도적인 차이로 투표 수를 받았음.
+
+
+:::{figure-md}
+
+
+DF-GAN 이랑 Qualitative Results 비교
+:::
+
+
+
+
+- FID (Frechet Inception Distance)는 값이 낮을수록 좋으며 / IS (Inception Score)는 높을수록 좋음
+- MS-COCO 랑 CUB (새 특화 데이터셋) 기준, DALL-E는 MS-COCO에서는 뛰어난 성능을 보여줬음.
+- CUB에서는 SOTA를 찍지 못하였고 Inception score에서는 낮은 점수를 기록함.
+- 저자들은 Fine-tuning 으로 CUB에 성능 계선을 할 수 있다고 생각함.
+
+:::{figure-md}
+
+
+MS-COCO 와 CUB dataset에서 FID/IS 결과값 비교
+:::
+
+## Conclusion
+- GPT-3의 확장 모델로 120억개의 parameter과 autoregressive Transformer (Decoder only) 기반 모델링을 통해 text-to-image generation task를 뛰어나게 해결함.
+- Zero-shot learning에서 다른 모델보다 훌륭한 일반화 성능을 보임
+- 정량적 / 정성적 평가에서 준수한 성능을 보이고 있으며 다양한 이미지 생성이 가능함.
+
+** Limitations: **
+- 생성하고 싶은 이미지에 다양한 객체가 포함되면 어려움을 겪음
+- (b)에 보면 고슴도치가 2마리거나 강아지와 고슴도치 둘다 크리스마스 스웨터를 입고 있음.
+
+- CUB dataset 처럼 다소 아쉬운 성능을 보인 데이터셋이 있지만 fine-tuning으로 해결
+
+
+:::{figure-md}
+
+
+Limitation을 보여주는 결과물.
+:::
diff --git a/_sources/docs/review/diffusion_beats_GANs.md b/_sources/docs/review/diffusion_beats_GANs.md
index 675d2240..9ab7da8d 100755
--- a/_sources/docs/review/diffusion_beats_GANs.md
+++ b/_sources/docs/review/diffusion_beats_GANs.md
@@ -1,247 +1,247 @@
-```{admonition} Information
-- **Title:** Diffusion Models Beat GANs on Image Synthesis (NeurIPS 2021)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2105.05233](https://arxiv.org/abs/2105.05233)
- - Code: [Official](https://github.com/openai/guided-diffusion)
-
-- **Author:** Donggeun Sean Ko
-
-- **Last updated on May. 17, 2023**
-```
-
-# Diffusion Models Beat GANs on Image Synthesis
-## Abstract
-
-- Diffusion 모델들은 기존 unconditional 이미지 생성 모델들의 SOTA를 뛰어넘음.
-- Conditional image synthesis 부분에서도 classifier guidance를 활용해 diffusion model을 활용하여 좋은 성능을 보여준다고 주장함.
-- Classifier guidance를 활용해 diversity와 fidelity의 trade-off에 대해서도 분석
-
-## 1. Introduction
-
-- Diffusion 모델들은 likelihood-based model들이며 고화질 이미지를 생성해내는데에 성공 했음.
-- 하지만, FID 수치는 BigGAN-deep에 비해 낮으며, 개선사항이 필요함.
-- 두가지 contribution을 통해 Diffusion Model들의 성능을 끌어올리며 FID 결과 수치를 낮추겠다고 주장.
- - 모델 아키텍쳐 개선
- - Classifier Guidance
-
-## 2. Background
-- DDPM, DDIM, Improved DDPM은 이전에 설명되있으므로, 각 background 논문들의 핵심 부분만 설명하겠습니다.
--
-### DDPM
-
-
- - $p_\theta(x_{t-1}|x_t)$은 $q(x_{t-1}|x_t)$의 근사값이라고 가정하며 계산한다.
- - $p_\theta(x_{t-1}|x_t)$를 학습하여 $p_\theta(x_{t-1}|x_t) \approx$ $q(x_{t-1}|x_t)$를 만든다.
- - $\epsilon_\theta(x_t,t)$ 을 모델링하여 **noise**를 예측한다.
-- 공분산 $\Sigma_\theta(X_t,t)$은 학습 불가능한 매개변수로 설정되며 constant 값을 가진다.
-- 아래와 같이 $L_{simple}$ 을 새로운 Loss function으로 제안한다.
-
-
-:::{figure-md}
-
-
-DDPM Pipeline
-:::
-
-:::{figure-md}
-
-
-DDPM Equation
-:::
-
-### Improved DDPM
-
-:::{figure-md}
-
-
-
-Improved DDPM scheduling comparison with DDPM (Linear vs Cosine)
-:::
-
-- 더 적은 diffusion step으로 샘플링 함.
-- Competitive log-likelihood 지표 성능 개선 (전 DDPM에선 log-likelihood 지표가 상대적으로 GAN 모델의 비해 낮았다)
-- 전 DDPM 논문에서는 linear scheduling을 사용했지만, 본 논문에서는 cosine scheduling을 사용해서 성능 향상을 했다고 주장했다.
-- 분산 $\Sigma_\theta(X_t,t)$을 학습에도 활용
-- $L_{hybrid}$라는 새로운 loss 함수 제시
-
-:::{figure-md}
-
-
-Improved DDPM Equation
-:::
-
-
-### DDIM
-
-:::{figure-md}
-
-
-DDIM Pipeline
-:::
-
-- Markovian Chain Process를 끊고 Non-Markovian 형태로 Deterministic 하게 수식을 바꿈
-- DDPM 보다 더 적은 iteration으로 image synthesis 가능
-
-:::{figure-md}
-
-
-DDIM Sampling Equation
-:::
-
-## 3. Architectural Improvements
-
-- DDPM에서 사용한 architecture을 그대로 채택했지만, 다양한 ablation 및 parameter을 변경하여 제일 높은 성능이 나오는 architecture을 설명 및 채택함
-
-- 모델 크기를 일정하게 가져가면서 Depth vs Width 증가 보기
-- Attention head 수 증가 시켜보기
-- 각 Attention head에 resolution 을 8x8, 16x16, 32x32 로 실험 해보기
-- 일반 ResNet Residual Block이 아닌 BigGAN의 residual block을 채택하여 upsampling / downsampling 사용 해보기
-- Residual Connection을 1/√2 로 rescaling 해보기
-
-:::{figure-md}
-
-
-Table 1: Ablation of various architecture changes
-:::
-
-:::{figure-md}
-
-
-Table 2: Ablation of various attention configurations. Attention head 가 32일때 FID 값이 제일 낮다 (좋다)
-:::
-
-** 3-1. Best Architecture **
-
-- Channel 수 160
-- Depth 2
-- number of Attention Head = 4
-- Attention Resolution을 32, 16, 8 로 block마다 줄이기
-- BigGAN residual block 채택
-- Rescaling X
-- 위와 같은 parameter를 통해 제일 좋은 FID 결과가 나옴
-
-:::{figure-md}
-
-
-Table 3: 다양한 parameter 튜닝을 통한 제일 좋은 FID 성능 테이블
-:::
-
-## 4. Adaptive Group Normalization
-- 본 저자들은 AdaIN이랑 비슷한 방식으로 연산하는 AdaGN 이라는 것을 소개했다. (원래 있는 방법론인지는 모르겠다...)
-- Group Normalization을 adpative하게 하는 방법으로 Group Normalization 후에 residual block에 time step embedding과 class embedding을 AdaIN 방식으로 곱하고 더함
-
-Equation
-
-$$AdaIN(x,y) = \sigma(y)(\frac{x-\mu(x)}{\sigma(x)})+\mu(y)$$
-$$AdaGN(h,y) = y_s + GroupNorm(h) + y_b$$
-where $h =$ residual block and $y = [y_s,y_b]$ time-step embedding and class embedding's linear projection respectively
-
-**4-1 AdaGN의 성능**
-
-:::{figure-md}
-
-
-AdaGN과 Additon+GroupNorm 비교 테이블. DDPM에서 사용한 normalization보다 더 좋은 성능을 보여주고 있음.
-:::
-
-- 기존 DDPM은 Addition + GroupNorm layer을 사용했는데, AdaGN 을 사용하는 것이 FID가 더 낮게 (즉 더 좋은 성능) 나온 것을 볼 수 있다
-
-## 5. Classifier Guidance
-- 본 논문의 주 contribution 중 하나가 classifier guidance를 사용했다는 점이다.
-- unconditional de-noising process에서 label y를 condition으로 줌으로써 conditional de-noising process로 진행
-
-Equation
- $$p_{\theta, \phi }(x_t|x_{t+1},y) = Zp_\theta(x_t|x_{t+1})p_\phi(y|x_t)$$
-
-- Z 는 normalizing을 위한 상수 이다
-
-**5-1 Classifier Guidance 유도**
-
-$log_\phi p(y|x_t)$가 $\Sigma^-1$ 에 비해 곡률이 낮으며, 이 가정을 따라, diffusion step이 무한으로 갈 시, $||\Sigma^ || \rightarrow0$ 이므로,$log_\phi p(y|x_t)$가 테일러 급수를 활용하여 식을 $x_t = \mu$ 로 재전개 할 수 있다.
-
-- classifier의 gradient를 활용해서 학습을 같이 해준다.
-- 식 유도는 아래와 같다. 본문의 (3) ~ (10) 번식이므로 본 논문을 참고하면 좋다.
-
-:::{figure-md}
-
-
-Classifier Guidance 유도 식 1,2
-:::
-
-:::{figure-md}
-
-
-Classifier Guidance 유도 식 3~7
-:::
-
-## 6. Algorithm
-
-:::{figure-md}
-
-
-Algorithm 1 & 2 sampling method. Algorithm 1은 일반적인 DDPM 기준, Algorithm 2는 DDIM 기준 guidance 한 sampling 방법
-:::
-
-- Algorithm 1 은 일반 DDPM에서 샘플링 하는 방법이다. 똑같이 Gaussian distribution에서 샘플링 할 시, classifier의 gradient를 활용하여 $x_{t-1}$를 sample한다.
-- Algorithm 2 는 DDIM에서 샘플링 하는 방법이다. $\epsilon$ 모델에서 나오는 output과 classifier의 gradient의 joint distribution 값을 빼 score을 구한다.
-
-
-
-- DDIM은 Deterministic하기때문에 모든 시점의 값을 모두 계산할 필요 없이 subset의 시점만으로 sampling이 가능하다.
-- 이 Accelerating method는 약간의 quality 저하가 있지만 Computational efficiency를 충분히 증가시킬 수 있다.
-- **DDIM 방식의 재학습 없이 DDPM의 training에 DDIM의 sampling이 가능하다.**
-
-
-## 7. Impact of parameter s in classifier guidance
-
-:::{figure-md}
-
-
-Classifier Guidance scaling의 영향 시각화
-:::
-- classifier guidance 앞에 hyperparameter \bf{s} 의 값에 따라 classifier가 줄 수 있는 scaling이 다르다.
-- scale을 1.0으로 주면 웰시코기라는 class의 scale 영향을 덜 받아 "웰시코기스러운" 강아지가 생성이 많이 되지는 않는다.
-- scale을 10.0으로 주면 웰시코기 class라는 scaling의 영향을 많이 받아 웰시코기 분위기의 강아지의 이미지가 더 많이 생성 되는 것을 볼 수 있다.
-- epsilon이라는 모델이 결국 scale에 따라 gradient의 영향을 얼마나 많이 받는지 sampling할 때 볼 수 있다.
-## 8. Results
-
-:::{figure-md}
-
-
-Fidelity vs Diversity Trade-off 결과
-:::
-
-- gradient scale이 높을수록 recall은 낮지만, precision은 높다. 즉 trade-off 가 생기는데, recall이 낮을수록 diveristy가 낮다는 의미이고, precision이 높을수록 fidelity가 높다는 뜻이다.
-- scale을 높일수록 다양한 이미지가 생성되는 것이 아닌, classifier가 준 label쪽으로 guide가 생기므로 일정한 class의 사진이 나온다.
-- FID와 sFID는 diversity와 fidelity의 trade-off로 도출되는 값이므로, 최고의 값은 중간 지점에서 나왔다.
-
-
-**8-1. Result Table**
-- ADM은 Ablated Diffusion Model의 약자이며, ADM-G는 Ablated Diffusion Model with Guidance의 약자이다.
-- Guidance를 주었을 시 제일 좋은 FID값이 나왔으며, Precision이 높을수록, Recall이 낮게 나왔다 (and vice versa).
-
-
-## 8-2. Image Synthesis Results
-
-:::{figure-md}
-
-
-Generated Images (Left: BigGAN, Center: DMs, Right: Train Dataset)
-:::
-
-- 두번쨰 플라밍고 생성된 사진을 볼때, BigGAN은 이미지간들의 diversity가 없다. 학습된 플라밍고가 다수 플라밍고 시 비슷한 느낌의 이미지만 뽑아낸다.
-- 반면, Diffusion model with guidance를 사용했을 시, 다채로운 플라밍고 사진을 볼 수 있다. 한마리만 있는 플라밍고 사진도 뽑아 낼 수 있다.
-
-## 9. Limitation and Future Work
-**Limitation 1**
-- Diffusion 모델들은 GAN보다 샘플링 시간이 아직 느리다.
-
-**Future Work 1**
-- DDIM의 sampling process를 distillation 해서 빠르게 하는 법을 고려
-
-**Limitation 2**
-- Classifier guidance는 classification function의 gradient를 사용함으로써, label이 없는 data에는 확장이 불가능하다.
-
-**Future Work 2**
-- Unlabeled sample을 clustering 하는 방법을 통해 방법론을 expand 하려 한다.
+```{admonition} Information
+- **Title:** Diffusion Models Beat GANs on Image Synthesis (NeurIPS 2021)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2105.05233](https://arxiv.org/abs/2105.05233)
+ - Code: [Official](https://github.com/openai/guided-diffusion)
+
+- **Author:** Donggeun Sean Ko
+
+- **Last updated on May. 17, 2023**
+```
+
+# Diffusion Models Beat GANs on Image Synthesis
+## Abstract
+
+- Diffusion 모델들은 기존 unconditional 이미지 생성 모델들의 SOTA를 뛰어넘음.
+- Conditional image synthesis 부분에서도 classifier guidance를 활용해 diffusion model을 활용하여 좋은 성능을 보여준다고 주장함.
+- Classifier guidance를 활용해 diversity와 fidelity의 trade-off에 대해서도 분석
+
+## 1. Introduction
+
+- Diffusion 모델들은 likelihood-based model들이며 고화질 이미지를 생성해내는데에 성공 했음.
+- 하지만, FID 수치는 BigGAN-deep에 비해 낮으며, 개선사항이 필요함.
+- 두가지 contribution을 통해 Diffusion Model들의 성능을 끌어올리며 FID 결과 수치를 낮추겠다고 주장.
+ - 모델 아키텍쳐 개선
+ - Classifier Guidance
+
+## 2. Background
+- DDPM, DDIM, Improved DDPM은 이전에 설명되있으므로, 각 background 논문들의 핵심 부분만 설명하겠습니다.
+-
+### DDPM
+
+
+ - $p_\theta(x_{t-1}|x_t)$은 $q(x_{t-1}|x_t)$의 근사값이라고 가정하며 계산한다.
+ - $p_\theta(x_{t-1}|x_t)$를 학습하여 $p_\theta(x_{t-1}|x_t) \approx$ $q(x_{t-1}|x_t)$를 만든다.
+ - $\epsilon_\theta(x_t,t)$ 을 모델링하여 **noise**를 예측한다.
+- 공분산 $\Sigma_\theta(X_t,t)$은 학습 불가능한 매개변수로 설정되며 constant 값을 가진다.
+- 아래와 같이 $L_{simple}$ 을 새로운 Loss function으로 제안한다.
+
+
+:::{figure-md}
+
+
+DDPM Pipeline
+:::
+
+:::{figure-md}
+
+
+DDPM Equation
+:::
+
+### Improved DDPM
+
+:::{figure-md}
+
+
+
+Improved DDPM scheduling comparison with DDPM (Linear vs Cosine)
+:::
+
+- 더 적은 diffusion step으로 샘플링 함.
+- Competitive log-likelihood 지표 성능 개선 (전 DDPM에선 log-likelihood 지표가 상대적으로 GAN 모델의 비해 낮았다)
+- 전 DDPM 논문에서는 linear scheduling을 사용했지만, 본 논문에서는 cosine scheduling을 사용해서 성능 향상을 했다고 주장했다.
+- 분산 $\Sigma_\theta(X_t,t)$을 학습에도 활용
+- $L_{hybrid}$라는 새로운 loss 함수 제시
+
+:::{figure-md}
+
+
+Improved DDPM Equation
+:::
+
+
+### DDIM
+
+:::{figure-md}
+
+
+DDIM Pipeline
+:::
+
+- Markovian Chain Process를 끊고 Non-Markovian 형태로 Deterministic 하게 수식을 바꿈
+- DDPM 보다 더 적은 iteration으로 image synthesis 가능
+
+:::{figure-md}
+
+
+DDIM Sampling Equation
+:::
+
+## 3. Architectural Improvements
+
+- DDPM에서 사용한 architecture을 그대로 채택했지만, 다양한 ablation 및 parameter을 변경하여 제일 높은 성능이 나오는 architecture을 설명 및 채택함
+
+- 모델 크기를 일정하게 가져가면서 Depth vs Width 증가 보기
+- Attention head 수 증가 시켜보기
+- 각 Attention head에 resolution 을 8x8, 16x16, 32x32 로 실험 해보기
+- 일반 ResNet Residual Block이 아닌 BigGAN의 residual block을 채택하여 upsampling / downsampling 사용 해보기
+- Residual Connection을 1/√2 로 rescaling 해보기
+
+:::{figure-md}
+
+
+Table 1: Ablation of various architecture changes
+:::
+
+:::{figure-md}
+
+
+Table 2: Ablation of various attention configurations. Attention head 가 32일때 FID 값이 제일 낮다 (좋다)
+:::
+
+** 3-1. Best Architecture **
+
+- Channel 수 160
+- Depth 2
+- number of Attention Head = 4
+- Attention Resolution을 32, 16, 8 로 block마다 줄이기
+- BigGAN residual block 채택
+- Rescaling X
+- 위와 같은 parameter를 통해 제일 좋은 FID 결과가 나옴
+
+:::{figure-md}
+
+
+Table 3: 다양한 parameter 튜닝을 통한 제일 좋은 FID 성능 테이블
+:::
+
+## 4. Adaptive Group Normalization
+- 본 저자들은 AdaIN이랑 비슷한 방식으로 연산하는 AdaGN 이라는 것을 소개했다. (원래 있는 방법론인지는 모르겠다...)
+- Group Normalization을 adpative하게 하는 방법으로 Group Normalization 후에 residual block에 time step embedding과 class embedding을 AdaIN 방식으로 곱하고 더함
+
+Equation
+
+$$AdaIN(x,y) = \sigma(y)(\frac{x-\mu(x)}{\sigma(x)})+\mu(y)$$
+$$AdaGN(h,y) = y_s + GroupNorm(h) + y_b$$
+where $h =$ residual block and $y = [y_s,y_b]$ time-step embedding and class embedding's linear projection respectively
+
+**4-1 AdaGN의 성능**
+
+:::{figure-md}
+
+
+AdaGN과 Additon+GroupNorm 비교 테이블. DDPM에서 사용한 normalization보다 더 좋은 성능을 보여주고 있음.
+:::
+
+- 기존 DDPM은 Addition + GroupNorm layer을 사용했는데, AdaGN 을 사용하는 것이 FID가 더 낮게 (즉 더 좋은 성능) 나온 것을 볼 수 있다
+
+## 5. Classifier Guidance
+- 본 논문의 주 contribution 중 하나가 classifier guidance를 사용했다는 점이다.
+- unconditional de-noising process에서 label y를 condition으로 줌으로써 conditional de-noising process로 진행
+
+Equation
+ $$p_{\theta, \phi }(x_t|x_{t+1},y) = Zp_\theta(x_t|x_{t+1})p_\phi(y|x_t)$$
+
+- Z 는 normalizing을 위한 상수 이다
+
+**5-1 Classifier Guidance 유도**
+
+$log_\phi p(y|x_t)$가 $\Sigma^-1$ 에 비해 곡률이 낮으며, 이 가정을 따라, diffusion step이 무한으로 갈 시, $||\Sigma^ || \rightarrow0$ 이므로,$log_\phi p(y|x_t)$가 테일러 급수를 활용하여 식을 $x_t = \mu$ 로 재전개 할 수 있다.
+
+- classifier의 gradient를 활용해서 학습을 같이 해준다.
+- 식 유도는 아래와 같다. 본문의 (3) ~ (10) 번식이므로 본 논문을 참고하면 좋다.
+
+:::{figure-md}
+
+
+Classifier Guidance 유도 식 1,2
+:::
+
+:::{figure-md}
+
+
+Classifier Guidance 유도 식 3~7
+:::
+
+## 6. Algorithm
+
+:::{figure-md}
+
+
+Algorithm 1 & 2 sampling method. Algorithm 1은 일반적인 DDPM 기준, Algorithm 2는 DDIM 기준 guidance 한 sampling 방법
+:::
+
+- Algorithm 1 은 일반 DDPM에서 샘플링 하는 방법이다. 똑같이 Gaussian distribution에서 샘플링 할 시, classifier의 gradient를 활용하여 $x_{t-1}$를 sample한다.
+- Algorithm 2 는 DDIM에서 샘플링 하는 방법이다. $\epsilon$ 모델에서 나오는 output과 classifier의 gradient의 joint distribution 값을 빼 score을 구한다.
+
+
+
+- DDIM은 Deterministic하기때문에 모든 시점의 값을 모두 계산할 필요 없이 subset의 시점만으로 sampling이 가능하다.
+- 이 Accelerating method는 약간의 quality 저하가 있지만 Computational efficiency를 충분히 증가시킬 수 있다.
+- **DDIM 방식의 재학습 없이 DDPM의 training에 DDIM의 sampling이 가능하다.**
+
+
+## 7. Impact of parameter s in classifier guidance
+
+:::{figure-md}
+
+
+Classifier Guidance scaling의 영향 시각화
+:::
+- classifier guidance 앞에 hyperparameter \bf{s} 의 값에 따라 classifier가 줄 수 있는 scaling이 다르다.
+- scale을 1.0으로 주면 웰시코기라는 class의 scale 영향을 덜 받아 "웰시코기스러운" 강아지가 생성이 많이 되지는 않는다.
+- scale을 10.0으로 주면 웰시코기 class라는 scaling의 영향을 많이 받아 웰시코기 분위기의 강아지의 이미지가 더 많이 생성 되는 것을 볼 수 있다.
+- epsilon이라는 모델이 결국 scale에 따라 gradient의 영향을 얼마나 많이 받는지 sampling할 때 볼 수 있다.
+## 8. Results
+
+:::{figure-md}
+
+
+Fidelity vs Diversity Trade-off 결과
+:::
+
+- gradient scale이 높을수록 recall은 낮지만, precision은 높다. 즉 trade-off 가 생기는데, recall이 낮을수록 diveristy가 낮다는 의미이고, precision이 높을수록 fidelity가 높다는 뜻이다.
+- scale을 높일수록 다양한 이미지가 생성되는 것이 아닌, classifier가 준 label쪽으로 guide가 생기므로 일정한 class의 사진이 나온다.
+- FID와 sFID는 diversity와 fidelity의 trade-off로 도출되는 값이므로, 최고의 값은 중간 지점에서 나왔다.
+
+
+**8-1. Result Table**
+- ADM은 Ablated Diffusion Model의 약자이며, ADM-G는 Ablated Diffusion Model with Guidance의 약자이다.
+- Guidance를 주었을 시 제일 좋은 FID값이 나왔으며, Precision이 높을수록, Recall이 낮게 나왔다 (and vice versa).
+
+
+## 8-2. Image Synthesis Results
+
+:::{figure-md}
+
+
+Generated Images (Left: BigGAN, Center: DMs, Right: Train Dataset)
+:::
+
+- 두번쨰 플라밍고 생성된 사진을 볼때, BigGAN은 이미지간들의 diversity가 없다. 학습된 플라밍고가 다수 플라밍고 시 비슷한 느낌의 이미지만 뽑아낸다.
+- 반면, Diffusion model with guidance를 사용했을 시, 다채로운 플라밍고 사진을 볼 수 있다. 한마리만 있는 플라밍고 사진도 뽑아 낼 수 있다.
+
+## 9. Limitation and Future Work
+**Limitation 1**
+- Diffusion 모델들은 GAN보다 샘플링 시간이 아직 느리다.
+
+**Future Work 1**
+- DDIM의 sampling process를 distillation 해서 빠르게 하는 법을 고려
+
+**Limitation 2**
+- Classifier guidance는 classification function의 gradient를 사용함으로써, label이 없는 data에는 확장이 불가능하다.
+
+**Future Work 2**
+- Unlabeled sample을 clustering 하는 방법을 통해 방법론을 expand 하려 한다.
diff --git a/_sources/docs/review/dreambooth.md b/_sources/docs/review/dreambooth.md
index 9d0c1b01..c8e3349d 100755
--- a/_sources/docs/review/dreambooth.md
+++ b/_sources/docs/review/dreambooth.md
@@ -1,247 +1,247 @@
-``` {admonition} Information
-- **Title:** DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation (CVPR 2023)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2208.12242](https://arxiv.org/abs/2208.12242)
- - Code: [https://github.com/huggingface/diffusers/tree/main/examples/dreambooth](https://github.com/huggingface/diffusers/tree/main/examples/dreambooth)
-
-- **Author:** Sangwoo Jo
-
-- **Last updated on May. 31, 2023**
-```
-
-# DreamBooth
-
-## Introduction
-
-최근에 DALL-E2, Imagen, Stable Diffusion 등 다양한 text-to-image generation 모델들이 등장하였지만, 어떠한 동일한 subject 에 대해서 다른 context 에 적용하는 부분에서 부족한 면들을 보여주고 있습니다. DreamBooth 논문은 이러한 문제점을 개선하기 위해 text-to-image 모델을 fine-tuning 하는 기법으로 소개되었고, 단 3-5장의 이미지를 학습하면 되며 이를 NVIDIA A100 으로 학습하는데 5분 정도밖에 소요되지 않는다고 합니다.
-
-:::{figure-md}
-
-
-Subject-Driven Generation
-:::
-
-DreamBooth 가 무엇인지 자세히 알아보기 전에 text-to-image diffusion model 에 대해 다시 한번 개념 정리를 해볼 필요가 있습니다.
-
-## Text-to-Image Diffusion Models
-
-사전학습된 text-to-image diffusion model $\hat{x}_{\theta}$ 는 input 으로 원본 이미지 $x$, 그리고 text prompt $P$ 와 text-encoder $\Gamma$ 로부터 나오는 conditioning vector $c = \Gamma(P)$ 를 입력받아서 이미지 $x_{gen} = \hat{x}_{\theta}(\epsilon, c)$ 를 생성하게 됩니다. 학습 시, mean squared loss 를 사용하고 이를 수식적으로 표현하면 다음과 같습니다.
-
-$$
-\mathbb{E}_{x,c,\epsilon,t}[w_t || \hat{x}_{\theta}(\alpha_tx + \sigma_{t}\epsilon, c) - x ||_{2}^{2}]
-$$
-
-이때, DreamBooth 에서는 text encoder 를 CLIP text embedding 과 사전학습된 T5-XXL 모델 중 T5-XXL 모델을 사용했다고 합니다. 그리고 DreamBooth 로 fine-tuning 할때, diffusion process 에서 사용되는 U-net (때로는 text encoder 도 포함) 은 learnable 한 parameter 로 설정하고 생성된 latent vector 로부터 새로운 이미지를 생성하는 Decoder 의 파라미터 값은 고정시킨다고 합니다.
-
-앞써 설명드렸던 내용들을 해당 implementation code 에서 확인할 수 있습니다.
-
-- **code**
-
- ```python
- # https://github.com/huggingface/diffusers/blob/main/examples/dreambooth/train_dreambooth.py
- text_encoder_cls = import_model_class_from_model_name_or_path(args.pretrained_model_name_or_path, args.revision)
-
- # Load scheduler and models
- noise_scheduler = DDPMScheduler.from_pretrained(args.pretrained_model_name_or_path, subfolder="scheduler")
- text_encoder = text_encoder_cls.from_pretrained(
- args.pretrained_model_name_or_path, subfolder="text_encoder", revision=args.revision
- )
- vae = AutoencoderKL.from_pretrained(args.pretrained_model_name_or_path, subfolder="vae", revision=args.revision)
- unet = UNet2DConditionModel.from_pretrained(
- args.pretrained_model_name_or_path, subfolder="unet", revision=args.revision
- )
- ```
-
-- **training code**
-
- ```python
- # https://github.com/huggingface/diffusers/blob/main/examples/dreambooth/train_dreambooth.py
- for epoch in range(first_epoch, args.num_train_epochs):
- unet.train()
- if args.train_text_encoder:
- text_encoder.train()
- for step, batch in enumerate(train_dataloader):
- # Skip steps until we reach the resumed step
- if args.resume_from_checkpoint and epoch == first_epoch and step < resume_step:
- if step % args.gradient_accumulation_steps == 0:
- progress_bar.update(1)
- continue
-
- with accelerator.accumulate(unet):
- # Convert images to latent space
- latents = vae.encode(batch["pixel_values"].to(dtype=weight_dtype)).latent_dist.sample()
- latents = latents * vae.config.scaling_factor
-
- # Sample noise that we'll add to the latents
- if args.offset_noise:
- noise = torch.randn_like(latents) + 0.1 * torch.randn(
- latents.shape[0], latents.shape[1], 1, 1, device=latents.device
- )
- else:
- noise = torch.randn_like(latents)
- bsz = latents.shape[0]
- # Sample a random timestep for each image
- timesteps = torch.randint(0, noise_scheduler.config.num_train_timesteps, (bsz,), device=latents.device)
- timesteps = timesteps.long()
-
- # Add noise to the latents according to the noise magnitude at each timestep
- # (this is the forward diffusion process)
- noisy_latents = noise_scheduler.add_noise(latents, noise, timesteps)
-
- # Get the text embedding for conditioning
- encoder_hidden_states = text_encoder(batch["input_ids"])[0]
-
- # Predict the noise residual
- model_pred = unet(noisy_latents, timesteps, encoder_hidden_states).sample
-
- # Get the target for loss depending on the prediction type
- if noise_scheduler.config.prediction_type == "epsilon":
- target = noise
- elif noise_scheduler.config.prediction_type == "v_prediction":
- target = noise_scheduler.get_velocity(latents, noise, timesteps)
- else:
- raise ValueError(f"Unknown prediction type {noise_scheduler.config.prediction_type}")
-
- if args.with_prior_preservation:
- # Chunk the noise and model_pred into two parts and compute the loss on each part separately.
- model_pred, model_pred_prior = torch.chunk(model_pred, 2, dim=0)
- target, target_prior = torch.chunk(target, 2, dim=0)
-
- # Compute instance loss
- loss = F.mse_loss(model_pred.float(), target.float(), reduction="mean")
-
- # Compute prior loss
- prior_loss = F.mse_loss(model_pred_prior.float(), target_prior.float(), reduction="mean")
-
- # Add the prior loss to the instance loss.
- loss = loss + args.prior_loss_weight * prior_loss
- else:
- loss = F.mse_loss(model_pred.float(), target.float(), reduction="mean")
-
- accelerator.backward(loss)
- if accelerator.sync_gradients:
- params_to_clip = (
- itertools.chain(unet.parameters(), text_encoder.parameters())
- if args.train_text_encoder
- else unet.parameters()
- )
- accelerator.clip_grad_norm_(params_to_clip, args.max_grad_norm)
- optimizer.step()
- lr_scheduler.step()
- optimizer.zero_grad(set_to_none=args.set_grads_to_none)
- ```
-
-
-## Fine-tuning
-
-DreamBooth 에서 pre-trained 된 text-to-image generation 모델을 fine-tuning 할 때 *“a [unique identifier] [class noun]”* 그리고 *“a [class noun]”* 형태의 두 가지 text prompt 를 사용합니다. 이때, *unique identifier* 에 유지하고자 하는 대상에 대한 정보를 담는 것을 목표로 하기 때문에 사전 정보가 없는 rare token 을 사용하는 것이 중요하다고 합니다. 논문에서는 3개 이하의 Unicode character 혹은 T5-XXL tokenizer 를 랜덤하게 샘플링해서 token 을 생성하고 이를 기반으로 *unique identifier* 를 정의합니다.
-
-또한, 논문에서 *Language Drift* 그리고 *Reduced Output Diversity* 두 가지 문제점을 해결하기 위해 Class-specific Prior Preservation Loss 를 소개합니다. 이를 활용하여 모델을 fine-tuning 하는 방법은 다음과 같습니다.
-
-:::{figure-md}
-
-
-Fine-tuning
-:::
-
-우선, Gaussian 노이즈 이미지와 *“A V [class noun]”* 형태의 text prompt 를 사전학습된 text-to-image diffusion 모델에 입력하여 이미지를 생성한 후, 원본 이미지와의 *Reconstruction Loss* 를 계산합니다. 그리고 비슷한 과정으로 Gaussian 노이즈 이미지와 *“A [class noun]”* 형태의 text prompt 를 학습하고자 하는 모델, 그리고 freeze 시킨 또 다른 pre-trained diffusion 모델에 각각 입력하여 이미지를 생성한 후 *Class-Specific Prior Preservation Loss* 를 계산합니다. 이에 대한 training objective 를 수식적으로 표현하면 다음과 같습니다.
-
-$$
-\mathbb{E}_{x,c,\epsilon,\epsilon^{'},t}[w_t || \hat{x}_{\theta}(\alpha_tx + \sigma_t\epsilon, c) - x ||_{2}^{2} + \lambda w_{t^{'}} || \hat{x}_{\theta}(\alpha_{t^{'}} x_{pr} + \sigma_{t^{'}}\epsilon^{'}, c_{pr}) - x_{pr} ||_{2}^{2}]
-$$
-
-*Class-Specific Prior Preservation Loss* 를 추가함으로써 class prior 에 대한 정보를 유지하게 되고, 이로써 동일한 class 에 대해 더 다양한 이미지들을 생성할 수 있는 부분을 아래 그림에서 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Encouraging diversity with prior-preservation loss
-:::
-
-## Experiments
-
-DreamBooth 논문에서 세 가지의 모델 평가 metric 을 소개합니다. 첫번째로는 *subject fidelity* 를 측정하는 CLIP-I, DINO 그리고 *prompt fidelity* 를 측정하는 CLIP-T metric 을 사용합니다. 이때, DINO metric 이 동일한 class 를 가진 subject 에 대해서 다른 embedding 이 생성되기 때문에 CLIP-I 보다 더 선호된다고 합니다. 더 자세하게는 각 metric 은 다음과 같이 계산됩니다.
-
-- CLIP-I := 생성된 이미지와 실제 이미지의 CLIP embedding 의 평균 pairwise cosine similarity
-- DINO := 생성된 이미지와 실제 이미지의 ViT-S/16 DINO embedding 의 평균 pairwise cosine similarity
-- CLIP-T := 입력 prompt 와 생성된 이미지의 CLIP embedding 의 평균 pairwise cosine similarity
-
-Textual Inversion 과 비교했을때, 세 개의 metric 에서 모두 DreamBooth 가 더 좋은 성능을 보여주는 것을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Comparison of models
-:::
-
-## Ablation Studies
-
-Prior Preservation Loss (PPL) 과 Class-Prior 에 대한 Ablation Studies 결과도 논문에서 공유합니다. PPL 가 적용됨으로써 앞써 소개드렸던 Language Drift 그리고 Reduced Output Diversity 문제점을 PRES 그리고 DIV metric 을 통해 해결되는 것을 보여줍니다. 또한, Class-Prior Ablation 에서 다음과 같은 세 가지 prompt 를 사용하여 fine-tuning 했을 때, 해당 subject 에 맞는 *class noun* 을 prompt 에 입력했을때가 가장 좋은 성능을 보여준다고 설명합니다.
-
-- “no class noun”
-- “a randomly sampled incorrect class noun” (e.g., “can” for a backpack)
-- “correct class noun”
-
-## Applications
-
-논문에서 DreamBooth 를 활용한 여러 application 도 소개합니다.
-
-:::{figure-md}
-
-
-Applications of DreamBooth
-:::
-
-1. Recontextualization
-- Prompt: “a [V] [class noun] [context description]”
-- 다음과 같은 prompt 입력 시, 사전에 보지 못했던 새로운 pose 나 articulation 을 잘 표현하는 부분을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Recontextualization
-:::
-
-2. Art Renditions
-- Prompt: “a painting of a [V] [class noun] in the style of [famous painter]” or “a statue of a [V] [class noun] in the style of [famous sculptor]”
-- Style Transfer 와 다르게 동일한 구조를 유지한 채 style 만 바꾸는 것이 아니라 다양한 pose 형태도 생성 가능합니다.
-
-3. Novel View Synthesis
-- 동일한 subject 에 대해 다양한 각도에서 보는 이미지 생성도 가능합니다.
-
-4. Property Modification
-- Prompt: “a cross of a [V] dog and a [target species]”
-- 사전 학습한 subject 의 고유 feature 들이 다른 target species 에서도 반영이 되는 부분을 확인할 수 있습니다.
-
-## Limitations
-
-하지만 DreamBooth 모델에 다음과 같은 한계점도 존재합니다.
-
-:::{figure-md}
-
-
-Limitations of DreamBooth
-:::
-
-- Incorrect context synthesis := 대표적으로 training set 에 자주 나타나지 않는 subject, prompt, context 에 대해서 낮은 성능을 보여줍니다.
-- Context-appearance entanglement := 유지하고자 하는 대상의 appearance (e.g, color) 가 prompted context 에 의해 달라지는 현상
-- Overfitting := 사전학습된 데이터와 유사한 prompt 입력 시, overfitting 현상 발생
-
-마지막으로 subject 대상에 따라 모델 성능(fidelity)이 차이를 보인다고 합니다.
-
-## Appendix
-
-마지막으로, 논문 본문에 소개되고 있지는 않지만 Appendix 부문에서도 흥미로운 결과들을 확인할 수 있습니다. Figure 20 은 fine tuning 하는 이미지 개수에 따른 DreamBooth 학습결과를 보여주는데, 단 한 장만으로도 identity 의 전반적인 특징을 잘 담는 것을 확인할 수 있습니다. Figure 18 은 만화 캐릭터의 identity 를 유지한 상태로 다양한 만화 사진들을 모델이 생성하는 사례들을 보여줍니다.
-
-:::{figure-md}
-
-
-Appendix-1
-:::
-
-:::{figure-md}
-
-
-Appendix-2
-:::
+``` {admonition} Information
+- **Title:** DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation (CVPR 2023)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2208.12242](https://arxiv.org/abs/2208.12242)
+ - Code: [https://github.com/huggingface/diffusers/tree/main/examples/dreambooth](https://github.com/huggingface/diffusers/tree/main/examples/dreambooth)
+
+- **Author:** Sangwoo Jo
+
+- **Last updated on May. 31, 2023**
+```
+
+# DreamBooth
+
+## Introduction
+
+최근에 DALL-E2, Imagen, Stable Diffusion 등 다양한 text-to-image generation 모델들이 등장하였지만, 어떠한 동일한 subject 에 대해서 다른 context 에 적용하는 부분에서 부족한 면들을 보여주고 있습니다. DreamBooth 논문은 이러한 문제점을 개선하기 위해 text-to-image 모델을 fine-tuning 하는 기법으로 소개되었고, 단 3-5장의 이미지를 학습하면 되며 이를 NVIDIA A100 으로 학습하는데 5분 정도밖에 소요되지 않는다고 합니다.
+
+:::{figure-md}
+
+
+Subject-Driven Generation
+:::
+
+DreamBooth 가 무엇인지 자세히 알아보기 전에 text-to-image diffusion model 에 대해 다시 한번 개념 정리를 해볼 필요가 있습니다.
+
+## Text-to-Image Diffusion Models
+
+사전학습된 text-to-image diffusion model $\hat{x}_{\theta}$ 는 input 으로 원본 이미지 $x$, 그리고 text prompt $P$ 와 text-encoder $\Gamma$ 로부터 나오는 conditioning vector $c = \Gamma(P)$ 를 입력받아서 이미지 $x_{gen} = \hat{x}_{\theta}(\epsilon, c)$ 를 생성하게 됩니다. 학습 시, mean squared loss 를 사용하고 이를 수식적으로 표현하면 다음과 같습니다.
+
+$$
+\mathbb{E}_{x,c,\epsilon,t}[w_t || \hat{x}_{\theta}(\alpha_tx + \sigma_{t}\epsilon, c) - x ||_{2}^{2}]
+$$
+
+이때, DreamBooth 에서는 text encoder 를 CLIP text embedding 과 사전학습된 T5-XXL 모델 중 T5-XXL 모델을 사용했다고 합니다. 그리고 DreamBooth 로 fine-tuning 할때, diffusion process 에서 사용되는 U-net (때로는 text encoder 도 포함) 은 learnable 한 parameter 로 설정하고 생성된 latent vector 로부터 새로운 이미지를 생성하는 Decoder 의 파라미터 값은 고정시킨다고 합니다.
+
+앞써 설명드렸던 내용들을 해당 implementation code 에서 확인할 수 있습니다.
+
+- **code**
+
+ ```python
+ # https://github.com/huggingface/diffusers/blob/main/examples/dreambooth/train_dreambooth.py
+ text_encoder_cls = import_model_class_from_model_name_or_path(args.pretrained_model_name_or_path, args.revision)
+
+ # Load scheduler and models
+ noise_scheduler = DDPMScheduler.from_pretrained(args.pretrained_model_name_or_path, subfolder="scheduler")
+ text_encoder = text_encoder_cls.from_pretrained(
+ args.pretrained_model_name_or_path, subfolder="text_encoder", revision=args.revision
+ )
+ vae = AutoencoderKL.from_pretrained(args.pretrained_model_name_or_path, subfolder="vae", revision=args.revision)
+ unet = UNet2DConditionModel.from_pretrained(
+ args.pretrained_model_name_or_path, subfolder="unet", revision=args.revision
+ )
+ ```
+
+- **training code**
+
+ ```python
+ # https://github.com/huggingface/diffusers/blob/main/examples/dreambooth/train_dreambooth.py
+ for epoch in range(first_epoch, args.num_train_epochs):
+ unet.train()
+ if args.train_text_encoder:
+ text_encoder.train()
+ for step, batch in enumerate(train_dataloader):
+ # Skip steps until we reach the resumed step
+ if args.resume_from_checkpoint and epoch == first_epoch and step < resume_step:
+ if step % args.gradient_accumulation_steps == 0:
+ progress_bar.update(1)
+ continue
+
+ with accelerator.accumulate(unet):
+ # Convert images to latent space
+ latents = vae.encode(batch["pixel_values"].to(dtype=weight_dtype)).latent_dist.sample()
+ latents = latents * vae.config.scaling_factor
+
+ # Sample noise that we'll add to the latents
+ if args.offset_noise:
+ noise = torch.randn_like(latents) + 0.1 * torch.randn(
+ latents.shape[0], latents.shape[1], 1, 1, device=latents.device
+ )
+ else:
+ noise = torch.randn_like(latents)
+ bsz = latents.shape[0]
+ # Sample a random timestep for each image
+ timesteps = torch.randint(0, noise_scheduler.config.num_train_timesteps, (bsz,), device=latents.device)
+ timesteps = timesteps.long()
+
+ # Add noise to the latents according to the noise magnitude at each timestep
+ # (this is the forward diffusion process)
+ noisy_latents = noise_scheduler.add_noise(latents, noise, timesteps)
+
+ # Get the text embedding for conditioning
+ encoder_hidden_states = text_encoder(batch["input_ids"])[0]
+
+ # Predict the noise residual
+ model_pred = unet(noisy_latents, timesteps, encoder_hidden_states).sample
+
+ # Get the target for loss depending on the prediction type
+ if noise_scheduler.config.prediction_type == "epsilon":
+ target = noise
+ elif noise_scheduler.config.prediction_type == "v_prediction":
+ target = noise_scheduler.get_velocity(latents, noise, timesteps)
+ else:
+ raise ValueError(f"Unknown prediction type {noise_scheduler.config.prediction_type}")
+
+ if args.with_prior_preservation:
+ # Chunk the noise and model_pred into two parts and compute the loss on each part separately.
+ model_pred, model_pred_prior = torch.chunk(model_pred, 2, dim=0)
+ target, target_prior = torch.chunk(target, 2, dim=0)
+
+ # Compute instance loss
+ loss = F.mse_loss(model_pred.float(), target.float(), reduction="mean")
+
+ # Compute prior loss
+ prior_loss = F.mse_loss(model_pred_prior.float(), target_prior.float(), reduction="mean")
+
+ # Add the prior loss to the instance loss.
+ loss = loss + args.prior_loss_weight * prior_loss
+ else:
+ loss = F.mse_loss(model_pred.float(), target.float(), reduction="mean")
+
+ accelerator.backward(loss)
+ if accelerator.sync_gradients:
+ params_to_clip = (
+ itertools.chain(unet.parameters(), text_encoder.parameters())
+ if args.train_text_encoder
+ else unet.parameters()
+ )
+ accelerator.clip_grad_norm_(params_to_clip, args.max_grad_norm)
+ optimizer.step()
+ lr_scheduler.step()
+ optimizer.zero_grad(set_to_none=args.set_grads_to_none)
+ ```
+
+
+## Fine-tuning
+
+DreamBooth 에서 pre-trained 된 text-to-image generation 모델을 fine-tuning 할 때 *“a [unique identifier] [class noun]”* 그리고 *“a [class noun]”* 형태의 두 가지 text prompt 를 사용합니다. 이때, *unique identifier* 에 유지하고자 하는 대상에 대한 정보를 담는 것을 목표로 하기 때문에 사전 정보가 없는 rare token 을 사용하는 것이 중요하다고 합니다. 논문에서는 3개 이하의 Unicode character 혹은 T5-XXL tokenizer 를 랜덤하게 샘플링해서 token 을 생성하고 이를 기반으로 *unique identifier* 를 정의합니다.
+
+또한, 논문에서 *Language Drift* 그리고 *Reduced Output Diversity* 두 가지 문제점을 해결하기 위해 Class-specific Prior Preservation Loss 를 소개합니다. 이를 활용하여 모델을 fine-tuning 하는 방법은 다음과 같습니다.
+
+:::{figure-md}
+
+
+Fine-tuning
+:::
+
+우선, Gaussian 노이즈 이미지와 *“A V [class noun]”* 형태의 text prompt 를 사전학습된 text-to-image diffusion 모델에 입력하여 이미지를 생성한 후, 원본 이미지와의 *Reconstruction Loss* 를 계산합니다. 그리고 비슷한 과정으로 Gaussian 노이즈 이미지와 *“A [class noun]”* 형태의 text prompt 를 학습하고자 하는 모델, 그리고 freeze 시킨 또 다른 pre-trained diffusion 모델에 각각 입력하여 이미지를 생성한 후 *Class-Specific Prior Preservation Loss* 를 계산합니다. 이에 대한 training objective 를 수식적으로 표현하면 다음과 같습니다.
+
+$$
+\mathbb{E}_{x,c,\epsilon,\epsilon^{'},t}[w_t || \hat{x}_{\theta}(\alpha_tx + \sigma_t\epsilon, c) - x ||_{2}^{2} + \lambda w_{t^{'}} || \hat{x}_{\theta}(\alpha_{t^{'}} x_{pr} + \sigma_{t^{'}}\epsilon^{'}, c_{pr}) - x_{pr} ||_{2}^{2}]
+$$
+
+*Class-Specific Prior Preservation Loss* 를 추가함으로써 class prior 에 대한 정보를 유지하게 되고, 이로써 동일한 class 에 대해 더 다양한 이미지들을 생성할 수 있는 부분을 아래 그림에서 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Encouraging diversity with prior-preservation loss
+:::
+
+## Experiments
+
+DreamBooth 논문에서 세 가지의 모델 평가 metric 을 소개합니다. 첫번째로는 *subject fidelity* 를 측정하는 CLIP-I, DINO 그리고 *prompt fidelity* 를 측정하는 CLIP-T metric 을 사용합니다. 이때, DINO metric 이 동일한 class 를 가진 subject 에 대해서 다른 embedding 이 생성되기 때문에 CLIP-I 보다 더 선호된다고 합니다. 더 자세하게는 각 metric 은 다음과 같이 계산됩니다.
+
+- CLIP-I := 생성된 이미지와 실제 이미지의 CLIP embedding 의 평균 pairwise cosine similarity
+- DINO := 생성된 이미지와 실제 이미지의 ViT-S/16 DINO embedding 의 평균 pairwise cosine similarity
+- CLIP-T := 입력 prompt 와 생성된 이미지의 CLIP embedding 의 평균 pairwise cosine similarity
+
+Textual Inversion 과 비교했을때, 세 개의 metric 에서 모두 DreamBooth 가 더 좋은 성능을 보여주는 것을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Comparison of models
+:::
+
+## Ablation Studies
+
+Prior Preservation Loss (PPL) 과 Class-Prior 에 대한 Ablation Studies 결과도 논문에서 공유합니다. PPL 가 적용됨으로써 앞써 소개드렸던 Language Drift 그리고 Reduced Output Diversity 문제점을 PRES 그리고 DIV metric 을 통해 해결되는 것을 보여줍니다. 또한, Class-Prior Ablation 에서 다음과 같은 세 가지 prompt 를 사용하여 fine-tuning 했을 때, 해당 subject 에 맞는 *class noun* 을 prompt 에 입력했을때가 가장 좋은 성능을 보여준다고 설명합니다.
+
+- “no class noun”
+- “a randomly sampled incorrect class noun” (e.g., “can” for a backpack)
+- “correct class noun”
+
+## Applications
+
+논문에서 DreamBooth 를 활용한 여러 application 도 소개합니다.
+
+:::{figure-md}
+
+
+Applications of DreamBooth
+:::
+
+1. Recontextualization
+- Prompt: “a [V] [class noun] [context description]”
+- 다음과 같은 prompt 입력 시, 사전에 보지 못했던 새로운 pose 나 articulation 을 잘 표현하는 부분을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Recontextualization
+:::
+
+2. Art Renditions
+- Prompt: “a painting of a [V] [class noun] in the style of [famous painter]” or “a statue of a [V] [class noun] in the style of [famous sculptor]”
+- Style Transfer 와 다르게 동일한 구조를 유지한 채 style 만 바꾸는 것이 아니라 다양한 pose 형태도 생성 가능합니다.
+
+3. Novel View Synthesis
+- 동일한 subject 에 대해 다양한 각도에서 보는 이미지 생성도 가능합니다.
+
+4. Property Modification
+- Prompt: “a cross of a [V] dog and a [target species]”
+- 사전 학습한 subject 의 고유 feature 들이 다른 target species 에서도 반영이 되는 부분을 확인할 수 있습니다.
+
+## Limitations
+
+하지만 DreamBooth 모델에 다음과 같은 한계점도 존재합니다.
+
+:::{figure-md}
+
+
+Limitations of DreamBooth
+:::
+
+- Incorrect context synthesis := 대표적으로 training set 에 자주 나타나지 않는 subject, prompt, context 에 대해서 낮은 성능을 보여줍니다.
+- Context-appearance entanglement := 유지하고자 하는 대상의 appearance (e.g, color) 가 prompted context 에 의해 달라지는 현상
+- Overfitting := 사전학습된 데이터와 유사한 prompt 입력 시, overfitting 현상 발생
+
+마지막으로 subject 대상에 따라 모델 성능(fidelity)이 차이를 보인다고 합니다.
+
+## Appendix
+
+마지막으로, 논문 본문에 소개되고 있지는 않지만 Appendix 부문에서도 흥미로운 결과들을 확인할 수 있습니다. Figure 20 은 fine tuning 하는 이미지 개수에 따른 DreamBooth 학습결과를 보여주는데, 단 한 장만으로도 identity 의 전반적인 특징을 잘 담는 것을 확인할 수 있습니다. Figure 18 은 만화 캐릭터의 identity 를 유지한 상태로 다양한 만화 사진들을 모델이 생성하는 사례들을 보여줍니다.
+
+:::{figure-md}
+
+
+Appendix-1
+:::
+
+:::{figure-md}
+
+
+Appendix-2
+:::
diff --git a/_sources/docs/review/gan.md b/_sources/docs/review/gan.md
index e5b4440a..96a44561 100755
--- a/_sources/docs/review/gan.md
+++ b/_sources/docs/review/gan.md
@@ -1,231 +1,231 @@
-```{admonition} Information
-- **Title:** Generative Adversarial Networks (NIPS 2014)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/1406.2661](https://arxiv.org/abs/1406.2661)
- - Code: [https://github.com/eriklindernoren/PyTorch-GAN](https://github.com/eriklindernoren/PyTorch-GAN)
- - [Smart Design Lab @KAIST | 딥러닝 Chp 3.4 GAN](https://www.youtube.com/watch?v=cd-kj1ysqOc)
-
-- **Author:** Sangwoo Jo
-
-- **Editor:** Changhwan Lee
-
-- **Last updated on Apr. 09, 2024**
-```
-
-# GAN
-
-
-## Introduction
-생성형 모델은 크게 생성하고자 하는 데이터의 explicit density 와 implicit density 를 계산하는 방식으로 나뉩니다. Explicit density 를 계산한다는 것은 데이터 분포를 명확하게 사전에 정의하고 모델을 학습하는 것을 의미합니다. 이때, 데이터의 분포를 직접적인 계산이 가능한 tractable density 로 추정하는 방법과 근사화시켜 approximate density 로 추정하는 방법으로 나뉩니다.
-- Tractable density: AutoRegressive 하게 구하는 방식이 있습니다. AutoRegressive 모델을 사용하여 이전 단계의 데이터를 활용하여 모델을 학습하고, 대표적인 모델로는 PixelCNN, PixelRNN 등이 있습니다.
-- Approximate density: 대표적으로 score-based model, Boltzmann Machine 등이 있습니다.
- - Score-based model - 모델 파라미터의 gradient 가 아닌 데이터의 gradient 활용하여 모델을 학습하는 방식으로, energy-based model 에서 MLE 에 사용하는 확률분포를 정규화하는 term 을 따로 계산하지 않아도 되는 장점이 있습니다.
- - Boltzmann Machine : 완전그래프 구조로 학습하는 생성형 모델입니다. 모델을 학습하는 과정에서 확률 분포의 학습이 어려워(계산량이 많아서 어려움) Markov chain 을 활용하여 학습합니다. 또한, 완전그래프이기 때문에 노드가 늘어날수록 간선, 파라미터 등이 급증하는 문제가 있어 Restricted Boltzmann Machine(RBM) 이 제안되기도 했습니다.
-
-반면에 데이터의 분포를 명확히 정의하지 않고 implicit 하게 모델을 학습하는 방식도 존재합니다. 대표적으로는 Ian Goodfellow 가 2014년에 발표한 GAN 모델이 있습니다. GAN 은 최근에 Diffusion Model 이 소개되기 전까지 몇 년 동안 이미지 생성 분야에서 대표적인 모델로 자리잡았었습니다. GAN 은 VAE 와 달리 marginal likelihood $p_{\theta}(x)$ 를 직접 구하지 않고, Adversarial Process 를 통해 implicit 하게 샘플링을 해서 분포를 구하게 됩니다.
-
-:::{figure-md}
-
-
-Taxonomy of Generative Models
-:::
-
-아래 그림과 같이 GAN 은 크게 잠재변수 $z$ 로부터 가짜 데이터를 생성하는 Generator 와 그로부터 생성된 데이터와 실제 training 데이터를 구분하는 Discriminator 로 구성이 되어 있습니다. 다시 말해서 Discriminator 는 실제 데이터가 들어오면 1, 그리고 가짜로 생성된 데이터가 들어오면 0 을 출력하는 binary classification task 를 진행합니다.
-
-:::{figure-md}
-
-
-Generative Adversarial Network(GAN) Architecture
-:::
-
-Generator 와 Discriminator 구현 코드도 같이 살펴보겠습니다.
-
-- **Generator 구현 code**
-
- ```python
- class Generator(nn.Module):
- def __init__(self):
- super(Generator, self).__init__()
-
- def block(in_feat, out_feat, normalize=True):
- layers = [nn.Linear(in_feat, out_feat)]
- if normalize:
- layers.append(nn.BatchNorm1d(out_feat, 0.8))
- layers.append(nn.LeakyReLU(0.2, inplace=True))
- return layers
-
- self.model = nn.Sequential(
- *block(opt.latent_dim, 128, normalize=False),
- *block(128, 256),
- *block(256, 512),
- *block(512, 1024),
- nn.Linear(1024, int(np.prod(img_shape))),
- nn.Tanh()
- )
-
- def forward(self, z):
- img = self.model(z)
- img = img.view(img.size(0), *img_shape)
- return img
- ```
-
-- **Discriminator 구현 code**
-
- ```python
- class Discriminator(nn.Module):
- def __init__(self):
- super(Discriminator, self).__init__()
-
- self.model = nn.Sequential(
- nn.Linear(int(np.prod(img_shape)), 512),
- nn.LeakyReLU(0.2, inplace=True),
- nn.Linear(512, 256),
- nn.LeakyReLU(0.2, inplace=True),
- nn.Linear(256, 1),
- nn.Sigmoid(),
- )
-
- def forward(self, img):
- img_flat = img.view(img.size(0), -1)
- validity = self.model(img_flat)
-
- return validity
- ```
-
-
-## Training Procedure
-
-GAN 을 학습할 시, **D를 먼저 최적화하는 k 단계**와 **G를 최적화하는 한 단계를 번갈아 수행**합니다. 그리고 이때 쓰이는 손실함수(loss function)은 다음과 같습니다.
-
-$$
-\min_G \max_D V(D,G) = \mathbb{E}\_{x \sim p_{data}(x)}[logD(x)] + \mathbb{E}\_{z \sim p_z(z)}[\log(1-D(G(z))]
-$$
-
-논문에서 제시한 학습 알고리즘과 실제 implementation code 를 비교해보겠습니다.
-
-:::{figure-md}
-
-
-Generative Adversarial Network(GAN) Training Procedure
-:::
-
-- **GAN 학습 code**
-
- ```python
- # ----------
- # Training
- # ----------
-
- for epoch in range(opt.n_epochs):
- for i, (imgs, _) in enumerate(dataloader):
-
- # Adversarial ground truths
- valid = Variable(Tensor(imgs.size(0), 1).fill_(1.0), requires_grad=False)
- fake = Variable(Tensor(imgs.size(0), 1).fill_(0.0), requires_grad=False)
-
- # Configure input
- real_imgs = Variable(imgs.type(Tensor))
-
- # -----------------
- # Train Generator
- # -----------------
-
- optimizer_G.zero_grad()
-
- # Sample noise as generator input
- z = Variable(Tensor(np.random.normal(0, 1, (imgs.shape[0], opt.latent_dim))))
-
- # Generate a batch of images
- gen_imgs = generator(z)
-
- # Loss measures generator's ability to fool the discriminator
- g_loss = adversarial_loss(discriminator(gen_imgs), valid)
-
- g_loss.backward()
- optimizer_G.step()
-
- # ---------------------
- # Train Discriminator
- # ---------------------
-
- optimizer_D.zero_grad()
-
- # Measure discriminator's ability to classify real from generated samples
- real_loss = adversarial_loss(discriminator(real_imgs), valid)
- fake_loss = adversarial_loss(discriminator(gen_imgs.detach()), fake)
- d_loss = (real_loss + fake_loss) / 2
-
- d_loss.backward()
- optimizer_D.step()
-
- print(
- "[Epoch %d/%d] [Batch %d/%d] [D loss: %f] [G loss: %f]"
- % (epoch, opt.n_epochs, i, len(dataloader), d_loss.item(), g_loss.item())
- )
-
- batches_done = epoch * len(dataloader) + i
- if batches_done % opt.sample_interval == 0:
- save_image(gen_imgs.data[:25], "images/%d.png" % batches_done, nrow=5, normalize=True)
- ```
-
-
-이렇게 Discriminator 와 Generator 는 각각 $V(D,G)$ 가 최대화하고 최소화하는 방향으로 stochastic gradient descent 를 진행하게 됩니다. 하지만 아래 그림처럼 실제로 Generator를 학습할 때, 초반에 $D(G(z)) \approx 0$ 일 경우 학습하지 못하는 상황이 발생합니다. 이 때, $\log(1-D(G(z))$ 를 최소화하지 않고 $\log(D(G(z))$ 를 최대화하는 방향으로 Generator 를 학습하는 기법도 있습니다.
-
-:::{figure-md}
-
-
-Alternative to Vanishing Gradient when Training the Generator
-:::
-
-이렇게 학습함으로써 최적화된 solution 에서는 Generator 가 training 데이터 분포를 완벽히 복원하고 Discriminator 는 binary classification 확률을 언제나 1/2 로 내뱉게 됩니다.
-
-### Theoretical Results
-
-**Proposition 1. 고정된 Generator 에 대해서, 최적화된 Discriminator 는 다음과 같습니다.**
-
-$$
-D_{G}^*(x) = \frac{p_{data}(x)}{p_{data}(x) + p_g(x)}
-$$
-
-이를 증명하자면, Discriminator 에 대한 손실함수를 다음과 같이 쓸 수 있고 $D = D_{G}^*(x)$ 가 이를 최대화하는 solution 입니다.
-
-$$
-V(D,G) = \int_x p_{data}(x) \log(D(x)) dx+ \int_z p_{z}(z) \log(1-D(g(z)) dz
-$$
-
-$$
-= \int_x p_{data}(x) \log(D(x)) + p_{g}(x) \log(1-D(x)) dx
-$$
-
-**Proposition 2. 최적화된 Discriminator 에 대해 $\max_D V(D,G)$ 를 최소화하는 Generator 는 $p_g = p_{data}$ 일때 성립하고 이때 $D = D_{G}^*(x) = 1/2$ 입니다.**
-
-이를 증명하자면, 최적화된 Discriminator 에 대한 손실함수는 다음과 같고
-
-$$
-V(D^{\ast},G) = \mathbb{E}\_{x \sim p_{data}(x)} [ \log D^{\ast}(x) ] + \mathbb{E}\_{x \sim p_g(x)} [ \log(1-D^{\ast}(x) ]
-$$
-
-$$
-= \int_x p_{data}(x) \log(\frac{p_{data}(x)}{p_{data}(x) + p_g(x)}) + \int_x p_{g}(x) \log(\frac{p_{g}(x)}{p_{data}(x) + p_g(x)})\ dx
-$$
-
-$$
-= -\log(4)\ + KL(p_{data}(x)\ ||\ \frac{p_{data}+p_{g}}{2}) + KL(p_{g}(x)\ ||\ \frac{p_{data}+p_{g}}{2})
-$$
-
-$KL(p_{data}(x)\ ||\ \frac{p_{data}+p_{g}}{2}) + KL(p_{g}(x)\ ||\ \frac{p_{data}+p_{g}}{2}) = 2\ \cdot\ JSD(p_{data}\ ||\ p_{g})$ 의 최솟값은 0 이고 이는 $p_g = p_{data}$ 일때 성립합니다.
-
-## Experiments
-
-논문에서 MNIST, the Toronto Face Database(TFD), 그리고 CIFAR-10 dataset 로 모델 실험 및 성능 평가했습니다. 평가시에는 $p_g$ 로부터 Parzen density estimation을 거쳐 계산한 log likelihood estimate 로 모델 성능 평가를 진행했습니다. 아래 표를 보면 실험 방법 중 GAN이 제일 결과가 좋은 것을 볼 수 있습니다.
-
-:::{figure-md}
-
-
-Experimental Results
-:::
-
-## Summary
-
-VAE는 새로운 데이터를 잘 생성하지만 생성된 이미지가 흐릿하다는 단점을 지니고 있습니다. 반면에 GAN 은 high quality image 를 잘 생성하지만 unstable 한 convergence 를 가지고 있습니다. 그래서 실제로 VAE 는 Encoder 를 활용한 차원축소로 많이 활용되고 이미지 데이터를 생성하는데는 GAN 이 많이 활용되었다고 합니다.
+```{admonition} Information
+- **Title:** Generative Adversarial Networks (NIPS 2014)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/1406.2661](https://arxiv.org/abs/1406.2661)
+ - Code: [https://github.com/eriklindernoren/PyTorch-GAN](https://github.com/eriklindernoren/PyTorch-GAN)
+ - [Smart Design Lab @KAIST | 딥러닝 Chp 3.4 GAN](https://www.youtube.com/watch?v=cd-kj1ysqOc)
+
+- **Author:** Sangwoo Jo
+
+- **Editor:** Changhwan Lee
+
+- **Last updated on Apr. 09, 2024**
+```
+
+# GAN
+
+
+## Introduction
+생성형 모델은 크게 생성하고자 하는 데이터의 explicit density 와 implicit density 를 계산하는 방식으로 나뉩니다. Explicit density 를 계산한다는 것은 데이터 분포를 명확하게 사전에 정의하고 모델을 학습하는 것을 의미합니다. 이때, 데이터의 분포를 직접적인 계산이 가능한 tractable density 로 추정하는 방법과 근사화시켜 approximate density 로 추정하는 방법으로 나뉩니다.
+- Tractable density: AutoRegressive 하게 구하는 방식이 있습니다. AutoRegressive 모델을 사용하여 이전 단계의 데이터를 활용하여 모델을 학습하고, 대표적인 모델로는 PixelCNN, PixelRNN 등이 있습니다.
+- Approximate density: 대표적으로 score-based model, Boltzmann Machine 등이 있습니다.
+ - Score-based model - 모델 파라미터의 gradient 가 아닌 데이터의 gradient 활용하여 모델을 학습하는 방식으로, energy-based model 에서 MLE 에 사용하는 확률분포를 정규화하는 term 을 따로 계산하지 않아도 되는 장점이 있습니다.
+ - Boltzmann Machine : 완전그래프 구조로 학습하는 생성형 모델입니다. 모델을 학습하는 과정에서 확률 분포의 학습이 어려워(계산량이 많아서 어려움) Markov chain 을 활용하여 학습합니다. 또한, 완전그래프이기 때문에 노드가 늘어날수록 간선, 파라미터 등이 급증하는 문제가 있어 Restricted Boltzmann Machine(RBM) 이 제안되기도 했습니다.
+
+반면에 데이터의 분포를 명확히 정의하지 않고 implicit 하게 모델을 학습하는 방식도 존재합니다. 대표적으로는 Ian Goodfellow 가 2014년에 발표한 GAN 모델이 있습니다. GAN 은 최근에 Diffusion Model 이 소개되기 전까지 몇 년 동안 이미지 생성 분야에서 대표적인 모델로 자리잡았었습니다. GAN 은 VAE 와 달리 marginal likelihood $p_{\theta}(x)$ 를 직접 구하지 않고, Adversarial Process 를 통해 implicit 하게 샘플링을 해서 분포를 구하게 됩니다.
+
+:::{figure-md}
+
+
+Taxonomy of Generative Models
+:::
+
+아래 그림과 같이 GAN 은 크게 잠재변수 $z$ 로부터 가짜 데이터를 생성하는 Generator 와 그로부터 생성된 데이터와 실제 training 데이터를 구분하는 Discriminator 로 구성이 되어 있습니다. 다시 말해서 Discriminator 는 실제 데이터가 들어오면 1, 그리고 가짜로 생성된 데이터가 들어오면 0 을 출력하는 binary classification task 를 진행합니다.
+
+:::{figure-md}
+
+
+Generative Adversarial Network(GAN) Architecture
+:::
+
+Generator 와 Discriminator 구현 코드도 같이 살펴보겠습니다.
+
+- **Generator 구현 code**
+
+ ```python
+ class Generator(nn.Module):
+ def __init__(self):
+ super(Generator, self).__init__()
+
+ def block(in_feat, out_feat, normalize=True):
+ layers = [nn.Linear(in_feat, out_feat)]
+ if normalize:
+ layers.append(nn.BatchNorm1d(out_feat, 0.8))
+ layers.append(nn.LeakyReLU(0.2, inplace=True))
+ return layers
+
+ self.model = nn.Sequential(
+ *block(opt.latent_dim, 128, normalize=False),
+ *block(128, 256),
+ *block(256, 512),
+ *block(512, 1024),
+ nn.Linear(1024, int(np.prod(img_shape))),
+ nn.Tanh()
+ )
+
+ def forward(self, z):
+ img = self.model(z)
+ img = img.view(img.size(0), *img_shape)
+ return img
+ ```
+
+- **Discriminator 구현 code**
+
+ ```python
+ class Discriminator(nn.Module):
+ def __init__(self):
+ super(Discriminator, self).__init__()
+
+ self.model = nn.Sequential(
+ nn.Linear(int(np.prod(img_shape)), 512),
+ nn.LeakyReLU(0.2, inplace=True),
+ nn.Linear(512, 256),
+ nn.LeakyReLU(0.2, inplace=True),
+ nn.Linear(256, 1),
+ nn.Sigmoid(),
+ )
+
+ def forward(self, img):
+ img_flat = img.view(img.size(0), -1)
+ validity = self.model(img_flat)
+
+ return validity
+ ```
+
+
+## Training Procedure
+
+GAN 을 학습할 시, **D를 먼저 최적화하는 k 단계**와 **G를 최적화하는 한 단계를 번갈아 수행**합니다. 그리고 이때 쓰이는 손실함수(loss function)은 다음과 같습니다.
+
+$$
+\min_G \max_D V(D,G) = \mathbb{E}\_{x \sim p_{data}(x)}[logD(x)] + \mathbb{E}\_{z \sim p_z(z)}[\log(1-D(G(z))]
+$$
+
+논문에서 제시한 학습 알고리즘과 실제 implementation code 를 비교해보겠습니다.
+
+:::{figure-md}
+
+
+Generative Adversarial Network(GAN) Training Procedure
+:::
+
+- **GAN 학습 code**
+
+ ```python
+ # ----------
+ # Training
+ # ----------
+
+ for epoch in range(opt.n_epochs):
+ for i, (imgs, _) in enumerate(dataloader):
+
+ # Adversarial ground truths
+ valid = Variable(Tensor(imgs.size(0), 1).fill_(1.0), requires_grad=False)
+ fake = Variable(Tensor(imgs.size(0), 1).fill_(0.0), requires_grad=False)
+
+ # Configure input
+ real_imgs = Variable(imgs.type(Tensor))
+
+ # -----------------
+ # Train Generator
+ # -----------------
+
+ optimizer_G.zero_grad()
+
+ # Sample noise as generator input
+ z = Variable(Tensor(np.random.normal(0, 1, (imgs.shape[0], opt.latent_dim))))
+
+ # Generate a batch of images
+ gen_imgs = generator(z)
+
+ # Loss measures generator's ability to fool the discriminator
+ g_loss = adversarial_loss(discriminator(gen_imgs), valid)
+
+ g_loss.backward()
+ optimizer_G.step()
+
+ # ---------------------
+ # Train Discriminator
+ # ---------------------
+
+ optimizer_D.zero_grad()
+
+ # Measure discriminator's ability to classify real from generated samples
+ real_loss = adversarial_loss(discriminator(real_imgs), valid)
+ fake_loss = adversarial_loss(discriminator(gen_imgs.detach()), fake)
+ d_loss = (real_loss + fake_loss) / 2
+
+ d_loss.backward()
+ optimizer_D.step()
+
+ print(
+ "[Epoch %d/%d] [Batch %d/%d] [D loss: %f] [G loss: %f]"
+ % (epoch, opt.n_epochs, i, len(dataloader), d_loss.item(), g_loss.item())
+ )
+
+ batches_done = epoch * len(dataloader) + i
+ if batches_done % opt.sample_interval == 0:
+ save_image(gen_imgs.data[:25], "images/%d.png" % batches_done, nrow=5, normalize=True)
+ ```
+
+
+이렇게 Discriminator 와 Generator 는 각각 $V(D,G)$ 가 최대화하고 최소화하는 방향으로 stochastic gradient descent 를 진행하게 됩니다. 하지만 아래 그림처럼 실제로 Generator를 학습할 때, 초반에 $D(G(z)) \approx 0$ 일 경우 학습하지 못하는 상황이 발생합니다. 이 때, $\log(1-D(G(z))$ 를 최소화하지 않고 $\log(D(G(z))$ 를 최대화하는 방향으로 Generator 를 학습하는 기법도 있습니다.
+
+:::{figure-md}
+
+
+Alternative to Vanishing Gradient when Training the Generator
+:::
+
+이렇게 학습함으로써 최적화된 solution 에서는 Generator 가 training 데이터 분포를 완벽히 복원하고 Discriminator 는 binary classification 확률을 언제나 1/2 로 내뱉게 됩니다.
+
+### Theoretical Results
+
+**Proposition 1. 고정된 Generator 에 대해서, 최적화된 Discriminator 는 다음과 같습니다.**
+
+$$
+D_{G}^*(x) = \frac{p_{data}(x)}{p_{data}(x) + p_g(x)}
+$$
+
+이를 증명하자면, Discriminator 에 대한 손실함수를 다음과 같이 쓸 수 있고 $D = D_{G}^*(x)$ 가 이를 최대화하는 solution 입니다.
+
+$$
+V(D,G) = \int_x p_{data}(x) \log(D(x)) dx+ \int_z p_{z}(z) \log(1-D(g(z)) dz
+$$
+
+$$
+= \int_x p_{data}(x) \log(D(x)) + p_{g}(x) \log(1-D(x)) dx
+$$
+
+**Proposition 2. 최적화된 Discriminator 에 대해 $\max_D V(D,G)$ 를 최소화하는 Generator 는 $p_g = p_{data}$ 일때 성립하고 이때 $D = D_{G}^*(x) = 1/2$ 입니다.**
+
+이를 증명하자면, 최적화된 Discriminator 에 대한 손실함수는 다음과 같고
+
+$$
+V(D^{\ast},G) = \mathbb{E}\_{x \sim p_{data}(x)} [ \log D^{\ast}(x) ] + \mathbb{E}\_{x \sim p_g(x)} [ \log(1-D^{\ast}(x) ]
+$$
+
+$$
+= \int_x p_{data}(x) \log(\frac{p_{data}(x)}{p_{data}(x) + p_g(x)}) + \int_x p_{g}(x) \log(\frac{p_{g}(x)}{p_{data}(x) + p_g(x)})\ dx
+$$
+
+$$
+= -\log(4)\ + KL(p_{data}(x)\ ||\ \frac{p_{data}+p_{g}}{2}) + KL(p_{g}(x)\ ||\ \frac{p_{data}+p_{g}}{2})
+$$
+
+$KL(p_{data}(x)\ ||\ \frac{p_{data}+p_{g}}{2}) + KL(p_{g}(x)\ ||\ \frac{p_{data}+p_{g}}{2}) = 2\ \cdot\ JSD(p_{data}\ ||\ p_{g})$ 의 최솟값은 0 이고 이는 $p_g = p_{data}$ 일때 성립합니다.
+
+## Experiments
+
+논문에서 MNIST, the Toronto Face Database(TFD), 그리고 CIFAR-10 dataset 로 모델 실험 및 성능 평가했습니다. 평가시에는 $p_g$ 로부터 Parzen density estimation을 거쳐 계산한 log likelihood estimate 로 모델 성능 평가를 진행했습니다. 아래 표를 보면 실험 방법 중 GAN이 제일 결과가 좋은 것을 볼 수 있습니다.
+
+:::{figure-md}
+
+
+Experimental Results
+:::
+
+## Summary
+
+VAE는 새로운 데이터를 잘 생성하지만 생성된 이미지가 흐릿하다는 단점을 지니고 있습니다. 반면에 GAN 은 high quality image 를 잘 생성하지만 unstable 한 convergence 를 가지고 있습니다. 그래서 실제로 VAE 는 Encoder 를 활용한 차원축소로 많이 활용되고 이미지 데이터를 생성하는데는 GAN 이 많이 활용되었다고 합니다.
diff --git a/_sources/docs/review/imagen.md b/_sources/docs/review/imagen.md
index 71a0f5b2..641d80f4 100755
--- a/_sources/docs/review/imagen.md
+++ b/_sources/docs/review/imagen.md
@@ -1,194 +1,194 @@
-``` {admonition} Information
-- **Title:** Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding (NeurIPS 2022)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2205.11487](https://arxiv.org/abs/2205.11487)
-
-- **Author:** Donggeun Sean Ko
-
-- **Last updated on Sep. 13, 2023**
-
-```
-
-# Imagen
-
-
-## Introduction
-- Multi-modal learning, 특히 text-to-image generation 에서 contrastive learning이 최근에 많은 주목을 받고 있음.
-
-- Contrastive learning 과 더불어 large language model (LLM) 들과 diffusion model 들을 사용하여 독창적인 image 생성도 가능함
-
-- 텍스트 전용 말뭉치 (text corpus)로 학습된 LLM들의 text embedding들은 text-to-image 합성에 매우 효과적이라고 함.
-
-- Classifier-free guidance 사용하여, 더 높은 충실도 (fidelity)의 이미지를 생성하는 새로운 샘플링 기술을 사용함.
-
-:::{figure-md}
-
-
-Concept of Contrastive Learning
-:::
-
-## Contributions
-
-1. **Pretrained Frozen** text encoder (T5-XXL) 이 text-to-image generation task 에 매우 좋은 성능을 보여줌.
-2. Pretrained Text Encoder 사이즈를 **fine-tuning**하는 것이 diffusion model size fine tuning 하는 것보다 더 중요하다는 것을 실험적으로 증명함
-3. **Dynamic Thresholding** 이라는 새로운 diffusion sampling technique (thresholding diffusion sampler) 을 제시하여 high guidance weight을 leverage 할 수 있게 만들어 더욱 “현실적인” 이미지 생성을 할 수 있음
-4. **Efficient U-Net**이라는 기존 Palette 나 DDIM에서 사용하는 U-Net 구조보다 computational, memory efficient 한 U-Net 구조를 제시함
-5. COCO FID 점수 **7.27** SOTA 점수를 달성함
-6. **DrawBench**라는 새로운 text-to-image generation evaluation용 benchmark dataset을 제시함
-
-## Methodology
-
-### Pretrained T5-XXL + Cascaded Diffusion Model
-
-- Pretrained Text Encoder 중 T5-XXL (구글 모델) 사용
-- 학습 시 pretrained text encoder을 Freeze 해놓음
-- Text-to-Image Diffusion Model (Improved DDPM 아키텍쳐) 사용해 64x64 image 생성
-- 2가지 SR model (Efficient U-Net)을 사용해서 64 → 256 → 1024 로 upsampling
-
-:::{figure-md}
-
-
-Imagen overall pipeline
-:::
-
-### Classifier-Free Guidance
-- Classifier-free guidance 이란 auxiliary classifier의 효과 없이 classifier guidance 효과를 얻는 방법
-- 아래의 그림처럼 guidance가 없을 시 image generation이 일정하지 않음. 즉, label/class 의 영향을 못받아서, 생성이 일정하지 않음.
-- guidance를 줄 시, 생성된 이미지의 class나 object이 일정하고 무엇을 생성하는것인지 좀 더 자세하게 알 수 있음.
-
-:::{figure-md}
-
-
-Comparison between when guidance is not used (left) vs when guidance is used with parameter, w=3 (right)
-:::
-
-### Large guidance weight sampler
-- Guide의 가중치 w 를 높이면 train-test 불일치가 생긴다.
-- 이로 인해, 높은 가중치의 이미지는 훈련 데이터 범위 안에 없어 [-1,1], classifier-free guidance가 평균과 분산을 이동시켜 이미지가 아예 “빗나가” 이상한 이미지를 생성하게 된다
-
-### Static Thresholding
-- x-prediction 을 [-1,1]로 clipping 한다. 여전히 saturation 이 되고 fidelity가 덜한 이미지가 생성 됌
-- 문제를 해결하고자 dynamic thresholding 을 제시함
-
-:::{figure-md}
-
-
-Graphical visualization of static thresholding
-:::
-
-### Dynamic Thresholding
-- 특정 백분위수 절대 픽셀 값을 s 라고 지정하고 s > 1 이면, 임계값을 [-s,s]로 지정한 다음 s로 나눈다.
-- 예시: 90% 지점의 픽셀 값이 3 이면 [-3,3]으로 clipping 한 후 3으로 나눠서 [-1,1] 로 normalize 함.
-- Thresholding 의 차이는 아래 결과 비교 이미지로 확인 할 수 있다.
-
-:::{figure-md}
-
-
-Graphical visualization of dynamic thresholding
-:::
-
-
-:::{figure-md}
-
-
-Comparison among no thresholding, static thresholding and dynamic thresholding, respectively
-:::
-
-### Super Resolution Models
-- Efficient U-Net이라는 새로운 모델을 만들어, 기존 U-Net에서 여러가지 modification을 하였다고 주장 (그렇지만 EffU-Net은 의료쪽으로 이름이 이미 있는걸로 아는데…)
-- Removed self-attention layer
-- Keep the text cross-attention layer
-- Skip connection scaling을 1/(√2)로 하여 convergence 를 더 빠르게 함
-- Lower resolution block에서 residual blocks를 더 추가함
-
-:::{figure-md}
-
-
-Architecture of Super Resolution Diffusion Model used in Imagen
-:::
-
-### DrawBench
-- Imagen 저자들이 제시한 새로운 벤치마크 데이터셋. 본 데이터셋은 text prompt 와 category label 로 이루어졌다
-- 깃허브에서 다운 받을 수 있으며, 예시는 아래 그림과 갗다
-11 categories, 200 text prompts
-Human evaluation 으로 진행 (25명의 평가자)
-Model A에서 생성한 이미지 set vs Model B에서 생성한 이미지 set
-
-평가자는 2가지 질문을 주며 2가지 기준점으로 평가함
-**Q1. Which set of images is of higher quality?**
-**Q2. Which set of images better represents the text caption: {text caption}?**
-
-
-기준점
-- Image Fidelity
-- Image-text alignment
-
-평가자는 3가지 답변 중 하나를 선택해야함
-1. I prefer set A
-2. I am Indifferent
-3. I prefer set B
-
-
-:::{figure-md}
-
-
-Screenshot of DrawBench dataset
-:::
-
-## Results
-- Figure 2 에서는 DrawBench에서 나온 결과를 체리피킹 없이 보여준다.
-- 아마 저자들은 체리피킹 없이도 좋은 결과를 보여주고, 다양한 카테고리에서도 훌륭한 이미지를 생성 할 수 있다는 주장인 것 같다.
-
-:::{figure-md}
-
-
-Result of Imagen in DrawBench dataset
-:::
-
-- Zero-shot 으로 한 FID값이 MS-COCO로 학습한 모델들 FID 보다 높음.
-
-- Table 2 에서는 Imagen이 no people (사람이 없는 사진) 에는 photorealism 점수가 올라감
-→ Imagen 은 photorealistic people을 생성하기에 한계가 있음.
-
-:::{figure-md}
-
-
-Result Table of Imagen
-:::
-
-### Qualitative Result Table of Imagen from Human Evaluators
-
-- Human raters (사람 평가자) 들은 T5-XXL로 text encoding 한 text-to-image generation 모델을 CLIP-based 보다 더 선호함
-
-- 기본적으로 Imagen 은 다른 text-to-image generation 모델에서 (SOTA 모델인 DALL-E 2) 보다도 human raters 에서 DrawBench 데이터셋에서 좋은 평가를 받음
-
-:::{figure-md}
-
-
-Qualitative Result Table of Imagen from Human evaulators
-:::
-
-## Ablation Study
-
-- Scaling text encoder size 가 U-Net size scaling 보다 더 중요함
-- (a)의 text encoder 사이즈의 변화가 FID 및 CLIP score 점수에 더욱 많은 영향을 끼침
-
-- Dynamic thresholding 이 performance boost에 더욱 영향을 끼침
-- Dynamic thresholding을 이용하면 성능을 더욱 끌어 올릴 수 있음
-
-:::{figure-md}
-
-
-Qualitative Result Table of Imagen from Human evaulators
-:::
-
-## Conclusion
-
-- Frozen large pretrained language model shows better performance over text-image paired multimodal encoders such as CLIP in text-to-image generation task
-- Efficient U-Net significantly improves performance time
-- Dynamic thresholding allows usage of much higher guidance weights with better fidelity of generated images
-
-
-
-
+``` {admonition} Information
+- **Title:** Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding (NeurIPS 2022)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2205.11487](https://arxiv.org/abs/2205.11487)
+
+- **Author:** Donggeun Sean Ko
+
+- **Last updated on Sep. 13, 2023**
+
+```
+
+# Imagen
+
+
+## Introduction
+- Multi-modal learning, 특히 text-to-image generation 에서 contrastive learning이 최근에 많은 주목을 받고 있음.
+
+- Contrastive learning 과 더불어 large language model (LLM) 들과 diffusion model 들을 사용하여 독창적인 image 생성도 가능함
+
+- 텍스트 전용 말뭉치 (text corpus)로 학습된 LLM들의 text embedding들은 text-to-image 합성에 매우 효과적이라고 함.
+
+- Classifier-free guidance 사용하여, 더 높은 충실도 (fidelity)의 이미지를 생성하는 새로운 샘플링 기술을 사용함.
+
+:::{figure-md}
+
+
+Concept of Contrastive Learning
+:::
+
+## Contributions
+
+1. **Pretrained Frozen** text encoder (T5-XXL) 이 text-to-image generation task 에 매우 좋은 성능을 보여줌.
+2. Pretrained Text Encoder 사이즈를 **fine-tuning**하는 것이 diffusion model size fine tuning 하는 것보다 더 중요하다는 것을 실험적으로 증명함
+3. **Dynamic Thresholding** 이라는 새로운 diffusion sampling technique (thresholding diffusion sampler) 을 제시하여 high guidance weight을 leverage 할 수 있게 만들어 더욱 “현실적인” 이미지 생성을 할 수 있음
+4. **Efficient U-Net**이라는 기존 Palette 나 DDIM에서 사용하는 U-Net 구조보다 computational, memory efficient 한 U-Net 구조를 제시함
+5. COCO FID 점수 **7.27** SOTA 점수를 달성함
+6. **DrawBench**라는 새로운 text-to-image generation evaluation용 benchmark dataset을 제시함
+
+## Methodology
+
+### Pretrained T5-XXL + Cascaded Diffusion Model
+
+- Pretrained Text Encoder 중 T5-XXL (구글 모델) 사용
+- 학습 시 pretrained text encoder을 Freeze 해놓음
+- Text-to-Image Diffusion Model (Improved DDPM 아키텍쳐) 사용해 64x64 image 생성
+- 2가지 SR model (Efficient U-Net)을 사용해서 64 → 256 → 1024 로 upsampling
+
+:::{figure-md}
+
+
+Imagen overall pipeline
+:::
+
+### Classifier-Free Guidance
+- Classifier-free guidance 이란 auxiliary classifier의 효과 없이 classifier guidance 효과를 얻는 방법
+- 아래의 그림처럼 guidance가 없을 시 image generation이 일정하지 않음. 즉, label/class 의 영향을 못받아서, 생성이 일정하지 않음.
+- guidance를 줄 시, 생성된 이미지의 class나 object이 일정하고 무엇을 생성하는것인지 좀 더 자세하게 알 수 있음.
+
+:::{figure-md}
+
+
+Comparison between when guidance is not used (left) vs when guidance is used with parameter, w=3 (right)
+:::
+
+### Large guidance weight sampler
+- Guide의 가중치 w 를 높이면 train-test 불일치가 생긴다.
+- 이로 인해, 높은 가중치의 이미지는 훈련 데이터 범위 안에 없어 [-1,1], classifier-free guidance가 평균과 분산을 이동시켜 이미지가 아예 “빗나가” 이상한 이미지를 생성하게 된다
+
+### Static Thresholding
+- x-prediction 을 [-1,1]로 clipping 한다. 여전히 saturation 이 되고 fidelity가 덜한 이미지가 생성 됌
+- 문제를 해결하고자 dynamic thresholding 을 제시함
+
+:::{figure-md}
+
+
+Graphical visualization of static thresholding
+:::
+
+### Dynamic Thresholding
+- 특정 백분위수 절대 픽셀 값을 s 라고 지정하고 s > 1 이면, 임계값을 [-s,s]로 지정한 다음 s로 나눈다.
+- 예시: 90% 지점의 픽셀 값이 3 이면 [-3,3]으로 clipping 한 후 3으로 나눠서 [-1,1] 로 normalize 함.
+- Thresholding 의 차이는 아래 결과 비교 이미지로 확인 할 수 있다.
+
+:::{figure-md}
+
+
+Graphical visualization of dynamic thresholding
+:::
+
+
+:::{figure-md}
+
+
+Comparison among no thresholding, static thresholding and dynamic thresholding, respectively
+:::
+
+### Super Resolution Models
+- Efficient U-Net이라는 새로운 모델을 만들어, 기존 U-Net에서 여러가지 modification을 하였다고 주장 (그렇지만 EffU-Net은 의료쪽으로 이름이 이미 있는걸로 아는데…)
+- Removed self-attention layer
+- Keep the text cross-attention layer
+- Skip connection scaling을 1/(√2)로 하여 convergence 를 더 빠르게 함
+- Lower resolution block에서 residual blocks를 더 추가함
+
+:::{figure-md}
+
+
+Architecture of Super Resolution Diffusion Model used in Imagen
+:::
+
+### DrawBench
+- Imagen 저자들이 제시한 새로운 벤치마크 데이터셋. 본 데이터셋은 text prompt 와 category label 로 이루어졌다
+- 깃허브에서 다운 받을 수 있으며, 예시는 아래 그림과 갗다
+11 categories, 200 text prompts
+Human evaluation 으로 진행 (25명의 평가자)
+Model A에서 생성한 이미지 set vs Model B에서 생성한 이미지 set
+
+평가자는 2가지 질문을 주며 2가지 기준점으로 평가함
+**Q1. Which set of images is of higher quality?**
+**Q2. Which set of images better represents the text caption: {text caption}?**
+
+
+기준점
+- Image Fidelity
+- Image-text alignment
+
+평가자는 3가지 답변 중 하나를 선택해야함
+1. I prefer set A
+2. I am Indifferent
+3. I prefer set B
+
+
+:::{figure-md}
+
+
+Screenshot of DrawBench dataset
+:::
+
+## Results
+- Figure 2 에서는 DrawBench에서 나온 결과를 체리피킹 없이 보여준다.
+- 아마 저자들은 체리피킹 없이도 좋은 결과를 보여주고, 다양한 카테고리에서도 훌륭한 이미지를 생성 할 수 있다는 주장인 것 같다.
+
+:::{figure-md}
+
+
+Result of Imagen in DrawBench dataset
+:::
+
+- Zero-shot 으로 한 FID값이 MS-COCO로 학습한 모델들 FID 보다 높음.
+
+- Table 2 에서는 Imagen이 no people (사람이 없는 사진) 에는 photorealism 점수가 올라감
+→ Imagen 은 photorealistic people을 생성하기에 한계가 있음.
+
+:::{figure-md}
+
+
+Result Table of Imagen
+:::
+
+### Qualitative Result Table of Imagen from Human Evaluators
+
+- Human raters (사람 평가자) 들은 T5-XXL로 text encoding 한 text-to-image generation 모델을 CLIP-based 보다 더 선호함
+
+- 기본적으로 Imagen 은 다른 text-to-image generation 모델에서 (SOTA 모델인 DALL-E 2) 보다도 human raters 에서 DrawBench 데이터셋에서 좋은 평가를 받음
+
+:::{figure-md}
+
+
+Qualitative Result Table of Imagen from Human evaulators
+:::
+
+## Ablation Study
+
+- Scaling text encoder size 가 U-Net size scaling 보다 더 중요함
+- (a)의 text encoder 사이즈의 변화가 FID 및 CLIP score 점수에 더욱 많은 영향을 끼침
+
+- Dynamic thresholding 이 performance boost에 더욱 영향을 끼침
+- Dynamic thresholding을 이용하면 성능을 더욱 끌어 올릴 수 있음
+
+:::{figure-md}
+
+
+Qualitative Result Table of Imagen from Human evaulators
+:::
+
+## Conclusion
+
+- Frozen large pretrained language model shows better performance over text-image paired multimodal encoders such as CLIP in text-to-image generation task
+- Efficient U-Net significantly improves performance time
+- Dynamic thresholding allows usage of much higher guidance weights with better fidelity of generated images
+
+
+
+
diff --git a/_sources/docs/review/imagen_editor.md b/_sources/docs/review/imagen_editor.md
index cfd93b82..dd46ad63 100755
--- a/_sources/docs/review/imagen_editor.md
+++ b/_sources/docs/review/imagen_editor.md
@@ -1,72 +1,72 @@
-``` {admonition} Information
-- **Title:** Imagen Editor and EditBench: Advancing and Evaluating Text-Guided Image Inpainting (CVPR 2023)
-
-- **Reference**
- - Paper: [https://arxiv.org/pdf/2212.06909](https://arxiv.org/pdf/2212.06909)
-
-- **Author:** Sangwoo Jo
-
-- **Last updated on Sep. 06, 2023**
-```
-
-# Imagen Editor
-
-이번 시간에는 Google Research 에서 소개하는 Imagen 모델 기반의 text-guided image inpainting 모델 Imagen Editor 와 text-guided impainting 의 평가기법 EditBench 에 대해 알아볼 예정입니다.
-
-Text-guided image inpainting 에서 기존에는 mask 영역을 random 하게 지정하여 학습을 진행했습니다. 이는 입력된 text prompt 와 무관한 영역을 masking 하게 됨으로써 모델이 prompt 를 참조하지 않고 오로지 image content 만으로 학습하게 되는 현상이 발생합니다. Imagen Editor 는 이를 해결하기 위해 Object Masking 기법을 소개합니다. Prompt 에 해당하는 객체 전체를 masking 함으로써 모델이 text prompt 를 더 참조할 수 있도록 유도하는 것이 목표입니다. SSD MobileNet v2 모델을 Object Detector 로 사용함으로써 모델 성능이 크게 개선되는 부분을 확인할 수 있었다고 합니다.
-
-:::{figure-md}
-
-
-Effect of Object Masking
-:::
-
-Imagen Editor 에서 또 다른 특징은 Imagen 모델 기반의 cascaded diffusion model architecture 를 지니고 있다는 점입니다. 이때, SR3, Palette, GLIDE 와 유사하게 이미지와 mask 가 Encoder 를 거친 후, diffusion latent 와 concatenate 하면서 conditioning input 으로 들어가게 되며, 모두 1024x1024 해상도를 가진다고 합니다. 따라서, base diffusion 64x64 모델 그리고 64x64 → 256x256 super resolution 모델에 입력 시, downsampling 작업 후 모델 input 으로 입력합니다. 또한, conditioning 이미지와 mask 없을 시 Imagen 모델을 사용하는 것과 동일한 효과를 내기 위해, 새로 추가되는 input channel weights 는 0으로 초기화해서 학습을 진행했다고 소개합니다.
-
-:::{figure-md}
-
-
-Imagen Editor Architecture
-:::
-
-Imagen 에서 소개되었던 Classifier-Free Guidance 를 동일하게 사용하고, 이때 guidance weight 를 1부터 30 까지 범위 내에서 변화시키는 oscillating guidance 기법을 적용함으로써 생성된 이미지 퀄리티 및 text-image alignment 가 상승되는 효과를 볼 수 있었다고 합니다.
-
-논문에서는 Imagen Editor 와 같은 text-guided image inpainting 모델들을 평가할 수 있는 새로운 benchmark EditBench 를 제시합니다. 240개의 (image, mask) 쌍으로 데이터셋이 구축되어있고, 각 쌍마다 3가지의 prompt 로 생성된 이미지로 사람이 모델 성능을 측정하게 됩니다. Automatic Evaluation Metric 으로는 CLIPScore, 그리고 CLIP-R-Prec 를 사용했습니다.
-
-EditBench 이미지 데이터셋의 절반은 open source 로 공개된 computer vision 데이터셋으로부터 수집되었고, 나머지 절반은 text-to-image 모델로 생성해서 구축했습니다. 이때, *attribute-object-scene* 의 요소들을 모두 갖추도록 이미지들을 수집 및 생성했습니다.
-
-- Attributes (material, color, shape, size, count)
-- Objects (common, rare, text rendering)
-- Scenes (indoor, outdoor, realistic, paintings)
-
-예를 들어서, ‘a=metal|o=cat|s=outdoor’ 요소들을 포함하는 문구를 ‘a metal cat standing in the middle of a farm field’ 처럼 생성하는 것입니다. 앞써 언급한 3가지 prompt 는 해당사진처럼 *Mask-Simple*, *Mask-Rich*, 그리고 *Full* 로 정의합니다.
-
-:::{figure-md}
-
-
-EditBench example
-:::
-
-데이터셋 구축시, mask 크기도 다양하게 설정하여 mask 크기에 따른 모델 성능도 확인할 수 있었습니다. 성능을 측정해본 결과, Object masking 으로 학습한 모델이 random masking 으로 학습한 모델보다 small/medium masks 에서 성능적으로 월등히 좋다는 것을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Human Evaluations on EditBench
-:::
-
-또한, object-rendering 에 비해 text-rendering 성능이 저하되는 부분을 확인할 수 있고, material/color/size 속성보다 count/size 속성에 더 취약한 부분도 확인할 수 있었습니다.
-
-:::{figure-md}
-
-
-Imagen Editor failure cases by attribute
-:::
-
-마지막으로, 동일한 prompt 에 대해 Stable Diffusion, DALL-E2, Imagen Editor 모델로 inpainting 한 결과를 비교한 예시 사진입니다.
-
-:::{figure-md}
-
-
-Example model outputs for Mask-Simple vs MaskRich prompts
-:::
+``` {admonition} Information
+- **Title:** Imagen Editor and EditBench: Advancing and Evaluating Text-Guided Image Inpainting (CVPR 2023)
+
+- **Reference**
+ - Paper: [https://arxiv.org/pdf/2212.06909](https://arxiv.org/pdf/2212.06909)
+
+- **Author:** Sangwoo Jo
+
+- **Last updated on Sep. 06, 2023**
+```
+
+# Imagen Editor
+
+이번 시간에는 Google Research 에서 소개하는 Imagen 모델 기반의 text-guided image inpainting 모델 Imagen Editor 와 text-guided impainting 의 평가기법 EditBench 에 대해 알아볼 예정입니다.
+
+Text-guided image inpainting 에서 기존에는 mask 영역을 random 하게 지정하여 학습을 진행했습니다. 이는 입력된 text prompt 와 무관한 영역을 masking 하게 됨으로써 모델이 prompt 를 참조하지 않고 오로지 image content 만으로 학습하게 되는 현상이 발생합니다. Imagen Editor 는 이를 해결하기 위해 Object Masking 기법을 소개합니다. Prompt 에 해당하는 객체 전체를 masking 함으로써 모델이 text prompt 를 더 참조할 수 있도록 유도하는 것이 목표입니다. SSD MobileNet v2 모델을 Object Detector 로 사용함으로써 모델 성능이 크게 개선되는 부분을 확인할 수 있었다고 합니다.
+
+:::{figure-md}
+
+
+Effect of Object Masking
+:::
+
+Imagen Editor 에서 또 다른 특징은 Imagen 모델 기반의 cascaded diffusion model architecture 를 지니고 있다는 점입니다. 이때, SR3, Palette, GLIDE 와 유사하게 이미지와 mask 가 Encoder 를 거친 후, diffusion latent 와 concatenate 하면서 conditioning input 으로 들어가게 되며, 모두 1024x1024 해상도를 가진다고 합니다. 따라서, base diffusion 64x64 모델 그리고 64x64 → 256x256 super resolution 모델에 입력 시, downsampling 작업 후 모델 input 으로 입력합니다. 또한, conditioning 이미지와 mask 없을 시 Imagen 모델을 사용하는 것과 동일한 효과를 내기 위해, 새로 추가되는 input channel weights 는 0으로 초기화해서 학습을 진행했다고 소개합니다.
+
+:::{figure-md}
+
+
+Imagen Editor Architecture
+:::
+
+Imagen 에서 소개되었던 Classifier-Free Guidance 를 동일하게 사용하고, 이때 guidance weight 를 1부터 30 까지 범위 내에서 변화시키는 oscillating guidance 기법을 적용함으로써 생성된 이미지 퀄리티 및 text-image alignment 가 상승되는 효과를 볼 수 있었다고 합니다.
+
+논문에서는 Imagen Editor 와 같은 text-guided image inpainting 모델들을 평가할 수 있는 새로운 benchmark EditBench 를 제시합니다. 240개의 (image, mask) 쌍으로 데이터셋이 구축되어있고, 각 쌍마다 3가지의 prompt 로 생성된 이미지로 사람이 모델 성능을 측정하게 됩니다. Automatic Evaluation Metric 으로는 CLIPScore, 그리고 CLIP-R-Prec 를 사용했습니다.
+
+EditBench 이미지 데이터셋의 절반은 open source 로 공개된 computer vision 데이터셋으로부터 수집되었고, 나머지 절반은 text-to-image 모델로 생성해서 구축했습니다. 이때, *attribute-object-scene* 의 요소들을 모두 갖추도록 이미지들을 수집 및 생성했습니다.
+
+- Attributes (material, color, shape, size, count)
+- Objects (common, rare, text rendering)
+- Scenes (indoor, outdoor, realistic, paintings)
+
+예를 들어서, ‘a=metal|o=cat|s=outdoor’ 요소들을 포함하는 문구를 ‘a metal cat standing in the middle of a farm field’ 처럼 생성하는 것입니다. 앞써 언급한 3가지 prompt 는 해당사진처럼 *Mask-Simple*, *Mask-Rich*, 그리고 *Full* 로 정의합니다.
+
+:::{figure-md}
+
+
+EditBench example
+:::
+
+데이터셋 구축시, mask 크기도 다양하게 설정하여 mask 크기에 따른 모델 성능도 확인할 수 있었습니다. 성능을 측정해본 결과, Object masking 으로 학습한 모델이 random masking 으로 학습한 모델보다 small/medium masks 에서 성능적으로 월등히 좋다는 것을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Human Evaluations on EditBench
+:::
+
+또한, object-rendering 에 비해 text-rendering 성능이 저하되는 부분을 확인할 수 있고, material/color/size 속성보다 count/size 속성에 더 취약한 부분도 확인할 수 있었습니다.
+
+:::{figure-md}
+
+
+Imagen Editor failure cases by attribute
+:::
+
+마지막으로, 동일한 prompt 에 대해 Stable Diffusion, DALL-E2, Imagen Editor 모델로 inpainting 한 결과를 비교한 예시 사진입니다.
+
+:::{figure-md}
+
+
+Example model outputs for Mask-Simple vs MaskRich prompts
+:::
diff --git a/_sources/docs/review/latent_consistency_models.md b/_sources/docs/review/latent_consistency_models.md
index 90728edc..b0f98590 100755
--- a/_sources/docs/review/latent_consistency_models.md
+++ b/_sources/docs/review/latent_consistency_models.md
@@ -1,325 +1,325 @@
-```{admonition} Information
-- **Title:** Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference
-
-- **Reference**
- - Paper: [https://arxiv.org/pdf/2310.04378](https://arxiv.org/pdf/2310.04378)
- - Code: [https://github.com/luosiallen/latent-consistency-model](https://github.com/luosiallen/latent-consistency-model)
- - Project Page: [https://latent-consistency-models.github.io/](https://latent-consistency-models.github.io/)
-
-- **Author:** Donghyun Han
-
-- **Last updated on May. 1, 2024**
-```
-
-# Latent Consistency Models
-
-## 1. Introduction
-
-Diffusion model은 다양한 분야에서 주목할만한 성과를 거두었지만 매우 느린 sampling 속도를 가지기 때문에 실시간 사용이 불가능하다. 이 같은 단점을 극복하기 위해 sampling 속도를 향상시키는 다양한 accelerating 방법이 제안되었다:
-
-
-
-1. ODE solver의 성능개선을 통해 10~20 step만으로도 좋은 성능을 가지는 방법.
-
- - DPM-Solver ([lu et al.](https://arxiv.org/pdf/2206.00927))
-
-2. 사전 학습된 Diffusion model을 몇 step만으로도 추론할수 있도록 **distillation**하는 방법.
-
- - PD (Progressive Distillation). → 2 stage ([Salimans et al.](https://arxiv.org/pdf/2202.00512))
- - On Distillation of Guided Diffusion Models. ([Meng et al.](https://arxiv.org/pdf/2210.03142))
- - Consistency Models ([Song et al.](https://arxiv.org/pdf/2303.01469))
-
-이중 특히 Consistency Models은 ODE-trajectory에 대한 일관성을 갖도록 하는 모델로서, single step만으로도 이미지를 생성할 수 있기 때문에 반복적인 계산이 필요하지 않다. 그러나 이 모델 또한 2가지의 단점을 가지고 있다:
-
-
-
-1. Pixel space의 Flow-based Model이기 때문에 **high-resolution 이미지 생성**에 적합하지 않음.
-2. Conditional(Classifer-free Guidance)한 이미지 생성을 고려하지 않아 **text2img**에 적합하지 않음.
-
----
-
-본 논문의 제안점은 다음 3가지다:
-
-
-
-- 빠르고 high-resolution 이미지를 생성하기 위한 Latent Consistency Models(LCMs)를 제안한다. LCMs은 영상의 latent space에 Consistency Models 개념을 적용해 매우 적은 step 만으로도 **고품질의 이미지**를 생성할 수 있다.
-
-- guided consistency distillation을 통해 Stable Diffusion을 매우 적은 step(1~4)으로 sampling 할 수 있는 방법을 제공한다. **Skipping-Step**이라는 테크닉을 통해 학습을 가속화 한다. 2, 4 step Model의 경우 학습에 A100 GPU 32시간 밖에 걸리지 않으며 LAION-5B-Aesthetics dataset에서 SOTA의 성능을 달성했다.
-
-- LCMs에 대한 새로운 fine-tuning 방식인 Latent Consistency Fine-tuning을 통해 **빠른 추론 속도를 유지하면서도 Custom Dataset에 효율적으로 적용**할 수 있다.
-
-
-
-:::{figure-md}
-
-
-768x768 Resolution image in 1~4 steps.
-:::
-
-## 2. Preliminaries
-
-### Diffusion Models
-
-Diffusion Models 혹은 Score-based Models는 데이터에 점진적으로 Gaussian noise를 주입하고 reverse denoise process로 noise를 제거하여 데이터를 sampling하는 기법이다. 반면 forwad process는 원본 데이터 분포인 $p_{data}(x)$를 주변 확률분포인 $q_{t}(x_{t})$로 변환한다:
-
-$$
-q_{0t}(x_{t}|x_{0})=\mathcal{N}(x_t|\alpha(t)x_0,\sigma^2(t)I)
-$$
-
-여기서 $\alpha(t)$와 $\sigma(t)$는 noise scheduler를 의미한다. 연속적인 timestep의 관점에서 이를 확률미분방정식(Stochastic Differential Equation, SDE)으로 나타낼 수 있는데, 다음과 같다:
-
-$$
-f(t)=\frac{d\log{\alpha(t)}}{dt}, g^2(t)=\frac{d\sigma^2(t)}{dt}-2\frac{d\log{\alpha(t)}}{dt}\sigma^2(t). \tag{1}
-$$
-
-또한 주변 확률분포 $q_t(x)$는 **Ptobability Flow ODE(PF-ODE)**라는 상미분방정식(Ordinary Differential Equation, ODE)을 만족하는데 다음과 같다:
-
-$$
-\frac{dx_t}{dt}=f(x)x_t-\frac{1}{2}g^2(t)\nabla_x\log{q_t(x_t)}, \ x_T \sim q_T(x_T). \tag{2}
-$$
-
-이때 Diffusion model은 $-\nabla\log{q_t(x_t)}$(score function)를 예측하는 noise 예측 모델($\epsilon_\theta(x_t,t)$)을 학습시킨다. 학습된 모델은 score function의 근사치를 예측하고 sampling하는데 이를 empirical PF-ODE라 한다 (경험적 PF-ODE):
-
-$$
-\frac{dx_t}{dt}=f(t)x_t+\frac{g^2(t)}{2\sigma_t}\epsilon_\theta(x_t,t), \ x_T \sim \mathcal{N}(0, \tilde{\sigma}^2I). \tag{3}
-$$
-
-Classifier-Free Guidance (CFG)는 sampling의 퀄리티를 높이기 위해 GLIDE, Stable Diffusion, DALL$\cdot$E2, Imagen 등 다양한 conditional model에서 사용되었다. CFG의 scale $\omega$가 주어졌을 때 원본 noise prediction은 conditional, unconditional noise prediction을 선형적으로 혼합하여 대체된다:
-
-$$
-\tilde{\epsilon}_\theta(z_t,\omega, c,t)=(1+\omega)\epsilon_\theta(z_t, c,t)-\omega\epsilon_\theta(z, \emptyset, t).
-$$
-
-
-
-### Consistency Models
-
-Consistenct Model(CM)은 몇 step 혹은 한번의 step 만으로 데이터를 생성할 수 있는 모델이다. CM의 핵심은 **PF-ODE의 궤적에 어떤 point와 PF-ODE의 solution에 대해 mapping되는 function ($f:(x_t, t) \mapsto x_\epsilon$)을 추정**하는 것이다.
-
-:::{figure-md}
-
-
-Consistency Models (CM).
-:::
-
-$\epsilon$은 고정된 매우 작은 양수값을 가지며 CM의 function은 자기 자신에 대한 **self-consistency**를 만족해야한다. 즉 어떠한 time step에 대해서도 $x_\epsilon$을 sampling 할 수 있어야 한다.
-
-$$
-f(x_t,t)=f(x_{t'},t'), \forall t,t' \in [\epsilon, T]. \tag{4}
-$$
-
-$f_\theta(x, \epsilon)=x$를 만족하는 모델 $f_\theta$는 다음과 같이 정리할 수 있다:
-
-$$
-f_\theta(x,t)=c_{skip}(t)x+c_{out}(t)F_\theta(x,t). \tag{5}
-$$
-
-$c_{skip}(t)$와 $c_{out}(t)$는 미분 가능한 함수이며 $c_{skip}=1, c_{out}=0$이기 때문에 $f_\theta(x, \epsilon)=x$를 만족한다. $\theta$는 학습 가능한 파라미터로 $F_\theta$는 심층 신경망을 의미한다.
-
-
-
-CM은 pre-trained 모델에 대한 Distillation 방식과 scratch부터 학습하는 방식이 있는데 주로 **Distillation 방식**을 사용한다. Distillation 방식은 parameter $\theta^-$가 $\theta$를 통해 학습하며 모델에 대한 self-consistency를 위해 다음과 같이 손실함수를 구성한다:
-
-$$
-\mathcal{L}(\theta,\theta^-;\Phi)=\mathbb{E}_{x,t}\bigg[d\bigg(f_\theta(x_{t_{n+1}, t_{n+1}}), f_{\theta^-}(\hat{x}^\phi_{t_n}, t_n)\bigg)\bigg]. \tag{6}
-$$
-
-이 때 $\theta^-$는 $\theta$에 대한 지수평균이동(Exponential Moving Average, EMA)이며 $\theta^- \leftarrow \mu\theta^-+(1-\mu)\theta$이다. $d(\cdot, \cdot)$은 두 sample 사이의 거리를 측정하는 지표이다. $\hat{x}^{\phi}_{t_n}$은 $x_{t_{n+1}}$에 대한 $x_{t_n}$을 추정한 값으로 다음과 같다:
-
-$$
-\hat{x}^\phi_{t_n} \leftarrow x_{t_{n+1}}+(t_{n}-t_{n+1})\Phi(x_{t_{n+1}}, t_{n+1};\phi). \tag{7}
-$$
-
-$\Phi$는 PF-ODE에 사용되는 ODE Solver로 [Euler](https://en.wikipedia.org/wiki/Euler_method)나 [Heun](https://en.wikipedia.org/wiki/Heun%27s_method) Method등의 수치적인 ODE solver를 사용할 수 있다. 즉 Consistency Distillation은 ODE Solver로 예측한 $\hat{x}^{\phi}_{t_n}$과 $x_{t_{n+1}}$을 입력으로 $f_{\theta^-}$와 $f_\theta$로 **예측한 값의 Consistency를 비교하는 방식으로 Distillation을 수행**한다.
-
-## 3. Latent Consistency Models
-
-CM의 한계:
-
-- ImageNet 64x64, LSUN 256x256 영상에 대한 Generation만 수행
-
- - **High Resolution**의 잠재성이 아직 탐구되지 않았음.
- - **Classifier-free Guidance(CFG)** 등을 사용하지 않음.
-
-Latent Consistency Models(LCMs)는 CM의 잠재력을 충분히 발휘하여 좀더 도전적인 task를 수행한다.
-
-### 3.1 Consistency Distillation in the Latent Space
-
-본 논문에서는 pre-trained 된 Stable Diffusion에 Consistency Distillation을 적용한 Latent Consistency Distillation (LCD)을 제안한다. LCMs는 LDM(SD)을 기반으로 설계되었기 때문에 $z=\varepsilon(x)$를 통해 $x$를 latent vector로 임베딩하고 $\hat{x}=\mathcal{D}(z)$를 통해 원본 영상으로 복원한다. latent space 상에서 연산이 이뤄지기 때문에 **Computation Cost를 크게 줄일 수 있어** high-resolution 영상을 laptop GPU에서 생성할 수도 있다.
-
-condition을 추가한 PF-ODE의 reverse process는 다음과 같이 정의된다:
-
-$$
-\frac{dz_t}{dt}=f(t)z_t+\frac{g^2(t)}{2\sigma_t}\epsilon_\theta(z_t,c,t), \ z_T\sim\mathcal{N}(0,\tilde{\sigma}^2I). \tag{8}
-$$
-
-$z_t$는 t step의 image latents, $\epsilon_\theta(z_t,c,t)$는 noise 예측 모델, c는 text와 같은 conditional prompt를 의미한다. PF-ODE상에서 모든 t step에 대해 consistency function $f_\theta :(z_t,c,t) \mapsto z_0$이기 때문에 이를 수식으로 정리하자면 다음과 같이 나타낼 수 있다 ($\hat{\epsilon}_\theta$는 noise prediction model.):
-
-$$
-f_\theta(z,c,t)=c_{skip}(t)z+c_{out}(t)\bigg( \frac{z-\sigma_t\hat{\epsilon}_\theta(z,c,t)}{\alpha_t} \bigg). \ (\epsilon-Prediction) \tag{9}
-$$
-
-수식을 살펴보면 ddpm 등의 reparameterization trick인 $x_t := \sqrt{\bar{\alpha}_t}x_0 + \sqrt{1-\bar{\alpha}_t}\epsilon$을 변형하여 식에 대입한 것을 알 수 있음. ($x$→$z$로 치환)
-
-$$
-x_0 = \frac{x_t-\sqrt{1-\bar{\alpha}_t}\epsilon}{\sqrt{\bar{\alpha}_t}}, \ \hat{z}_0 = \frac{z_t-\sigma(t)\hat{\epsilon}_{\theta}(z,c,t)}{\alpha(t)}.
-$$
-
-CM과 마찬가지로 $c_{skip}(0)=1, c_{out}(0)=0$이고 $\hat{\epsilon}_{\theta}(z,c,t)$는 teacher diffusion model과 유사한 noise 예측 모델 parameter이다. $f_\theta$는 $\epsilon-Prediction$ 외에도 $x-Prediction$이나 $v-Prediction$을 사용할 수도 있다. ($x-Prediction$은 DDPM, $v-prediction$은 PD에서 나온 개념)
-
-$$
-\mathcal{L_{CD}}(\theta,\theta^-;\psi)=\mathbb{E}_{z,c,n}\bigg[ d(f_\theta(z_{t_{n+1}},c,t_{n+1}), f_{\theta^-}(\hat{z}^\psi_{t_n},c,t_n)) \bigg]. \tag{10}
-$$
-
-$\psi(z_t,t,x,c)$는 ODE solver이며 특정한 time step $t \sim s$ 사이에 대한 Eq. 8의 우항을 근사한 값이다. ODE Solver이기 때문에 **DDIM, DPM-Solver, DPM-Solver++ 등을 사용할 수 있다.** 또한 $\psi$는 학습 및 Distillation시에만 사용한다. 이때 $t_n$은 EDM을 토대로 CM에서 나오는 값이다. 기존 timestep $[t, T]$에 대한 하위 간격으로 $t_1=\epsilon
-
-2 Stage Distillation.
-:::
-
-t이에 반해 LCMs는 augmented PF-ODE를 해결하는 방식으로 one-stage의 guided Distillation을 제안했다. 일단 CFG에 대한 reverse diffusion process는 다음과 같다:
-
-$$
-\tilde{\epsilon}_{\theta}(z_t,\omega,c,t):=(1+\omega)\epsilon_\theta(z_t,c,t)-\omega\epsilon_\theta(z_t,\varnothing,t). \tag{12}
-$$
-
-CFG는 conditional noise 예측값과 unconditional noise 예측값을 선형 결합하여 사용한다. 즉 noise 값이 $\omega$에 따라 변형되므로 **augmented PF-ODE**라고 한다. augmented PF-ODE는 다음과 같이 나타낼 수 있다:
-
-$$
-\frac{dz_t}{dt}=f(t)z_t+\frac{g^2(t)}{2\sigma_t}\tilde{\epsilon}_\theta(z_t,\omega,c,t), \ z_T\sim\mathcal{N}(0,\tilde{\sigma}^2I). \tag{13}
-$$
-
-consistency function도 $\omega$를 변수로 받아오기 때문에 $f_\theta:(z_t,\omega,c,t)\mapsto z_0$로 다시 정의된다. Consistency Distillation Loss 또한 다음과 같이 나타낼 수 있다:
-
-$$
-\mathcal{L_{CD}}(\theta,\theta^-;\psi)=\mathbb{E}_{z,c,\omega,n}\bigg[ d\bigg( f_\theta(z_{t_{n+1}},\omega,c,t_{n+1}), f_{\theta^-}(\hat{z}_{t_n}^{\psi,\omega},\omega,c,t_n) \bigg) \bigg] \tag{14}
-$$
-
-$\omega$와 $n$는 각각 $[\omega_{min}, \omega_{max}]$, $\{1,…,N-1\}$에서 sampling된다. $\hat{z}^{\psi, \omega}_{t_n}$는 이전과 마찬가지로 CFG가 추가된 ODE-Solver를 사용하여 근사한 값을 의미한다. 이때 사용되는 새로운 noise 예측모델 $\tilde{\epsilon}_\theta(z_t,\omega,c,t)$는 Eq. 11처럼 $t_{n+1} \sim t_n$까지 t에 대해 적분 했을 때 다음과 같이 나타낼 수 있다:
-
-$$
-\hat{z}^{\psi, \omega}_{t_n}-z_{t_n+1}=\int^{t_n}_{t_{n+1}}\bigg(f(t)z_t+\frac{g^2(t)}{2\sigma_t}\tilde{\epsilon}_\theta(z_t,\omega,c,t)\bigg)dt
-$$
-$$
-=(1+\omega)\int^{t_n}_{t_{n+1}}\bigg(f(t)z_t+\frac{g^2(t)}{2\sigma_t}\epsilon_\theta(z_t,c,t)\bigg)dt
-$$
-$$
--\omega\int^{t_n}_{t_{n+1}}\bigg(f(t)z_t+\frac{g^2(t)}{2\sigma_t}\epsilon_\theta(z_t,\varnothing,t)\bigg)dt
-$$
-$$
-\approx(1+\omega)\psi(z_{t_{n+1}}, t_{n+1},t_n,c)-\omega\psi(z_{t_{n+1}}, t_{n+1},t_n,\varnothing). \tag{15}
-$$
-
-마찬가지로 PF-ODE Solver $\psi(\cdot,\cdot,\cdot,\cdot)$에는 DDIM, DPM-Solver, DPM-Solver++ 등을 사용할 수 있다.
-
-### 3.3 Accelerating Distillation with Skipping Time Steps
-
-Stable Diffusion 등 보통의 Diffusion Model들은 매우 큰 step을 전체 time step으로 잡고 학습한다. 그러나 이같이 촘촘한 time step은 각 $t_n$과 $t_{n+1}$의 변화량을 감소시키기 때문에 자연스럽게 Consistency Distillation Loss도 작아지게 된다. **Loss가 작아지면 학습의 수렴속도도 느려지게 된다.** 따라서 LCMs는 학습 수렴의 속도를 높이기 위해 time step을 수천에서 수십으로 크기 단축시키는 SKIPPING-STEP 방법을 제안하였다.
-
-기존 CMs 모델의 경우 time scheduler로 EDM을 사용하고 ODE-Solver로 Euler 방법이나 Heun 방법을 사용한다. 그러나 LCMs는 Eq. 8을 통해 DDIM, DPM-Solver, DPM-Solver++와 같은 효율적인 solver도 효과적으로 데이터를 생성할 수 있다는 것을 증명했다. 따라서 **SKIPPING-STEP 방법은 $t_{n+1} → t_n$ 사이의 Consistency를 비교하는것이 아니라 특정 k-step만큼 거리가 있는 time step에 대한 Consistency를 비교한다.** ($t_{n+k}→t_n$)
-
-이때 $k$값의 크기는 trade-off 관계를 가진다. 너무작으면 ($k=1$) 기존과 같이 느린 수렴속도를 갖게되며, 너무 큰 값일 때는 ODE solver 를 통해 근사할 때 오차가 매우 커질수 있다. 논문의 저자는 $k=20$을 사용해 **time step을 수천에서 수십으로 대폭 줄여** 학습을 Accelerating 할 수 있었다. Eq. 14에 k값을 추가해 SKIPPING-STEP을 표현할 수 있다.
-
-$$
-\mathcal{L_{CD}}(\theta,\theta^-;\psi)=\mathbb{E}_{z,c,\omega,n}\bigg[ d\bigg( f_\theta(z_{t_{n+k}},\omega,c,t_{n+k}), f_{\theta^-}(\hat{z}_{t_n}^{\psi,\omega},\omega,c,t_n) \bigg) \bigg]. \tag{16}
-$$
-
-$\hat{z}^{\psi, \omega}_{t_n}$에 대한 수식도 다음과 같이 변경할 수 있다.
-
-$$
-\hat{z}^{\psi, \omega}_{t_n} \leftarrow z_{t_{n+k}}+(1+\omega)\psi(z_{t_{n+k}}, t_{n+k},t_n,c)-\omega\psi(z_{t_{n+k}}, t_{n+k},t_n,\varnothing). \tag{17}
-$$
-
-## 3.4 Latent Consistency Fine-tuning for customized dataset
-
-Stable Diffusion과 같은 Foundation 생성 모델은 거의 대부분의 text-to-image Generation task에서 잘 되지만 가끔 downstream task를 위해 Cunstom dataset에 대한 fine-tuning이 필요할 때가 있다. Latent Consistency Fine-tuning(LCF)는 Custom Dataset도 teacher model에 대한 종속없이 few-step inference를 성공적으로 할수 있도록 한다. 따라서 LCM은 **기존의 Diffusion model에 대한 추가적인 fine tuning 방법론 없이도 Custom Dataset을 바로바로 학습하여 사용**할수 있다.
-
-따로 추가적인 fine-tuning 방법이 있는것은 아니고 Consisteny Distillation 시 pre-trained 된 LDM을 사용하여 EMA를 통해 Distillation을 하기 때문에 Dataset을 Custom Dataset으로 사용하기만하면 된다. 즉 pre-trained Diffuson model → Custom Dataset fine-tuning → few step inference를 위한 Consistency Distillation을 할 필요 없이 바로학습이 가능하다는 의미이다.
-
-## 4. Experiments
-
-### 4.1 Text-To-Image Generation
-
-3가지 데이터셋에 대한 평가를 진행했다. (LAION-5B, LAION-Aesthetics-6+(12M), LAION-Aesthetics-6.5+(650k)) 앞서말한것처럼 하나의 Resolution이 아닌 512x512, 768x768의 high resolution을 생성했다. 512 size는 $\epsilon$-prediction, 768 size는 $v$-prediction을 사용했고 ODE-Solver로는 DDIM을 사용했다. 앞서말한것처럼 SKIPPING-STEP은 20의 값을 가진다.
-
-:::{figure-md}
-
-
-Quantitative results at 512 x 512 & 768 x 768 resolution.
-:::
-
-:::{figure-md}
-
-
-Qualitative results on LAION-Aesthetic-6.5+ Dataset. (2,4 steps)
-:::
-
-DDIM, DPM-Solver, DPM-Solver++, Guided-Distill 4가지 모델에 대해 LCM과 성능비교를 했는데 이때 Guided-Distill은 오픈소스 코드가 없기 때문에 논문의 내용과 동일하게 Implementation 해서 성능을 비교하였다. LCM은 같은 메모리 Cost 대비 더 빠르게 수렴하고 더 좋은 품질의 영상을 생성하였다. 특히 Guided-Distill은 2 stage Distillation이지만 LCM은 **1 Stage**만 사용해도 이같은 성능을 보여줬다.
-
-### 4.2 Abulation Study
-
-#### ODE Solvers & Skipping-Step Schedule
-
-augmented PF-ODE를 푸는 solver들(DDIM, DPM, DPM++)을 LCM에 사용할 때 성능 비교와 SKIPPING-STEP schedule의 $k$값에 따른 성능 변화를 비교하였다. 모든 모델은 2,000 iteration에서의 4-step inference로 고정해서 비교했다.
-
-:::{figure-md}
-
-
-Different ODE solvers and skipping step k.
-:::
-
-Skipping step의 경우 $k$ 값을 올렸을 때 훨씬더 빠르게 수렴하며 때때로 더 좋은 FID 값을 보여주었다. 또한 DPM과 DPM++은 $k$가 50일 때 DDIM보다 더 좋은 성능을 보였다. 이는 **$k$ 값이 클수록 더 큰 ODE approximation error를 가지는 DDIM에 비해 오차가 적기 때문**이다.
-
-$k=20$일 때, 3가지 모델 모두 좋은 성능이 보였다.
-
-#### The Effect of Guidance Scale $\omega$
-
-일반적으로 $\omega$값이 클수록 CLIP score 같은 품질의 지표는 좋아지지만 작을수록 다양성이 떨어져 FID Score가 떨어진다. 즉 $\omega$의 크기는 **Quality와 Diversity에 대한 trade-off가 있다.**
-
-:::{figure-md}
-
-
-Different classifier-free guidance scales $\omega$.
-:::
-
-그래프를 보면 2~8 step inference는 성능에 큰 차이를 가지지는 않는것으로 확인된다. 그러나 **1 step inference는 아직 개선의 여지가 있는것**을 확인할 수 있다.
-
-:::{figure-md}
-
-
-Different classifier-free guidance scales $\omega$.
-:::
-
-$\omega$에 따른 실제 생성 이미지를 비교해 봤을 때 생성 영상의 Quality 차이가 확연하게 들어난다. 즉 Distillation 시에도 CFG를 적용하는 것이 성능을 크게 개선할 수 있다는 것을 증명한다.
-
-### 4.3 Downstream Consistency Fine-tuning Results
-
-포켓몬 데이터셋과 심슨 데이터셋에 LCF를 적용했을 때를 비교하였다. 90%는 학습 데이터로, 10%는 검증 데이터로 사용했다. 완벽하진 않지만 Custom Dataset의 style을 잘 catch한 모습을 보여준다.
-
-:::{figure-md}
-
-
-Latent Consistency Fine-tuning(LCF) on two customized dataset.. $\omega$.
-:::
-
-# Conclusion
-
+```{admonition} Information
+- **Title:** Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference
+
+- **Reference**
+ - Paper: [https://arxiv.org/pdf/2310.04378](https://arxiv.org/pdf/2310.04378)
+ - Code: [https://github.com/luosiallen/latent-consistency-model](https://github.com/luosiallen/latent-consistency-model)
+ - Project Page: [https://latent-consistency-models.github.io/](https://latent-consistency-models.github.io/)
+
+- **Author:** Donghyun Han
+
+- **Last updated on May. 1, 2024**
+```
+
+# Latent Consistency Models
+
+## 1. Introduction
+
+Diffusion model은 다양한 분야에서 주목할만한 성과를 거두었지만 매우 느린 sampling 속도를 가지기 때문에 실시간 사용이 불가능하다. 이 같은 단점을 극복하기 위해 sampling 속도를 향상시키는 다양한 accelerating 방법이 제안되었다:
+
+
+
+1. ODE solver의 성능개선을 통해 10~20 step만으로도 좋은 성능을 가지는 방법.
+
+ - DPM-Solver ([lu et al.](https://arxiv.org/pdf/2206.00927))
+
+2. 사전 학습된 Diffusion model을 몇 step만으로도 추론할수 있도록 **distillation**하는 방법.
+
+ - PD (Progressive Distillation). → 2 stage ([Salimans et al.](https://arxiv.org/pdf/2202.00512))
+ - On Distillation of Guided Diffusion Models. ([Meng et al.](https://arxiv.org/pdf/2210.03142))
+ - Consistency Models ([Song et al.](https://arxiv.org/pdf/2303.01469))
+
+이중 특히 Consistency Models은 ODE-trajectory에 대한 일관성을 갖도록 하는 모델로서, single step만으로도 이미지를 생성할 수 있기 때문에 반복적인 계산이 필요하지 않다. 그러나 이 모델 또한 2가지의 단점을 가지고 있다:
+
+
+
+1. Pixel space의 Flow-based Model이기 때문에 **high-resolution 이미지 생성**에 적합하지 않음.
+2. Conditional(Classifer-free Guidance)한 이미지 생성을 고려하지 않아 **text2img**에 적합하지 않음.
+
+---
+
+본 논문의 제안점은 다음 3가지다:
+
+
+
+- 빠르고 high-resolution 이미지를 생성하기 위한 Latent Consistency Models(LCMs)를 제안한다. LCMs은 영상의 latent space에 Consistency Models 개념을 적용해 매우 적은 step 만으로도 **고품질의 이미지**를 생성할 수 있다.
+
+- guided consistency distillation을 통해 Stable Diffusion을 매우 적은 step(1~4)으로 sampling 할 수 있는 방법을 제공한다. **Skipping-Step**이라는 테크닉을 통해 학습을 가속화 한다. 2, 4 step Model의 경우 학습에 A100 GPU 32시간 밖에 걸리지 않으며 LAION-5B-Aesthetics dataset에서 SOTA의 성능을 달성했다.
+
+- LCMs에 대한 새로운 fine-tuning 방식인 Latent Consistency Fine-tuning을 통해 **빠른 추론 속도를 유지하면서도 Custom Dataset에 효율적으로 적용**할 수 있다.
+
+
+
+:::{figure-md}
+
+
+768x768 Resolution image in 1~4 steps.
+:::
+
+## 2. Preliminaries
+
+### Diffusion Models
+
+Diffusion Models 혹은 Score-based Models는 데이터에 점진적으로 Gaussian noise를 주입하고 reverse denoise process로 noise를 제거하여 데이터를 sampling하는 기법이다. 반면 forwad process는 원본 데이터 분포인 $p_{data}(x)$를 주변 확률분포인 $q_{t}(x_{t})$로 변환한다:
+
+$$
+q_{0t}(x_{t}|x_{0})=\mathcal{N}(x_t|\alpha(t)x_0,\sigma^2(t)I)
+$$
+
+여기서 $\alpha(t)$와 $\sigma(t)$는 noise scheduler를 의미한다. 연속적인 timestep의 관점에서 이를 확률미분방정식(Stochastic Differential Equation, SDE)으로 나타낼 수 있는데, 다음과 같다:
+
+$$
+f(t)=\frac{d\log{\alpha(t)}}{dt}, g^2(t)=\frac{d\sigma^2(t)}{dt}-2\frac{d\log{\alpha(t)}}{dt}\sigma^2(t). \tag{1}
+$$
+
+또한 주변 확률분포 $q_t(x)$는 **Ptobability Flow ODE(PF-ODE)**라는 상미분방정식(Ordinary Differential Equation, ODE)을 만족하는데 다음과 같다:
+
+$$
+\frac{dx_t}{dt}=f(x)x_t-\frac{1}{2}g^2(t)\nabla_x\log{q_t(x_t)}, \ x_T \sim q_T(x_T). \tag{2}
+$$
+
+이때 Diffusion model은 $-\nabla\log{q_t(x_t)}$(score function)를 예측하는 noise 예측 모델($\epsilon_\theta(x_t,t)$)을 학습시킨다. 학습된 모델은 score function의 근사치를 예측하고 sampling하는데 이를 empirical PF-ODE라 한다 (경험적 PF-ODE):
+
+$$
+\frac{dx_t}{dt}=f(t)x_t+\frac{g^2(t)}{2\sigma_t}\epsilon_\theta(x_t,t), \ x_T \sim \mathcal{N}(0, \tilde{\sigma}^2I). \tag{3}
+$$
+
+Classifier-Free Guidance (CFG)는 sampling의 퀄리티를 높이기 위해 GLIDE, Stable Diffusion, DALL$\cdot$E2, Imagen 등 다양한 conditional model에서 사용되었다. CFG의 scale $\omega$가 주어졌을 때 원본 noise prediction은 conditional, unconditional noise prediction을 선형적으로 혼합하여 대체된다:
+
+$$
+\tilde{\epsilon}_\theta(z_t,\omega, c,t)=(1+\omega)\epsilon_\theta(z_t, c,t)-\omega\epsilon_\theta(z, \emptyset, t).
+$$
+
+
+
+### Consistency Models
+
+Consistenct Model(CM)은 몇 step 혹은 한번의 step 만으로 데이터를 생성할 수 있는 모델이다. CM의 핵심은 **PF-ODE의 궤적에 어떤 point와 PF-ODE의 solution에 대해 mapping되는 function ($f:(x_t, t) \mapsto x_\epsilon$)을 추정**하는 것이다.
+
+:::{figure-md}
+
+
+Consistency Models (CM).
+:::
+
+$\epsilon$은 고정된 매우 작은 양수값을 가지며 CM의 function은 자기 자신에 대한 **self-consistency**를 만족해야한다. 즉 어떠한 time step에 대해서도 $x_\epsilon$을 sampling 할 수 있어야 한다.
+
+$$
+f(x_t,t)=f(x_{t'},t'), \forall t,t' \in [\epsilon, T]. \tag{4}
+$$
+
+$f_\theta(x, \epsilon)=x$를 만족하는 모델 $f_\theta$는 다음과 같이 정리할 수 있다:
+
+$$
+f_\theta(x,t)=c_{skip}(t)x+c_{out}(t)F_\theta(x,t). \tag{5}
+$$
+
+$c_{skip}(t)$와 $c_{out}(t)$는 미분 가능한 함수이며 $c_{skip}=1, c_{out}=0$이기 때문에 $f_\theta(x, \epsilon)=x$를 만족한다. $\theta$는 학습 가능한 파라미터로 $F_\theta$는 심층 신경망을 의미한다.
+
+
+
+CM은 pre-trained 모델에 대한 Distillation 방식과 scratch부터 학습하는 방식이 있는데 주로 **Distillation 방식**을 사용한다. Distillation 방식은 parameter $\theta^-$가 $\theta$를 통해 학습하며 모델에 대한 self-consistency를 위해 다음과 같이 손실함수를 구성한다:
+
+$$
+\mathcal{L}(\theta,\theta^-;\Phi)=\mathbb{E}_{x,t}\bigg[d\bigg(f_\theta(x_{t_{n+1}, t_{n+1}}), f_{\theta^-}(\hat{x}^\phi_{t_n}, t_n)\bigg)\bigg]. \tag{6}
+$$
+
+이 때 $\theta^-$는 $\theta$에 대한 지수평균이동(Exponential Moving Average, EMA)이며 $\theta^- \leftarrow \mu\theta^-+(1-\mu)\theta$이다. $d(\cdot, \cdot)$은 두 sample 사이의 거리를 측정하는 지표이다. $\hat{x}^{\phi}_{t_n}$은 $x_{t_{n+1}}$에 대한 $x_{t_n}$을 추정한 값으로 다음과 같다:
+
+$$
+\hat{x}^\phi_{t_n} \leftarrow x_{t_{n+1}}+(t_{n}-t_{n+1})\Phi(x_{t_{n+1}}, t_{n+1};\phi). \tag{7}
+$$
+
+$\Phi$는 PF-ODE에 사용되는 ODE Solver로 [Euler](https://en.wikipedia.org/wiki/Euler_method)나 [Heun](https://en.wikipedia.org/wiki/Heun%27s_method) Method등의 수치적인 ODE solver를 사용할 수 있다. 즉 Consistency Distillation은 ODE Solver로 예측한 $\hat{x}^{\phi}_{t_n}$과 $x_{t_{n+1}}$을 입력으로 $f_{\theta^-}$와 $f_\theta$로 **예측한 값의 Consistency를 비교하는 방식으로 Distillation을 수행**한다.
+
+## 3. Latent Consistency Models
+
+CM의 한계:
+
+- ImageNet 64x64, LSUN 256x256 영상에 대한 Generation만 수행
+
+ - **High Resolution**의 잠재성이 아직 탐구되지 않았음.
+ - **Classifier-free Guidance(CFG)** 등을 사용하지 않음.
+
+Latent Consistency Models(LCMs)는 CM의 잠재력을 충분히 발휘하여 좀더 도전적인 task를 수행한다.
+
+### 3.1 Consistency Distillation in the Latent Space
+
+본 논문에서는 pre-trained 된 Stable Diffusion에 Consistency Distillation을 적용한 Latent Consistency Distillation (LCD)을 제안한다. LCMs는 LDM(SD)을 기반으로 설계되었기 때문에 $z=\varepsilon(x)$를 통해 $x$를 latent vector로 임베딩하고 $\hat{x}=\mathcal{D}(z)$를 통해 원본 영상으로 복원한다. latent space 상에서 연산이 이뤄지기 때문에 **Computation Cost를 크게 줄일 수 있어** high-resolution 영상을 laptop GPU에서 생성할 수도 있다.
+
+condition을 추가한 PF-ODE의 reverse process는 다음과 같이 정의된다:
+
+$$
+\frac{dz_t}{dt}=f(t)z_t+\frac{g^2(t)}{2\sigma_t}\epsilon_\theta(z_t,c,t), \ z_T\sim\mathcal{N}(0,\tilde{\sigma}^2I). \tag{8}
+$$
+
+$z_t$는 t step의 image latents, $\epsilon_\theta(z_t,c,t)$는 noise 예측 모델, c는 text와 같은 conditional prompt를 의미한다. PF-ODE상에서 모든 t step에 대해 consistency function $f_\theta :(z_t,c,t) \mapsto z_0$이기 때문에 이를 수식으로 정리하자면 다음과 같이 나타낼 수 있다 ($\hat{\epsilon}_\theta$는 noise prediction model.):
+
+$$
+f_\theta(z,c,t)=c_{skip}(t)z+c_{out}(t)\bigg( \frac{z-\sigma_t\hat{\epsilon}_\theta(z,c,t)}{\alpha_t} \bigg). \ (\epsilon-Prediction) \tag{9}
+$$
+
+수식을 살펴보면 ddpm 등의 reparameterization trick인 $x_t := \sqrt{\bar{\alpha}_t}x_0 + \sqrt{1-\bar{\alpha}_t}\epsilon$을 변형하여 식에 대입한 것을 알 수 있음. ($x$→$z$로 치환)
+
+$$
+x_0 = \frac{x_t-\sqrt{1-\bar{\alpha}_t}\epsilon}{\sqrt{\bar{\alpha}_t}}, \ \hat{z}_0 = \frac{z_t-\sigma(t)\hat{\epsilon}_{\theta}(z,c,t)}{\alpha(t)}.
+$$
+
+CM과 마찬가지로 $c_{skip}(0)=1, c_{out}(0)=0$이고 $\hat{\epsilon}_{\theta}(z,c,t)$는 teacher diffusion model과 유사한 noise 예측 모델 parameter이다. $f_\theta$는 $\epsilon-Prediction$ 외에도 $x-Prediction$이나 $v-Prediction$을 사용할 수도 있다. ($x-Prediction$은 DDPM, $v-prediction$은 PD에서 나온 개념)
+
+$$
+\mathcal{L_{CD}}(\theta,\theta^-;\psi)=\mathbb{E}_{z,c,n}\bigg[ d(f_\theta(z_{t_{n+1}},c,t_{n+1}), f_{\theta^-}(\hat{z}^\psi_{t_n},c,t_n)) \bigg]. \tag{10}
+$$
+
+$\psi(z_t,t,x,c)$는 ODE solver이며 특정한 time step $t \sim s$ 사이에 대한 Eq. 8의 우항을 근사한 값이다. ODE Solver이기 때문에 **DDIM, DPM-Solver, DPM-Solver++ 등을 사용할 수 있다.** 또한 $\psi$는 학습 및 Distillation시에만 사용한다. 이때 $t_n$은 EDM을 토대로 CM에서 나오는 값이다. 기존 timestep $[t, T]$에 대한 하위 간격으로 $t_1=\epsilon
+
+2 Stage Distillation.
+:::
+
+t이에 반해 LCMs는 augmented PF-ODE를 해결하는 방식으로 one-stage의 guided Distillation을 제안했다. 일단 CFG에 대한 reverse diffusion process는 다음과 같다:
+
+$$
+\tilde{\epsilon}_{\theta}(z_t,\omega,c,t):=(1+\omega)\epsilon_\theta(z_t,c,t)-\omega\epsilon_\theta(z_t,\varnothing,t). \tag{12}
+$$
+
+CFG는 conditional noise 예측값과 unconditional noise 예측값을 선형 결합하여 사용한다. 즉 noise 값이 $\omega$에 따라 변형되므로 **augmented PF-ODE**라고 한다. augmented PF-ODE는 다음과 같이 나타낼 수 있다:
+
+$$
+\frac{dz_t}{dt}=f(t)z_t+\frac{g^2(t)}{2\sigma_t}\tilde{\epsilon}_\theta(z_t,\omega,c,t), \ z_T\sim\mathcal{N}(0,\tilde{\sigma}^2I). \tag{13}
+$$
+
+consistency function도 $\omega$를 변수로 받아오기 때문에 $f_\theta:(z_t,\omega,c,t)\mapsto z_0$로 다시 정의된다. Consistency Distillation Loss 또한 다음과 같이 나타낼 수 있다:
+
+$$
+\mathcal{L_{CD}}(\theta,\theta^-;\psi)=\mathbb{E}_{z,c,\omega,n}\bigg[ d\bigg( f_\theta(z_{t_{n+1}},\omega,c,t_{n+1}), f_{\theta^-}(\hat{z}_{t_n}^{\psi,\omega},\omega,c,t_n) \bigg) \bigg] \tag{14}
+$$
+
+$\omega$와 $n$는 각각 $[\omega_{min}, \omega_{max}]$, $\{1,…,N-1\}$에서 sampling된다. $\hat{z}^{\psi, \omega}_{t_n}$는 이전과 마찬가지로 CFG가 추가된 ODE-Solver를 사용하여 근사한 값을 의미한다. 이때 사용되는 새로운 noise 예측모델 $\tilde{\epsilon}_\theta(z_t,\omega,c,t)$는 Eq. 11처럼 $t_{n+1} \sim t_n$까지 t에 대해 적분 했을 때 다음과 같이 나타낼 수 있다:
+
+$$
+\hat{z}^{\psi, \omega}_{t_n}-z_{t_n+1}=\int^{t_n}_{t_{n+1}}\bigg(f(t)z_t+\frac{g^2(t)}{2\sigma_t}\tilde{\epsilon}_\theta(z_t,\omega,c,t)\bigg)dt
+$$
+$$
+=(1+\omega)\int^{t_n}_{t_{n+1}}\bigg(f(t)z_t+\frac{g^2(t)}{2\sigma_t}\epsilon_\theta(z_t,c,t)\bigg)dt
+$$
+$$
+-\omega\int^{t_n}_{t_{n+1}}\bigg(f(t)z_t+\frac{g^2(t)}{2\sigma_t}\epsilon_\theta(z_t,\varnothing,t)\bigg)dt
+$$
+$$
+\approx(1+\omega)\psi(z_{t_{n+1}}, t_{n+1},t_n,c)-\omega\psi(z_{t_{n+1}}, t_{n+1},t_n,\varnothing). \tag{15}
+$$
+
+마찬가지로 PF-ODE Solver $\psi(\cdot,\cdot,\cdot,\cdot)$에는 DDIM, DPM-Solver, DPM-Solver++ 등을 사용할 수 있다.
+
+### 3.3 Accelerating Distillation with Skipping Time Steps
+
+Stable Diffusion 등 보통의 Diffusion Model들은 매우 큰 step을 전체 time step으로 잡고 학습한다. 그러나 이같이 촘촘한 time step은 각 $t_n$과 $t_{n+1}$의 변화량을 감소시키기 때문에 자연스럽게 Consistency Distillation Loss도 작아지게 된다. **Loss가 작아지면 학습의 수렴속도도 느려지게 된다.** 따라서 LCMs는 학습 수렴의 속도를 높이기 위해 time step을 수천에서 수십으로 크기 단축시키는 SKIPPING-STEP 방법을 제안하였다.
+
+기존 CMs 모델의 경우 time scheduler로 EDM을 사용하고 ODE-Solver로 Euler 방법이나 Heun 방법을 사용한다. 그러나 LCMs는 Eq. 8을 통해 DDIM, DPM-Solver, DPM-Solver++와 같은 효율적인 solver도 효과적으로 데이터를 생성할 수 있다는 것을 증명했다. 따라서 **SKIPPING-STEP 방법은 $t_{n+1} → t_n$ 사이의 Consistency를 비교하는것이 아니라 특정 k-step만큼 거리가 있는 time step에 대한 Consistency를 비교한다.** ($t_{n+k}→t_n$)
+
+이때 $k$값의 크기는 trade-off 관계를 가진다. 너무작으면 ($k=1$) 기존과 같이 느린 수렴속도를 갖게되며, 너무 큰 값일 때는 ODE solver 를 통해 근사할 때 오차가 매우 커질수 있다. 논문의 저자는 $k=20$을 사용해 **time step을 수천에서 수십으로 대폭 줄여** 학습을 Accelerating 할 수 있었다. Eq. 14에 k값을 추가해 SKIPPING-STEP을 표현할 수 있다.
+
+$$
+\mathcal{L_{CD}}(\theta,\theta^-;\psi)=\mathbb{E}_{z,c,\omega,n}\bigg[ d\bigg( f_\theta(z_{t_{n+k}},\omega,c,t_{n+k}), f_{\theta^-}(\hat{z}_{t_n}^{\psi,\omega},\omega,c,t_n) \bigg) \bigg]. \tag{16}
+$$
+
+$\hat{z}^{\psi, \omega}_{t_n}$에 대한 수식도 다음과 같이 변경할 수 있다.
+
+$$
+\hat{z}^{\psi, \omega}_{t_n} \leftarrow z_{t_{n+k}}+(1+\omega)\psi(z_{t_{n+k}}, t_{n+k},t_n,c)-\omega\psi(z_{t_{n+k}}, t_{n+k},t_n,\varnothing). \tag{17}
+$$
+
+## 3.4 Latent Consistency Fine-tuning for customized dataset
+
+Stable Diffusion과 같은 Foundation 생성 모델은 거의 대부분의 text-to-image Generation task에서 잘 되지만 가끔 downstream task를 위해 Cunstom dataset에 대한 fine-tuning이 필요할 때가 있다. Latent Consistency Fine-tuning(LCF)는 Custom Dataset도 teacher model에 대한 종속없이 few-step inference를 성공적으로 할수 있도록 한다. 따라서 LCM은 **기존의 Diffusion model에 대한 추가적인 fine tuning 방법론 없이도 Custom Dataset을 바로바로 학습하여 사용**할수 있다.
+
+따로 추가적인 fine-tuning 방법이 있는것은 아니고 Consisteny Distillation 시 pre-trained 된 LDM을 사용하여 EMA를 통해 Distillation을 하기 때문에 Dataset을 Custom Dataset으로 사용하기만하면 된다. 즉 pre-trained Diffuson model → Custom Dataset fine-tuning → few step inference를 위한 Consistency Distillation을 할 필요 없이 바로학습이 가능하다는 의미이다.
+
+## 4. Experiments
+
+### 4.1 Text-To-Image Generation
+
+3가지 데이터셋에 대한 평가를 진행했다. (LAION-5B, LAION-Aesthetics-6+(12M), LAION-Aesthetics-6.5+(650k)) 앞서말한것처럼 하나의 Resolution이 아닌 512x512, 768x768의 high resolution을 생성했다. 512 size는 $\epsilon$-prediction, 768 size는 $v$-prediction을 사용했고 ODE-Solver로는 DDIM을 사용했다. 앞서말한것처럼 SKIPPING-STEP은 20의 값을 가진다.
+
+:::{figure-md}
+
+
+Quantitative results at 512 x 512 & 768 x 768 resolution.
+:::
+
+:::{figure-md}
+
+
+Qualitative results on LAION-Aesthetic-6.5+ Dataset. (2,4 steps)
+:::
+
+DDIM, DPM-Solver, DPM-Solver++, Guided-Distill 4가지 모델에 대해 LCM과 성능비교를 했는데 이때 Guided-Distill은 오픈소스 코드가 없기 때문에 논문의 내용과 동일하게 Implementation 해서 성능을 비교하였다. LCM은 같은 메모리 Cost 대비 더 빠르게 수렴하고 더 좋은 품질의 영상을 생성하였다. 특히 Guided-Distill은 2 stage Distillation이지만 LCM은 **1 Stage**만 사용해도 이같은 성능을 보여줬다.
+
+### 4.2 Abulation Study
+
+#### ODE Solvers & Skipping-Step Schedule
+
+augmented PF-ODE를 푸는 solver들(DDIM, DPM, DPM++)을 LCM에 사용할 때 성능 비교와 SKIPPING-STEP schedule의 $k$값에 따른 성능 변화를 비교하였다. 모든 모델은 2,000 iteration에서의 4-step inference로 고정해서 비교했다.
+
+:::{figure-md}
+
+
+Different ODE solvers and skipping step k.
+:::
+
+Skipping step의 경우 $k$ 값을 올렸을 때 훨씬더 빠르게 수렴하며 때때로 더 좋은 FID 값을 보여주었다. 또한 DPM과 DPM++은 $k$가 50일 때 DDIM보다 더 좋은 성능을 보였다. 이는 **$k$ 값이 클수록 더 큰 ODE approximation error를 가지는 DDIM에 비해 오차가 적기 때문**이다.
+
+$k=20$일 때, 3가지 모델 모두 좋은 성능이 보였다.
+
+#### The Effect of Guidance Scale $\omega$
+
+일반적으로 $\omega$값이 클수록 CLIP score 같은 품질의 지표는 좋아지지만 작을수록 다양성이 떨어져 FID Score가 떨어진다. 즉 $\omega$의 크기는 **Quality와 Diversity에 대한 trade-off가 있다.**
+
+:::{figure-md}
+
+
+Different classifier-free guidance scales $\omega$.
+:::
+
+그래프를 보면 2~8 step inference는 성능에 큰 차이를 가지지는 않는것으로 확인된다. 그러나 **1 step inference는 아직 개선의 여지가 있는것**을 확인할 수 있다.
+
+:::{figure-md}
+
+
+Different classifier-free guidance scales $\omega$.
+:::
+
+$\omega$에 따른 실제 생성 이미지를 비교해 봤을 때 생성 영상의 Quality 차이가 확연하게 들어난다. 즉 Distillation 시에도 CFG를 적용하는 것이 성능을 크게 개선할 수 있다는 것을 증명한다.
+
+### 4.3 Downstream Consistency Fine-tuning Results
+
+포켓몬 데이터셋과 심슨 데이터셋에 LCF를 적용했을 때를 비교하였다. 90%는 학습 데이터로, 10%는 검증 데이터로 사용했다. 완벽하진 않지만 Custom Dataset의 style을 잘 catch한 모습을 보여준다.
+
+:::{figure-md}
+
+
+Latent Consistency Fine-tuning(LCF) on two customized dataset.. $\omega$.
+:::
+
+# Conclusion
+
LCM은 Consistency Distillation을 Latent 상에 적용하여 **고화질의 영상을 매우 적은 time step으로 inference 할 수 있도록 한 모델**이다. 즉 성능 좋고 고해상도의 영상을 few-step으로 가능하게 만들었다. 특히 Custom Dataset에도 Distillation을 적용했을 때 적은 time step으로도 어느정도의 style을 간단하게 학습하는 결과를 보여주었다.
\ No newline at end of file
diff --git a/_sources/docs/review/magic-3d.md b/_sources/docs/review/magic-3d.md
index 108bcaf5..f515bdfb 100755
--- a/_sources/docs/review/magic-3d.md
+++ b/_sources/docs/review/magic-3d.md
@@ -1,185 +1,185 @@
-``` {admonition} Information
-- **Title:** Magic3D: High-Resolution Text-to-3D Content Creation (CVPR 2023)
-
-- **Reference**
- - Paper: [https://arxiv.org/pdf/2211.10440](https://arxiv.org/pdf/2211.10440)
-
-- **Author:** Sangwoo Jo
-
-- **Last updated on Sep. 24, 2024**
-```
-
-# Magic3D
-
-## 1. Introduction
-
-Pre-trained 된 text-to-image diffusion model 을 활용하여 NeRF 를 optimize 하는 DreamFusion 모델의 두 가지 단점을 명시합니다.
-
-- Extremely slow optimization of NeRF
-- Low-resolution image (64x64) space supervision on NeRF, leading to low-quality 3D models with a long processing time (1.5 hours per prompt on average using TPUv4)
-
-따라서, 논문에서는 이러한 단점을 해결하기 위해 two-stage optimization framework 제시합니다. 첫번째 단계로 DreamFusion 과 동일하게 coarse 한 NeRF representation 을 optimize 하는데, hash grid 를 활용하여 memory 그리고 computationally efficient 하게 최적화합니다. 두번째 단계로 high resolution diffusion prior 를 기반으로 mesh representation 를 최적화합니다. 3D mesh 로 rasterizing 함으로써 graphics software 에 유동적으로 전환하여 사용할 수 있다는 장점이 있습니다.
-
-정리하자면, Magic3D 는 다음과 같은 contribution 을 제공합니다.
-
-- Synthesizes 3D content with an 8× higher resolution supervision, is also
-2× faster than DreamFusion
-- 3D object editing
-
-## 3. Background: DreamFusion
-
-DreamFusion 을 크게 두 가지 component 로 구성되어있다고 할 수 있습니다.
-
-- Neural scene representation
-
- Volumetric renderer $g$ 와 3D volume 을 나타내는 parameter $\theta$ 를 입력받아 rendered image 를 생성하는 scene model $x=g(\theta)$ 를 정의합니다. DreamFusion 에서는 scene model 로 Mip-NeRF 360 에서 shading model 를 추가하여 사용합니다.
-
-- Pre-trained text-to-image diffusion-based generative model $\phi$
-
- DreamFusion 에서 diffusion model 로 Imagen 모델을 사용합니다.
-
-
-이를 기반으로, 다음과 같은 Score Distillation Sampling (SDS) 을 통해 parameter $\theta$ 를 update 합니다.
-
-:::{figure-md}
-
-
-Score Distillation Sampling
-:::
-
-## 4. High-Resolution 3D Generation
-
-Magic3D 에서 high-resolution text-to-3D synthesis 를 위한 two-stage coarse-to-fine framework 를 다음과 같이 소개합니다.
-
-:::{figure-md}
-
-
-Magic3D Framework
-:::
-
-### 4.1. Coarse-to-fine Diffusion Priors
-
-1) 64x64 rendered image 에 대한 rendered loss 를 계산하기 위해 Imagen 과 유사한 eDiff-I 를 base diffusion 모델로 사용합니다.
-
-2) 512x512 high resolution rendered image 를 기반으로 backpropagation 할 수 있도록 Stable Diffusion model 을 LDM 으로 사용합니다. 다음과 같이 SDS 를 계산하는 과정에서 $\partial{x}/\partial{\theta}$ 와 $\partial{z}/\partial{x}$ 를 계산하는데 시간이 다소 소요된다고 합니다.
-
-:::{figure-md}
-
-
-SDS in high resolution 512x512
-:::
-
-### 4.2. Scene Models
-
-**Neural fields as coarse scene models**
-
-기존에 DreamFusion 에서 scene model 로 사용하였던 Mip-NeRF 360 모델이 3D geometry 에 대한 정보를 scratch 로부터 담아내는데 유용하다는 것을 보였지만, MLP 네트워크를 통해 dense 하게 sampling 하여 rendering 하는 과정이 computation cost 가 높다고 말합니다.
-
-이를 해결하기 위한 방법으로 InstantNGP 에서 소개하는 hash grid encoding 을 사용한다고 합니다. Hash grid 를 활용하여 두 개의 single layer neural network 를 학습하는데, 하나는 albedo 와 density 그리고 나머지 하나는 normal 을 예측합니다. 또한, density-based voxel pruning (empty space 에 대한 처리) 과 octree-based ray sampling/rendering 기법을 활용하여 computation cost 를 줄였다고 합니다.
-
-**Textured meshes as fine scene models**
-
-Fine stage 에서도 high resolution image 를 기반으로 동일한 scene model (neural field) 을 학습하는 방식도 있지만, 아래 예시처럼 메모리와 연산적인 제한이 있어 좋은 성능을 내기가 어렵다고 합니다.
-
-따라서, Magic3D 에서는 textured 3D mesh 를 scene representation 으로 사용합니다. 더 자세하게는, 다음과 같은 tetrahedral grid $(V_T,T)$ 형태로 3D mesh 를 표현합니다. 이때, $V_T$ 는 grid $T$ 에 존재하는 vertices 를 의미하고, 각 vertex $v_i \in V_T \subset \mathbb{R}^3$ 는 signed distance field (SDF) $s_i \in \mathbb{R}^3$ 그리고 deformation $\Delta v_i \in \mathbb{R}^3$ 값을 가집니다.
-
-이로부터 differentiable 한 marching tetrahedra 알고리즘을 통해 SDF 로부터 surface mesh 를 생성할 수 있으며, texture 에 대한 정보는 neural color field 로 정의할 수 있다고 합니다.
-
-### 4.3. Coarse-to-fine Optimization
-
-**Neural field optimization**
-
-Instant NGP 와 동일하게 $256^3$ resolution 의 occupancy grid 로 initialize 하고, 10 iterations 마다 grid 를 업데이트하며 empty space skipping 을 위한 octree 를 생성합니다. 매 업데이트마다 Instant NGP 와 동일한 파라미터 값을 설정하였다고 합니다.
-
-또한, DreamFusion 과 동일하게 background 를 표현하는 environment map MLP 를 사용하는데, 이때 Mip-NeRF 360 에서 사용하는 scene representation 을 사용할 수 없어, 모델이 background 로부터 object 에 대한 정보를 학습할 수 있어 이를 방지하기 위해 MLP 사이즈를 작게 하고 learning rate 를 10배 증가시켰다고 합니다.
-
-**Mesh optimization**
-
-Mesh 에 대한 optimization 을 진행하기 위해, 앞서 최적화한 coarse neural field 를 non-zero constant 를 차감함으로써 SDF 로 전환하고, texture field 는 coarse stage 에서 최적화된 color field 로 초기값을 설정합니다.
-
-최적화 단계를 진행할때, differentiable rasterizer 를 사용하여 surface mesh 를 rendering 하는 작업을 진행합니다. 각 vertex $v_i$ 에 대해 앞서 정의한 high resolution 에서의 SDS gradient 를 통해 $s_i$ 와 $\Delta v_i$ 를 최적화하게 됩니다. 이때, rendering 하는 과정에서 각 pixel 에 해당하는 3D coordinate 를 추적하여 texture field 도 동시에 최적화합니다.
-
-## 5. Experiments
-
-DreamFusion 과 397 개의 text prompt 에 대한 성능을 비교합니다.
-
-**Speed evaluation**
-
-- Coarse stage : 5000 iterations / 1024 samples / batch size 32 와 같은 설정으로 학습하였고, 하나의 객체를 생성하는데 8 NVIDIA A100 GPU 기준 15 분 소요된다고 합니다.
-- Fine stage : 3000 iterations / batch size 32 와 같은 설정으로 학습하였고, 하나의 객체를 생성하는데 8 NVIDIA A100 GPU 기준 25 분 소요된다고 합니다.
-
-**Qualitative comparisons**
-
-3D 객체에서의 geometry 와 texture 에 대한 생성을 잘하는 부분을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Qualitative comparisons
-:::
-
-**User studies**
-
-397 개의 text prompt 을 입력받아 생성한 Magic3D 와 DreamFusion 로 생성한 3D 객체들에 대해 설문조사해본 결과, 61.7% 의 유저들이 Magic3D 모델을 더 우세하게 평가하였습니다.
-
-:::{figure-md}
-
-
-User studies
-:::
-
-**Can single-stage optimization work with LDM prior?**
-
-LDM prior 를 활용한 single-stage optimization setup 으로 scene model 을 최적화할 시에 대한 ablation study 를 진행해본 결과, 성능이 좋지 않은 부분을 확인할 수 있었다고 합니다.
-
-:::{figure-md}
-
-
-Single-stage vs Coarse-to-fine
-:::
-
-**Can we use NeRF for the fine model?**
-
-NeRF 를 scratch 로부터 single-step 으로 최적화하는 것은 어렵지만, fine stage 에서 scene model 을 NeRF 로 변경하는 것은 가능합니다. 위 그림의 하단 4개 그림 중 좌측, 우측 사진이 각각 coarse stage 그리고 fine stage 에서 NeRF 를 학습한 결과입니다.
-
-**Coarse models vs. fine models**
-
-동일한 coarse model 에 대해서 NeRF 와 Mesh 모델을 모두 fine-tuning 한 결과, 모두 좋은 성능을 보이고 fine-tuned 된 mesh 모델이 특히 3D 객체 퀄리티를 실사적으로 잘 표현하는 것을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Coarse models vs. fine models
-:::
-
-## 6. Controllable 3D Generation
-
-**Personalized text-to-3D**
-
-사전에 diffusion model (eDiff-I, LDM) 을 DreamBooth 을 통해 학습하고, unique identifier $[V]$ 와 함께 3D scene model 을 학습합니다. 아래 사진과 같이, subject 에 대한 정보를 유지한 채 3D model 을 잘 생성하는 부분을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Controllable 3D Generation
-:::
-
-**Prompt-based editing through fine-tuning**
-
-다음과 같은 3단계로 prompt-based editing 으로 fine-tuning 을 진행합니다.
-
-1) 우선, coarse model 을 base prompt 로 학습합니다.
-
-2) Base prompt 를 수정한 후, coarse NeRF 모델을 학습하고 이와 LDM 을 기반으로 high resolution NeRF 모델을 만듭니다.
-
-3) 마지막으로, NeRF 모델을 기반으로 high-resolution fine-tuning 을 진행합니다.
-
-:::{figure-md}
-
-
-Prompt-based editing through fine-tuning
-:::
-
-## 7. Conclusion
-
+``` {admonition} Information
+- **Title:** Magic3D: High-Resolution Text-to-3D Content Creation (CVPR 2023)
+
+- **Reference**
+ - Paper: [https://arxiv.org/pdf/2211.10440](https://arxiv.org/pdf/2211.10440)
+
+- **Author:** Sangwoo Jo
+
+- **Last updated on Sep. 24, 2024**
+```
+
+# Magic3D
+
+## 1. Introduction
+
+Pre-trained 된 text-to-image diffusion model 을 활용하여 NeRF 를 optimize 하는 DreamFusion 모델의 두 가지 단점을 명시합니다.
+
+- Extremely slow optimization of NeRF
+- Low-resolution image (64x64) space supervision on NeRF, leading to low-quality 3D models with a long processing time (1.5 hours per prompt on average using TPUv4)
+
+따라서, 논문에서는 이러한 단점을 해결하기 위해 two-stage optimization framework 제시합니다. 첫번째 단계로 DreamFusion 과 동일하게 coarse 한 NeRF representation 을 optimize 하는데, hash grid 를 활용하여 memory 그리고 computationally efficient 하게 최적화합니다. 두번째 단계로 high resolution diffusion prior 를 기반으로 mesh representation 를 최적화합니다. 3D mesh 로 rasterizing 함으로써 graphics software 에 유동적으로 전환하여 사용할 수 있다는 장점이 있습니다.
+
+정리하자면, Magic3D 는 다음과 같은 contribution 을 제공합니다.
+
+- Synthesizes 3D content with an 8× higher resolution supervision, is also
+2× faster than DreamFusion
+- 3D object editing
+
+## 3. Background: DreamFusion
+
+DreamFusion 을 크게 두 가지 component 로 구성되어있다고 할 수 있습니다.
+
+- Neural scene representation
+
+ Volumetric renderer $g$ 와 3D volume 을 나타내는 parameter $\theta$ 를 입력받아 rendered image 를 생성하는 scene model $x=g(\theta)$ 를 정의합니다. DreamFusion 에서는 scene model 로 Mip-NeRF 360 에서 shading model 를 추가하여 사용합니다.
+
+- Pre-trained text-to-image diffusion-based generative model $\phi$
+
+ DreamFusion 에서 diffusion model 로 Imagen 모델을 사용합니다.
+
+
+이를 기반으로, 다음과 같은 Score Distillation Sampling (SDS) 을 통해 parameter $\theta$ 를 update 합니다.
+
+:::{figure-md}
+
+
+Score Distillation Sampling
+:::
+
+## 4. High-Resolution 3D Generation
+
+Magic3D 에서 high-resolution text-to-3D synthesis 를 위한 two-stage coarse-to-fine framework 를 다음과 같이 소개합니다.
+
+:::{figure-md}
+
+
+Magic3D Framework
+:::
+
+### 4.1. Coarse-to-fine Diffusion Priors
+
+1) 64x64 rendered image 에 대한 rendered loss 를 계산하기 위해 Imagen 과 유사한 eDiff-I 를 base diffusion 모델로 사용합니다.
+
+2) 512x512 high resolution rendered image 를 기반으로 backpropagation 할 수 있도록 Stable Diffusion model 을 LDM 으로 사용합니다. 다음과 같이 SDS 를 계산하는 과정에서 $\partial{x}/\partial{\theta}$ 와 $\partial{z}/\partial{x}$ 를 계산하는데 시간이 다소 소요된다고 합니다.
+
+:::{figure-md}
+
+
+SDS in high resolution 512x512
+:::
+
+### 4.2. Scene Models
+
+**Neural fields as coarse scene models**
+
+기존에 DreamFusion 에서 scene model 로 사용하였던 Mip-NeRF 360 모델이 3D geometry 에 대한 정보를 scratch 로부터 담아내는데 유용하다는 것을 보였지만, MLP 네트워크를 통해 dense 하게 sampling 하여 rendering 하는 과정이 computation cost 가 높다고 말합니다.
+
+이를 해결하기 위한 방법으로 InstantNGP 에서 소개하는 hash grid encoding 을 사용한다고 합니다. Hash grid 를 활용하여 두 개의 single layer neural network 를 학습하는데, 하나는 albedo 와 density 그리고 나머지 하나는 normal 을 예측합니다. 또한, density-based voxel pruning (empty space 에 대한 처리) 과 octree-based ray sampling/rendering 기법을 활용하여 computation cost 를 줄였다고 합니다.
+
+**Textured meshes as fine scene models**
+
+Fine stage 에서도 high resolution image 를 기반으로 동일한 scene model (neural field) 을 학습하는 방식도 있지만, 아래 예시처럼 메모리와 연산적인 제한이 있어 좋은 성능을 내기가 어렵다고 합니다.
+
+따라서, Magic3D 에서는 textured 3D mesh 를 scene representation 으로 사용합니다. 더 자세하게는, 다음과 같은 tetrahedral grid $(V_T,T)$ 형태로 3D mesh 를 표현합니다. 이때, $V_T$ 는 grid $T$ 에 존재하는 vertices 를 의미하고, 각 vertex $v_i \in V_T \subset \mathbb{R}^3$ 는 signed distance field (SDF) $s_i \in \mathbb{R}^3$ 그리고 deformation $\Delta v_i \in \mathbb{R}^3$ 값을 가집니다.
+
+이로부터 differentiable 한 marching tetrahedra 알고리즘을 통해 SDF 로부터 surface mesh 를 생성할 수 있으며, texture 에 대한 정보는 neural color field 로 정의할 수 있다고 합니다.
+
+### 4.3. Coarse-to-fine Optimization
+
+**Neural field optimization**
+
+Instant NGP 와 동일하게 $256^3$ resolution 의 occupancy grid 로 initialize 하고, 10 iterations 마다 grid 를 업데이트하며 empty space skipping 을 위한 octree 를 생성합니다. 매 업데이트마다 Instant NGP 와 동일한 파라미터 값을 설정하였다고 합니다.
+
+또한, DreamFusion 과 동일하게 background 를 표현하는 environment map MLP 를 사용하는데, 이때 Mip-NeRF 360 에서 사용하는 scene representation 을 사용할 수 없어, 모델이 background 로부터 object 에 대한 정보를 학습할 수 있어 이를 방지하기 위해 MLP 사이즈를 작게 하고 learning rate 를 10배 증가시켰다고 합니다.
+
+**Mesh optimization**
+
+Mesh 에 대한 optimization 을 진행하기 위해, 앞서 최적화한 coarse neural field 를 non-zero constant 를 차감함으로써 SDF 로 전환하고, texture field 는 coarse stage 에서 최적화된 color field 로 초기값을 설정합니다.
+
+최적화 단계를 진행할때, differentiable rasterizer 를 사용하여 surface mesh 를 rendering 하는 작업을 진행합니다. 각 vertex $v_i$ 에 대해 앞서 정의한 high resolution 에서의 SDS gradient 를 통해 $s_i$ 와 $\Delta v_i$ 를 최적화하게 됩니다. 이때, rendering 하는 과정에서 각 pixel 에 해당하는 3D coordinate 를 추적하여 texture field 도 동시에 최적화합니다.
+
+## 5. Experiments
+
+DreamFusion 과 397 개의 text prompt 에 대한 성능을 비교합니다.
+
+**Speed evaluation**
+
+- Coarse stage : 5000 iterations / 1024 samples / batch size 32 와 같은 설정으로 학습하였고, 하나의 객체를 생성하는데 8 NVIDIA A100 GPU 기준 15 분 소요된다고 합니다.
+- Fine stage : 3000 iterations / batch size 32 와 같은 설정으로 학습하였고, 하나의 객체를 생성하는데 8 NVIDIA A100 GPU 기준 25 분 소요된다고 합니다.
+
+**Qualitative comparisons**
+
+3D 객체에서의 geometry 와 texture 에 대한 생성을 잘하는 부분을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Qualitative comparisons
+:::
+
+**User studies**
+
+397 개의 text prompt 을 입력받아 생성한 Magic3D 와 DreamFusion 로 생성한 3D 객체들에 대해 설문조사해본 결과, 61.7% 의 유저들이 Magic3D 모델을 더 우세하게 평가하였습니다.
+
+:::{figure-md}
+
+
+User studies
+:::
+
+**Can single-stage optimization work with LDM prior?**
+
+LDM prior 를 활용한 single-stage optimization setup 으로 scene model 을 최적화할 시에 대한 ablation study 를 진행해본 결과, 성능이 좋지 않은 부분을 확인할 수 있었다고 합니다.
+
+:::{figure-md}
+
+
+Single-stage vs Coarse-to-fine
+:::
+
+**Can we use NeRF for the fine model?**
+
+NeRF 를 scratch 로부터 single-step 으로 최적화하는 것은 어렵지만, fine stage 에서 scene model 을 NeRF 로 변경하는 것은 가능합니다. 위 그림의 하단 4개 그림 중 좌측, 우측 사진이 각각 coarse stage 그리고 fine stage 에서 NeRF 를 학습한 결과입니다.
+
+**Coarse models vs. fine models**
+
+동일한 coarse model 에 대해서 NeRF 와 Mesh 모델을 모두 fine-tuning 한 결과, 모두 좋은 성능을 보이고 fine-tuned 된 mesh 모델이 특히 3D 객체 퀄리티를 실사적으로 잘 표현하는 것을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Coarse models vs. fine models
+:::
+
+## 6. Controllable 3D Generation
+
+**Personalized text-to-3D**
+
+사전에 diffusion model (eDiff-I, LDM) 을 DreamBooth 을 통해 학습하고, unique identifier $[V]$ 와 함께 3D scene model 을 학습합니다. 아래 사진과 같이, subject 에 대한 정보를 유지한 채 3D model 을 잘 생성하는 부분을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Controllable 3D Generation
+:::
+
+**Prompt-based editing through fine-tuning**
+
+다음과 같은 3단계로 prompt-based editing 으로 fine-tuning 을 진행합니다.
+
+1) 우선, coarse model 을 base prompt 로 학습합니다.
+
+2) Base prompt 를 수정한 후, coarse NeRF 모델을 학습하고 이와 LDM 을 기반으로 high resolution NeRF 모델을 만듭니다.
+
+3) 마지막으로, NeRF 모델을 기반으로 high-resolution fine-tuning 을 진행합니다.
+
+:::{figure-md}
+
+
+Prompt-based editing through fine-tuning
+:::
+
+## 7. Conclusion
+
정리하자면, 논문에서 Magic3D 의 coarse-to-fine optimization 방식을 소개하고, mesh 형태의 scene model 과 고해상도 이미지에 대한 diffusion prior 를 활용함으로써 high resolution 에 대해서도 좋은 성능을 보여줄 수 있었습니다. 추가적으로, 주어진 text prompt 에 대해 3D mesh model 을 40분 만에 생성이 가능하고, 그래픽 소프트웨어와 호환이 바로 가능하다는 장점이 있습니다.
\ No newline at end of file
diff --git a/_sources/docs/review/one-step-image-translation.md b/_sources/docs/review/one-step-image-translation.md
index f8de2ef0..63a471f6 100755
--- a/_sources/docs/review/one-step-image-translation.md
+++ b/_sources/docs/review/one-step-image-translation.md
@@ -1,344 +1,344 @@
-``` {admonition} Information
-- **Title:** One-Step Image Translation with Text-to-Image Models
-
-- **Reference**
- - Paper: [https://arxiv.org/pdf/2403.12036](https://arxiv.org/pdf/2403.12036)
- - Code: [https://github.com/GaParmar/img2img-turbo](https://github.com/GaParmar/img2img-turbo)
-
-- **Author:** Sangwoo Jo
-
-- **Last updated on Sep. 24, 2024**
-```
-
-# One-Step Image Translation with Text-to-Image Models
-
-## 1. Introduction
-
-논문에서 기존의 conditional diffusion model 에 대해 다음과 같이 1) slow inference time, 2) paired data 에 대한 의존성 두 가지 한계점을 명시합니다. 이를 보완하기 위해, paired setting 과 unpaired setting 에서 모두 적용 가능한 학습 아키텍쳐를 제시합니다.
-
-기존에 adapter 를 추가하는 방식은 one-step diffusion model 에 적합하지 않다고 설명하고, 또한 SD-Turbo 모델의 Encoder-UNet-Decoder 형태의 multi-stage pipeline 에서 이미지의 많은 시각적 디테일이 손실된다고 주장합니다. 그리고 이러한 정보 손실은 입력 이미지가 실제 이미지일 때 특히 더 치명적이라고 합니다.
-
-이를 보완하기 위해, 논문에서는 첫번째로 input image 를 직접 noise encoder 에 입력함으로써 noise map 과 input control 의 충돌을 방지합니다. 두번째로, Encoder-Unet-Decoder 를 하나의 end-to-end 로 학습 가능한 아키텍처를 정의하고, 이를 위해 여러 LoRA adapter 를 정의합니다. 마지막으로, high-frequency detail 을 담아내기 위해 encoder 와 decoder 간의 skip connection 을 추가합니다.
-
-:::{figure-md}
-
-
-Overall Architecture
-:::
-
-- **CycleGAN-Turbo 코드**
-
- ```python
- class CycleGAN_Turbo(torch.nn.Module):
- def __init__(self, pretrained_name=None, pretrained_path=None, ckpt_folder="checkpoints", lora_rank_unet=8, lora_rank_vae=4):
- super().__init__()
- self.tokenizer = AutoTokenizer.from_pretrained("stabilityai/sd-turbo", subfolder="tokenizer")
- self.text_encoder = CLIPTextModel.from_pretrained("stabilityai/sd-turbo", subfolder="text_encoder").cuda()
- self.sched = make_1step_sched()
- vae = AutoencoderKL.from_pretrained("stabilityai/sd-turbo", subfolder="vae")
- unet = UNet2DConditionModel.from_pretrained("stabilityai/sd-turbo", subfolder="unet")
- vae.encoder.forward = my_vae_encoder_fwd.__get__(vae.encoder, vae.encoder.__class__)
- vae.decoder.forward = my_vae_decoder_fwd.__get__(vae.decoder, vae.decoder.__class__)
- # add the skip connection convs
- vae.decoder.skip_conv_1 = torch.nn.Conv2d(512, 512, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda()
- vae.decoder.skip_conv_2 = torch.nn.Conv2d(256, 512, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda()
- vae.decoder.skip_conv_3 = torch.nn.Conv2d(128, 512, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda()
- vae.decoder.skip_conv_4 = torch.nn.Conv2d(128, 256, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda()
- vae.decoder.ignore_skip = False
- self.unet, self.vae = unet, vae
- ```
-
-
-또한, 해당 논문에서 제시하는 아케텍쳐는 CycleGAN, pix2pix 등의 GAN 기반의 모델에 plug-and-play 형태로도 적용 가능하며, CycleGAN-Turbo, pix2pix-Turbo 모델이 기존의 GAN 기반 그리고 diffusion model 기반 모델의 image translation 성능보다 우수하다고 합니다.
-
-## 2. Related Work
-
-기존에 paired dataset 에서의 image-to-image translation 모델들은 대표적으로 reconstruction loss 와 adversarial loss 를 기반으로 학습되었습니다. 최근에는 GLIGEN, T2I-Adapter, ControlNet 와 같이 adapter 를 통한 input conditioning 하는 방식도 소개되었습니다. 그리고 unpaired dataset 에서 diffusion 모델을 활용하여 image translation 하는 사례들도 있지만, 이들은 새로 보이는 domain 마다 scratch 로부터 모델을 학습해야 하는 치명적인 단점이 있습니다.
-
-SDEdit 와 Prompt-to-Prompt 모델과 같이 zero-shot 으로 이미지를 editing 하는 연구 사례들도 있지만, 이들은 multi-object 와 complex scene setting 에서 약점을 보인다고 합니다.
-
-이와 동시에 diffusion model 의 inference time 을 단축하기 위해서 ODE solver 혹은 knowledge distillation 을 활용한 연구 사례들도 있었습니다.
-
-## 3. Method
-
-### 3.1. Adding Conditional Input
-
-SD-Turbo 와 같이 pretrained 된 one-step text-to-image 모델을 기반으로 input image 에 대한 conditioning 을 하는 방법을 다음과 같이 처음에 제안합니다. 아래 사진과 같이, 사전학습된 stable diffusion encoder 의 가중치 혹은 랜덤한 가중치를 가진 adapter 를 새로 정의하여 input image 에 대한 feature map 을 추출합니다.
-
-:::{figure-md}
-
-
-Adding Conditional Input
-:::
-
-하지만 multi-step diffusion model 과 다르게 single-step 만으로도 noise map 이 생성되는 이미지의 전체적인 layout 을 결정하기 때문에, condition encoder 를 거쳐서 나온 feature map 와의 충돌이 생겨 학습에 어려움이 생기는 현상을 보여준다고 합니다.
-
-따라서, adapter 를 추가적으로 정의하는 방식이 아닌 conditioning input 을 network 에 직접 적용하는 방식을 논문에서 제안합니다.
-
-### 3.2. Preserving Input Details
-
-Latent Diffusion Model (LDM) 이 image 를 encoding 하는 과정에서 차원을 8 배 축소하기 때문에 정보에 대한 손실이 크고, 따라서 이러한 방식은 fine detail 에 민감한 image translation task 에 적합하지 않을 수 있다고 주장합니다. 아래 사진을 보시면, 기존 아키텍쳐에서 skip connection 을 추가하기 전후로 원본 이미지에 대한 detail preservation 정도 차이를 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Preserving Input Details
-:::
-
-더 자세하게는, skip connection 을 encoder 내의 각 downsampling layer 를 거쳐 4개의 activation 을 추출하고 이를 1 x 1 zero-convolution layer 를 통과시켜 decoder 에 대응되는 upsampling block 에 입력시킵니다.
-
-### 3.3. Unpaired Training
-
-논문에서는 SD-Turbo (v2.1) 를 base network 로 사용하고, 변형된 CycleGAN objective 를 적용하여 unpaired translation 을 진행하였습니다. 이때, cycle-consistency loss 와 adversarial loss 를 다음과 같이 정의합니다.
-
-:::{figure-md}
-
-
-Cycle-Consistency Loss
-:::
-
-:::{figure-md}
-
-
-Adversarial Loss
-:::
-
-여기서 $X \subset \mathbb{R}^{H \times W \times 3}$, $Y \subset \mathbb{R}^{H \times W \times 3}$ 는 각각 source domain, target domain, 그리고 $G(x, c_Y): X → Y$, $G(y, c_X):
-Y → X$ 는 translation 함수입니다. 두 translation 모두 동일한 generator $G$ 를 사용하며, caption $c_X,c_Y$ 만 task 에 따라 변형하게 됩니다. (i.e., day → night translation task 에서 $c_X$ 는 “Driving in the day” 그리고 $c_Y$ 는 “Driving in the night”)
-
-대부분의 layer 는 고정시킨 상태에서 U-Net 의 첫번째 convolutional layer 와 LoRA adapter 를 학습시켰다고 합니다.
-
-:::{figure-md}
-
-
-Overall Architecture
-:::
-
-또한, 새롭게 소개되는 $L_{rec}$ 손실함수는 $L_1$ 과 $LPIPS$ 의 조합으로 구성되어있습니다. 그리고 adversarial loss 에서 사용되는 discriminator $D_X(x),D_Y(y)$ 는 CLIP 모델을 backbone 으로 사용하였습니다.
-
-마지막으로, identity regularization loss 도 $L_{idt} = E_y [L_{rec}(G(y, c_Y ), y)] + E_x [L_{rec}(G(x, c_X), x)]$ 와 같이 정의하고, 최종 objective 를 이들의 가중치 합으로 정의합니다.
-
-:::{figure-md}
-
-
-Full objective
-:::
-
-### 3.4. Extensions
-
-해당 논문에서 unpaired training setting 뿐만 아니라 paired training 그리고 stochastic output generation 에 대해서도 실험을 진행하였습니다.
-
-**Paired Training**
-
-Paired setting 에서는 single translation function $G(x,c): X \rightarrow Y$ 를 학습하고, objective 는 (1) perceptual loss 와 pixel-space reconstruction loss 로 구성된 reconstruction loss (2) unpaired setting 에서 target domain 에 대해서만 정의된 GAN loss, 그리고 (3) CLIP text-image alignment loss $L_{CLIP}$ 의 가중치 합으로 정의합니다.
-
-**Generating Diverse Outputs**
-
-One-step model 로 diverse 한 output 을 생성하는 것은 어려운 일입니다. 논문에서는 해당 task 를 수행하기 위해 input image $x$, noise map $z$, 그리고 interpolation coefficient $\gamma$ 를 입력받는 $G(x,z,\gamma)$ 를 정의합니다.
-
-$G(x,z,\gamma)$ 는 우선 noise $z$ 와 encoder output $G_{enc}(x)$ 를 다음과 같이 interpolation 합니다: $\gamma G_{enc}(x) + (1 − \gamma) z$. 그리고 LoRA adapter 가중치와 skip connection 출력값을 $\theta = \theta_0 + \gamma \cdot \Delta \theta$ 와 같이 조정합니다. 여기서 $\theta_0$ 는 원래 가중치이고, $\Delta \theta$ 는 새로 추가된 가중치입니다.
-
-:::{figure-md}
-
-
-Reconstruction loss with interpolation coefficient
-:::
-
-해당 objective 로 interpolation coefficient $\gamma$ 를 변화시키면서 모델을 fine-tuning 함으로써 다양한 output 을 생성할 수 있었다고 합니다.
-
-## 4. Experiments
-
-**Training Details**
-
-학습하는 파라미터: LoRA 가중치, zero-convolutional layer, 그리고 첫번째 U-Net convolutional layer 가 330MB 소요됩니다.
-
-- **UNet initialization 코드**
-
- ```python
- def initialize_unet(rank, return_lora_module_names=False):
- unet = UNet2DConditionModel.from_pretrained("stabilityai/sd-turbo", subfolder="unet")
- unet.requires_grad_(False)
- unet.train()
- l_target_modules_encoder, l_target_modules_decoder, l_modules_others = [], [], []
- l_grep = ["to_k", "to_q", "to_v", "to_out.0", "conv", "conv1", "conv2", "conv_in", "conv_shortcut", "conv_out", "proj_out", "proj_in", "ff.net.2", "ff.net.0.proj"]
- for n, p in unet.named_parameters():
- if "bias" in n or "norm" in n: continue
- for pattern in l_grep:
- if pattern in n and ("down_blocks" in n or "conv_in" in n):
- l_target_modules_encoder.append(n.replace(".weight",""))
- break
- elif pattern in n and "up_blocks" in n:
- l_target_modules_decoder.append(n.replace(".weight",""))
- break
- elif pattern in n:
- l_modules_others.append(n.replace(".weight",""))
- break
- lora_conf_encoder = LoraConfig(r=rank, init_lora_weights="gaussian",target_modules=l_target_modules_encoder, lora_alpha=rank)
- lora_conf_decoder = LoraConfig(r=rank, init_lora_weights="gaussian",target_modules=l_target_modules_decoder, lora_alpha=rank)
- lora_conf_others = LoraConfig(r=rank, init_lora_weights="gaussian",target_modules=l_modules_others, lora_alpha=rank)
- unet.add_adapter(lora_conf_encoder, adapter_name="default_encoder")
- unet.add_adapter(lora_conf_decoder, adapter_name="default_decoder")
- unet.add_adapter(lora_conf_others, adapter_name="default_others")
- unet.set_adapters(["default_encoder", "default_decoder", "default_others"])
- if return_lora_module_names:
- return unet, l_target_modules_encoder, l_target_modules_decoder, l_modules_others
- else:
- return unet
- ```
-
-- **VAE initialization 코드**
-
- ```python
- def initialize_vae(rank=4, return_lora_module_names=False):
- vae = AutoencoderKL.from_pretrained("stabilityai/sd-turbo", subfolder="vae")
- vae.requires_grad_(False)
- vae.encoder.forward = my_vae_encoder_fwd.__get__(vae.encoder, vae.encoder.__class__)
- vae.decoder.forward = my_vae_decoder_fwd.__get__(vae.decoder, vae.decoder.__class__)
- vae.requires_grad_(True)
- vae.train()
- # add the skip connection convs
- vae.decoder.skip_conv_1 = torch.nn.Conv2d(512, 512, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda().requires_grad_(True)
- vae.decoder.skip_conv_2 = torch.nn.Conv2d(256, 512, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda().requires_grad_(True)
- vae.decoder.skip_conv_3 = torch.nn.Conv2d(128, 512, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda().requires_grad_(True)
- vae.decoder.skip_conv_4 = torch.nn.Conv2d(128, 256, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda().requires_grad_(True)
- torch.nn.init.constant_(vae.decoder.skip_conv_1.weight, 1e-5)
- torch.nn.init.constant_(vae.decoder.skip_conv_2.weight, 1e-5)
- torch.nn.init.constant_(vae.decoder.skip_conv_3.weight, 1e-5)
- torch.nn.init.constant_(vae.decoder.skip_conv_4.weight, 1e-5)
- vae.decoder.ignore_skip = False
- vae.decoder.gamma = 1
- l_vae_target_modules = ["conv1","conv2","conv_in", "conv_shortcut",
- "conv", "conv_out", "skip_conv_1", "skip_conv_2", "skip_conv_3",
- "skip_conv_4", "to_k", "to_q", "to_v", "to_out.0",
- ]
- vae_lora_config = LoraConfig(r=rank, init_lora_weights="gaussian", target_modules=l_vae_target_modules)
- vae.add_adapter(vae_lora_config, adapter_name="vae_skip")
- if return_lora_module_names:
- return vae, l_vae_target_modules
- else:
- return vae
- ```
-
-
-**Datasets**
-
-Unpaired datasets 에서 자주 사용되는 Horse $\leftrightarrow$ Zebra, Yosemite Summer $\leftrightarrow$ Winter, 그리고 고차원 이미지의 주행 데이터셋 BDD100k 의 day $\leftrightarrow$ night, clear $\leftrightarrow$ foggy 데이터셋으로 실험하였습니다.
-
-**Evaluation Protocol**
-
-Image translation task 에서 다음과 같은 2가지 요소를 만족시켜야 한다고 합니다.
-
-(1) target domain 의 데이터셋 분포와의 일치: FID 로 측정
-
-(2) input image 의 구조적인 정보 유지: DINO-Struct-Dist 로 측정
-
-### 4.1. Comparison to Unpaired Methods
-
-기존에 GAN-based 그리고 Diffusion-based 모델들이 output realism 그리고 structure preservation 에 모두 좋은 성능을 내지는 못하는 것을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Comparison to baselines on 256 × 256 datasets.
-:::
-
-:::{figure-md}
-
-
-Comparison to baselines on driving datasets (512 × 512).
-:::
-
-아래 예시 사진들과 table 에서 보이듯이, CycleGAN-Turbo 모델이 CycleGAN 과 CUT 모델보다 더 낮은 FID, DINO Structure score 를 보여주는 것을 확인할 수 있습니다.
-
-또한, diffusion 기반의 zero-shot image translation 모델: SDEdit, Plug-and Play, pix2pix-zero, CycleDiffusion, 그리고 DDIB 들이 realistic 한 이미지는 잘 생성하지만 원본 이미지의 structure 를 훼손시키는 경우가 있음을 확인할 수 있습니다. 이러한 현상은 multiple object 가 존재하는 주행 데이터셋에서 더 빈번하게 발생하고, 이는 Instructpix2pix 모델을 제외하고는 noise map 으로 inverting 하는 과정에서 원본 이미지에 대한 손실이 일어나기 때문이라고 주장합니다.
-
-- **Comparison to GAN-based methods**
-
- :::{figure-md}
- 
-
- Comparison to GAN-based methods on 256 × 256 datasets.
- :::
-
- :::{figure-md}
- 
-
- Comparison to GAN-based methods on driving datasets (512 × 512).
- :::
-
-- **Comparison to Diffusion-based editing methods**
-
- :::{figure-md}
- 
-
- Comparison to Diffusion-based editing methods on driving datasets (512 × 512).
- :::
-
- :::{figure-md}
- 
-
- Comparison to Diffusion-based editing methods on driving datasets (512 × 512).
- :::
-
-
-:::{figure-md}
-
-
-Evaluation on standard CycleGAN datasets (256 × 256).
-:::
-
-:::{figure-md}
-
-
-Comparison on 512 × 512 driving datasets.
-:::
-
-### 4.2. Ablation Study
-
-**Using pre-trained weights**
-
-랜덤한 가중치로 초기화하는 것보다 pre-trained 된 모델을 사용할 때, 모델 성능이 더 좋은 것을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Ablation with Horse to Zebra
-:::
-
-**Different ways of adding conditioning inputs**
-
-ControlNet 이나 T2I-Adapter 를 사용하여 conditioning 할 때, 원본 이미지와의 structure 충돌이 일어나는 부분을 재차 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Ablating individual components
-:::
-
-**Skip Connections and trainable encoder and decoder**
-
-Config D 와 비교하였을 때, FID 에 대한 성능이 미세하게 떨어지는 반면에 structure preservation 성능이 월등히 높음을 확인할 수 있습니다.
-
-### 4.3. Extensions
-
-**Paired translation**
-
-Pix2pix-Turbo 와 LCM-ControlNet, SD-Turbo ControlNet, 그리고 SD ControlNet 모델과 정성적인 평가를 진행하였습니다. Classifier-free guidance, negative prompt 없이 단일 step 만으로도 좋은 성능을 보여줌을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Comparison on paired edge-to-image task (512 × 512).
-:::
-
-**Generating diverse outputs**
-
-:::{figure-md}
-
-
-Generating diverse outputs
-:::
-
-## 5. Discussions and Limitations
-
+``` {admonition} Information
+- **Title:** One-Step Image Translation with Text-to-Image Models
+
+- **Reference**
+ - Paper: [https://arxiv.org/pdf/2403.12036](https://arxiv.org/pdf/2403.12036)
+ - Code: [https://github.com/GaParmar/img2img-turbo](https://github.com/GaParmar/img2img-turbo)
+
+- **Author:** Sangwoo Jo
+
+- **Last updated on Sep. 24, 2024**
+```
+
+# One-Step Image Translation with Text-to-Image Models
+
+## 1. Introduction
+
+논문에서 기존의 conditional diffusion model 에 대해 다음과 같이 1) slow inference time, 2) paired data 에 대한 의존성 두 가지 한계점을 명시합니다. 이를 보완하기 위해, paired setting 과 unpaired setting 에서 모두 적용 가능한 학습 아키텍쳐를 제시합니다.
+
+기존에 adapter 를 추가하는 방식은 one-step diffusion model 에 적합하지 않다고 설명하고, 또한 SD-Turbo 모델의 Encoder-UNet-Decoder 형태의 multi-stage pipeline 에서 이미지의 많은 시각적 디테일이 손실된다고 주장합니다. 그리고 이러한 정보 손실은 입력 이미지가 실제 이미지일 때 특히 더 치명적이라고 합니다.
+
+이를 보완하기 위해, 논문에서는 첫번째로 input image 를 직접 noise encoder 에 입력함으로써 noise map 과 input control 의 충돌을 방지합니다. 두번째로, Encoder-Unet-Decoder 를 하나의 end-to-end 로 학습 가능한 아키텍처를 정의하고, 이를 위해 여러 LoRA adapter 를 정의합니다. 마지막으로, high-frequency detail 을 담아내기 위해 encoder 와 decoder 간의 skip connection 을 추가합니다.
+
+:::{figure-md}
+
+
+Overall Architecture
+:::
+
+- **CycleGAN-Turbo 코드**
+
+ ```python
+ class CycleGAN_Turbo(torch.nn.Module):
+ def __init__(self, pretrained_name=None, pretrained_path=None, ckpt_folder="checkpoints", lora_rank_unet=8, lora_rank_vae=4):
+ super().__init__()
+ self.tokenizer = AutoTokenizer.from_pretrained("stabilityai/sd-turbo", subfolder="tokenizer")
+ self.text_encoder = CLIPTextModel.from_pretrained("stabilityai/sd-turbo", subfolder="text_encoder").cuda()
+ self.sched = make_1step_sched()
+ vae = AutoencoderKL.from_pretrained("stabilityai/sd-turbo", subfolder="vae")
+ unet = UNet2DConditionModel.from_pretrained("stabilityai/sd-turbo", subfolder="unet")
+ vae.encoder.forward = my_vae_encoder_fwd.__get__(vae.encoder, vae.encoder.__class__)
+ vae.decoder.forward = my_vae_decoder_fwd.__get__(vae.decoder, vae.decoder.__class__)
+ # add the skip connection convs
+ vae.decoder.skip_conv_1 = torch.nn.Conv2d(512, 512, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda()
+ vae.decoder.skip_conv_2 = torch.nn.Conv2d(256, 512, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda()
+ vae.decoder.skip_conv_3 = torch.nn.Conv2d(128, 512, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda()
+ vae.decoder.skip_conv_4 = torch.nn.Conv2d(128, 256, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda()
+ vae.decoder.ignore_skip = False
+ self.unet, self.vae = unet, vae
+ ```
+
+
+또한, 해당 논문에서 제시하는 아케텍쳐는 CycleGAN, pix2pix 등의 GAN 기반의 모델에 plug-and-play 형태로도 적용 가능하며, CycleGAN-Turbo, pix2pix-Turbo 모델이 기존의 GAN 기반 그리고 diffusion model 기반 모델의 image translation 성능보다 우수하다고 합니다.
+
+## 2. Related Work
+
+기존에 paired dataset 에서의 image-to-image translation 모델들은 대표적으로 reconstruction loss 와 adversarial loss 를 기반으로 학습되었습니다. 최근에는 GLIGEN, T2I-Adapter, ControlNet 와 같이 adapter 를 통한 input conditioning 하는 방식도 소개되었습니다. 그리고 unpaired dataset 에서 diffusion 모델을 활용하여 image translation 하는 사례들도 있지만, 이들은 새로 보이는 domain 마다 scratch 로부터 모델을 학습해야 하는 치명적인 단점이 있습니다.
+
+SDEdit 와 Prompt-to-Prompt 모델과 같이 zero-shot 으로 이미지를 editing 하는 연구 사례들도 있지만, 이들은 multi-object 와 complex scene setting 에서 약점을 보인다고 합니다.
+
+이와 동시에 diffusion model 의 inference time 을 단축하기 위해서 ODE solver 혹은 knowledge distillation 을 활용한 연구 사례들도 있었습니다.
+
+## 3. Method
+
+### 3.1. Adding Conditional Input
+
+SD-Turbo 와 같이 pretrained 된 one-step text-to-image 모델을 기반으로 input image 에 대한 conditioning 을 하는 방법을 다음과 같이 처음에 제안합니다. 아래 사진과 같이, 사전학습된 stable diffusion encoder 의 가중치 혹은 랜덤한 가중치를 가진 adapter 를 새로 정의하여 input image 에 대한 feature map 을 추출합니다.
+
+:::{figure-md}
+
+
+Adding Conditional Input
+:::
+
+하지만 multi-step diffusion model 과 다르게 single-step 만으로도 noise map 이 생성되는 이미지의 전체적인 layout 을 결정하기 때문에, condition encoder 를 거쳐서 나온 feature map 와의 충돌이 생겨 학습에 어려움이 생기는 현상을 보여준다고 합니다.
+
+따라서, adapter 를 추가적으로 정의하는 방식이 아닌 conditioning input 을 network 에 직접 적용하는 방식을 논문에서 제안합니다.
+
+### 3.2. Preserving Input Details
+
+Latent Diffusion Model (LDM) 이 image 를 encoding 하는 과정에서 차원을 8 배 축소하기 때문에 정보에 대한 손실이 크고, 따라서 이러한 방식은 fine detail 에 민감한 image translation task 에 적합하지 않을 수 있다고 주장합니다. 아래 사진을 보시면, 기존 아키텍쳐에서 skip connection 을 추가하기 전후로 원본 이미지에 대한 detail preservation 정도 차이를 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Preserving Input Details
+:::
+
+더 자세하게는, skip connection 을 encoder 내의 각 downsampling layer 를 거쳐 4개의 activation 을 추출하고 이를 1 x 1 zero-convolution layer 를 통과시켜 decoder 에 대응되는 upsampling block 에 입력시킵니다.
+
+### 3.3. Unpaired Training
+
+논문에서는 SD-Turbo (v2.1) 를 base network 로 사용하고, 변형된 CycleGAN objective 를 적용하여 unpaired translation 을 진행하였습니다. 이때, cycle-consistency loss 와 adversarial loss 를 다음과 같이 정의합니다.
+
+:::{figure-md}
+
+
+Cycle-Consistency Loss
+:::
+
+:::{figure-md}
+
+
+Adversarial Loss
+:::
+
+여기서 $X \subset \mathbb{R}^{H \times W \times 3}$, $Y \subset \mathbb{R}^{H \times W \times 3}$ 는 각각 source domain, target domain, 그리고 $G(x, c_Y): X → Y$, $G(y, c_X):
+Y → X$ 는 translation 함수입니다. 두 translation 모두 동일한 generator $G$ 를 사용하며, caption $c_X,c_Y$ 만 task 에 따라 변형하게 됩니다. (i.e., day → night translation task 에서 $c_X$ 는 “Driving in the day” 그리고 $c_Y$ 는 “Driving in the night”)
+
+대부분의 layer 는 고정시킨 상태에서 U-Net 의 첫번째 convolutional layer 와 LoRA adapter 를 학습시켰다고 합니다.
+
+:::{figure-md}
+
+
+Overall Architecture
+:::
+
+또한, 새롭게 소개되는 $L_{rec}$ 손실함수는 $L_1$ 과 $LPIPS$ 의 조합으로 구성되어있습니다. 그리고 adversarial loss 에서 사용되는 discriminator $D_X(x),D_Y(y)$ 는 CLIP 모델을 backbone 으로 사용하였습니다.
+
+마지막으로, identity regularization loss 도 $L_{idt} = E_y [L_{rec}(G(y, c_Y ), y)] + E_x [L_{rec}(G(x, c_X), x)]$ 와 같이 정의하고, 최종 objective 를 이들의 가중치 합으로 정의합니다.
+
+:::{figure-md}
+
+
+Full objective
+:::
+
+### 3.4. Extensions
+
+해당 논문에서 unpaired training setting 뿐만 아니라 paired training 그리고 stochastic output generation 에 대해서도 실험을 진행하였습니다.
+
+**Paired Training**
+
+Paired setting 에서는 single translation function $G(x,c): X \rightarrow Y$ 를 학습하고, objective 는 (1) perceptual loss 와 pixel-space reconstruction loss 로 구성된 reconstruction loss (2) unpaired setting 에서 target domain 에 대해서만 정의된 GAN loss, 그리고 (3) CLIP text-image alignment loss $L_{CLIP}$ 의 가중치 합으로 정의합니다.
+
+**Generating Diverse Outputs**
+
+One-step model 로 diverse 한 output 을 생성하는 것은 어려운 일입니다. 논문에서는 해당 task 를 수행하기 위해 input image $x$, noise map $z$, 그리고 interpolation coefficient $\gamma$ 를 입력받는 $G(x,z,\gamma)$ 를 정의합니다.
+
+$G(x,z,\gamma)$ 는 우선 noise $z$ 와 encoder output $G_{enc}(x)$ 를 다음과 같이 interpolation 합니다: $\gamma G_{enc}(x) + (1 − \gamma) z$. 그리고 LoRA adapter 가중치와 skip connection 출력값을 $\theta = \theta_0 + \gamma \cdot \Delta \theta$ 와 같이 조정합니다. 여기서 $\theta_0$ 는 원래 가중치이고, $\Delta \theta$ 는 새로 추가된 가중치입니다.
+
+:::{figure-md}
+
+
+Reconstruction loss with interpolation coefficient
+:::
+
+해당 objective 로 interpolation coefficient $\gamma$ 를 변화시키면서 모델을 fine-tuning 함으로써 다양한 output 을 생성할 수 있었다고 합니다.
+
+## 4. Experiments
+
+**Training Details**
+
+학습하는 파라미터: LoRA 가중치, zero-convolutional layer, 그리고 첫번째 U-Net convolutional layer 가 330MB 소요됩니다.
+
+- **UNet initialization 코드**
+
+ ```python
+ def initialize_unet(rank, return_lora_module_names=False):
+ unet = UNet2DConditionModel.from_pretrained("stabilityai/sd-turbo", subfolder="unet")
+ unet.requires_grad_(False)
+ unet.train()
+ l_target_modules_encoder, l_target_modules_decoder, l_modules_others = [], [], []
+ l_grep = ["to_k", "to_q", "to_v", "to_out.0", "conv", "conv1", "conv2", "conv_in", "conv_shortcut", "conv_out", "proj_out", "proj_in", "ff.net.2", "ff.net.0.proj"]
+ for n, p in unet.named_parameters():
+ if "bias" in n or "norm" in n: continue
+ for pattern in l_grep:
+ if pattern in n and ("down_blocks" in n or "conv_in" in n):
+ l_target_modules_encoder.append(n.replace(".weight",""))
+ break
+ elif pattern in n and "up_blocks" in n:
+ l_target_modules_decoder.append(n.replace(".weight",""))
+ break
+ elif pattern in n:
+ l_modules_others.append(n.replace(".weight",""))
+ break
+ lora_conf_encoder = LoraConfig(r=rank, init_lora_weights="gaussian",target_modules=l_target_modules_encoder, lora_alpha=rank)
+ lora_conf_decoder = LoraConfig(r=rank, init_lora_weights="gaussian",target_modules=l_target_modules_decoder, lora_alpha=rank)
+ lora_conf_others = LoraConfig(r=rank, init_lora_weights="gaussian",target_modules=l_modules_others, lora_alpha=rank)
+ unet.add_adapter(lora_conf_encoder, adapter_name="default_encoder")
+ unet.add_adapter(lora_conf_decoder, adapter_name="default_decoder")
+ unet.add_adapter(lora_conf_others, adapter_name="default_others")
+ unet.set_adapters(["default_encoder", "default_decoder", "default_others"])
+ if return_lora_module_names:
+ return unet, l_target_modules_encoder, l_target_modules_decoder, l_modules_others
+ else:
+ return unet
+ ```
+
+- **VAE initialization 코드**
+
+ ```python
+ def initialize_vae(rank=4, return_lora_module_names=False):
+ vae = AutoencoderKL.from_pretrained("stabilityai/sd-turbo", subfolder="vae")
+ vae.requires_grad_(False)
+ vae.encoder.forward = my_vae_encoder_fwd.__get__(vae.encoder, vae.encoder.__class__)
+ vae.decoder.forward = my_vae_decoder_fwd.__get__(vae.decoder, vae.decoder.__class__)
+ vae.requires_grad_(True)
+ vae.train()
+ # add the skip connection convs
+ vae.decoder.skip_conv_1 = torch.nn.Conv2d(512, 512, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda().requires_grad_(True)
+ vae.decoder.skip_conv_2 = torch.nn.Conv2d(256, 512, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda().requires_grad_(True)
+ vae.decoder.skip_conv_3 = torch.nn.Conv2d(128, 512, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda().requires_grad_(True)
+ vae.decoder.skip_conv_4 = torch.nn.Conv2d(128, 256, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda().requires_grad_(True)
+ torch.nn.init.constant_(vae.decoder.skip_conv_1.weight, 1e-5)
+ torch.nn.init.constant_(vae.decoder.skip_conv_2.weight, 1e-5)
+ torch.nn.init.constant_(vae.decoder.skip_conv_3.weight, 1e-5)
+ torch.nn.init.constant_(vae.decoder.skip_conv_4.weight, 1e-5)
+ vae.decoder.ignore_skip = False
+ vae.decoder.gamma = 1
+ l_vae_target_modules = ["conv1","conv2","conv_in", "conv_shortcut",
+ "conv", "conv_out", "skip_conv_1", "skip_conv_2", "skip_conv_3",
+ "skip_conv_4", "to_k", "to_q", "to_v", "to_out.0",
+ ]
+ vae_lora_config = LoraConfig(r=rank, init_lora_weights="gaussian", target_modules=l_vae_target_modules)
+ vae.add_adapter(vae_lora_config, adapter_name="vae_skip")
+ if return_lora_module_names:
+ return vae, l_vae_target_modules
+ else:
+ return vae
+ ```
+
+
+**Datasets**
+
+Unpaired datasets 에서 자주 사용되는 Horse $\leftrightarrow$ Zebra, Yosemite Summer $\leftrightarrow$ Winter, 그리고 고차원 이미지의 주행 데이터셋 BDD100k 의 day $\leftrightarrow$ night, clear $\leftrightarrow$ foggy 데이터셋으로 실험하였습니다.
+
+**Evaluation Protocol**
+
+Image translation task 에서 다음과 같은 2가지 요소를 만족시켜야 한다고 합니다.
+
+(1) target domain 의 데이터셋 분포와의 일치: FID 로 측정
+
+(2) input image 의 구조적인 정보 유지: DINO-Struct-Dist 로 측정
+
+### 4.1. Comparison to Unpaired Methods
+
+기존에 GAN-based 그리고 Diffusion-based 모델들이 output realism 그리고 structure preservation 에 모두 좋은 성능을 내지는 못하는 것을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Comparison to baselines on 256 × 256 datasets.
+:::
+
+:::{figure-md}
+
+
+Comparison to baselines on driving datasets (512 × 512).
+:::
+
+아래 예시 사진들과 table 에서 보이듯이, CycleGAN-Turbo 모델이 CycleGAN 과 CUT 모델보다 더 낮은 FID, DINO Structure score 를 보여주는 것을 확인할 수 있습니다.
+
+또한, diffusion 기반의 zero-shot image translation 모델: SDEdit, Plug-and Play, pix2pix-zero, CycleDiffusion, 그리고 DDIB 들이 realistic 한 이미지는 잘 생성하지만 원본 이미지의 structure 를 훼손시키는 경우가 있음을 확인할 수 있습니다. 이러한 현상은 multiple object 가 존재하는 주행 데이터셋에서 더 빈번하게 발생하고, 이는 Instructpix2pix 모델을 제외하고는 noise map 으로 inverting 하는 과정에서 원본 이미지에 대한 손실이 일어나기 때문이라고 주장합니다.
+
+- **Comparison to GAN-based methods**
+
+ :::{figure-md}
+
+
+ Comparison to GAN-based methods on 256 × 256 datasets.
+ :::
+
+ :::{figure-md}
+
+
+ Comparison to GAN-based methods on driving datasets (512 × 512).
+ :::
+
+- **Comparison to Diffusion-based editing methods**
+
+ :::{figure-md}
+
+
+ Comparison to Diffusion-based editing methods on driving datasets (512 × 512).
+ :::
+
+ :::{figure-md}
+
+
+ Comparison to Diffusion-based editing methods on driving datasets (512 × 512).
+ :::
+
+
+:::{figure-md}
+
+
+Evaluation on standard CycleGAN datasets (256 × 256).
+:::
+
+:::{figure-md}
+
+
+Comparison on 512 × 512 driving datasets.
+:::
+
+### 4.2. Ablation Study
+
+**Using pre-trained weights**
+
+랜덤한 가중치로 초기화하는 것보다 pre-trained 된 모델을 사용할 때, 모델 성능이 더 좋은 것을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Ablation with Horse to Zebra
+:::
+
+**Different ways of adding conditioning inputs**
+
+ControlNet 이나 T2I-Adapter 를 사용하여 conditioning 할 때, 원본 이미지와의 structure 충돌이 일어나는 부분을 재차 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Ablating individual components
+:::
+
+**Skip Connections and trainable encoder and decoder**
+
+Config D 와 비교하였을 때, FID 에 대한 성능이 미세하게 떨어지는 반면에 structure preservation 성능이 월등히 높음을 확인할 수 있습니다.
+
+### 4.3. Extensions
+
+**Paired translation**
+
+Pix2pix-Turbo 와 LCM-ControlNet, SD-Turbo ControlNet, 그리고 SD ControlNet 모델과 정성적인 평가를 진행하였습니다. Classifier-free guidance, negative prompt 없이 단일 step 만으로도 좋은 성능을 보여줌을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Comparison on paired edge-to-image task (512 × 512).
+:::
+
+**Generating diverse outputs**
+
+:::{figure-md}
+
+
+Generating diverse outputs
+:::
+
+## 5. Discussions and Limitations
+
해당 논문은 multi-step diffusion training 에 의존하지 않고, single-step 만으로 다양한 GAN 기반의 objective 와 융합해서 downstream task 에 적용할 수 있는 방식을 제안합니다. 하지만, 다음과 같은 3가지 한계점을 제시합니다: (1) SD-Turbo 는 classifier-free guidance 를 사용하지 않아, guidance control 에 대한 설정할 수 없습니다. (2) 해당 방식은 negative prompt 를 지원하지 않습니다. 그리고 마지막으로 (3) high capacity generator 기반의 cycle consistency loss 로 학습하는데 메모리에 대한 부담이 큽니다.
\ No newline at end of file
diff --git a/_sources/docs/review/one_step_diffusion_with_distribution_matching_distillation.md b/_sources/docs/review/one_step_diffusion_with_distribution_matching_distillation.md
index 9733e0a4..a38ab2b4 100755
--- a/_sources/docs/review/one_step_diffusion_with_distribution_matching_distillation.md
+++ b/_sources/docs/review/one_step_diffusion_with_distribution_matching_distillation.md
@@ -1,209 +1,209 @@
-``` {admonition} Information
-- **Title:** One-Step Image Diffusion with Distribution Matching Distillation
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2311.18828](https://arxiv.org/abs/2311.18828)
- - Code: [https://github.com/tianweiy/DMD2](https://github.com/tianweiy/DMD2)
-
-- **Author:** Joongwon Lee
-
-- **Last updated on Oct. 16, 2024**
-```
-
-# One-step Diffusion with Distribution Matching Distillation
-
-# Introduction and Preliminaries
-
-## Overview
-
-- Diffusion model has revolutionized image generation, 하지만 느린 sampling speed 가 느린 문제점이 있음
-- Accelerating sampling speed 를 목적으로 하는 많은 연구가 이루어져 왔음
- - ODE solving: diffusion model 의 큰 틀은 유지한 채 sampling step 의 수를 줄이면서 유사한 수준의 sample 생성 (DDIM, InstaFlow, CFM)
-
- - 하지만 여전히 50 ~ 100 step 이하로 step 을 줄이게 되면 sample quality 가 크게 감소하여 diffusion distillation 을 통한 one-step generation 방법이 연구되어지고 있음
- - Single step distillation: Diffusion model 을 teacher 삼아 one-step generation model 학습
- - 직관적으로 생각해보면, diffusion model 을 학습 시킨후 학습된 모델을 통해 다수의 (noise, image) pair 얻은 후 one-step VAE 를 학습시키는 것을 생각 해 볼 수 있음.
- - 그러나, 학습된 multi step 으로 학습 된 diffusion model 을 one-step generation model 에 distillation 을 하는 것은 어려움이 있음
- - Noise level 을 점진적으로 증가 시키며, one-step generation 을 학습시키는 방법
-- GAN 에서 영감을 받아, (noise, image) 의 대응을 강제하는 대신 (such as autoencoder), student model 이 생성하는 이미지를 teacher model (original diffusion model) 이 생성하는 이미지와 indistinguishable 하게 학습시키는 distribution matching 전략을 생각해 볼 수 있음
-
-- Diffusion model 의 score ($\newcommand{\laplacianx}{\Delta x}$$\nabla_{\mathbf{x}} \log p(\mathbf{x})$) 을 사용해서 student model ($p(x)$) 을 학습시킬 수 있음 (real image score 가 증가하는 방향으로 pattern 을 업데이트 하는 것이 desired 방향 + fake image 를 생성하는 diffusion model 의 score 을 감소시키는 방향으로 parameter update)
- - Diffusion model and score base model
-
- 엄밀하게 본다면, 이 논문은 diffusion model (DDPM style) 보다는 score matching 의 철학과 논리전개를 바탕으로 두고 있음. 그러나, diffusion model 과 score based model 은 궁극적으로 같은 objective 를 다른 방식으로 학습하고 있을 뿐이고, 그 score 과 diffusion model 이 예측하는 one-step denoised 분포 ($\mu_{base}$) 는 쉽게 변환 가능함.
-
- $$
- s_{\text{real}}(x_t, t) = - \frac{x_t - \alpha_t \mu_{\text{base}}(x_t, t)}{\sigma_t^2}
- $$
-
- :::{figure-md}
- 
-
- NCSN
- :::
-
- :::{figure-md}
- 
-
- Langevin sampling of score models
- :::
-
-
-# Method
-
-## Overview
-
-:::{figure-md}
-
-
-Overall scheme
-:::
-
-- 학습된 diffusion model (real data score function) 이 주어진 상황에서 one-step generator ($G_{\theta}$) 를 학습시키기 위해, 두개의 loss 1) distribution matching gradient (엄밀하게는 loss 보다는 parameter update gradient) 2) regression loss 를 사용
-- Adversarial AutoEncoder 가 연상되는 architecture 를 가지고 있음
- - Adversarial AutoEncoder
-
- :::{figure-md}
- 
-
- Adeverserial AE architecture
- :::
-
- AAE 는 VAE 가 생성하는 이미지에 대한 1) regression loss 와 2) implicit distribution matching loss 를 가지고 있는데, 여기서 implicit distribution matching 을 teacher diffusion model 의 distribution matching gradient 로 대체한 형태
-
-- 총 네 부분으로 나뉘어져 있음
- - Paired dataset construction
- - Pretrained base model (= real data score function, freezed)
- - One-step generator (main objective)
- - Fake data generator (= fake data score function, on-line training)
-
-## Distribution Matching Loss
-
-우선, 생성모델의 training objective를 생각해보면, $p_\text{fake}$ (one-step generator이 생성하는 분포) $p_\text{real}$ (실제 데이터의 분포) 를 matching 시키도록 학습을 시켜야하는 것이 one-step generator의 학습 objective이고 아래와 같이 씌여질 수 있음:
-
-$$
-\begin{align*}
-D_{KL}(p_{\text{fake}} \parallel p_{\text{real}}) &= \mathbb{E}_{x \sim p_{\text{fake}}} \left( \log \frac{p_{\text{fake}}(x)}{p_{\text{real}}(x)} \right) \\
-&= \mathbb{E}_{\substack{z \sim \mathcal{N}(0; I) \\ x = G_{\theta}(z)}} \left( - \log p_{\text{real}}(x) + \log p_{\text{fake}}(x|z)\right)
-\end{align*}
-$$
-
-지만, $p_\text{real}(x)$ 를 바로 구하는 것이 어려움 (이것이 곧 생성모델의 objective). 그러나, 모델을 학습시키기 위해서는 $D_{KL}$ 을 직접 구할 필요는 없고, $D_{KL}$ 을 minimize 하는 (fake 과 real 의 분포사이의 거리를 최소화 시키는 방향으로) parameter update 를 하기 위한 미분값만 알면 충분함. 위 식을 one-step generator 의 learnable paramter ($\theta$) 에 대해 미분 해주면,
-
-$$
-\nabla_{\theta} D_{KL} = \mathbb{E}_{\substack{z \sim \mathcal{N}(0; I) \\ x = G_{\theta}(z)}} \left[ - \left( s_{\text{real}}(x) - s_{\text{fake}}(x) \right) \nabla_{\theta} G_{\theta}(z) \right]
-$$
-
-$$
-s_{\text{real}}(x) = \nabla_x \log p_{\text{real}}(x), \quad s_{\text{fake}}(x) = \nabla_x \log p_{\text{fake}}(x)
-$$
-
-이 유도되는데, 여기서 score $s_{\text{real}}(x)$ 와 $s_{\text{fake}}(x)$ 를 정확히 알 수 있다면, one-step generator 을 학습시킬 수 있음. 단, score 이 $x$ 가 존재하는 전체 space 에 대해서 잘 작동하는 score 이여야함 (= Score-SDE).
-
-이제, 그러면 우리의 objective 는 real score 와 fake score 을 어떻게 구할지가 되는데, $s_{\text{real}}(x)$ 은 pretrained diffusion model 에서:
-
-$$
-s_{\text{real}}(x_t, t) = - \frac{x_t - \alpha_t \mu_{\text{base}}(x_t, t)}{\sigma_t^2}
-$$
-
-와 같이 유도됨. $s_{\text{fake}}(x)$ 의 경우가 복잡해지는데, $s_{\text{fake}}(x)$ 는 one-step generator 가 생성하는 이미지의 score function 라서 one-step generator 로 생성 된 이미지가 있어야 해당 이미지를 생성하는 diffusion 모델을 학습시켜서 구할 수 있음.
-
-:::{figure-md}
-
-
-Distribution matching gradient computation
-:::
-
-여기서 저자들은 fake data score function (initialized to real data score function) 을 동시에 학습시키는 방법으로 해결
-
-$$
-s_{\text{fake}}(x_t, t) = - \frac{x_t - \alpha_t \mu_{\text{fake}}^{\phi}(x_t, t)}{\sigma_t^2}
-$$
-
-$$
-\mathcal{L}_{\text{denoise}}^{\phi} = \left\lVert \mu_{\text{fake}}^{\phi}(x_t, t) - x_0 \right\rVert_2^2
-$$
-
-정리하자면, real score 은 real distribution (data distribution) 방향으로 parameter update를 하면서 fake distribution (one-step generation 의 output) 을 real distribution 에 가깝게 일치시키는 역할을 하며, fake score 의 반대방향으로 parameter update 를 하는 것은 fake data generator (one-step generator) 의 반대방향으로 distribution 을 밀어내서 most probable 한 한개의 점으로 모든 fake image 가 collapse 하는것을 방지하는 regularizer 역할을 한다.
-
-
-## Regression Loss
-
-그런데, score 만을 사용하여 one-step generator 을 학습시키는 것은 충분하지 않음. 두가지 측면에서 생각 해 볼 수 있는데 1) Practically, 매우 작은 noise level 에서는 score 이 reliable 하지 않아짐 2) Theoretically, $\nabla_x \log p_(x)$ 는 $p(x)$ 의 scale 에 영향을 받지 않아, 데이터의 높고 낮음에 대한 정보를 줄 수 없음.
-
-따라서, real + fake score 로 학습이 진행된다면, 낮은 real score 을 보이는 영역은 커버하지 못하는 부분으로 one-step generation 모델이 수렴하게 될 것 이고, high dimension 에서는 generated image 의 pixel level accuracy 에 문제가 생길 수 있음.
-
-여기서 저자들은 pixel-wise MSE (regression loss) 를 사용하여 간단히 이 문제를 해결함.
-
-:::{figure-md}
-
-
-Regression loss
-:::
-
-:::{figure-md}
-
-
-The effect of real and fake scores and regression loss
-:::
-
-- 그렇다면, Regression loss 하나만으로는 학습이 왜 불가능한가? (개인적 생각)
-
- 이론상 regression loss 만을 사용해도 충분히 one-step generator 을 학습시킬 수 있어 보인다. 그러나, regression 의 근본적 문제점은 distribution to distribution matching 이 아니라는 점이다. e.g.
-
-
-
-
-Regression loss 를 얻기 위해서는 (noise, real image) pair 가 필요하게 되는데, 저자들은 학습된 diffusion model 에서부터 ODE solver 을 사용하여 gaussian noise와 real image 사이에 쌍을 얻어서 데이터셋을 학습 이전에 구축, 해당 pair들을 바탕으로 regression loss 를 구함 (Learned Perceptual Image Patch Similarity).
-
-$$
-\mathcal{L}_{\text{reg}} = \mathbb{E}_{(z,y) \sim \mathcal{D}} \, \ell(G_\theta(z), y)
-$$
-
-## Full algorithm
-
-:::{figure-md}
-
-
-Training algorithm
-:::
-
-
-# Results
-
-## Main comparison
-
-:::{figure-md}
-
-
-Image generation benchmarks
-:::
-
-## Ablation Study
-
-:::{figure-md}
-
-
-Ablation on distribution matching
-:::
-
-:::{figure-md}
-
-
-Ablation on regression loss
-:::
-
-
-## Comparison with Unaccelerated Models
-
-:::{figure-md}
-
-
-Comparison with Unaccelerated Models
-:::
-
-# Conclusion and Limitations
-
-- Score model 을 사용한 distribution matching loss 와 regularizing term 인 regression loss 를 통해, teacher model 에 준하는 성능을 낼 수 있었다
-- One step generator 와 multi-step generation 사이에는 근본적인 성능 tradeoff 가 존재함
+``` {admonition} Information
+- **Title:** One-Step Image Diffusion with Distribution Matching Distillation
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2311.18828](https://arxiv.org/abs/2311.18828)
+ - Code: [https://github.com/tianweiy/DMD2](https://github.com/tianweiy/DMD2)
+
+- **Author:** Joongwon Lee
+
+- **Last updated on Oct. 16, 2024**
+```
+
+# One-step Diffusion with Distribution Matching Distillation
+
+# Introduction and Preliminaries
+
+## Overview
+
+- Diffusion model has revolutionized image generation, 하지만 느린 sampling speed 가 느린 문제점이 있음
+- Accelerating sampling speed 를 목적으로 하는 많은 연구가 이루어져 왔음
+ - ODE solving: diffusion model 의 큰 틀은 유지한 채 sampling step 의 수를 줄이면서 유사한 수준의 sample 생성 (DDIM, InstaFlow, CFM)
+
+ - 하지만 여전히 50 ~ 100 step 이하로 step 을 줄이게 되면 sample quality 가 크게 감소하여 diffusion distillation 을 통한 one-step generation 방법이 연구되어지고 있음
+ - Single step distillation: Diffusion model 을 teacher 삼아 one-step generation model 학습
+ - 직관적으로 생각해보면, diffusion model 을 학습 시킨후 학습된 모델을 통해 다수의 (noise, image) pair 얻은 후 one-step VAE 를 학습시키는 것을 생각 해 볼 수 있음.
+ - 그러나, 학습된 multi step 으로 학습 된 diffusion model 을 one-step generation model 에 distillation 을 하는 것은 어려움이 있음
+ - Noise level 을 점진적으로 증가 시키며, one-step generation 을 학습시키는 방법
+- GAN 에서 영감을 받아, (noise, image) 의 대응을 강제하는 대신 (such as autoencoder), student model 이 생성하는 이미지를 teacher model (original diffusion model) 이 생성하는 이미지와 indistinguishable 하게 학습시키는 distribution matching 전략을 생각해 볼 수 있음
+
+- Diffusion model 의 score ($\newcommand{\laplacianx}{\Delta x}$$\nabla_{\mathbf{x}} \log p(\mathbf{x})$) 을 사용해서 student model ($p(x)$) 을 학습시킬 수 있음 (real image score 가 증가하는 방향으로 pattern 을 업데이트 하는 것이 desired 방향 + fake image 를 생성하는 diffusion model 의 score 을 감소시키는 방향으로 parameter update)
+ - Diffusion model and score base model
+
+ 엄밀하게 본다면, 이 논문은 diffusion model (DDPM style) 보다는 score matching 의 철학과 논리전개를 바탕으로 두고 있음. 그러나, diffusion model 과 score based model 은 궁극적으로 같은 objective 를 다른 방식으로 학습하고 있을 뿐이고, 그 score 과 diffusion model 이 예측하는 one-step denoised 분포 ($\mu_{base}$) 는 쉽게 변환 가능함.
+
+ $$
+ s_{\text{real}}(x_t, t) = - \frac{x_t - \alpha_t \mu_{\text{base}}(x_t, t)}{\sigma_t^2}
+ $$
+
+ :::{figure-md}
+
+
+ NCSN
+ :::
+
+ :::{figure-md}
+
+
+ Langevin sampling of score models
+ :::
+
+
+# Method
+
+## Overview
+
+:::{figure-md}
+
+
+Overall scheme
+:::
+
+- 학습된 diffusion model (real data score function) 이 주어진 상황에서 one-step generator ($G_{\theta}$) 를 학습시키기 위해, 두개의 loss 1) distribution matching gradient (엄밀하게는 loss 보다는 parameter update gradient) 2) regression loss 를 사용
+- Adversarial AutoEncoder 가 연상되는 architecture 를 가지고 있음
+ - Adversarial AutoEncoder
+
+ :::{figure-md}
+
+
+ Adeverserial AE architecture
+ :::
+
+ AAE 는 VAE 가 생성하는 이미지에 대한 1) regression loss 와 2) implicit distribution matching loss 를 가지고 있는데, 여기서 implicit distribution matching 을 teacher diffusion model 의 distribution matching gradient 로 대체한 형태
+
+- 총 네 부분으로 나뉘어져 있음
+ - Paired dataset construction
+ - Pretrained base model (= real data score function, freezed)
+ - One-step generator (main objective)
+ - Fake data generator (= fake data score function, on-line training)
+
+## Distribution Matching Loss
+
+우선, 생성모델의 training objective를 생각해보면, $p_\text{fake}$ (one-step generator이 생성하는 분포) $p_\text{real}$ (실제 데이터의 분포) 를 matching 시키도록 학습을 시켜야하는 것이 one-step generator의 학습 objective이고 아래와 같이 씌여질 수 있음:
+
+$$
+\begin{align*}
+D_{KL}(p_{\text{fake}} \parallel p_{\text{real}}) &= \mathbb{E}_{x \sim p_{\text{fake}}} \left( \log \frac{p_{\text{fake}}(x)}{p_{\text{real}}(x)} \right) \\
+&= \mathbb{E}_{\substack{z \sim \mathcal{N}(0; I) \\ x = G_{\theta}(z)}} \left( - \log p_{\text{real}}(x) + \log p_{\text{fake}}(x|z)\right)
+\end{align*}
+$$
+
+지만, $p_\text{real}(x)$ 를 바로 구하는 것이 어려움 (이것이 곧 생성모델의 objective). 그러나, 모델을 학습시키기 위해서는 $D_{KL}$ 을 직접 구할 필요는 없고, $D_{KL}$ 을 minimize 하는 (fake 과 real 의 분포사이의 거리를 최소화 시키는 방향으로) parameter update 를 하기 위한 미분값만 알면 충분함. 위 식을 one-step generator 의 learnable paramter ($\theta$) 에 대해 미분 해주면,
+
+$$
+\nabla_{\theta} D_{KL} = \mathbb{E}_{\substack{z \sim \mathcal{N}(0; I) \\ x = G_{\theta}(z)}} \left[ - \left( s_{\text{real}}(x) - s_{\text{fake}}(x) \right) \nabla_{\theta} G_{\theta}(z) \right]
+$$
+
+$$
+s_{\text{real}}(x) = \nabla_x \log p_{\text{real}}(x), \quad s_{\text{fake}}(x) = \nabla_x \log p_{\text{fake}}(x)
+$$
+
+이 유도되는데, 여기서 score $s_{\text{real}}(x)$ 와 $s_{\text{fake}}(x)$ 를 정확히 알 수 있다면, one-step generator 을 학습시킬 수 있음. 단, score 이 $x$ 가 존재하는 전체 space 에 대해서 잘 작동하는 score 이여야함 (= Score-SDE).
+
+이제, 그러면 우리의 objective 는 real score 와 fake score 을 어떻게 구할지가 되는데, $s_{\text{real}}(x)$ 은 pretrained diffusion model 에서:
+
+$$
+s_{\text{real}}(x_t, t) = - \frac{x_t - \alpha_t \mu_{\text{base}}(x_t, t)}{\sigma_t^2}
+$$
+
+와 같이 유도됨. $s_{\text{fake}}(x)$ 의 경우가 복잡해지는데, $s_{\text{fake}}(x)$ 는 one-step generator 가 생성하는 이미지의 score function 라서 one-step generator 로 생성 된 이미지가 있어야 해당 이미지를 생성하는 diffusion 모델을 학습시켜서 구할 수 있음.
+
+:::{figure-md}
+
+
+Distribution matching gradient computation
+:::
+
+여기서 저자들은 fake data score function (initialized to real data score function) 을 동시에 학습시키는 방법으로 해결
+
+$$
+s_{\text{fake}}(x_t, t) = - \frac{x_t - \alpha_t \mu_{\text{fake}}^{\phi}(x_t, t)}{\sigma_t^2}
+$$
+
+$$
+\mathcal{L}_{\text{denoise}}^{\phi} = \left\lVert \mu_{\text{fake}}^{\phi}(x_t, t) - x_0 \right\rVert_2^2
+$$
+
+정리하자면, real score 은 real distribution (data distribution) 방향으로 parameter update를 하면서 fake distribution (one-step generation 의 output) 을 real distribution 에 가깝게 일치시키는 역할을 하며, fake score 의 반대방향으로 parameter update 를 하는 것은 fake data generator (one-step generator) 의 반대방향으로 distribution 을 밀어내서 most probable 한 한개의 점으로 모든 fake image 가 collapse 하는것을 방지하는 regularizer 역할을 한다.
+
+
+## Regression Loss
+
+그런데, score 만을 사용하여 one-step generator 을 학습시키는 것은 충분하지 않음. 두가지 측면에서 생각 해 볼 수 있는데 1) Practically, 매우 작은 noise level 에서는 score 이 reliable 하지 않아짐 2) Theoretically, $\nabla_x \log p_(x)$ 는 $p(x)$ 의 scale 에 영향을 받지 않아, 데이터의 높고 낮음에 대한 정보를 줄 수 없음.
+
+따라서, real + fake score 로 학습이 진행된다면, 낮은 real score 을 보이는 영역은 커버하지 못하는 부분으로 one-step generation 모델이 수렴하게 될 것 이고, high dimension 에서는 generated image 의 pixel level accuracy 에 문제가 생길 수 있음.
+
+여기서 저자들은 pixel-wise MSE (regression loss) 를 사용하여 간단히 이 문제를 해결함.
+
+:::{figure-md}
+
+
+Regression loss
+:::
+
+:::{figure-md}
+
+
+The effect of real and fake scores and regression loss
+:::
+
+- 그렇다면, Regression loss 하나만으로는 학습이 왜 불가능한가? (개인적 생각)
+
+ 이론상 regression loss 만을 사용해도 충분히 one-step generator 을 학습시킬 수 있어 보인다. 그러나, regression 의 근본적 문제점은 distribution to distribution matching 이 아니라는 점이다. e.g.
+
+
+
+
+Regression loss 를 얻기 위해서는 (noise, real image) pair 가 필요하게 되는데, 저자들은 학습된 diffusion model 에서부터 ODE solver 을 사용하여 gaussian noise와 real image 사이에 쌍을 얻어서 데이터셋을 학습 이전에 구축, 해당 pair들을 바탕으로 regression loss 를 구함 (Learned Perceptual Image Patch Similarity).
+
+$$
+\mathcal{L}_{\text{reg}} = \mathbb{E}_{(z,y) \sim \mathcal{D}} \, \ell(G_\theta(z), y)
+$$
+
+## Full algorithm
+
+:::{figure-md}
+
+
+Training algorithm
+:::
+
+
+# Results
+
+## Main comparison
+
+:::{figure-md}
+
+
+Image generation benchmarks
+:::
+
+## Ablation Study
+
+:::{figure-md}
+
+
+Ablation on distribution matching
+:::
+
+:::{figure-md}
+
+
+Ablation on regression loss
+:::
+
+
+## Comparison with Unaccelerated Models
+
+:::{figure-md}
+
+
+Comparison with Unaccelerated Models
+:::
+
+# Conclusion and Limitations
+
+- Score model 을 사용한 distribution matching loss 와 regularizing term 인 regression loss 를 통해, teacher model 에 준하는 성능을 낼 수 있었다
+- One step generator 와 multi-step generation 사이에는 근본적인 성능 tradeoff 가 존재함
- one-step generator 의 성능은 teacher diffusion model 의 성능에 종속된다
\ No newline at end of file
diff --git a/_sources/docs/review/progressive_distillation.md b/_sources/docs/review/progressive_distillation.md
index 9c01ddf6..f3246ce5 100755
--- a/_sources/docs/review/progressive_distillation.md
+++ b/_sources/docs/review/progressive_distillation.md
@@ -1,233 +1,233 @@
-``` {admonition} Information
-- **Title:** Progressive Distillation for Fast Sampling of Diffusion Models (ICLR 2022)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2202.00512](https://arxiv.org/abs/2202.00512)
- - Code: [https://github.com/google-research/google-research/tree/master/diffusion_distillation/diffusion_distillation](https://github.com/google-research/google-research/tree/master/diffusion_distillation/diffusion_distillation)
-
-- **Author:** Sangwoo Jo
-
-- **Last updated on Nov. 14, 2023**
-```
-
-# Progressive Distillation for Fast Sampling of Diffusion Models
-
-## 1. Introduction
-
-Diffusion model 이 ImageNet generation task 에서 기존 BigGAN-deep 그리고 VQ-VAE-2 모델보다 FID/CAS score 기준으로 더 좋은 성능을 보여주며 많은 각광을 받고 있습니다. 그러나 sampling 속도가 느리다는 치명적인 단점을 가지고 있습니다.
-
-이를 해결하기 위해, 논문에서는 Progressive Distillation 기법을 소개하게 됩니다. 간략히 설명하자면 사전학습된 $N$-step DDIM 모델을 $N/2$-step student 모델에 distillation 하는 과정을 반복하여 최종적으로 4 steps 만으로도 state-of-the-art 모델을 수천번의 sampling steps 를 거쳐 생성한 이미지들과 유사한 모델 성능을 보여준다고 합니다.
-
-## 2. Background - Diffusion model in continuous time ##
-
-### 2.1. Definition
-
-Continuous 한 time domain 에서의 diffusion model 을 다음과 같은 요소들로 정의합니다.
-
-- Training data $x \sim p(x)$
-- Latent variables $z = \{z_t | t \in [0,1]\}$
-
-여기서 $z_t$ 는 differentiable 한 noise schedule functions $\alpha_t, \sigma_t$ 로 값이 정의되고, 이 함수들은 log *signal-to-noise-ratio* $\lambda_t = \log[\alpha_t^2/\sigma_t^2]$ 가 monotonically decreasing 하도록 설정됩니다. 그리고 이들을 기반으로 다음과 같은 Markovian forward process 를 정의합니다.
-
-:::{figure-md}
-
-
-Markovian Forward Process
-:::
-
- where $0 \leq s < t \leq 1$ and $\sigma_{t|s}^2 = (1-e^{\lambda_t - \lambda_s}) \sigma_t^2$
-
-### 2.2. Objective
-
-Diffusion model 의 objective 는 $\hat{x}_{\theta}(z_t)$ 모델에서 $z_t \sim q(z_t | x)$ 와 $\lambda_t$ 를 입력받아 다음과 같이 Mean Squared Error Loss 를 최소화하는 방향으로 원본 이미지 $x$ 를 예측하는 것입니다. 이때, $w(\lambda_t)$ 를 *weighting function* 이라 부릅니다.
-
-:::{figure-md}
-
-
-Objective
-:::
-
-where $t \sim U[0,1]$
-
-### 2.3. Sampling
-
-Diffusion model 에서 sampling 하는 방식은 다양하게 존재합니다.
-
-#### 2.3.1. Ancestral Sampling - DDPM
-
-첫번째로는 DDPM 논문에서 소개하는 discrete time ancestral sampling 방식입니다. 위에 소개했던 notation 기준으로 reverse process 를 다음과 같이 수식적으로 표현 가능합니다.
-
-$$
-q(z_s | z_t,x) = N(z_s | \hat{\mu}_{s|t}(z_t,x), \tilde{\sigma}_{s|t}^2I)
-$$
-
-:::{figure-md}
-
-
-Reverse Process
-:::
-
-이를 기반으로 $z_1 \sim N(0,I)$ 로부터 다음과 같은 ancestral sampler 를 정의하게 됩니다. 이때, $\gamma$ 는 sampling 시 얼마나 많은 noise 를 추가할지 설정하는 hyperparameter 입니다.
-
-:::{figure-md}
-
-
-Ancestral Sampler
-:::
-
-#### 2.3.2. Probability Flow ODE
-
-반면에, Song et al. (2021c) 에서 forward diffusion process 를 SDE 로 표현할 수 있고, 이를 통한 sampling process 를 *probabiility flow* ODE 로 표현해서 구할 수 있다고 제시합니다.
-
-:::{figure-md}
-
-
-Probability flow ODE
-:::
-
-이때, $f(z_t,t) = \frac{d \log \alpha_t}{dt}z_t, g^2(t) = \frac{dσ_t^2}{dt} − 2 \frac{d\log \alpha_t}{dt}\sigma_t^2, \text{and}$ $\nabla_z \log \hat{p}_{\theta}(z_t) = \frac{\alpha_t\hat{x}_{\theta}(z_t) -z_t}{\sigma_t^2}$ 로 정의합니다.
-
-다시 말해 $z_1 \sim N(0,I)$ 로부터 이미지 $x$ 를 생성하는 task 를 위와 같이 ODE solver 문제로 해석할 수 있고, Euler rule 이나 Runge-Kutta method 등의 전통적인 ODE integrator 보다 DDIM sampler 를 적용했을때 성능이 가장 좋다고 논문에서 제시합니다. 아래 사진은 다양한 Probabiltity Flow ODE solver 들의 128x128 ImageNet 데이터셋 FID 성능을 비교한 결과입니다.
-
-:::{figure-md}
-
-
-FID scores on 128 × 128 ImageNet for various probability flow ODE integrators
-:::
-
-참고로 DDIM sampler 를 ODE solver 문제로 해석하면 다음과 같이 표현할 수 있고, 이 수식은 앞으로 자주 보게 될 예정입니다.
-
-:::{figure-md}
-
-
-DDIM sampler
-:::
-
-## 3. Progressive Distillation
-
-Diffusion model 을 더 효율적으로 sampling 하기 위해 소개한 *progressive distillation* 기법은 다음과 같은 절차로 진행됩니다.
-
-:::{figure-md}
-
-
-Progressive Distillation
-:::
-
-1. Standard diffusion training 기법으로 Teacher Diffusion Model 학습
-2. Student Model 정의 - Teacher Model 로부터 모델 구조 및 parameter 복사
-3. Student Model 학습
- 1. 이때, original data $x$ 대신에 $\tilde{x}$ 를 target 로 student model 을 학습합니다. $\tilde{x}$ 에 대한 공식은 아래 pseudocode 에 소개되는데, 이는 one-step student sample $\tilde{z}_{t''}$ 과 two-step teacher sample $z_{t''}$ 를 일치시키기 위해 나온 공식입니다.
- 2. 2 DDIM steps of teacher model 결과와 1 DDIM step of student model 결과를 일치시키는 것이 핵심입니다. 여기서 $z_t$ 에서 $z_{t-1/N}$ 로 넘어가는 과정을 1 DDIM step 라 정의하고, $N$ 은 총 진행되는 student sampling steps 입니다.
- 3. 기존 denoising model 학습 시, $x$ 가 $z_t$ 에 대해 deterministic 하지 않기 때문에 (다른 $x$ 값들에 대해 동일한 $z_t$ 생성 가능) 모델은 사실상 $x$ 가 아닌 weighted average of possible $x$ values 를 예측하는 모델이라고 합니다. 따라서, $z_t$에 대해 deterministic 한 $\tilde{x}(z_t)$ 를 예측하도록 학습한 student model 은 teacher model 보다 더 sharp 한 prediction 을 할 수 있다고 주장합니다.
-4. Student Model 이 새로운 Teacher Model 이 되고 sampling steps $N$ → $N/2$ 로 줄어드는 이 과정을 계속 반복
-
-이에 대한 pseudocode 도 확인해보겠습니다.
-
-- **PseudoCode**
-
- :::{figure-md}
- 
-
- Pseudocode for Progresssive Distillation
- :::
-
-
-## 4. Diffusion Model Parameterization and Training Loss
-
-이제 denoising model $\hat{x}_{\theta}$ 와 reconstruction loss weight $w(\lambda_t)$ 에 대한 설정값에 대해 자세히 알아보겠습니다. 우선, 논문에서는 일반성을 잃지 않고 (without loss of generalization) *variance-preserving* diffusion process (i.e., $\alpha_t^2 + \sigma_t^2 = 1$ ) 라는 가정을 하게 됩니다. 더 자세하게는 cosine schedule $\alpha_t = cos(0.5\pi t)$ 를 사용합니다.
-
-DDPM 을 비롯한 대다수의 논문에서 이미지 $x$ 가 아닌 noise $\epsilon$ 를 예측하는 denoising model $\hat{\epsilon}_{\theta}(z_t)$ 를 정의합니다. $\epsilon$-space 에 정의된 손실함수에 $\hat{x_{\theta}}(z_t) = \frac{1}{\alpha_t}(z_t - \sigma_t \hat{\epsilon}_{\theta}(z_t))$ 식을 대입해보겠습니다.
-
-:::{figure-md}
-
-
-Training loss on $\epsilon$-space and $x$-space
-:::
-
-따라서, 이는 이미지 $x$ domain 에서 weighted reconstruction loss 를 적용하는 것과 동일하며 이때 weighting function $w(\lambda_t) = exp(\lambda_t), \lambda_t = \log[\alpha_t^2/\sigma_t^2]$ 로 정의할 수 있습니다. 그러나 이러한 standard training procedure 는 progressive distillation 에 적합하지 않다고 주장합니다.
-
-Standard diffusion training 기법에서는 다양한 범위 내에서의 signal-to-noise ratio $\alpha_t^2/\sigma_t^2$ 에서 모델이 학습되지만, distillation 이 진행될수록 이 signal-to-noise ratio 가 감소한다는 단점을 확인하게 됩니다. 더 자세히 설명하자면, $t$ 가 증가할수록 signal-to-noise-ratio $\alpha_t^2/\sigma_t^2$ 는 0 에 가까워지게 되고, $\hat{x_{\theta}}(z_t) = \frac{1}{\alpha_t}(z_t - \sigma_t \hat{\epsilon}_{\theta}(z_t))$ 에서 $\alpha_t \rightarrow 0$ 이므로 $\hat{\epsilon}_{\theta}(z_t)$ 에 대한 $x$-prediction 변화량이 점차적으로 커지게 됩니다. 이는 여러번의 training step 을 거칠 때 상관없지만, sampling steps 가 줄어들수록 치명적이게 됩니다. 최종적으로 sampling steps=1 일 때까지 progressively distillation 을 적용하면 모델의 입력으로는 단순한 pure noise $\epsilon$ (i.e., $\alpha_t = 0, \sigma_t = 1$ ) 이 들어가게 되고, $\epsilon$-prediction 과 $x$-prediction 의 상관관계가 완전히 사라지게 됩니다. 이는 위 loss function 에서 weighting function $w(\lambda_t) = 0$ 인 부분에서 확인할 수 있습니다.
-
-그래서 논문에서는 다음과 같은 세가지 방법으로 stable 한 $\hat{x}_{\theta}(z_t)$ prediction 을 구할 수 있는 방법들을 제시합니다.
-
-:::{figure-md}
-
-
-Different parameterizations
-:::
-
-Weighting function $w(\lambda_t)$ 도 두 가지 방안으로 실험했습니다. 이는 signal-to-noise ratio 가 0 으로 수렴하는 현상을 방지하도록 설정되었다고 합니다.
-
-:::{figure-md}
-
-
-Different loss weighting functions
-:::
-
-:::{figure-md}
-
-
-Visualization of different loss weighting functions
-:::
-
-## 5. Experiments
-
-논문에서 32x32 부터 128x128 까지 다양한 resolution 에서 모델 성능을 확인했습니다. 또한, cosine schedule $\alpha_t = cos(0.5 \pi t)$ 그리고 DDPM 에서 소개한 U-Net 아키텍쳐를 사용했으며 부가적으로 Nichol & Dhariwal (2021), Song et al. (2021c) 에서 사용된 BigGAN-style up/downsampling 기법을 활용했습니다.
-
-### 5.1. Model Parametrization and Training Loss
-
-아래 지표는 unconditional CIFAR-10 데이터셋에 앞써 소개드린 $\epsilon$-prediction 외에 다른 세 가지 parametrization 기법들로 original diffusion model 의 FID 와 Inception Score 성능을 확인해본 결과입니다.
-
-:::{figure-md}
-
-
-Ablation Study on Parameterizations and Loss Weightings
-:::
-
-성능을 비교해본 결과 $v$-prediction/$x$-prediction 과 Truncated SNR loss function 을 사용했을때 성능이 가장 좋은 부분을 확인할 수 있습니다. 또한, $\epsilon$-prediction 과 Truncated SNR loss function 의 조합을 사용하여 학습 시, unstable 한 convergence 를 보이는 현상도 볼 수 있습니다.
-
-위 실험결과를 바탕으로 progressive distillation 진행시 CIFAR-10 데이터셋에는 $x$-prediction, 그 외 데이터셋에서는 $(x,\epsilon)$-prediction 을 사용했다고 합니다. 더 자세한 hyperparameter setting 은 Appendix E 참조하시면 됩니다.
-
-### 5.2. Progressive Distillation
-
-논문에서 CIFAR-10, 64x64 downsampled ImageNet, 128 × 128 LSUN bedrooms, 그리고 128 × 128 LSUN Church-Outdoor 데이터셋에 progressive distillation 을 적용하여 모델 성능을 측정합니다. CIFAR-10 데이터셋 기준으로 teacher model 로부터 progressive distillation 진행 시 8192 steps 부터 시작하였고 batch size=128 로 설정하였습니다. 그 외 resolution 이 큰 데이터셋에 대해서는 1024 steps 부터 시작하고 batch size=2048 로 실험을 진행했습니다. 또한, 매 iteration 마다 $10^{-4}$ 에서 $0$ 으로 learning rate 를 linearly anneal 했다고 합니다.
-
-FID 성능을 확인해본 결과, 실험을 진행한 모든 4개의 데이터셋에 대해 progressive distillation 을 통해 4-8 sampling steps 만 진행해도 undistilled DDIM 그리고 stochastic sampler 에 준하는 성능을 보여주는 것을 확인할 수 있습니다. 4 sampling steps 까지 progressive distillation 진행하면서 발생하는 computational cost 가 baseline 모델 학습하는 것과 비슷한 부분을 생각했을때 엄청난 장점이라고 생각합니다.
-
-:::{figure-md}
-
-
-Comparison between Distilled, DDIM, and Stochastic Sampler
-:::
-
-추가적으로 CIFAR-10 데이터셋에서 타 fast sampling method 들과 FID 성능을 비교해본 결과입니다.
-
-:::{figure-md}
-
-
-Comparison of fast sampling results
-:::
-
-그리고 64x64 ImageNet 데이터셋에 distilled 모델로 생성한 예시 이미지들입니다. 동일한 seed 에 대해서 input noise 로부터 output image 까지 mapping 이 잘되는 부분을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Random samples from distilled 64 × 64 ImageNet models
-:::
-
-마지막으로 distillation scheduling 에 대한 ablation study 도 논문에서 진행했습니다. 첫번째 ablation study 로는 매 distillation iteration 마다 parameter update 횟수를 $50k$ 에서 $25k, 10k, 5k$ 로 점차 줄이면서 FID 성능을 비교해보고, 두번째 ablation study 로는 매 distillation iteration 마다 sampling step 을 2배 대신에 4배씩 줄여가면서 student model 을 학습하여 성능을 비교합니다. 그 결과 parameter update 횟수를 현저히 줄임에도 불구하고 FID 성능이 크게 줄지 않는 반면, 각 iteration 마다 sampling step 을 4배씩 줄이는 학습방식으로는 모델 성능이 좋지 못한 부분을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Ablation study on fast sampling schedule
-:::
-
-동일하게 CIFAR-10 외 ImageNet 그리고 LSUN 데이터셋에서 fast sampling schedule 을 적용한 성능 결과도 공유합니다.
-
-:::{figure-md}
-
-
-50k updates vs 10k updates on ImageNet/LSUN datasets
-:::
+``` {admonition} Information
+- **Title:** Progressive Distillation for Fast Sampling of Diffusion Models (ICLR 2022)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2202.00512](https://arxiv.org/abs/2202.00512)
+ - Code: [https://github.com/google-research/google-research/tree/master/diffusion_distillation/diffusion_distillation](https://github.com/google-research/google-research/tree/master/diffusion_distillation/diffusion_distillation)
+
+- **Author:** Sangwoo Jo
+
+- **Last updated on Nov. 14, 2023**
+```
+
+# Progressive Distillation for Fast Sampling of Diffusion Models
+
+## 1. Introduction
+
+Diffusion model 이 ImageNet generation task 에서 기존 BigGAN-deep 그리고 VQ-VAE-2 모델보다 FID/CAS score 기준으로 더 좋은 성능을 보여주며 많은 각광을 받고 있습니다. 그러나 sampling 속도가 느리다는 치명적인 단점을 가지고 있습니다.
+
+이를 해결하기 위해, 논문에서는 Progressive Distillation 기법을 소개하게 됩니다. 간략히 설명하자면 사전학습된 $N$-step DDIM 모델을 $N/2$-step student 모델에 distillation 하는 과정을 반복하여 최종적으로 4 steps 만으로도 state-of-the-art 모델을 수천번의 sampling steps 를 거쳐 생성한 이미지들과 유사한 모델 성능을 보여준다고 합니다.
+
+## 2. Background - Diffusion model in continuous time ##
+
+### 2.1. Definition
+
+Continuous 한 time domain 에서의 diffusion model 을 다음과 같은 요소들로 정의합니다.
+
+- Training data $x \sim p(x)$
+- Latent variables $z = \{z_t | t \in [0,1]\}$
+
+여기서 $z_t$ 는 differentiable 한 noise schedule functions $\alpha_t, \sigma_t$ 로 값이 정의되고, 이 함수들은 log *signal-to-noise-ratio* $\lambda_t = \log[\alpha_t^2/\sigma_t^2]$ 가 monotonically decreasing 하도록 설정됩니다. 그리고 이들을 기반으로 다음과 같은 Markovian forward process 를 정의합니다.
+
+:::{figure-md}
+
+
+Markovian Forward Process
+:::
+
+ where $0 \leq s < t \leq 1$ and $\sigma_{t|s}^2 = (1-e^{\lambda_t - \lambda_s}) \sigma_t^2$
+
+### 2.2. Objective
+
+Diffusion model 의 objective 는 $\hat{x}_{\theta}(z_t)$ 모델에서 $z_t \sim q(z_t | x)$ 와 $\lambda_t$ 를 입력받아 다음과 같이 Mean Squared Error Loss 를 최소화하는 방향으로 원본 이미지 $x$ 를 예측하는 것입니다. 이때, $w(\lambda_t)$ 를 *weighting function* 이라 부릅니다.
+
+:::{figure-md}
+
+
+Objective
+:::
+
+where $t \sim U[0,1]$
+
+### 2.3. Sampling
+
+Diffusion model 에서 sampling 하는 방식은 다양하게 존재합니다.
+
+#### 2.3.1. Ancestral Sampling - DDPM
+
+첫번째로는 DDPM 논문에서 소개하는 discrete time ancestral sampling 방식입니다. 위에 소개했던 notation 기준으로 reverse process 를 다음과 같이 수식적으로 표현 가능합니다.
+
+$$
+q(z_s | z_t,x) = N(z_s | \hat{\mu}_{s|t}(z_t,x), \tilde{\sigma}_{s|t}^2I)
+$$
+
+:::{figure-md}
+
+
+Reverse Process
+:::
+
+이를 기반으로 $z_1 \sim N(0,I)$ 로부터 다음과 같은 ancestral sampler 를 정의하게 됩니다. 이때, $\gamma$ 는 sampling 시 얼마나 많은 noise 를 추가할지 설정하는 hyperparameter 입니다.
+
+:::{figure-md}
+
+
+Ancestral Sampler
+:::
+
+#### 2.3.2. Probability Flow ODE
+
+반면에, Song et al. (2021c) 에서 forward diffusion process 를 SDE 로 표현할 수 있고, 이를 통한 sampling process 를 *probabiility flow* ODE 로 표현해서 구할 수 있다고 제시합니다.
+
+:::{figure-md}
+
+
+Probability flow ODE
+:::
+
+이때, $f(z_t,t) = \frac{d \log \alpha_t}{dt}z_t, g^2(t) = \frac{dσ_t^2}{dt} − 2 \frac{d\log \alpha_t}{dt}\sigma_t^2, \text{and}$ $\nabla_z \log \hat{p}_{\theta}(z_t) = \frac{\alpha_t\hat{x}_{\theta}(z_t) -z_t}{\sigma_t^2}$ 로 정의합니다.
+
+다시 말해 $z_1 \sim N(0,I)$ 로부터 이미지 $x$ 를 생성하는 task 를 위와 같이 ODE solver 문제로 해석할 수 있고, Euler rule 이나 Runge-Kutta method 등의 전통적인 ODE integrator 보다 DDIM sampler 를 적용했을때 성능이 가장 좋다고 논문에서 제시합니다. 아래 사진은 다양한 Probabiltity Flow ODE solver 들의 128x128 ImageNet 데이터셋 FID 성능을 비교한 결과입니다.
+
+:::{figure-md}
+
+
+FID scores on 128 × 128 ImageNet for various probability flow ODE integrators
+:::
+
+참고로 DDIM sampler 를 ODE solver 문제로 해석하면 다음과 같이 표현할 수 있고, 이 수식은 앞으로 자주 보게 될 예정입니다.
+
+:::{figure-md}
+
+
+DDIM sampler
+:::
+
+## 3. Progressive Distillation
+
+Diffusion model 을 더 효율적으로 sampling 하기 위해 소개한 *progressive distillation* 기법은 다음과 같은 절차로 진행됩니다.
+
+:::{figure-md}
+
+
+Progressive Distillation
+:::
+
+1. Standard diffusion training 기법으로 Teacher Diffusion Model 학습
+2. Student Model 정의 - Teacher Model 로부터 모델 구조 및 parameter 복사
+3. Student Model 학습
+ 1. 이때, original data $x$ 대신에 $\tilde{x}$ 를 target 로 student model 을 학습합니다. $\tilde{x}$ 에 대한 공식은 아래 pseudocode 에 소개되는데, 이는 one-step student sample $\tilde{z}_{t''}$ 과 two-step teacher sample $z_{t''}$ 를 일치시키기 위해 나온 공식입니다.
+ 2. 2 DDIM steps of teacher model 결과와 1 DDIM step of student model 결과를 일치시키는 것이 핵심입니다. 여기서 $z_t$ 에서 $z_{t-1/N}$ 로 넘어가는 과정을 1 DDIM step 라 정의하고, $N$ 은 총 진행되는 student sampling steps 입니다.
+ 3. 기존 denoising model 학습 시, $x$ 가 $z_t$ 에 대해 deterministic 하지 않기 때문에 (다른 $x$ 값들에 대해 동일한 $z_t$ 생성 가능) 모델은 사실상 $x$ 가 아닌 weighted average of possible $x$ values 를 예측하는 모델이라고 합니다. 따라서, $z_t$에 대해 deterministic 한 $\tilde{x}(z_t)$ 를 예측하도록 학습한 student model 은 teacher model 보다 더 sharp 한 prediction 을 할 수 있다고 주장합니다.
+4. Student Model 이 새로운 Teacher Model 이 되고 sampling steps $N$ → $N/2$ 로 줄어드는 이 과정을 계속 반복
+
+이에 대한 pseudocode 도 확인해보겠습니다.
+
+- **PseudoCode**
+
+ :::{figure-md}
+
+
+ Pseudocode for Progresssive Distillation
+ :::
+
+
+## 4. Diffusion Model Parameterization and Training Loss
+
+이제 denoising model $\hat{x}_{\theta}$ 와 reconstruction loss weight $w(\lambda_t)$ 에 대한 설정값에 대해 자세히 알아보겠습니다. 우선, 논문에서는 일반성을 잃지 않고 (without loss of generalization) *variance-preserving* diffusion process (i.e., $\alpha_t^2 + \sigma_t^2 = 1$ ) 라는 가정을 하게 됩니다. 더 자세하게는 cosine schedule $\alpha_t = cos(0.5\pi t)$ 를 사용합니다.
+
+DDPM 을 비롯한 대다수의 논문에서 이미지 $x$ 가 아닌 noise $\epsilon$ 를 예측하는 denoising model $\hat{\epsilon}_{\theta}(z_t)$ 를 정의합니다. $\epsilon$-space 에 정의된 손실함수에 $\hat{x_{\theta}}(z_t) = \frac{1}{\alpha_t}(z_t - \sigma_t \hat{\epsilon}_{\theta}(z_t))$ 식을 대입해보겠습니다.
+
+:::{figure-md}
+
+
+Training loss on $\epsilon$-space and $x$-space
+:::
+
+따라서, 이는 이미지 $x$ domain 에서 weighted reconstruction loss 를 적용하는 것과 동일하며 이때 weighting function $w(\lambda_t) = exp(\lambda_t), \lambda_t = \log[\alpha_t^2/\sigma_t^2]$ 로 정의할 수 있습니다. 그러나 이러한 standard training procedure 는 progressive distillation 에 적합하지 않다고 주장합니다.
+
+Standard diffusion training 기법에서는 다양한 범위 내에서의 signal-to-noise ratio $\alpha_t^2/\sigma_t^2$ 에서 모델이 학습되지만, distillation 이 진행될수록 이 signal-to-noise ratio 가 감소한다는 단점을 확인하게 됩니다. 더 자세히 설명하자면, $t$ 가 증가할수록 signal-to-noise-ratio $\alpha_t^2/\sigma_t^2$ 는 0 에 가까워지게 되고, $\hat{x_{\theta}}(z_t) = \frac{1}{\alpha_t}(z_t - \sigma_t \hat{\epsilon}_{\theta}(z_t))$ 에서 $\alpha_t \rightarrow 0$ 이므로 $\hat{\epsilon}_{\theta}(z_t)$ 에 대한 $x$-prediction 변화량이 점차적으로 커지게 됩니다. 이는 여러번의 training step 을 거칠 때 상관없지만, sampling steps 가 줄어들수록 치명적이게 됩니다. 최종적으로 sampling steps=1 일 때까지 progressively distillation 을 적용하면 모델의 입력으로는 단순한 pure noise $\epsilon$ (i.e., $\alpha_t = 0, \sigma_t = 1$ ) 이 들어가게 되고, $\epsilon$-prediction 과 $x$-prediction 의 상관관계가 완전히 사라지게 됩니다. 이는 위 loss function 에서 weighting function $w(\lambda_t) = 0$ 인 부분에서 확인할 수 있습니다.
+
+그래서 논문에서는 다음과 같은 세가지 방법으로 stable 한 $\hat{x}_{\theta}(z_t)$ prediction 을 구할 수 있는 방법들을 제시합니다.
+
+:::{figure-md}
+
+
+Different parameterizations
+:::
+
+Weighting function $w(\lambda_t)$ 도 두 가지 방안으로 실험했습니다. 이는 signal-to-noise ratio 가 0 으로 수렴하는 현상을 방지하도록 설정되었다고 합니다.
+
+:::{figure-md}
+
+
+Different loss weighting functions
+:::
+
+:::{figure-md}
+
+
+Visualization of different loss weighting functions
+:::
+
+## 5. Experiments
+
+논문에서 32x32 부터 128x128 까지 다양한 resolution 에서 모델 성능을 확인했습니다. 또한, cosine schedule $\alpha_t = cos(0.5 \pi t)$ 그리고 DDPM 에서 소개한 U-Net 아키텍쳐를 사용했으며 부가적으로 Nichol & Dhariwal (2021), Song et al. (2021c) 에서 사용된 BigGAN-style up/downsampling 기법을 활용했습니다.
+
+### 5.1. Model Parametrization and Training Loss
+
+아래 지표는 unconditional CIFAR-10 데이터셋에 앞써 소개드린 $\epsilon$-prediction 외에 다른 세 가지 parametrization 기법들로 original diffusion model 의 FID 와 Inception Score 성능을 확인해본 결과입니다.
+
+:::{figure-md}
+
+
+Ablation Study on Parameterizations and Loss Weightings
+:::
+
+성능을 비교해본 결과 $v$-prediction/$x$-prediction 과 Truncated SNR loss function 을 사용했을때 성능이 가장 좋은 부분을 확인할 수 있습니다. 또한, $\epsilon$-prediction 과 Truncated SNR loss function 의 조합을 사용하여 학습 시, unstable 한 convergence 를 보이는 현상도 볼 수 있습니다.
+
+위 실험결과를 바탕으로 progressive distillation 진행시 CIFAR-10 데이터셋에는 $x$-prediction, 그 외 데이터셋에서는 $(x,\epsilon)$-prediction 을 사용했다고 합니다. 더 자세한 hyperparameter setting 은 Appendix E 참조하시면 됩니다.
+
+### 5.2. Progressive Distillation
+
+논문에서 CIFAR-10, 64x64 downsampled ImageNet, 128 × 128 LSUN bedrooms, 그리고 128 × 128 LSUN Church-Outdoor 데이터셋에 progressive distillation 을 적용하여 모델 성능을 측정합니다. CIFAR-10 데이터셋 기준으로 teacher model 로부터 progressive distillation 진행 시 8192 steps 부터 시작하였고 batch size=128 로 설정하였습니다. 그 외 resolution 이 큰 데이터셋에 대해서는 1024 steps 부터 시작하고 batch size=2048 로 실험을 진행했습니다. 또한, 매 iteration 마다 $10^{-4}$ 에서 $0$ 으로 learning rate 를 linearly anneal 했다고 합니다.
+
+FID 성능을 확인해본 결과, 실험을 진행한 모든 4개의 데이터셋에 대해 progressive distillation 을 통해 4-8 sampling steps 만 진행해도 undistilled DDIM 그리고 stochastic sampler 에 준하는 성능을 보여주는 것을 확인할 수 있습니다. 4 sampling steps 까지 progressive distillation 진행하면서 발생하는 computational cost 가 baseline 모델 학습하는 것과 비슷한 부분을 생각했을때 엄청난 장점이라고 생각합니다.
+
+:::{figure-md}
+
+
+Comparison between Distilled, DDIM, and Stochastic Sampler
+:::
+
+추가적으로 CIFAR-10 데이터셋에서 타 fast sampling method 들과 FID 성능을 비교해본 결과입니다.
+
+:::{figure-md}
+
+
+Comparison of fast sampling results
+:::
+
+그리고 64x64 ImageNet 데이터셋에 distilled 모델로 생성한 예시 이미지들입니다. 동일한 seed 에 대해서 input noise 로부터 output image 까지 mapping 이 잘되는 부분을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Random samples from distilled 64 × 64 ImageNet models
+:::
+
+마지막으로 distillation scheduling 에 대한 ablation study 도 논문에서 진행했습니다. 첫번째 ablation study 로는 매 distillation iteration 마다 parameter update 횟수를 $50k$ 에서 $25k, 10k, 5k$ 로 점차 줄이면서 FID 성능을 비교해보고, 두번째 ablation study 로는 매 distillation iteration 마다 sampling step 을 2배 대신에 4배씩 줄여가면서 student model 을 학습하여 성능을 비교합니다. 그 결과 parameter update 횟수를 현저히 줄임에도 불구하고 FID 성능이 크게 줄지 않는 반면, 각 iteration 마다 sampling step 을 4배씩 줄이는 학습방식으로는 모델 성능이 좋지 못한 부분을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Ablation study on fast sampling schedule
+:::
+
+동일하게 CIFAR-10 외 ImageNet 그리고 LSUN 데이터셋에서 fast sampling schedule 을 적용한 성능 결과도 공유합니다.
+
+:::{figure-md}
+
+
+50k updates vs 10k updates on ImageNet/LSUN datasets
+:::
diff --git a/_sources/docs/review/t2i_adapter.md b/_sources/docs/review/t2i_adapter.md
index e5c1842b..b1a5b2f7 100755
--- a/_sources/docs/review/t2i_adapter.md
+++ b/_sources/docs/review/t2i_adapter.md
@@ -1,366 +1,366 @@
-```{admonition} Information
-- **Title:** T2I-Adapter: Learning Adapters to Dig out More Controllable Ability for Text-to-Image Diffusion Models
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2302.08453](https://arxiv.org/abs/2302.08453)
- - Code: [https://github.com/huggingface/diffusers/tree/main/src/diffusers/pipelines/t2i_adapter](https://github.com/huggingface/diffusers/tree/main/src/diffusers/pipelines/t2i_adapter)
-
-- **Author:** Sangwoo Jo
-
-- **Last updated on Oct. 03, 2023**
-```
-
-# T2I-Adapter
-
-## Introduction
-
-이번 시간에는 Tencent ARC Lab 에서 소개하는 T2I-Adapter 모델에 대해 알아볼 예정입니다.
-
-Stable Diffusion 을 비롯한 기존의 T2I 모델들이 난해한 prompt (e.g., “A car with flying wings” & “Iron Man with bunny ears”) 을 입력받을 시, 생성되는 이미지 퀄리티가 저하되는 부분을 확인할 수 있는데요. 논문에서는 T2I 모델이 low level (e.g., textures), middle level (e.g., edges), 그리고 high level (e.g., semantics) 에 대한 정보들을 implicit 하게 가지고 있지만, 이를 표현하기 위해서는 text prompt 만으로는 한계가 있고 보다 세밀한 controlling (e.g., color, structure) 이 필요하다고 서술합니다. 즉, T2I 모델의 internal knowledge 와 external guidance 의 alignment 에 대한 추가적인 학습이 필요하다고 주장합니다.
-
-:::{figure-md}
-
-
-Effect of External Guidance
-:::
-
-논문에서는 이를 해결하기 위해 T2I-Adapter 모델을 소개하고 다음과 같이 5가지 장점이 있다고 합니다.
-
-:::{figure-md}
-
-
-Various Guidance of T2I-Adapter
-:::
-
-- *Plug-and-play* : 기존의 T2I 모델의 generalization ability 유지
-- *Simple and small* : ~77M parameters and ~300M storage
-
- :::{figure-md}
- 
-
- ControlNet vs T2I-Adapter
- :::
-
- - ControlNet 같은 경우에 reverse diffusion process 에서 ControlNet 과 Unet 모두 연산작업이 실행됩니다. 이때 ControlNet 은 Unet Encoder 의 구조를 그대로 가져오기 때문에 parameter size 및 storage 용량이 크고, 이는 이미지 생성하는데 큰 bottleneck 이 됩니다.
-- *Flexible* : 다양한 adapter (e.g., color, structure) 학습 가능
-- *Composable* : Multiple adapter 적용 가능
-- *Generalizable* : 동일한 구조를 가진 다른 T2I 모델에 동일한 adapter 적용 가능
-
-## Method
-
-### 3.1. Preliminary: Stable Diffusion
-
-T2I-Adapter 의 기반이 되는 T2I 모델 Stable Diffusion 모델은 기본적으로 two-stage model 이고, autoencoder 와 Unet denoiser 로 구성되어 있습니다. Autoencoder 를 통해 이미지를 latent space 로 바꾸고 다시 복원하는 역할을 하고, Unet denoiser 는 diffusion process 를 통해 다음과 같은 손실함수를 최소화하는 방향으로 학습하게 됩니다.
-
-$$
-L = \mathbb{E}_{Z_{t}, C, \epsilon, t}(||\epsilon-\epsilon_{\theta}(Z_t, C)||_2^2)
-$$
-
-- $Z_t = \sqrt{\bar{\alpha}_t}Z_0 + \sqrt{1-\bar{\alpha}_t}\epsilon, \epsilon \sim N(0,I)$ := noised feature map at step t
-- $C$ := conditional information
-- $\epsilon_{\theta}$ := UNet denoiser
-
-Inference 시에는 random Gaussian distribution 을 따르는 $Z_T$, 그리고 text prompt 를 CLIP text encoder 에 입력함으로써 생성한 token $y$ 를 cross attention 을 통해 Unet denoiser $\epsilon_{\theta}$ 에 입력합니다. 최종적으로, diffusion process 로부터 생성된 denoise 된 latent feature 를 decoder 를 통해 최종 이미지를 생성하게 됩니다. 자세한 cross attention 하는 방식은 다음과 같습니다.
-
-:::{figure-md}
-
-
-Cross Attention
-:::
-
-- $W_Q, W_K, W_V$ := learnable projection matrices
-- $\phi(\cdot), \tau(\cdot)$ := learnable embeddings
-
-### 3.2. Overview of T2I-Adapter
-
-논문에서는 다음과 같은 형태로 pre-trained 된 Stable Diffusion 을 비롯한 T2I 모델에 Adapter 를 추가하는 방식을 소개합니다. Adapter 의 자세한 구조는 다음과 같습니다.
-
-:::{figure-md}
-
-
-Overview of T2I-Adapter
-:::
-
-### 3.3. Adapter Design
-
-:::{figure-md}
-
-
-Adapter Design
-:::
-
-Conditional input 은 512x512 의 크기를 가지며, 이는 *pixel unshuffle downsampling* 을 통해 64x64 이미지로 변환이 되어 1개의 convolution layer 와 2개의 residual block 으로 구성된 *scale* 을 4번 통과하게 됩니다. 이때, 각 *scale* 을 거치고 나온 condition feature 를 $F_c^k$ 라 정의합니다.
-
-최종적으로 multi-scale condition feature $F_c = \{F_c^1, F_c^2, F_c^3, F_c^4\}$ 가 생성되고, 이는 Unet encoder 에서의 intermediate feature $F_{enc} = \{F_{enc}^1, F_{enc}^2, F_{enc}^3, F_{enc}^4\}$ 와 더해지게 됩니다. 이때, dimension 크기는 동일하도록 설정했기 때문에 덧셈 연산하는데 문제 없습니다.
-
-:::{figure-md}
-
-
-Multi-Scale Condition Feature
-:::
-
-해당 implementation code 도 살펴보겠습니다.
-
-- **T2I-Adapter module code**
-
- ```python
- class FullAdapter(nn.Module):
- def __init__(
- self,
- in_channels: int = 3,
- channels: List[int] = [320, 640, 1280, 1280],
- num_res_blocks: int = 2,
- downscale_factor: int = 8,
- ):
- super().__init__()
-
- in_channels = in_channels * downscale_factor**2
-
- self.unshuffle = nn.PixelUnshuffle(downscale_factor)
- self.conv_in = nn.Conv2d(in_channels, channels[0], kernel_size=3, padding=1)
-
- self.body = nn.ModuleList(
- [
- AdapterBlock(channels[0], channels[0], num_res_blocks),
- *[
- AdapterBlock(channels[i - 1], channels[i], num_res_blocks, down=True)
- for i in range(1, len(channels))
- ],
- ]
- )
-
- self.total_downscale_factor = downscale_factor * 2 ** (len(channels) - 1)
-
- def forward(self, x: torch.Tensor) -> List[torch.Tensor]:
- x = self.unshuffle(x)
- x = self.conv_in(x)
-
- features = []
-
- for block in self.body:
- x = block(x)
- features.append(x)
-
- return features
- ```
-
- ```python
- class AdapterBlock(nn.Module):
- def __init__(self, in_channels, out_channels, num_res_blocks, down=False):
- super().__init__()
-
- self.downsample = None
- if down:
- self.downsample = Downsample2D(in_channels)
-
- self.in_conv = None
- if in_channels != out_channels:
- self.in_conv = nn.Conv2d(in_channels, out_channels, kernel_size=1)
-
- self.resnets = nn.Sequential(
- *[AdapterResnetBlock(out_channels) for _ in range(num_res_blocks)],
- )
-
- def forward(self, x):
- if self.downsample is not None:
- x = self.downsample(x)
-
- if self.in_conv is not None:
- x = self.in_conv(x)
-
- x = self.resnets(x)
-
- return x
-
- class AdapterResnetBlock(nn.Module):
- def __init__(self, channels):
- super().__init__()
- self.block1 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
- self.act = nn.ReLU()
- self.block2 = nn.Conv2d(channels, channels, kernel_size=1)
-
- def forward(self, x):
- h = x
- h = self.block1(h)
- h = self.act(h)
- h = self.block2(h)
-
- return h + x
- ```
-
-- **SD + T2I-Adapter implementation code**
-
- ```python
- # 7. Denoising loop
- adapter_state = self.adapter(adapter_input)
- for k, v in enumerate(adapter_state):
- adapter_state[k] = v * adapter_conditioning_scale
- if num_images_per_prompt > 1:
- for k, v in enumerate(adapter_state):
- adapter_state[k] = v.repeat(num_images_per_prompt, 1, 1, 1)
- if do_classifier_free_guidance:
- for k, v in enumerate(adapter_state):
- adapter_state[k] = torch.cat([v] * 2, dim=0)
-
- num_warmup_steps = len(timesteps) - num_inference_steps * self.scheduler.order
- with self.progress_bar(total=num_inference_steps) as progress_bar:
- for i, t in enumerate(timesteps):
- # expand the latents if we are doing classifier free guidance
- latent_model_input = torch.cat([latents] * 2) if do_classifier_free_guidance else latents
- latent_model_input = self.scheduler.scale_model_input(latent_model_input, t)
-
- # predict the noise residual
- noise_pred = self.unet(
- latent_model_input,
- t,
- encoder_hidden_states=prompt_embeds,
- cross_attention_kwargs=cross_attention_kwargs,
- down_block_additional_residuals=[state.clone() for state in adapter_state],
- ).sample
-
- # perform guidance
- if do_classifier_free_guidance:
- noise_pred_uncond, noise_pred_text = noise_pred.chunk(2)
- noise_pred = noise_pred_uncond + guidance_scale * (noise_pred_text - noise_pred_uncond)
-
- # compute the previous noisy sample x_t -> x_t-1
- latents = self.scheduler.step(noise_pred, t, latents, **extra_step_kwargs).prev_sample
- ```
-
-
-Adapter 종류로는 크게 structure 에 대한 conditioning 과 color 에 대한 conditioning 으로 분류할 수 있습니다. Structure controlling 으로는 대표적으로 sketch, depth map, semantic segmentation map, keypose 등이 있습니다. Color map 은 이미지를 우선적으로 *high bicubic downsampling* 을 통해 semantic 및 structural 한 정보를 제외시키고, *nearest upsampling* 기법으로 다시 원본 이미지 크기로 복원하는 작업을 통해 생성합니다.
-
-앞써 설명한 부분처럼 추가 학습 없이 여러 adapter 로 conditioning 할 수도 있습니다. Multi-adapter 로 controlling 할 시, 다음과 같이 각 adapter 로부터 나온 condition feature 에 weight $w_k$ 를 부여해 최종 condition feature 를 정의하게 됩니다.
-
-:::{figure-md}
-
-
-Multi-Adapter Conditioning
-:::
-
-### 3.4. Model Optimization
-
-모델 학습 시, SD 파라미터는 고정시킨 상태로 T2I-Adapter 파라미터만 학습합니다. 이때, T2-Adapter 손실함수는 SD 학습 시와 유사하게 다음과 같이 정의합니다.
-
-$$
-L_{AD} = \mathbb{E}_{Z_{0}, t, F_c, \epsilon \sim N(0,I)}[||\epsilon-\epsilon_{\theta}(Z_t, t, \tau(y), F_c)||_2^2]
-$$
-
-where $t \sim U(0,T)$
-
-**Non-uniform time step sampling during training**
-
-Diffusion 모델 학습 시와 동일하게, time embedding 을 adapter 에 input 으로 넣으면서 성능 개선 효과가 있는 것을 확인했지만 매 time step $t$ 마다 $F_c$ 를 conditioning 하는 것은 computationally expensive 합니다.
-
-따라서, 논문에서는 DDIM inference sampling 을 크게 3가지 stage (i.e., beginning, middle, late stage) 로 분류하는 방법을 소개합니다. 실험해본 결과, middle 그리고 late stage 에 적용하는 것보다 beginning stage 에서 guidance 를 주는 효과가 더 크다고 합니다.
-
-:::{figure-md}
-
-
-DDIM Inference Sampling Stages
-:::
-
-따라서, 최대한 time step $t$ 가 early sampling stage 에 포함되도록 다음 수식처럼 non-uniformly 하게 sampling 작업을 진행했고, 이에 대한 결과도 공유합니다.
-
-$$
-t = (1-(t/T)^3) \times T, t \in U(0,T)
-$$
-
-:::{figure-md}
-
-
-Effect of Cubic Sampling
-:::
-
-## Experiment
-
-### 4.1. Implementation Details
-
-T2I-Adapter 학습 시, hyperparameter 및 데이터셋 구축 상세사항은 다음과 같습니다.
-
-- Hyperparameters
- - 10 epochs
- - Batch size = 8
- - Learning rate = $1 \times 10^{-5}$
- - Adam optimizer
- - 4X NVIDIA Tesla 32G-V100 GPUs (3 days)
-
-- 실험별 데이터셋 구축
- - *Sketch Map*
- - COCO17 데이터셋 - 164K images
- - PiDiNet 를 활용해 sketch map 생성
- - *Semantic segmentation map*
- - COCO-Stuff 데이터셋 - 164K images
- - *Keypoints & Color & Depth maps*
- - LAION-AESTHETICS 데이터셋로부터 600K images-text pairs 추출
- - MM-Pose, MiDaS 모델로 각각 Keypoint, Depth map 생성
-
-### 4.2. Comparison
-
-기존 SOTA 모델들과 정량적인 수치로 비교하는데 FID 와 CLIP Score 를 사용하였고, 하단 사진처럼 기존 GAN-based 그리고 diffusion-based method 모델들보다 성능이 좋습니다.
-
-:::{figure-md}
-
-
-Qualitative Comparison
-:::
-
-:::{figure-md}
-
-
-Quantitative Comparisoin
-:::
-
-### 4.3. Applications
-
-해당 예시들은 다양한 single adapter controlling 에 대한 결과들을 보여줍니다. 특히 인상적인 부분은 sketch 로 controlling 시, sketch 가 정확하지 않아도 이미지 생성에 robust 한 성능을 보여주는 것을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Visualization of Single-Adapter Controlling
-:::
-
-또한, image editing 도 가능합니다. SD inpainting mode 로 특정 지역을 masking 한 후, T2I-Adapter 를 통해 image editing 을 한 예시 사진입니다. Adapter 없이, SD inpainting 만으로는 성능이 좋지 못하다고 합니다.
-
-:::{figure-md}
-
-
-Image Editing with T2I-Adapter
-:::
-
-아래 예시는 multiple adapter 를 적용한 것로 위에서부터 아래로 각각 depth + keypose 그리고 sketch + color map 을 conditioning 한 결과입니다.
-
-:::{figure-md}
-
-
-Composable Controlling
-:::
-
-마지막으로, 장점들 중 하나로 명시되었던 generalization ability 를 보여준 사례입니다. 학습 완료한 Adapter 를 동일한 구조를 가진 T2I 모델에 적용 가능한 것을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Generalizable Controlling
-:::
-
-### 4.4. Ablation Study
-
-논문에서는 guidance mode, 그리고 complexity 에 대한 ablation study 를 진행했습니다.
-
-SD 모델은 encoder 그리고 decoder 에 각각 4개의 scale (i.e., 64×64, 32×32, 16×16, 8×8) 을 가지고 있는데, 하단 table 처럼 각각 다른 scale 에 adapter guidance 를 적용하면서 FID 성능을 비교했습니다. Scale Number 가 4보다 작을 경우, large scale 에 순차적으로 guidance 를 적용했습니다. 그 결과, Unet encoder 에만 4 scales 모두 guidance 를 적용하는 것이 성능이 제일 좋다고 합니다.
-
-:::{figure-md}
-
-
-Guidance Mode
-:::
-
-또한, condition map 는 비교적 sparse 하기 때문에 더 경량화된 adapter 를 사용해도 성능이 좋은 부분을 하단 예시처럼 확인할 수 있었다고 합니다. 더 자세하게는, adapter block 의 intermediate channel 숫자를 바꿔가며 adapter-small, adapter-tiny 모델을 각각 x4, x8 compression 작업을 진행했습니다.
-
-:::{figure-md}
-
-
-Complexity Ablation
-:::
+```{admonition} Information
+- **Title:** T2I-Adapter: Learning Adapters to Dig out More Controllable Ability for Text-to-Image Diffusion Models
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2302.08453](https://arxiv.org/abs/2302.08453)
+ - Code: [https://github.com/huggingface/diffusers/tree/main/src/diffusers/pipelines/t2i_adapter](https://github.com/huggingface/diffusers/tree/main/src/diffusers/pipelines/t2i_adapter)
+
+- **Author:** Sangwoo Jo
+
+- **Last updated on Oct. 03, 2023**
+```
+
+# T2I-Adapter
+
+## Introduction
+
+이번 시간에는 Tencent ARC Lab 에서 소개하는 T2I-Adapter 모델에 대해 알아볼 예정입니다.
+
+Stable Diffusion 을 비롯한 기존의 T2I 모델들이 난해한 prompt (e.g., “A car with flying wings” & “Iron Man with bunny ears”) 을 입력받을 시, 생성되는 이미지 퀄리티가 저하되는 부분을 확인할 수 있는데요. 논문에서는 T2I 모델이 low level (e.g., textures), middle level (e.g., edges), 그리고 high level (e.g., semantics) 에 대한 정보들을 implicit 하게 가지고 있지만, 이를 표현하기 위해서는 text prompt 만으로는 한계가 있고 보다 세밀한 controlling (e.g., color, structure) 이 필요하다고 서술합니다. 즉, T2I 모델의 internal knowledge 와 external guidance 의 alignment 에 대한 추가적인 학습이 필요하다고 주장합니다.
+
+:::{figure-md}
+
+
+Effect of External Guidance
+:::
+
+논문에서는 이를 해결하기 위해 T2I-Adapter 모델을 소개하고 다음과 같이 5가지 장점이 있다고 합니다.
+
+:::{figure-md}
+
+
+Various Guidance of T2I-Adapter
+:::
+
+- *Plug-and-play* : 기존의 T2I 모델의 generalization ability 유지
+- *Simple and small* : ~77M parameters and ~300M storage
+
+ :::{figure-md}
+
+
+ ControlNet vs T2I-Adapter
+ :::
+
+ - ControlNet 같은 경우에 reverse diffusion process 에서 ControlNet 과 Unet 모두 연산작업이 실행됩니다. 이때 ControlNet 은 Unet Encoder 의 구조를 그대로 가져오기 때문에 parameter size 및 storage 용량이 크고, 이는 이미지 생성하는데 큰 bottleneck 이 됩니다.
+- *Flexible* : 다양한 adapter (e.g., color, structure) 학습 가능
+- *Composable* : Multiple adapter 적용 가능
+- *Generalizable* : 동일한 구조를 가진 다른 T2I 모델에 동일한 adapter 적용 가능
+
+## Method
+
+### 3.1. Preliminary: Stable Diffusion
+
+T2I-Adapter 의 기반이 되는 T2I 모델 Stable Diffusion 모델은 기본적으로 two-stage model 이고, autoencoder 와 Unet denoiser 로 구성되어 있습니다. Autoencoder 를 통해 이미지를 latent space 로 바꾸고 다시 복원하는 역할을 하고, Unet denoiser 는 diffusion process 를 통해 다음과 같은 손실함수를 최소화하는 방향으로 학습하게 됩니다.
+
+$$
+L = \mathbb{E}_{Z_{t}, C, \epsilon, t}(||\epsilon-\epsilon_{\theta}(Z_t, C)||_2^2)
+$$
+
+- $Z_t = \sqrt{\bar{\alpha}_t}Z_0 + \sqrt{1-\bar{\alpha}_t}\epsilon, \epsilon \sim N(0,I)$ := noised feature map at step t
+- $C$ := conditional information
+- $\epsilon_{\theta}$ := UNet denoiser
+
+Inference 시에는 random Gaussian distribution 을 따르는 $Z_T$, 그리고 text prompt 를 CLIP text encoder 에 입력함으로써 생성한 token $y$ 를 cross attention 을 통해 Unet denoiser $\epsilon_{\theta}$ 에 입력합니다. 최종적으로, diffusion process 로부터 생성된 denoise 된 latent feature 를 decoder 를 통해 최종 이미지를 생성하게 됩니다. 자세한 cross attention 하는 방식은 다음과 같습니다.
+
+:::{figure-md}
+
+
+Cross Attention
+:::
+
+- $W_Q, W_K, W_V$ := learnable projection matrices
+- $\phi(\cdot), \tau(\cdot)$ := learnable embeddings
+
+### 3.2. Overview of T2I-Adapter
+
+논문에서는 다음과 같은 형태로 pre-trained 된 Stable Diffusion 을 비롯한 T2I 모델에 Adapter 를 추가하는 방식을 소개합니다. Adapter 의 자세한 구조는 다음과 같습니다.
+
+:::{figure-md}
+
+
+Overview of T2I-Adapter
+:::
+
+### 3.3. Adapter Design
+
+:::{figure-md}
+
+
+Adapter Design
+:::
+
+Conditional input 은 512x512 의 크기를 가지며, 이는 *pixel unshuffle downsampling* 을 통해 64x64 이미지로 변환이 되어 1개의 convolution layer 와 2개의 residual block 으로 구성된 *scale* 을 4번 통과하게 됩니다. 이때, 각 *scale* 을 거치고 나온 condition feature 를 $F_c^k$ 라 정의합니다.
+
+최종적으로 multi-scale condition feature $F_c = \{F_c^1, F_c^2, F_c^3, F_c^4\}$ 가 생성되고, 이는 Unet encoder 에서의 intermediate feature $F_{enc} = \{F_{enc}^1, F_{enc}^2, F_{enc}^3, F_{enc}^4\}$ 와 더해지게 됩니다. 이때, dimension 크기는 동일하도록 설정했기 때문에 덧셈 연산하는데 문제 없습니다.
+
+:::{figure-md}
+
+
+Multi-Scale Condition Feature
+:::
+
+해당 implementation code 도 살펴보겠습니다.
+
+- **T2I-Adapter module code**
+
+ ```python
+ class FullAdapter(nn.Module):
+ def __init__(
+ self,
+ in_channels: int = 3,
+ channels: List[int] = [320, 640, 1280, 1280],
+ num_res_blocks: int = 2,
+ downscale_factor: int = 8,
+ ):
+ super().__init__()
+
+ in_channels = in_channels * downscale_factor**2
+
+ self.unshuffle = nn.PixelUnshuffle(downscale_factor)
+ self.conv_in = nn.Conv2d(in_channels, channels[0], kernel_size=3, padding=1)
+
+ self.body = nn.ModuleList(
+ [
+ AdapterBlock(channels[0], channels[0], num_res_blocks),
+ *[
+ AdapterBlock(channels[i - 1], channels[i], num_res_blocks, down=True)
+ for i in range(1, len(channels))
+ ],
+ ]
+ )
+
+ self.total_downscale_factor = downscale_factor * 2 ** (len(channels) - 1)
+
+ def forward(self, x: torch.Tensor) -> List[torch.Tensor]:
+ x = self.unshuffle(x)
+ x = self.conv_in(x)
+
+ features = []
+
+ for block in self.body:
+ x = block(x)
+ features.append(x)
+
+ return features
+ ```
+
+ ```python
+ class AdapterBlock(nn.Module):
+ def __init__(self, in_channels, out_channels, num_res_blocks, down=False):
+ super().__init__()
+
+ self.downsample = None
+ if down:
+ self.downsample = Downsample2D(in_channels)
+
+ self.in_conv = None
+ if in_channels != out_channels:
+ self.in_conv = nn.Conv2d(in_channels, out_channels, kernel_size=1)
+
+ self.resnets = nn.Sequential(
+ *[AdapterResnetBlock(out_channels) for _ in range(num_res_blocks)],
+ )
+
+ def forward(self, x):
+ if self.downsample is not None:
+ x = self.downsample(x)
+
+ if self.in_conv is not None:
+ x = self.in_conv(x)
+
+ x = self.resnets(x)
+
+ return x
+
+ class AdapterResnetBlock(nn.Module):
+ def __init__(self, channels):
+ super().__init__()
+ self.block1 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
+ self.act = nn.ReLU()
+ self.block2 = nn.Conv2d(channels, channels, kernel_size=1)
+
+ def forward(self, x):
+ h = x
+ h = self.block1(h)
+ h = self.act(h)
+ h = self.block2(h)
+
+ return h + x
+ ```
+
+- **SD + T2I-Adapter implementation code**
+
+ ```python
+ # 7. Denoising loop
+ adapter_state = self.adapter(adapter_input)
+ for k, v in enumerate(adapter_state):
+ adapter_state[k] = v * adapter_conditioning_scale
+ if num_images_per_prompt > 1:
+ for k, v in enumerate(adapter_state):
+ adapter_state[k] = v.repeat(num_images_per_prompt, 1, 1, 1)
+ if do_classifier_free_guidance:
+ for k, v in enumerate(adapter_state):
+ adapter_state[k] = torch.cat([v] * 2, dim=0)
+
+ num_warmup_steps = len(timesteps) - num_inference_steps * self.scheduler.order
+ with self.progress_bar(total=num_inference_steps) as progress_bar:
+ for i, t in enumerate(timesteps):
+ # expand the latents if we are doing classifier free guidance
+ latent_model_input = torch.cat([latents] * 2) if do_classifier_free_guidance else latents
+ latent_model_input = self.scheduler.scale_model_input(latent_model_input, t)
+
+ # predict the noise residual
+ noise_pred = self.unet(
+ latent_model_input,
+ t,
+ encoder_hidden_states=prompt_embeds,
+ cross_attention_kwargs=cross_attention_kwargs,
+ down_block_additional_residuals=[state.clone() for state in adapter_state],
+ ).sample
+
+ # perform guidance
+ if do_classifier_free_guidance:
+ noise_pred_uncond, noise_pred_text = noise_pred.chunk(2)
+ noise_pred = noise_pred_uncond + guidance_scale * (noise_pred_text - noise_pred_uncond)
+
+ # compute the previous noisy sample x_t -> x_t-1
+ latents = self.scheduler.step(noise_pred, t, latents, **extra_step_kwargs).prev_sample
+ ```
+
+
+Adapter 종류로는 크게 structure 에 대한 conditioning 과 color 에 대한 conditioning 으로 분류할 수 있습니다. Structure controlling 으로는 대표적으로 sketch, depth map, semantic segmentation map, keypose 등이 있습니다. Color map 은 이미지를 우선적으로 *high bicubic downsampling* 을 통해 semantic 및 structural 한 정보를 제외시키고, *nearest upsampling* 기법으로 다시 원본 이미지 크기로 복원하는 작업을 통해 생성합니다.
+
+앞써 설명한 부분처럼 추가 학습 없이 여러 adapter 로 conditioning 할 수도 있습니다. Multi-adapter 로 controlling 할 시, 다음과 같이 각 adapter 로부터 나온 condition feature 에 weight $w_k$ 를 부여해 최종 condition feature 를 정의하게 됩니다.
+
+:::{figure-md}
+
+
+Multi-Adapter Conditioning
+:::
+
+### 3.4. Model Optimization
+
+모델 학습 시, SD 파라미터는 고정시킨 상태로 T2I-Adapter 파라미터만 학습합니다. 이때, T2-Adapter 손실함수는 SD 학습 시와 유사하게 다음과 같이 정의합니다.
+
+$$
+L_{AD} = \mathbb{E}_{Z_{0}, t, F_c, \epsilon \sim N(0,I)}[||\epsilon-\epsilon_{\theta}(Z_t, t, \tau(y), F_c)||_2^2]
+$$
+
+where $t \sim U(0,T)$
+
+**Non-uniform time step sampling during training**
+
+Diffusion 모델 학습 시와 동일하게, time embedding 을 adapter 에 input 으로 넣으면서 성능 개선 효과가 있는 것을 확인했지만 매 time step $t$ 마다 $F_c$ 를 conditioning 하는 것은 computationally expensive 합니다.
+
+따라서, 논문에서는 DDIM inference sampling 을 크게 3가지 stage (i.e., beginning, middle, late stage) 로 분류하는 방법을 소개합니다. 실험해본 결과, middle 그리고 late stage 에 적용하는 것보다 beginning stage 에서 guidance 를 주는 효과가 더 크다고 합니다.
+
+:::{figure-md}
+
+
+DDIM Inference Sampling Stages
+:::
+
+따라서, 최대한 time step $t$ 가 early sampling stage 에 포함되도록 다음 수식처럼 non-uniformly 하게 sampling 작업을 진행했고, 이에 대한 결과도 공유합니다.
+
+$$
+t = (1-(t/T)^3) \times T, t \in U(0,T)
+$$
+
+:::{figure-md}
+
+
+Effect of Cubic Sampling
+:::
+
+## Experiment
+
+### 4.1. Implementation Details
+
+T2I-Adapter 학습 시, hyperparameter 및 데이터셋 구축 상세사항은 다음과 같습니다.
+
+- Hyperparameters
+ - 10 epochs
+ - Batch size = 8
+ - Learning rate = $1 \times 10^{-5}$
+ - Adam optimizer
+ - 4X NVIDIA Tesla 32G-V100 GPUs (3 days)
+
+- 실험별 데이터셋 구축
+ - *Sketch Map*
+ - COCO17 데이터셋 - 164K images
+ - PiDiNet 를 활용해 sketch map 생성
+ - *Semantic segmentation map*
+ - COCO-Stuff 데이터셋 - 164K images
+ - *Keypoints & Color & Depth maps*
+ - LAION-AESTHETICS 데이터셋로부터 600K images-text pairs 추출
+ - MM-Pose, MiDaS 모델로 각각 Keypoint, Depth map 생성
+
+### 4.2. Comparison
+
+기존 SOTA 모델들과 정량적인 수치로 비교하는데 FID 와 CLIP Score 를 사용하였고, 하단 사진처럼 기존 GAN-based 그리고 diffusion-based method 모델들보다 성능이 좋습니다.
+
+:::{figure-md}
+
+
+Qualitative Comparison
+:::
+
+:::{figure-md}
+
+
+Quantitative Comparisoin
+:::
+
+### 4.3. Applications
+
+해당 예시들은 다양한 single adapter controlling 에 대한 결과들을 보여줍니다. 특히 인상적인 부분은 sketch 로 controlling 시, sketch 가 정확하지 않아도 이미지 생성에 robust 한 성능을 보여주는 것을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Visualization of Single-Adapter Controlling
+:::
+
+또한, image editing 도 가능합니다. SD inpainting mode 로 특정 지역을 masking 한 후, T2I-Adapter 를 통해 image editing 을 한 예시 사진입니다. Adapter 없이, SD inpainting 만으로는 성능이 좋지 못하다고 합니다.
+
+:::{figure-md}
+
+
+Image Editing with T2I-Adapter
+:::
+
+아래 예시는 multiple adapter 를 적용한 것로 위에서부터 아래로 각각 depth + keypose 그리고 sketch + color map 을 conditioning 한 결과입니다.
+
+:::{figure-md}
+
+
+Composable Controlling
+:::
+
+마지막으로, 장점들 중 하나로 명시되었던 generalization ability 를 보여준 사례입니다. 학습 완료한 Adapter 를 동일한 구조를 가진 T2I 모델에 적용 가능한 것을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Generalizable Controlling
+:::
+
+### 4.4. Ablation Study
+
+논문에서는 guidance mode, 그리고 complexity 에 대한 ablation study 를 진행했습니다.
+
+SD 모델은 encoder 그리고 decoder 에 각각 4개의 scale (i.e., 64×64, 32×32, 16×16, 8×8) 을 가지고 있는데, 하단 table 처럼 각각 다른 scale 에 adapter guidance 를 적용하면서 FID 성능을 비교했습니다. Scale Number 가 4보다 작을 경우, large scale 에 순차적으로 guidance 를 적용했습니다. 그 결과, Unet encoder 에만 4 scales 모두 guidance 를 적용하는 것이 성능이 제일 좋다고 합니다.
+
+:::{figure-md}
+
+
+Guidance Mode
+:::
+
+또한, condition map 는 비교적 sparse 하기 때문에 더 경량화된 adapter 를 사용해도 성능이 좋은 부분을 하단 예시처럼 확인할 수 있었다고 합니다. 더 자세하게는, adapter block 의 intermediate channel 숫자를 바꿔가며 adapter-small, adapter-tiny 모델을 각각 x4, x8 compression 작업을 진행했습니다.
+
+:::{figure-md}
+
+
+Complexity Ablation
+:::
diff --git a/_sources/docs/review/vae.md b/_sources/docs/review/vae.md
index fde3cd26..82ac5fcf 100755
--- a/_sources/docs/review/vae.md
+++ b/_sources/docs/review/vae.md
@@ -1,175 +1,175 @@
-```{admonition} Information
-- **Title:** Auto-Encoding Variational Bayes (ICLR 2014)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/1312.6114](https://arxiv.org/abs/1312.6114)
- - Code: [https://github.com/GunhoChoi/PyTorch-FastCampus](https://github.com/GunhoChoi/PyTorch-FastCampus)
- - [Smart Design Lab @KAIST | 딥러닝 Ch.3.3 VAE](https://www.youtube.com/watch?v=GbCAwVVKaHY&t=95s)
-
-- **Author:** Sangwoo Jo
-
-- **Editor:** Changhwan Lee
-
-- **Last updated on Apr. 26, 2024**
-```
-
-# VAE
-
-
-## Introduction
-
-논문의 Introduction 에 다음과 같은 문구가 적혀있는데요.
-
-> "Variational Bayesian (VB) approach involves the optimization of an approximation to the intractable posterior”
->
-
-이처럼 Variational Autoencoder 는 논문에서 제시하는 Auto-Encoding Variational Bayes(AEVB) 알고리즘 중 하나로, intractable 한 posterior 분포를 다루기 쉬운 뉴럴 네트워크로 근사함으로써 Variational Inference 를 하게 됩니다.
-
-이가 의미하는 바가 무엇인지 한번 살펴보도록 하겠습니다.
-
-## Intractability
-
-Variational Autoencoder(VAE) 는 크게 Encoder 와 Decoder 부분으로 이루어져 있습니다. 더 자세하게는, Encoder는 입력 데이터 $x$ 를 받아서 잠재변수(Latent Variable) $z$ 를 만들어내고, Decoder 는 잠재변수 $z$ 를 활용해서 다시 $x$ 를 복원하게 됩니다.
-
-:::{figure-md}
-
-
-Variational Autoencoder(VAE) Architecture
-:::
-
-Variational Autoencoder (VAE) 는 AutoEncoder 와 달리 확률 분포를 이용해 어떤 새로운 데이터를 생성하는 Decoder 부분에 초점을 둡니다. 이때 논문에서 다음과 같은 assumption 들을 내립니다. 첫번째로 $p_{\theta}(z)$ 와 $p_{\theta}(x|z)$ 는 parametric 한 distribution 을 가지고 있고, 이는 $\theta$ 와 $z$ 에 대해 differentiable 하다는 가정을 내립니다. 이 때, 대표적으로 $p_{\theta}(z)$ 는 Gaussian distribution 을 따르고 $p_{\theta}(x|z)$ 는 생성하고자 하는 데이터 성질에 따라 Bernoulli 혹은 Gaussian distribution 을 따르도록 정의합니다. 그리고 $p_{\theta}(x|z)$ 의 파라미터 $p$ 혹은 $(\mu, \sigma)$ 는 아래 그림과 같이 뉴럴 네트워크로 구성된 Decoder 로부터 계산이 됩니다.
-
-:::{figure-md}
-
-
-Overview of Bernoulli(left) and Gaussian(right) Decoder
-:::
-
-이를 기반으로 우리는 ML/MAP estimation 을 통해 marginal likelihood $p_{\theta}(x)$ 를 최대화시키는 파라미터 $\theta$ 를 구하는 것이 목적입니다. 하지만, $p_{\theta}(x) = \int p_{\theta}(z)p_{\theta}(x|z) \ dz$ 는 intractable 하기 때문에 $p_{\theta}(z|x)$ 를 계산하기 위한 Encoder 가 등장하게 됩니다.
-
-$$
-p_{\theta}(x) = p_{\theta}(x|z)p_{\theta}(z)/p_{\theta}(z|x)
-$$
-
-여기서 $p_{\theta}(z|x)$ 역시 intractable 하기 때문에 이를 잘 근사화하는 뉴럴 네트워크 $q_{\phi}(z|x)$ 를 정의하게 되고, 이러한 과정을 변분추론(Variational Inference) 라고 합니다. 아래는 Encoder 와 Decoder 를 함께 도식화한 그림입니다. 정리하자면, MLP Encoder 를 통해 계산된 $\mu$ 와 $\sigma$ 로 잠재변수 $z$ 를 생성하게 되고, 이를 기반으로 Decoder 는 원본 이미지와 유사한 데이터를 생성하게 됩니다.
-
-:::{figure-md}
-
-
-Overview of Gaussian Encoder and Decoder
-:::
-
-해당 implementation code 도 확인해보겠습니다.
-
-- **Encoder 구현 code**
-
- ```python
-
- class Encoder(nn.Module):
- def __init__(self):
- super(Encoder,self).__init__()
- self.fc1_1 = nn.Linear(784, hidden_size)
- self.fc1_2 = nn.Linear(784, hidden_size)
- self.relu = nn.ReLU()
-
- def encode(self,x):
- x = x.view(batch_size,-1)
- mu = self.relu(self.fc1_1(x))
- log_var = self.relu(self.fc1_2(x))
-
- return mu,log_var
-
- def reparametrize(self, mu, logvar):
- std = logvar.mul(0.5).exp_()
-
- eps = torch.FloatTensor(std.size()).normal_()
- eps = Variable(eps).cuda()
-
- return eps.mul(std).add_(mu)
-
- def forward(self,x):
- mu, logvar = self.encode(x)
- reparam = self.reparametrize(mu,logvar)
-
- return mu,logvar,reparam
- ```
-
-- **Decoder 구현 code**
-
- ```python
- class Decoder(nn.Module):
- def __init__(self):
- super(Decoder,self).__init__()
- self.fc1 = nn.Linear(hidden_size, 784)
- self.sigmoid = nn.Sigmoid()
-
- def forward(self,x):
- out = self.fc1(x)
- out = self.sigmoid(out)
- out = out.view(batch_size,28,28,1)
-
- return out
- ```
-
-## SGVB(Stochastic Gradient Variational Bayes)
-
-이로써 우리는 marginal likelihood $p_{\theta}(x)$ 를 최대화시키는 파라미터 $(\theta, \phi)$ 를 찾으면 되고, 이에 대한 lower bound 를 수식적으로 표현하면 손실함수(loss function) 를 다음과 같이 Reconstruction Error 와 Regularization term 로 분할할 수 있습니다.
-
-$$
-L(\theta, \phi;x_i) = \arg \min_{\theta, \phi} \sum_{i} -\mathbb{E}\_{q_{\phi}(z|x_i)}[\log(p(x_i|g_{\theta}(z))] + KL(q_{\phi}(z|x_i)||p(z))
-$$
-
-Reconstruction Error 는 Decoder 에서 생성하는 데이터가 최대한 원본 데이터와 유사하도록 하는 term 이고, Regularization 은 Encoder 에서 만드는 잠재변수의 분포가 저희가 부여한 prior distribution 이랑 가깝도록 설정하는 term 입니다. 이때, Reconstruction Error 는 다음과 같은 Monte Carlo Estimator $\tilde{\mathcal{L}}^{B}$ 로 근사값을 구할 수 있고, 하나의 sample 을 계산하는 것도 연산량이 많으므로 논문에서는 sample size $L$ 을 1 로 설정합니다.
-
-$$ \tilde{\mathcal{L}}^{B}(\theta, \phi; x^{(i)})=-D_{KL}(q_{\phi}(z|x^{(i)})||p_{\theta}(z))+\frac{1}{L}\sum^{L}_{l=1} \log p\_\theta (x^{(i)}|z^{(i,l)})) $$
-
-Lower bound 에 대한 수식을 변환하여 수식 전체에 대한 Monte Carlo Estimator $\tilde{\mathcal{L}}^{A}$ 로도 근사값을 구할 수 있는데 이는 평균적으로 $\tilde{\mathcal{L}}^{B}$ 에 비해 variance 가 높다고 합니다.
-
-$$ \tilde{\mathcal{L}}^{A}(\theta,\phi;x^{(i)})=\frac{1}{L}\sum^{L}_{l=1}\log p_{\theta}(x^{(i)},z^{(i,l)})-\log q_{\phi}(z^{(i,l)}|x^{(i)}) $$
-
-
-## Reparameterization Trick
-
-논문에서는 모델 학습 시 backpropagation 을 원활히 사용할 수 있도록 reparameterization trick 을 소개합니다. 잠재변수 $z$ 를 Encoder 에서 나온 $\mu$ 와 $\sigma$ 로 직접 샘플링하지 않고, backpropagation 이 가능하도록 Gaussian noise 를 우선적으로 샘플링하고 해당 $\mu$ 와 $\sigma$ 를 각각 더하고 곱하게 됩니다. 이는 $q_{\phi}(z|x)$ 이 Gaussian distribution 을 따른다고 설정했을 때이고, $q_{\phi}(z|x)$ 에 대해 다른 분포를 가정하여 그에 따른 다른 reparameterization trick 을 시도할 수 있다고 논문에 명시되어 있습니다.
-
-하단에는 Gaussian 분포에 대한 reparameterization trick 를 도식화한 그림입니다. 왼쪽에는 reparameterization trick이 적용되지 않은 경우로 $\mu$ 나 $\sigma$ 값이 고정되어 있어도 $\mathcal{N}(\mu,\sigma^2)$ 에서 샘플링하므로 $z$ 는 랜덤한 값이 되고 loss function 을 $\mu$ 나 $\sigma$ 에 대해 미분할 수 없어 backpropagation 을 적용하기가 어렵습니다. 반면에, 오른쪽처럼 reparameterization trick 을 적용하면, $z$ 가 deterministic 한 형태로 정의되고 $\mu$ 나 $\sigma$ 에 대한 변수로도 미분이 가능해지기 때문에 backpropagation 을 활용하여 모델을 학습시킬 수 있습니다.
-
-:::{figure-md}
-
-
-Overview of Reparameterization Trick
-:::
-
-## Training Algorithm
-
-모델을 학습하는 전체적인 과정은 아래와 같습니다.
-
-:::{figure-md}
-
-
-Overview of Training Algorithm
-:::
-
-## Experiments
-논문에서는 MNIST 와 Frey Face 데이터셋에 대해 AEVB(Auto-Encoder variational Bayesian)와 wake-sleep 알고리즘를 적용해서 비교합니다. 여기서 Frey Face 데이터셋은 continuous 하므로 Gaussian Decoder 를 사용합니다. 실험결과는 아래 그림과 같습니다.
-
-:::{figure-md}
-
-
-Experimental Results - Likelihood lower bound
-:::
-
-해당 그림처럼 lower bound 를 최적화하는데 AEVB 알고리즘이 더 빠르게 수렴하며 모든 실험에서 성능적으로도 더 나은 부분을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Experimental Results - Marginal likelihood
-:::
-
-또한, latent variable $z$ 의 차원이 작으면 marginal likelihood 를 직접 Monte Carlo EM 을 할용하여 구할 수 있는데, 이에 대한 결과도 논문에서 보여줍니다. Monte Carlo EM 의 경우 학습 데이터가 많으면 수렴이 되지 않는 부분을 확인할 수 있습니다.
-
-
-## Summary
-
-AutoEncoder 는 latent space 에 하나의 값으로 지정해줬다면, VAE 는 평균 그리고 분산 파라미터들과 Gaussian 분포를 가진 샘플을 통해 잠재변수를 생성합니다. 그리고 VAE 를 실제로 사용해보면 생성된 데이터 image quality 가 낮다는 단점을 가지고 있다고 합니다.
+```{admonition} Information
+- **Title:** Auto-Encoding Variational Bayes (ICLR 2014)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/1312.6114](https://arxiv.org/abs/1312.6114)
+ - Code: [https://github.com/GunhoChoi/PyTorch-FastCampus](https://github.com/GunhoChoi/PyTorch-FastCampus)
+ - [Smart Design Lab @KAIST | 딥러닝 Ch.3.3 VAE](https://www.youtube.com/watch?v=GbCAwVVKaHY&t=95s)
+
+- **Author:** Sangwoo Jo
+
+- **Editor:** Changhwan Lee
+
+- **Last updated on Apr. 26, 2024**
+```
+
+# VAE
+
+
+## Introduction
+
+논문의 Introduction 에 다음과 같은 문구가 적혀있는데요.
+
+> "Variational Bayesian (VB) approach involves the optimization of an approximation to the intractable posterior”
+>
+
+이처럼 Variational Autoencoder 는 논문에서 제시하는 Auto-Encoding Variational Bayes(AEVB) 알고리즘 중 하나로, intractable 한 posterior 분포를 다루기 쉬운 뉴럴 네트워크로 근사함으로써 Variational Inference 를 하게 됩니다.
+
+이가 의미하는 바가 무엇인지 한번 살펴보도록 하겠습니다.
+
+## Intractability
+
+Variational Autoencoder(VAE) 는 크게 Encoder 와 Decoder 부분으로 이루어져 있습니다. 더 자세하게는, Encoder는 입력 데이터 $x$ 를 받아서 잠재변수(Latent Variable) $z$ 를 만들어내고, Decoder 는 잠재변수 $z$ 를 활용해서 다시 $x$ 를 복원하게 됩니다.
+
+:::{figure-md}
+
+
+Variational Autoencoder(VAE) Architecture
+:::
+
+Variational Autoencoder (VAE) 는 AutoEncoder 와 달리 확률 분포를 이용해 어떤 새로운 데이터를 생성하는 Decoder 부분에 초점을 둡니다. 이때 논문에서 다음과 같은 assumption 들을 내립니다. 첫번째로 $p_{\theta}(z)$ 와 $p_{\theta}(x|z)$ 는 parametric 한 distribution 을 가지고 있고, 이는 $\theta$ 와 $z$ 에 대해 differentiable 하다는 가정을 내립니다. 이 때, 대표적으로 $p_{\theta}(z)$ 는 Gaussian distribution 을 따르고 $p_{\theta}(x|z)$ 는 생성하고자 하는 데이터 성질에 따라 Bernoulli 혹은 Gaussian distribution 을 따르도록 정의합니다. 그리고 $p_{\theta}(x|z)$ 의 파라미터 $p$ 혹은 $(\mu, \sigma)$ 는 아래 그림과 같이 뉴럴 네트워크로 구성된 Decoder 로부터 계산이 됩니다.
+
+:::{figure-md}
+
+
+Overview of Bernoulli(left) and Gaussian(right) Decoder
+:::
+
+이를 기반으로 우리는 ML/MAP estimation 을 통해 marginal likelihood $p_{\theta}(x)$ 를 최대화시키는 파라미터 $\theta$ 를 구하는 것이 목적입니다. 하지만, $p_{\theta}(x) = \int p_{\theta}(z)p_{\theta}(x|z) \ dz$ 는 intractable 하기 때문에 $p_{\theta}(z|x)$ 를 계산하기 위한 Encoder 가 등장하게 됩니다.
+
+$$
+p_{\theta}(x) = p_{\theta}(x|z)p_{\theta}(z)/p_{\theta}(z|x)
+$$
+
+여기서 $p_{\theta}(z|x)$ 역시 intractable 하기 때문에 이를 잘 근사화하는 뉴럴 네트워크 $q_{\phi}(z|x)$ 를 정의하게 되고, 이러한 과정을 변분추론(Variational Inference) 라고 합니다. 아래는 Encoder 와 Decoder 를 함께 도식화한 그림입니다. 정리하자면, MLP Encoder 를 통해 계산된 $\mu$ 와 $\sigma$ 로 잠재변수 $z$ 를 생성하게 되고, 이를 기반으로 Decoder 는 원본 이미지와 유사한 데이터를 생성하게 됩니다.
+
+:::{figure-md}
+
+
+Overview of Gaussian Encoder and Decoder
+:::
+
+해당 implementation code 도 확인해보겠습니다.
+
+- **Encoder 구현 code**
+
+ ```python
+
+ class Encoder(nn.Module):
+ def __init__(self):
+ super(Encoder,self).__init__()
+ self.fc1_1 = nn.Linear(784, hidden_size)
+ self.fc1_2 = nn.Linear(784, hidden_size)
+ self.relu = nn.ReLU()
+
+ def encode(self,x):
+ x = x.view(batch_size,-1)
+ mu = self.relu(self.fc1_1(x))
+ log_var = self.relu(self.fc1_2(x))
+
+ return mu,log_var
+
+ def reparametrize(self, mu, logvar):
+ std = logvar.mul(0.5).exp_()
+
+ eps = torch.FloatTensor(std.size()).normal_()
+ eps = Variable(eps).cuda()
+
+ return eps.mul(std).add_(mu)
+
+ def forward(self,x):
+ mu, logvar = self.encode(x)
+ reparam = self.reparametrize(mu,logvar)
+
+ return mu,logvar,reparam
+ ```
+
+- **Decoder 구현 code**
+
+ ```python
+ class Decoder(nn.Module):
+ def __init__(self):
+ super(Decoder,self).__init__()
+ self.fc1 = nn.Linear(hidden_size, 784)
+ self.sigmoid = nn.Sigmoid()
+
+ def forward(self,x):
+ out = self.fc1(x)
+ out = self.sigmoid(out)
+ out = out.view(batch_size,28,28,1)
+
+ return out
+ ```
+
+## SGVB(Stochastic Gradient Variational Bayes)
+
+이로써 우리는 marginal likelihood $p_{\theta}(x)$ 를 최대화시키는 파라미터 $(\theta, \phi)$ 를 찾으면 되고, 이에 대한 lower bound 를 수식적으로 표현하면 손실함수(loss function) 를 다음과 같이 Reconstruction Error 와 Regularization term 로 분할할 수 있습니다.
+
+$$
+L(\theta, \phi;x_i) = \arg \min_{\theta, \phi} \sum_{i} -\mathbb{E}\_{q_{\phi}(z|x_i)}[\log(p(x_i|g_{\theta}(z))] + KL(q_{\phi}(z|x_i)||p(z))
+$$
+
+Reconstruction Error 는 Decoder 에서 생성하는 데이터가 최대한 원본 데이터와 유사하도록 하는 term 이고, Regularization 은 Encoder 에서 만드는 잠재변수의 분포가 저희가 부여한 prior distribution 이랑 가깝도록 설정하는 term 입니다. 이때, Reconstruction Error 는 다음과 같은 Monte Carlo Estimator $\tilde{\mathcal{L}}^{B}$ 로 근사값을 구할 수 있고, 하나의 sample 을 계산하는 것도 연산량이 많으므로 논문에서는 sample size $L$ 을 1 로 설정합니다.
+
+$$ \tilde{\mathcal{L}}^{B}(\theta, \phi; x^{(i)})=-D_{KL}(q_{\phi}(z|x^{(i)})||p_{\theta}(z))+\frac{1}{L}\sum^{L}_{l=1} \log p\_\theta (x^{(i)}|z^{(i,l)})) $$
+
+Lower bound 에 대한 수식을 변환하여 수식 전체에 대한 Monte Carlo Estimator $\tilde{\mathcal{L}}^{A}$ 로도 근사값을 구할 수 있는데 이는 평균적으로 $\tilde{\mathcal{L}}^{B}$ 에 비해 variance 가 높다고 합니다.
+
+$$ \tilde{\mathcal{L}}^{A}(\theta,\phi;x^{(i)})=\frac{1}{L}\sum^{L}_{l=1}\log p_{\theta}(x^{(i)},z^{(i,l)})-\log q_{\phi}(z^{(i,l)}|x^{(i)}) $$
+
+
+## Reparameterization Trick
+
+논문에서는 모델 학습 시 backpropagation 을 원활히 사용할 수 있도록 reparameterization trick 을 소개합니다. 잠재변수 $z$ 를 Encoder 에서 나온 $\mu$ 와 $\sigma$ 로 직접 샘플링하지 않고, backpropagation 이 가능하도록 Gaussian noise 를 우선적으로 샘플링하고 해당 $\mu$ 와 $\sigma$ 를 각각 더하고 곱하게 됩니다. 이는 $q_{\phi}(z|x)$ 이 Gaussian distribution 을 따른다고 설정했을 때이고, $q_{\phi}(z|x)$ 에 대해 다른 분포를 가정하여 그에 따른 다른 reparameterization trick 을 시도할 수 있다고 논문에 명시되어 있습니다.
+
+하단에는 Gaussian 분포에 대한 reparameterization trick 를 도식화한 그림입니다. 왼쪽에는 reparameterization trick이 적용되지 않은 경우로 $\mu$ 나 $\sigma$ 값이 고정되어 있어도 $\mathcal{N}(\mu,\sigma^2)$ 에서 샘플링하므로 $z$ 는 랜덤한 값이 되고 loss function 을 $\mu$ 나 $\sigma$ 에 대해 미분할 수 없어 backpropagation 을 적용하기가 어렵습니다. 반면에, 오른쪽처럼 reparameterization trick 을 적용하면, $z$ 가 deterministic 한 형태로 정의되고 $\mu$ 나 $\sigma$ 에 대한 변수로도 미분이 가능해지기 때문에 backpropagation 을 활용하여 모델을 학습시킬 수 있습니다.
+
+:::{figure-md}
+
+
+Overview of Reparameterization Trick
+:::
+
+## Training Algorithm
+
+모델을 학습하는 전체적인 과정은 아래와 같습니다.
+
+:::{figure-md}
+
+
+Overview of Training Algorithm
+:::
+
+## Experiments
+논문에서는 MNIST 와 Frey Face 데이터셋에 대해 AEVB(Auto-Encoder variational Bayesian)와 wake-sleep 알고리즘를 적용해서 비교합니다. 여기서 Frey Face 데이터셋은 continuous 하므로 Gaussian Decoder 를 사용합니다. 실험결과는 아래 그림과 같습니다.
+
+:::{figure-md}
+
+
+Experimental Results - Likelihood lower bound
+:::
+
+해당 그림처럼 lower bound 를 최적화하는데 AEVB 알고리즘이 더 빠르게 수렴하며 모든 실험에서 성능적으로도 더 나은 부분을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Experimental Results - Marginal likelihood
+:::
+
+또한, latent variable $z$ 의 차원이 작으면 marginal likelihood 를 직접 Monte Carlo EM 을 할용하여 구할 수 있는데, 이에 대한 결과도 논문에서 보여줍니다. Monte Carlo EM 의 경우 학습 데이터가 많으면 수렴이 되지 않는 부분을 확인할 수 있습니다.
+
+
+## Summary
+
+AutoEncoder 는 latent space 에 하나의 값으로 지정해줬다면, VAE 는 평균 그리고 분산 파라미터들과 Gaussian 분포를 가진 샘플을 통해 잠재변수를 생성합니다. 그리고 VAE 를 실제로 사용해보면 생성된 데이터 image quality 가 낮다는 단점을 가지고 있다고 합니다.
diff --git a/_sources/docs/review/zero123.md b/_sources/docs/review/zero123.md
new file mode 100755
index 00000000..7b905bcc
--- /dev/null
+++ b/_sources/docs/review/zero123.md
@@ -0,0 +1,421 @@
+# zero 1-to-3 : Zero-shot One Image to 3D Object
+
+``` {admonition} Information
+- **Title:** zero 1-to-3 : Zero-shot One Image to 3D Object
+
+- **Reference**
+ - Paper: []()
+ - Code: []()
+
+- **Author:** Jeongin Lee
+
+- **Last updated on Jan. 10, 2025**
+```
+
+# Abstract : Zero-shot One Image to 3D Object
+
+---
+
+:::{figure-md}
+ 
+:::
+
+1. **단일 RGB 이미지**를 입력으로 **Object 의 카메라 viewpoint 를 변경**하여 이미지를 합성하는 프레임워크
+2. **제한된 셋팅** 하에서 다중 view 합성 수행을 위해 **large-scale diffusion model** 의 Geometric priors 활용
+ 1. 조건부 diffusion 모델은 특정 카메라 시점 변형 하에 동일 객체의 새로운 이미지들을 생성할 수있는 **상대적인 카메라 시점의 조정(control)** 을 학습하기 위해 **3D 합성 데이터셋** 사용
+ 2. 합성 데이터셋에서 훈련되었음에도 wild images , OOD(out-of-distribution) 데이터 등에 대해 강력한 zero-shot 일반화 능력 보유
+3. viewpoint-conditioned diffusion 접근법은 단일 이미지로부터의 3D 재구성을 위해서도 사용 가능
+
+# 1. Introduction
+
+---
+
+1. **인간의 3D 인지 능력**
+ - 사람은 단일 시점의 이미지에서도 물체의 3D 형태와 외형을 상상 가능
+ - 대칭과 같은 기하학적 prior에 의존하기도 하지만 물리적 제약을 넘는 일반화가 가능
+ - 현실에 존재하지 않는 객체의 3D 형태까지 예측할 수 있는 능력은 평생동안의 시각적 경험에서 축적된 사전지식(prior)를 기반으로 함.
+2. **기존 3D 재구성 접근 방식의 한계**
+ - 대부분의 3D 이미지 재구성 접근 방식은 **closed-world setting**에 제한
+ - 고비용 3D annotation(CAD model) 과 카테고리별 prior에 의존
+ - CO3D 등 대규모 데이터셋으로 open-world 재구성 연구가 진전되었으나
+ 여전히 stereo view나 카메라 포즈 정보들과 같은 학습을 위한 기하적 정보가 필요
+ - large-scale diffusion 모델의 성공을 가능하게 한 인터넷 규모의 text-image 데이터셋들과 비교할 때 아직 3D 데이터의 수집 규모는 미미한 상태
+3. **diffusion 모델의 인터넷 규모 사전 학습과 한계**
+ - 인터넷 규모의 사전학습은 large-scale diffusion model 에 풍부한 semantic prior 를 부여
+ - 하지만, 여전히 기하학적 정보 캡처 능력은 부족
+4. **Zero 1-to-3 를 제안**
+ - **Zero 1-to-3 :**
+ - Stable Diffusion과 같은 large-scale diffusion 모델이 단일 RGB 이미지를 입력으로,
+
+
+
+ 를 수행하기 위해 **카메라 view point(시점)을 조작을 컨트롤하는 매커니즘 학습**
+
+ - 주어진 단일 RGB 이미지 입력하에 이러한 TASK를 수행 하는 것은 매우 많은 제약이 존재
+ → Diffusion 모델을 기반으로 다양한 시점에서 방대한 객체 이미지를 생성하여 이용
+ - Diffusion 모델은 카메라 포즈 없이 2D 이미지에 대한 학습만 수행되었으므로,
+ **파인튜닝을 통해 상대적인 카메라 회전 및 이동을 컨트롤**하여 새로운 시점의 이미지를 생성하는 접근법 제시
+ - 파인튜닝을 통해 선택한 다른 카메라 시점에서의 임의의 이미지를 생성 가능
+
+# 2. Related Work
+
+1. **3D generative models**
+ - 생성 모델의 동향
+ - 대규모 이미지-텍스트 데이터셋과 결합된 생성 모델의 발전으로 고품질의 다양한 장면과 객체를 합성 가능해짐.
+ - 특히 diffusion 모델의 경우 denoising objective를 통해 확장 가능한 이미지 생성 학습에 효과적
+ - 이를 3D 도메인으로 확장하려면 많은 3D annotation 데이터를 필요로 하므로, 이에 대한 대안으로 **대규모 2D diffusion 모델을 3D task 에 전이하는 방식**이 연구되고 있음.
+ - **NeRF과 DreamFields의 역할**
+ - **NeRF**는 고품질 장면 인코딩에 탁월하여 단일 장면 재구성에 주로 사용되며, 관찰되지 않은 각도에서 새로운 view 를 예측
+ - **DreamFields**는 NeRF를 3D 생성 시스템의 주요 요소로 활용하여, 텍스트 입력에서 고품질 3D 객체와 장면을 생성할 수 있게 함.
+ - **Zero-1-to-3 의 접근법**
+ - 새로운 시점 합성을 **뷰포인트로 조건화된 image-to-image 변환** 작업으로 보고 **diffusion** 모델을 활용
+ - 학습된 모델은 **3D distillation** 과 결합해 단일 이미지로부터 3D Shape reconstruction 수행
+ - 합성 데이터셋으로 시점 조작을 학습하여 wild 이미지에 대해 zero-shot 일반화를 입증
+ - **선행 연구와의 비교**
+ - 선행연구는 **Zero-1-to-3** 와 유사한 파이프라인을 채택하였으나, 제로샷 일반화 능력을 입증하지 못함
+ - 이 외에도 다양한 접근방식이 language-guided 와 text-inversion 을 활용하여 image-to-3D 생성 태스크를 위한 유사한 방법론들을 제안
+ - 하지만 본 방법론은 합성 데이터셋을 통해 view point 컨트롤을 학습하고, 제로샷 일반화 능력을 보여줬다는 데에서 차이가 있음.
+
+2. **Single-view object reconstruction**
+ - **단일 뷰에서 3D 객체 재구성**:
+ - 단일 뷰에서 3D 객체를 재구성하는 것은 매우 어려운 문제
+ - 이를 해결하기 위한 강력한 사전 지식(**prior**) 필요
+ - [**기존 접근 방식**:](https://velog.io/@dldydldy75/3D-Understanding)
+
+ :::{figure-md}
+ 
+ :::
+
+ 1. **데이터 수집 형태에 따른 전역적인(global) 특성 기반의 조건화 모델**
+ - 기존 연구 중 일부는 3D 데이터를 **메쉬, 복셀, 또는 포인트 클라우드** 형식으로 수집해 이를 기반으로 조건에 대한 이미지 인코사전 지식을 형성
+ - 사용된 3D 데이터의 종류에 큰 제약 존재
+ - 데이터에 따른 조건의 타입에 대한 **global nature** 로 인해 일반화 능력이 부족
+ - 새로운 관점에서 재구성하기 위해 추가적인 포즈 추정 단계가 필요
+ 2. **국소적으로(locally) 조건화된 모델**
+ - 이미지의 국소적 특성을 직접 사용하여 장면 재구성을 시도
+ - 교차 도메인 일반화 능력이 더 좋지만, 일반적으로 가까운 뷰 재구성에 제한됨.
+
+
+
+ - **MCC (Multiview Compressive Coding for 3D Reconstruction)**
+ - **RGB-D** 뷰를 사용하여 3D 재구성을 위한 general-purpose representation 을 학습하며, 대규모 객체 중심 비디오 데이터셋으로 훈련됨
+ - **Zero-1-to-3**
+ - 사전 훈련된 Stable Diffusion 모델에서 직접 풍부한 기하학적 정보를 추출할 수 있음을 보여주며, 이는 **추가적인 깊이 정보 없이**도 가능함을 보임
+
+# 3. Methods
+
+- **목표 :** 주어진 단일 RGB 이미지 $x \in \mathbb{R}^{H \times W \times 3}$ 를 입력으로, 다른 카메라 시점에서의 객체 이미지를 합성
+- **카메라 변환**
+ - $R \in \mathbb{R}^{3 \times 3}$ : relative camera rotation
+ - $T \in \mathbb{R}^{3}$ : relative camera translation
+- **모델 학습**
+ - 함수 $f$ 를 학습하여 새로운 이미지를 합성
+
+ $$
+ \hat{x}_{R,T} = f(x, R, T)
+ $$
+
+ - $*x$ : 주어진 단일 RGB 이미지 $(x \in \mathbb{R}^{H \times W \times 3})$*
+ - $*\hat{x}_{R,T}$ :* 합성 이미지
+ - $\hat{x}_{R,T}$ 가 실제지만 관측되지 않은 새로운 view $x_{R,T}$ 와 지각적으로 유사하도록 추정
+
+- 단일 RGB 이미지에서 새로운 시점으로의 합성은 많은 제약사항이 존재 (단일 이미지로 많은 정보를 예측해야 하므로)
+- **large-scale Diffusion(Stable Diffusion)을 활용하여 태스크 수행**
+ - 프롬프트로부터 다양한 이미지를 생성할 때 갖는 뛰어난 zero-shot 능력을 활용
+- **large-scale Diffusion에서 3D 정보를 추출하는 능력을 저해하는 요인 두가지**
+ 1. **뷰포인트 간의 명확한 대응 관계의 부족** : 대규모 생성 모델들은 다양한 객체와 시점에서 훈련되었지만, 서로 다른 시점들 간의 연관성을 명시 으로 인코딩하지 않음.
+ 2. **인터넷 규모 데이터셋에 반영된 뷰포인트 편향** : 생성 모델들은 인터넷에서 반영된 시점 편향을 물려받아, 특정한 자세 및 시점에서의 이미지를 생성하는 경향 존재
+
+ :::{figure-md}
+ 
+ :::
+
+
+
+## 3.1. Learning to Control Camera Viewpoint
+
+- **목표**: Diffusion 모델을 통해, 촬영된 이미지에서 카메라의 외부 매개변수를 제어할 수 있는 메커니즘을 학습하여 새로운 시점의 이미지를 합성하는 것.
+- **데이터셋**: 이미지 쌍과 상대적 카메라 외부 매개변수로 구성된 데이터셋 ${ (x, x_{(R,T)}, R, T) }$
+- **접근법 [Figure3]**
+
+ :::{figure-md}
+ 
+ :::
+
+- 사전 훈련된 diffusion 모델을 미세조정하여 나머지 표현을 손상시키지 않고 카메라 파라미터를 제어하도록 학습.
+- **Latent Diffusion Architecture 를 이용**
+ - **[참고] LDM**
+ :::{figure-md}
+ 
+ :::
+ - Encoder($\mathcal{E}$), Denoiser(U-Net, $\epsilon_\theta$), Decoder($\mathcal{D}$)로 구성
+ - **The Objective**
+
+ $$
+ \text{min}_{\theta} \mathbb{E}_{z \sim \mathcal{E}(x), t, \epsilon \sim \mathcal{N}(0, 1)} \left\| \epsilon - \epsilon_{\theta}(z_t, t, c(x, R, T)) \right\|^2_2
+ $$
+
+ - $z \sim \mathcal{E}(x)$: $x$ 에 대한 Encoder의 출력
+ - $t ∼ [1, 1000]$ : Diffusion time step
+ - $\epsilon \sim \mathcal{N}(0, 1)$: 가우시안 노이즈 샘플.
+ - $c(x, R, T)$ : input view 와 상대적 camera extrinsic 임베딩
+ - $\epsilon_\theta$ **가 훈련된 후, 추론 모델 $f$는 $c(x, R, T)$ 를 조건으로 가우시안 noise image로부터 반복적인 denoising 을 통해 이미지를 생성**
+
+- **본 방법론의 효과**
+ - 사전 훈련모델에 대한 이러한 방식의 파인튜닝을 통해 모델은 카메라 viewpoints 통제를 위한 일반적인 메커니즘을 학습 가능
+
+ → fine tuning 데이터셋에서 보이는 객체 외부의 정보를 외삽
+
+ - fine tuning 을 통해 제어 기능이 “**부착**”될 수 있고 diffusion의 포토리얼리스틱 이미지 생성 능력을 유지
+ - 이러한 **compositionality**(구성 가능성)는 모델에서 제로샷 기능을 확립하며,
+ 최종모델은 3D assets 이 부족하고 fine-tuning 집합에 존재하지 않는 객체 클래스에 대한 새로운 뷰를 합성 가능
+
+## 3.2. View-Conditioned Diffusion
+
+- 단일이미지로부터 3D 객체를 재구성하기 위해 저수준 인식(깊이, 음영, 텍스처 등)과 고수준 이해(형태, 기능, 구조 등) 모두를 필요로 함.
+
+**→ 하이브리드 조건부 메커니즘 채택**: 두 가지 스트림을 결합
+
+1. **1st Stream**
+ - 입력 이미지를 CLIP(Contrastive Language–Image Pretraining) 임베딩으로 변환
+ - 이 CLIP 임베딩에 카메라의 상대적인 회전($R$)과 변환($T$)를 연결하여 “posed CLIP” 임베딩인 $c(x, R, T)$을 생성
+ - 이 임베딩을 통해 고수준의 의미 정보를 제공하는 **cross-attention**을 U-Net의 디노이징 과정에 적용
+2. **2nd Stream**
+ - input image 와 denoising 중의 이미지를 channel-concatenated
+ - 모델이 합성되는 중인 객체의 identity 와 details 을 유지하도록 함.
+- **classifier-free guidance** 적용을 위해 이미지와 posed CLIP 임베딩을 무작위로 영(0) 벡터로 설정하고, 추론 중 조건부 정보를 스케일링하는 메커니즘
+
+## 3.3 3D Reconstruction
+
+- 많은 응용에서, 객체의 새로운 뷰를 합성하는 것만으로는 충분하지 않으며, 객체의 외관과 기하 구조를 모두 캡처하는 전체 3D 재구성이 필요
+- **Score Jacobian Chaining(SJC)**을 채택하여, 텍스트-이미지 확산 모델의 사전 정보를 사용하여 3D 표현을 최적화
+
+ - diffusion모델의 확률적 특성으로 인해, 그래디언트 업데이트가 매우 불확실하게 변함.
+ - DreamFusion을 기반으로 한 **SJC**에서 사용된 기술로, **classifier-free guidance 값을 기존보다 상당히 증가 → 각 샘플의 다양성 감소 & reconstruction 의 fiderlity 향상**
+ - **SJC** : Dream Fusion 에서 NeRF로 만들어지는 이미지는 pretrained된 Diffusion Model을 학습시킬 때, 없었던 확률 분포이기 때문에 OOD (Out of Distribution) 문제가 발생 [참고](https://arxiv.org/abs/2208.01618)
+- **3D reconstruction with Zero-1-to-3 [Figure4]**
+ 1. **SJC 와 유사하게 임의의 뷰포인트를 샘플링**하고, 볼륨 렌더링을 수행
+ 2. 볼륨 렌더링으로 생성된 이미지에 가우시안 노이즈를 주입
+ 3. input 이미지 $x$, CLIP 임베딩 $c(x, R, T)$ 및 타임스텝 $t$ 를 조건부로 Denoising U-Net, $\epsilon_\theta$을 사용하여 non-noisy input $x_π$에 대한 스코어를 근사
+
+ $$
+ \nabla \mathcal{L}_{SJC} = \nabla _{I_{\pi}} \log p_{\sqrt{2}\epsilon}(x_{\pi})
+ $$
+
+ - $\nabla \mathcal{L}_{SJC}$ : PAAS 스코어
+
+ :::{figure-md}
+ 
+ :::
+
+- 입력 뷰와의 **MSE** 손실로 최적화
+- NeRF representation 규제를 위한 추가 loss term
+ - **Depth smoothness loss** to every sampled viewpoint
+ - **near-view consistency loss** : 근접 뷰 간의 외관 변화(appearance change)를 규제, 가까운 뷰 간의 일관성을 유지
+
+## 3.4. Dataset
+
+- **Dataset** : Objaverse, 800K+ 3D models created by 100K+ artists
+- **데이터 구성**
+ - ShapeNet과 같이 명시적인 클래스 레이블이 없지만, 다양한 고품질 3D 모델을 포함
+ - 모델은 정교한 기하학적 세부사항과 재질 속성을 갖춘 많은 모델을 포함
+- **Camera Extrinsics matrices 샘플링**
+ - 각 객체에 대해, 객체 중심을 가리키는 **12**개 카메라 외부 매트릭스 $\mathcal{M}_{\rceil}$를 무작위로 샘플링
+ - 각 객체에서 12개 뷰를 ray 트레이싱 엔진을 사용해 렌더링합니다.
+- **Training**
+ - 각 객체에 대해 이미지 쌍$(x, x_{R,T})$을 형성하기 위해 2개 뷰를 샘플링
+ - 이 때 두 시점간의 맵핑을 정의하는 relative viewpoint transformation$(R, T)$ 는 두 시점 각각의 extrinsic matrices 를 통해 쉽게 유도 가능
+- **카메라 외부 파라미터 (Camera Extrinsics)**
+ - **3D 장면 내에서 카메라의 위치와 방향**을 정의하는 요소
+ - 카메라의 시점과 실제 세계 좌표계(**World Coordinate system**)를 연결하여, 특정 객체가 3D 공간에서 정확히 어디에 위치하는지를 파악
+ - **Camera Extrinsics 구성 요소**
+ - **회전(Rotation)**: 카메라가 세계 좌표계에 대해 어떤 방향으로 회전되어 있는지를 나타냄
+ - **변환(Translation)**: 카메라가 세계 좌표계의 특정 위치에 어느 좌표로 이동해 있는지를 나타냄
+ - [참조 링크](https://jhtobigs.oopy.io/3dcoordinate)
+
+# 4.Experiments
+
+- 평가 대상 : **model’s performance zero-shot novel view synthesis & 3D reconstruction**
+- Objaverse 데이터셋 외의 데이터와 이미지를 사용하였으므로, 제로샷 결과로 간주
+- 모델 성능을 합성 객체와 장면들을 다양한 복잡함 수준에서 정량적으로 결과 비교
+- 다양한 자연 이미지(일상적인 객체 사진부터 그림까지)를 사용하여 질적 결과를 보고
+
+## 4.1. Tasks
+
+- 단일 RGB 이미지를 입력으로, 밀접하게 연관된 두가지 태스크를 수행 & zero-shot 적용
+1. **Novel View Synthesis**
+ - 단일 뷰에서 객체의 깊이, 텍스처 및 형태를 학습하도록 요구되는 오랜 3D problem
+ - 입력 정보가 극히 제한적일 때, 모델은 prior 를 활용한 새로운 synthesis method 가 필요
+ - 최근 방법들 : CLIP consistency 목적함수를 사용, implicit neural fields 최적화에 의존
+ - **본 연구의 방법론**
+ - **3D reconstruction** 과 **Novel View Synthesis** 간에 **orthogonal** (독립적)
+ - **3D reconstruction** 과 **Novel View Synthesis**의 순서를 반대로 전환하여 여전히 입력 이미지에 묘사된 객체의 정체성을 유지
+ - Self-occlusion로 인한 **aleatoric uncertainty**을 확률적 생성 모델을 사용해 모델링
+ - 대규모 Diffusion 모델로 학습된 semantic, geometric priors 들을 효율적으로 활용
+2. **3D reconstruction**
+ - **SJC(Symmetric Jacobian Chaining) 및 DreamFusion과 같은 확률적 3D 재구성 프레임워크를 채택하여 최적의 3D 표현을 생성**
+ - **parameterize**
+ - 3D 표현을 **voxel radiance field**으로 파라미터화
+ - density 필드에서 **Marching Cubes** 알고리즘을 사용하여 3D 메쉬를 추출합
+ - **Marchinng Cube** 알고리즘 : 3D 스칼라 필드에서 등치선(iso-surface)을 추출하기 위해 사용되는 알고리즘
+ - **3D reconstruction 에 대한 view-conditioned diffusion model 활용**
+ - diffusion 모델이 학습한 풍부한 2D 외양 prior를 3D 기하학으로 전환 가능한 경로 제공
+
+## 4.2. Baselines
+
+- 본 방법론이 다루는 범위와 일관되도록 아래 두가지 모두에 해당되는 방법론들만 비교
+ - **zero-shot setting**
+ - **input : single-view RGB image**
+1. **Novel View Synthesis**
+ 1. **DietNeRF**: viewpoints 전반에 걸쳐 CLIP mage-to-image consistency loss 로 NeRF 규제
+ 2. **Image Variations (IV)**
+ - 텍스트 프롬프트가 아닌 이미지 조건을 받기 위해 Stable Diffusion 을 파인튜닝한 모델로, Stable Diffusion 을 활용한 semantic 최근접 이웃 탐색 엔진으로 간주될 수 있음.
+ 3. **SJC (SJC-I) :**
+ - diffusion-based text-to-3D 모델인 SJC 를 선택, 이때 텍스트 프롬프트 조건을 이미지 조건으로 대체한 모델을 사용하며 이를 SJC-I 로 명명
+2. **3D Reconstruction**
+ - **Multiview Compressive Coding (MCC)**
+ - 신경 필드 기반 접근 방식으로, RGB-D 관측치를 바탕으로 3D 표현을 완성
+ - CO3Dv2 데이터셋에서 훈련
+ - **Point-E**
+ - 색칠된 포인트 클라우드 위에 구축된 Diffusion모델
+ - OpenAI의 내부 3D 데이터셋에서 훈련되어 더 큰 데이터셋을 사용
+ - **MCC**와 **Point**-**E** 외에도, **SJC**-**I**와 같은 다른 기법들과도 비교
+ - 특정 데이터셋에서 낮은 수준의 정보와 높은 수준의 이해를 요구하는 3D reconstruction 수행
+
+ ---
+
+
+
+
+## 4.3. Benchmarks and Metrics
+
+- **데이터셋 평가**
+ - Google Scanned Objects (GSO): 고품질 스캔된 가정용 아이템 데이터셋
+ - RTMV: 20개의 랜덤 객체로 구성된 복잡한 장면 데이터셋
+ - 모든 실험에서 각 데이터셋의 ground truth 3D data 를 사용하여 3D reconstruction을 평가
+- **Novel view synthesis evaluation metrics**
+ - **이미지의 유사성을 평가 → PSNR, SSIM, LPIPS, FID**
+- **3D reconstruction evaluation metrics**
+ - **Chamfer Distance, Volumetric IoU (Intersection over Union)**
+
+## 4.4. Novel View Synthesis Results
+
+:::{figure-md}
+
+:::
+- **Table 2** : RTMV에서의 새로운 뷰 합성 결과. RTMV의 장면은 Objaverse 훈련 데이터와 분포가 다르지만, 우리의 모델은 여전히 기준선을 상당한 차이로 능가.
+
+:::{figure-md}
+
+:::
+- **Figure 5 : Novel view synthesis on Google Scanned Object**
+왼쪽에 표시된 입력 뷰는 두 개의 무작위 샘플링된 새로운 뷰를 합성하는 데 사용됨. 해당하는 실제 뷰는 오른쪽에 표시되어 있음. 기준 방법들과 비교할 때, 우리가 합성한 새로운 뷰는 실제와 매우 일치하는 풍부한 텍스트 및 기하학적 세부 사항을 포함하고 있으며, 반면 기준 방법들은 고주파 세부 사항의 유의미한 손실을 보임.
+
+:::{figure-md}
+
+:::
+- **Figure 6 Novel view synthesis on RTMV**
+왼쪽에 표시된 입력 뷰는 두 개의 무작위로 샘플링된 새로운 뷰를 합성하는 데 사용됨. 오른쪽에는 해당하는 실제 뷰가 표시됨. 우리가 합성한 뷰는 큰 카메라 시점 변화가 있을 때조차도 높은 충실도를 유지하며, 대부분의 다른 방법들은 품질이 급격히 저하됨.
+****
+- **Point-E**
+ - Point-E 모델은 다른 기준선(baselines)들보다 더 뛰어난 성능을 발휘하며, 우수한 제로샷(Zero-shot) 일반화 능력을 보임
+ - 그러나 생성된 포인트 클라우드의 크기가 작아 Point-E가 새로운 뷰 합성(novel view synthesis)에서의 적용 가능성을 제한함.
+
+:::{figure-md}
+
+:::
+
+- **Figure 7 Novel view synthesis on in-the-wild images.**
+1, 3, 4 행은 iPhone으로 촬영한 이미지에 대한 결과를 보여주며, 2nd 행은 인터넷에서 다운로드한 이미지에 대한 결과를 제시. 본 방법은 서로 다른 표면 재료와 기하학을 가진 객체에 대해 로버스트함.
+- **샘플의 다양성**
+ - diffusion 모델이 NeRF보다 이러한 기본적인 불확실성을 포착하는 데 더 적합한 아키텍처
+ - 입력 이미지가 2D이기 때문에 항상 객체의 부분적인 뷰만을 나타내고 많은 부분이 관찰되지 않으므로, diffusion 을 통해 다양한 시점에서 샘플들을 랜덤으로 생성
+
+:::{figure-md}
+
+:::
+
+- Figure 8: 입력 뷰를 고정하고, 다양한 시점에서 새로운 샘플을 랜덤으로 생성하여 시각화
+이러한 다양한 결과는 입력 뷰에서 놓친 기하학적 및 외관 정보를 반영
+
+## 4.5. 3D Reconstruction Results
+
+:::{figure-md}
+
+:::
+
+- 실제 ground truth 와 유사한 고충실도의 3D 메쉬를 reconstruct
+
+:::{figure-md}
+
+:::
+:::{figure-md}
+
+:::
+
+- **MCC (Multiview Compressive Coding)**:
+ - 입력 뷰에서 보이는 표면에 대한 좋은 추정을 제공하지만, 종종 물체 뒷면의 기하학을 올바르게 추론하지 못함.
+- **SJC-I** : 의미 있는 기하학을 재구성하는 데 실패
+- **Point-E**: 인상적인 제로샷 일반화 능력을 보여주며, 물체 기하학에 대한 합리적인 추정을 예측
+ - 그러나, 4,096 포인트로 구성된 비균일한 희소 포인트 클라우드만 생성 가능하고, 이로 인해 재구성된 표면에 구멍이 생김.
+ - 좋은 CD(Chamfer Distance) 점수를 얻지만, 부피 IoU(Intersection over Union)에서는 부족한 평가척도 결과를 보임.
+- **제안된 방법**:
+ - 학습된 다중 보기 우선 순위를 활용하고 NeRF 스타일 표현의 장점을 결합하여 CD와 부피 IoU 모두에서 이전 작업들보다 개선됨(표 3 및 4에서 확인).
+
+## 4.6. Text to Image to 3D-
+
+:::{figure-md}
+
+:::
+
+- 실제 환경에서 촬영된 이미지 외에도, Dall-E-2와 같은 txt2img 모델이 생성한 이미지에 대해서도 테스트
+
+# 5. Discussion
+
+- **Zero-1-to-3** 방식은 단일 이미지에서 새로운 시점을 생성하고 3D 재구성을 수행하는 제로샷 방식
+- 사전 학습된 Stable Diffusion 모델의 **풍부한 의미적, 기하적 prior 를** 활용하여 우수한 성능을 달성
+ - 이러한 정보 추출을 위해 **Stable Diffusion 모델이** **카메라 시점 제어를 학습**하도록 미세 조정하여, 벤치마크에서 최첨단 성능을 입증
+
+
+## 5.1. Future Work
+
+### From objects to scenes
+
+- 본 접근법은 평범한 배경의 단일 객체 데이터셋으로 훈련
+- RTMV 데이터셋에서 여러 객체가 있는 장면에 대한 강한 일반화를 입증했지만, GSO에서의 분포 내 샘플에 비해 품질이 여전히 저하
+- 복잡한 배경이 있는 장면으로의 일반화는 앞으로의 주요 과제
+
+# 6. Appendix
+
+### C. Finetuning Stable Diffusion
+
+- 렌더링된 데이터셋을 사용하여 새로운 뷰 합성을 수행하기 위해 사전 훈련된 스테이블 디퓨전 모델을 미세 조정
+- 원래의 스테이블 디퓨전 네트워크는 다중 모드 텍스트 임베딩에 대해 조건화되지 않기 때문에, 조건 정보를 이미지에서 사용할 수 있도록 원래의 스테이블 디퓨전 아키텍처를 조정하고 미세 조정해야함.
+- 이미지 CLIP 임베딩(차원 768)과 포즈 벡터(차원 4)를 연결하고, 디퓨전 모델 아키텍처와의 호환성을 확보하기 위해 또 다른 완전 연결 층(772 → 768)을 초기화
+- 이 층의 학습률은 다른 층보다 10배 크게 조정
+- 나머지 네트워크 아키텍처는 원래 스테이블 디퓨전과 동일하게 유지
+
+### C.1 훈련 세부사항
+
+- **8×A100-80GB 머신**에서 7일 동안 모델을 미세 조정
+
+### C.2 추론 세부사항
+
+- 새로운 뷰를 생성하기 위해 Zero-1-to-3는 RTX A6000 GPU에서 단 2초 소요
+- 이전 작업에서는 일반적으로 NeRF를 훈련하여 새로운 뷰를 렌더링하는 데 상당한 시간 소요
+- 비교적으로, 본 접근 방식은 3D 재구성과 새로운 뷰 합성의 순서를 반전시켜 새로운 뷰 합성 과정을 신속하고 불확실성 하에서 다양성을 포함하도록 함
+
+### D. 3D Reconstruction
+
+- 이미지에서 전체 3D 재구성을 실행하는 데 RTX A6000 GPU에서 약 30분이 소요
\ No newline at end of file
diff --git a/_sources/docs/review/zero123plus.md b/_sources/docs/review/zero123plus.md
index 3ffde840..685c09dd 100755
--- a/_sources/docs/review/zero123plus.md
+++ b/_sources/docs/review/zero123plus.md
@@ -1,160 +1,160 @@
-``` {admonition} Information
-- **Title:** Zero123++: a Single Image to Consistent Multi-view Diffusion Base Model
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2310.15110](https://arxiv.org/abs/2310.15110)
- - Code: [https://github.com/SUDO-AI-3D/zero123plus](https://github.com/SUDO-AI-3D/zero123plus)
-
-- **Author:** Sangwoo Jo
-
-- **Last updated on Dec. 16, 2024**
-```
-
-# Zero123++
-
-## 1. Introduction
-
-:::{figure-md}
-
-
-High-quality, consistent multi-view 3D images from Zero123++
-:::
-
-Zero-1-to-3(Zero123) 논문이 zero-shot 형태로 single-image-to-3D conversion 을 하는 기법을 처음으로 소개하였습니다. 하지만 해당 방식으로는 주어진 view 에 대해서 독립적으로 객체를 생성하게 됨으로써 multi-view consistency 에서 부족한 부분을 보여주게 된다고 설명합니다. Zero123++ 논문에서 이를 해결하기 위해 여섯개의 view 로부터 하나의 이미지를 생성하여 multi-view 에 대한 joint distirbution 을 학습할 수 있도록 설정합니다.
-
-또한, Zero-1-to-3 논문에서 다음과 같은 한계점이 있다고 제시합니다.
-
-a) 첫번째로 global 및 local conditioning mechanism 을 비롯한 Stable Diffusion model prior 를 효율적으로 사용하지 않았고,
-
-b) 두번째로 Zero-1-to-3 논문에서 512x512 이미지 해상도로 학습 시 불안정하게 수렴하게 되어 256x256 해상도로 줄인 부분에 대해 논문 저자는 원인을 분석하며 새로운 scheduling 기법을 소개합니다.
-
-## 2. Improving Consistency and Conditioning
-
-### 2.1. Multi-view Generation
-
-Zero-1-to-3 모델은 단일 이미지를 독립적으로 생성하며 multi-view 이미지에 대한 상관관계를 학습 혹은 생성 시에 고려하지 않습니다. 따라서, Zero123++에서는 3×2 layout 의 6개 이미지를 단일 프레임으로 tiling 하여 multiple image 에 대한 joint distribution 을 학습하게 됩니다.
-
-Objaverse 데이터셋은 기본적으로 gravity axis 은 동일하지만 객체들이 일관된 canonical pose 를 가지고 있지 않습니다. 따라서 절대적인 camera pose 를 기반으로 해당 데이터셋을 학습하게 되면 객체의 orientation 을 학습하는데 어려움이 있다고 주장합니다.
-
-반면에 Zero-1-to-3 는 input view 에 대한 상대적인 camera pose(elevation/azimuth angle) 을 입력받아 학습하였습니다. 그러나 해당 방식을 활용한다면 novel view 에 대한 relative pose 를 구하기 위해서는 input view 에 대한 elevation angle 을 사전에 알아야 한다는 단점이 있습니다. 후속적으로 One-2-3-45 그리고 DreamGaussian 논문에서 elevation angle 을 추가적으로 예측하는 모듈을 정의하고, 이에 따라 오차율도 증가하게 됩니다.
-
-- Elevation/Azimuth angle 이란?
-
- :::{figure-md}
- 
-
- Elevation/Azimuth angle
- :::
-
-
-이러한 문제를 해결하기 위해 elevation angle 을 고정시킨 상태에서 상대적인 azimuth angle 을 통한 novel view pose 를 정의합니다. 더 자세하게는 6개의 pose 를 아래 사진과 같이 정의하게 됩니다.
-
-:::{figure-md}
-
-
-3x2 layout of Zero123++ prediction
-:::
-
-### 2.2. Consistency and Stability: Noise Schedule
-
-Stable Diffusion 모델에서 사용되었던 scaled-linear schedule 은 local detail 을 학습하는데 초점을 두고 Signal-to-Noise Ratio (SNR) 가 낮은 timestep 이 극히 드뭅니다. SNR 이 낮은 구간에서 global low frequency 정보들을 학습하게 되며 해당 단계에서 step 수가 적으면 구조적인 변형이 클 수가 있습니다. 따라서, 이러한 scheduling 은 단일 이미지를 생성하는데는 유용하지만 multi-view consistent 한 이미지를 생성하는데 한계가 있다고 주장합니다.
-
-:::{figure-md}
-
-
-Linear vs Scaled linear schedule
-:::
-
-또한, 동일한 noise 가 주입되었을때 고해상도 이미지가 저해상도 이미지에 비해 noise level 이 적기 때문에, Zero-1-to-3 모델에서 고해상도 이미지를 학습하였을 때 불안정한 모습을 보여주었던 것도 동일한 원인 때문이라고 설명합니다.
-
-Zero123++ 에서는 scaled-linear schedule 대신에 linear schedule 를 사용하게 되고, 변화된 schedule 에 따라 $x$-prediction, $\epsilon$-prediction 모델보다 $v$-prediction 모델이 더 안정적으로 학습되었다고 합니다. 따라서, Stable Diffusion 2 $v$-prediction 모델로 fine-tuning 을 진행하였다고 합니다.
-
-### 2.3. Local Condition: Scaled Reference Attention
-
-기존에 Zero-1-to-3 논문에서 noisy input 과 conditioned image(single-view input) 가 feature-wise concatenate 하는데 해당 방식으로는 pixel-wise spatial correspondence 가 정확하지 않다고 합니다.
-
-Zero123++ 에서는 이 부분을 보완하여 Reference Attention 이라는 기법을 소개합니다. Reference Attention 이란, 아래 그림과 같이 noisy latent 와 conditioned latent 간에 self-attention 모듈에서의 key, value 값을 추가하여 연산 작업을 진행합니다. 이때, noisy input 에 주입된 noise 를 동일하게 conditioned image 에 적용하였다고 합니다.
-
-:::{figure-md}
-
-
-Reference Attention
-:::
-
-Reference Attention 기법을 적용한 결과, fine-tuning 작업을 진행하지 않아도 reference image 에서의 semantic content 와 texture 가 잘 반영되었습니다. 또한, fine-tuning 을 하였을때 reference latent 을 5x scaling 하였을때 reference image 와의 일관성을 가장 잘 보여주었다고 합니다.
-
-:::{figure-md}
-
-
-Comparison on local conditioning
-:::
-
-### 2.4. Global Condition: FlexDiffuse
-
-Zero123++ 논문에서 추가적으로 FlexDiffuse 에서 소개한 linear guidance mechanism 을 활용하여 fine-tuning 범위를 최소화하는 선에서 global image conditioning 하였습니다.
-
-더 자세하게는, $L \times D$ 차원의 prompt embedding $T$ 와 $D$ 차원의 CLIP global image embedding $I$ 에 global weight $w_i$ 를 곱한 값을 더하여 모델에 입력합니다. 이때, $L$ 은 token length 이고 $D$ 는 token embedding 의 차원 크기입니다. 이때, $w_i = \frac{i}{L}$ 로 초기 가중치 값을 설정하였습니다. Text condition 이 없을 경우에는 empty prompt 를 encoding 하여 $T$ 를 얻게 됩니다.
-
-:::{figure-md}
-
-
-FlexDiffuse’s linear guidance
-:::
-
-위와 같은 global conditioning 을 하였을때, 보이지 않은 unseen region 에서도 semantic 한 정보들을 유지한채 이미지를 잘 생성하는 부분을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Ablation on global conditioning
-:::
-
-### 2.5. Putting Everything Together
-
-정리하자면 해당 논문은 Stable Diffusion 2 $v$-model 을 사용하였고, Objaverse 데이터를 random HDRI environment lighting 를 적용하여 렌더링한 데이터에 학습하였습니다. 그리고 Stable Diffusion Image Variations model 의 학습 방식을 도입하여 two-stage 로 학습을 진행하였습니다.
-
-첫번째 phase 에서는 self-attention layer 와 cross-attention layer 의 KV 행렬만 fine-tuning 을 하였고, AdamW optimizer 와 cosine annealing schedule 을 사용하였습니다. 두번째 phase 에서는 UNet 모델 전체를 학습하고 $5 \times 10^{-6}$ 값의 constant learning rate 를 사용하였습니다. 그리고 학습 과정을 더 효율적으로 하기 위해 Min-SNR weighting 기법도 활용하였습니다.
-
-## 3. Comparison to the State of the Art
-
-### 3.1. Image to Multi-view
-
-**Qualitative Comparison**
-
-논문에서 Zero-1-to-3 XL 그리고 SyncDreamer 모델과의 성능을 비교합니다. Zero123++ 모델이 unseen view 에 대해서 가장 월등하게 이미지를 생성하는 것을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Qualitative comparison on image to multi-view task
-:::
-
-**Quantitative Comparison**
-
-정량적으로 LPIPS 지표를 기준으로 비교하였을 때에도 Zero123++ 모델이 가장 좋은 성능을 보여주고 있습니다. 이때, 모델이 생성된 6개의 이미지와 Objaverse 데이터셋을 렌더링한 6개의 이미지를 각각 결합하여 LPIPS 를 측정하였다고 합니다.
-
-:::{figure-md}
-
-
-Quantitative Comparison on image to multi-view task
-:::
-
-### 3.2. Text to Multi-view
-
-Text 를 입력받아 우선적으로 SDXL 모델을 통해 단일 이미지를 생성한 후, Zero123++ 모델을 적용한 결과입니다. MVDream 과 Zero-1-to-3 XL 모델과 비교하였을 때, Zero123++ 모델이 가장 realistic 하고 multi-view consistent 한 이미지를 생성하는 부분을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Qualitative comparison on text to multi-view task
-:::
-
-## 4. Depth ControlNet for Zero123++
-
-아래 사진은 추가적으로 렌더링한 depth map 를 기반으로 ControlNet 을 학습한 결과입니다.
-
-:::{figure-md}
-
-
-Depth-controlled Zero123++
+``` {admonition} Information
+- **Title:** Zero123++: a Single Image to Consistent Multi-view Diffusion Base Model
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2310.15110](https://arxiv.org/abs/2310.15110)
+ - Code: [https://github.com/SUDO-AI-3D/zero123plus](https://github.com/SUDO-AI-3D/zero123plus)
+
+- **Author:** Sangwoo Jo
+
+- **Last updated on Dec. 16, 2024**
+```
+
+# Zero123++
+
+## 1. Introduction
+
+:::{figure-md}
+
+
+High-quality, consistent multi-view 3D images from Zero123++
+:::
+
+Zero-1-to-3(Zero123) 논문이 zero-shot 형태로 single-image-to-3D conversion 을 하는 기법을 처음으로 소개하였습니다. 하지만 해당 방식으로는 주어진 view 에 대해서 독립적으로 객체를 생성하게 됨으로써 multi-view consistency 에서 부족한 부분을 보여주게 된다고 설명합니다. Zero123++ 논문에서 이를 해결하기 위해 여섯개의 view 로부터 하나의 이미지를 생성하여 multi-view 에 대한 joint distirbution 을 학습할 수 있도록 설정합니다.
+
+또한, Zero-1-to-3 논문에서 다음과 같은 한계점이 있다고 제시합니다.
+
+a) 첫번째로 global 및 local conditioning mechanism 을 비롯한 Stable Diffusion model prior 를 효율적으로 사용하지 않았고,
+
+b) 두번째로 Zero-1-to-3 논문에서 512x512 이미지 해상도로 학습 시 불안정하게 수렴하게 되어 256x256 해상도로 줄인 부분에 대해 논문 저자는 원인을 분석하며 새로운 scheduling 기법을 소개합니다.
+
+## 2. Improving Consistency and Conditioning
+
+### 2.1. Multi-view Generation
+
+Zero-1-to-3 모델은 단일 이미지를 독립적으로 생성하며 multi-view 이미지에 대한 상관관계를 학습 혹은 생성 시에 고려하지 않습니다. 따라서, Zero123++에서는 3×2 layout 의 6개 이미지를 단일 프레임으로 tiling 하여 multiple image 에 대한 joint distribution 을 학습하게 됩니다.
+
+Objaverse 데이터셋은 기본적으로 gravity axis 은 동일하지만 객체들이 일관된 canonical pose 를 가지고 있지 않습니다. 따라서 절대적인 camera pose 를 기반으로 해당 데이터셋을 학습하게 되면 객체의 orientation 을 학습하는데 어려움이 있다고 주장합니다.
+
+반면에 Zero-1-to-3 는 input view 에 대한 상대적인 camera pose(elevation/azimuth angle) 을 입력받아 학습하였습니다. 그러나 해당 방식을 활용한다면 novel view 에 대한 relative pose 를 구하기 위해서는 input view 에 대한 elevation angle 을 사전에 알아야 한다는 단점이 있습니다. 후속적으로 One-2-3-45 그리고 DreamGaussian 논문에서 elevation angle 을 추가적으로 예측하는 모듈을 정의하고, 이에 따라 오차율도 증가하게 됩니다.
+
+- Elevation/Azimuth angle 이란?
+
+ :::{figure-md}
+
+
+ Elevation/Azimuth angle
+ :::
+
+
+이러한 문제를 해결하기 위해 elevation angle 을 고정시킨 상태에서 상대적인 azimuth angle 을 통한 novel view pose 를 정의합니다. 더 자세하게는 6개의 pose 를 아래 사진과 같이 정의하게 됩니다.
+
+:::{figure-md}
+
+
+3x2 layout of Zero123++ prediction
+:::
+
+### 2.2. Consistency and Stability: Noise Schedule
+
+Stable Diffusion 모델에서 사용되었던 scaled-linear schedule 은 local detail 을 학습하는데 초점을 두고 Signal-to-Noise Ratio (SNR) 가 낮은 timestep 이 극히 드뭅니다. SNR 이 낮은 구간에서 global low frequency 정보들을 학습하게 되며 해당 단계에서 step 수가 적으면 구조적인 변형이 클 수가 있습니다. 따라서, 이러한 scheduling 은 단일 이미지를 생성하는데는 유용하지만 multi-view consistent 한 이미지를 생성하는데 한계가 있다고 주장합니다.
+
+:::{figure-md}
+
+
+Linear vs Scaled linear schedule
+:::
+
+또한, 동일한 noise 가 주입되었을때 고해상도 이미지가 저해상도 이미지에 비해 noise level 이 적기 때문에, Zero-1-to-3 모델에서 고해상도 이미지를 학습하였을 때 불안정한 모습을 보여주었던 것도 동일한 원인 때문이라고 설명합니다.
+
+Zero123++ 에서는 scaled-linear schedule 대신에 linear schedule 를 사용하게 되고, 변화된 schedule 에 따라 $x$-prediction, $\epsilon$-prediction 모델보다 $v$-prediction 모델이 더 안정적으로 학습되었다고 합니다. 따라서, Stable Diffusion 2 $v$-prediction 모델로 fine-tuning 을 진행하였다고 합니다.
+
+### 2.3. Local Condition: Scaled Reference Attention
+
+기존에 Zero-1-to-3 논문에서 noisy input 과 conditioned image(single-view input) 가 feature-wise concatenate 하는데 해당 방식으로는 pixel-wise spatial correspondence 가 정확하지 않다고 합니다.
+
+Zero123++ 에서는 이 부분을 보완하여 Reference Attention 이라는 기법을 소개합니다. Reference Attention 이란, 아래 그림과 같이 noisy latent 와 conditioned latent 간에 self-attention 모듈에서의 key, value 값을 추가하여 연산 작업을 진행합니다. 이때, noisy input 에 주입된 noise 를 동일하게 conditioned image 에 적용하였다고 합니다.
+
+:::{figure-md}
+
+
+Reference Attention
+:::
+
+Reference Attention 기법을 적용한 결과, fine-tuning 작업을 진행하지 않아도 reference image 에서의 semantic content 와 texture 가 잘 반영되었습니다. 또한, fine-tuning 을 하였을때 reference latent 을 5x scaling 하였을때 reference image 와의 일관성을 가장 잘 보여주었다고 합니다.
+
+:::{figure-md}
+
+
+Comparison on local conditioning
+:::
+
+### 2.4. Global Condition: FlexDiffuse
+
+Zero123++ 논문에서 추가적으로 FlexDiffuse 에서 소개한 linear guidance mechanism 을 활용하여 fine-tuning 범위를 최소화하는 선에서 global image conditioning 하였습니다.
+
+더 자세하게는, $L \times D$ 차원의 prompt embedding $T$ 와 $D$ 차원의 CLIP global image embedding $I$ 에 global weight $w_i$ 를 곱한 값을 더하여 모델에 입력합니다. 이때, $L$ 은 token length 이고 $D$ 는 token embedding 의 차원 크기입니다. 이때, $w_i = \frac{i}{L}$ 로 초기 가중치 값을 설정하였습니다. Text condition 이 없을 경우에는 empty prompt 를 encoding 하여 $T$ 를 얻게 됩니다.
+
+:::{figure-md}
+
+
+FlexDiffuse’s linear guidance
+:::
+
+위와 같은 global conditioning 을 하였을때, 보이지 않은 unseen region 에서도 semantic 한 정보들을 유지한채 이미지를 잘 생성하는 부분을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Ablation on global conditioning
+:::
+
+### 2.5. Putting Everything Together
+
+정리하자면 해당 논문은 Stable Diffusion 2 $v$-model 을 사용하였고, Objaverse 데이터를 random HDRI environment lighting 를 적용하여 렌더링한 데이터에 학습하였습니다. 그리고 Stable Diffusion Image Variations model 의 학습 방식을 도입하여 two-stage 로 학습을 진행하였습니다.
+
+첫번째 phase 에서는 self-attention layer 와 cross-attention layer 의 KV 행렬만 fine-tuning 을 하였고, AdamW optimizer 와 cosine annealing schedule 을 사용하였습니다. 두번째 phase 에서는 UNet 모델 전체를 학습하고 $5 \times 10^{-6}$ 값의 constant learning rate 를 사용하였습니다. 그리고 학습 과정을 더 효율적으로 하기 위해 Min-SNR weighting 기법도 활용하였습니다.
+
+## 3. Comparison to the State of the Art
+
+### 3.1. Image to Multi-view
+
+**Qualitative Comparison**
+
+논문에서 Zero-1-to-3 XL 그리고 SyncDreamer 모델과의 성능을 비교합니다. Zero123++ 모델이 unseen view 에 대해서 가장 월등하게 이미지를 생성하는 것을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Qualitative comparison on image to multi-view task
+:::
+
+**Quantitative Comparison**
+
+정량적으로 LPIPS 지표를 기준으로 비교하였을 때에도 Zero123++ 모델이 가장 좋은 성능을 보여주고 있습니다. 이때, 모델이 생성된 6개의 이미지와 Objaverse 데이터셋을 렌더링한 6개의 이미지를 각각 결합하여 LPIPS 를 측정하였다고 합니다.
+
+:::{figure-md}
+
+
+Quantitative Comparison on image to multi-view task
+:::
+
+### 3.2. Text to Multi-view
+
+Text 를 입력받아 우선적으로 SDXL 모델을 통해 단일 이미지를 생성한 후, Zero123++ 모델을 적용한 결과입니다. MVDream 과 Zero-1-to-3 XL 모델과 비교하였을 때, Zero123++ 모델이 가장 realistic 하고 multi-view consistent 한 이미지를 생성하는 부분을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Qualitative comparison on text to multi-view task
+:::
+
+## 4. Depth ControlNet for Zero123++
+
+아래 사진은 추가적으로 렌더링한 depth map 를 기반으로 ControlNet 을 학습한 결과입니다.
+
+:::{figure-md}
+
+
+Depth-controlled Zero123++
:::
\ No newline at end of file
diff --git a/_sources/intro.md b/_sources/intro.md
index d2387acc..b2191e70 100755
--- a/_sources/intro.md
+++ b/_sources/intro.md
@@ -1,48 +1,48 @@
-# Welcome to PseudoDiffusers!!
-
-
-## About Us
-This is the repository of PseudoDiffusers team.
-
-Our aim is to review papers and code related to computer vision generation models, approach them theoretically, and conduct various experiments by fine-tuning diffusion based models.
-
-[About Us - PseudoLab](https://www.linkedin.com/company/pseudolab/)
-
-[About Us - PseudoDiffusers](https://chanrankim.notion.site/PseudoDiffusers-b666d39ea1924b4692796e442bebcd44)
-
-참여 방법: 매주 수요일 오후 9시, 가짜연구소 Discord Room-DH 로 입장!
-
-
-## Publications
-**DiffInject: Revisiting Debias via Synthetic Data Generation using Diffusion-based Style Injection**
-Donggeun Ko*, Sangwoo Jo*, Dongjun Lee, Namjun Park, Jaekwang KIM
-CVPR 2024 Workshop
-[PDF](https://openreview.net/pdf?id=jSB5wlUU3p)
-
-
-## Tech Blog Contents
-- Preliminary Works
-- Image Generation
-- Video Generation
-- 3D Generation
-- Experiments
-
-
-## Contributors
-- 조상우 [Sangwoo Jo] | [Github](https://github.com/jasonjo97) | [Linkedin](https://www.linkedin.com/in/sangwoojo/) |
-- 문광수 [Kwangsu Mun] | [Github](https://github.com/mksoo) | [Linkedin](https://www.linkedin.com/in/%EA%B4%91%EC%88%98-%EB%AC%B8-95681b229/) |
-- 김지수 [Jisu Kim] | Github | [Linkedin](https://www.linkedin.com/in/%EC%A7%80%EC%88%98-%EA%B9%80-5a0b2320a/) |
-- 박범수 [Beomsoo Park] | [Github](https://github.com/hanlyang0522) | Linkedin |
-- 지승환 [Seunghwan Ji] | [Github](https://github.com/hwansnaa) | [Linkedin](https://www.linkedin.com/in/%EC%8A%B9%ED%99%98-%EC%A7%80-0169b425a/) |
-- 고동근 [Donggeun Sean Ko] | [Github](https://github.com/seanko29) | [Linkedin](https://www.linkedin.com/in/sangwoojo/) |
-- 조남경 [Namkyeong Cho] | Github | Linkedin |
-- 김선훈 [SeonHoon Kim] | [Github](https://github.com/egshkim) | [Linkedin](https://www.linkedin.com/in/seonhoonkim/) |
-- 이준형 [Junhyoung Lee] | [Github](https://github.com/jjuun0) | [Linkedin](https://www.linkedin.com/in/jjuun0) |
-- 조형서 [Hyoungseo Cho] | [Github](https://github.com/ChoHyoungSeo) | [Linkedin](https://www.linkedin.com/in/hyoungseo-cho/) |
-- 유정화 [Jeonghwa Yoo] | [Github](https://github.com/jeongHwarr) | [Linkedin](https://www.linkedin.com/in/jeonghwa-yoo-8403a716b/) |
-- 박세환 [Sehwan Park] | [Github](https://github.com/shp216) | Linkedin |
-- 송건학 [Geonhak Song] | [Github](https://github.com/geonhak904) | Linkedin |
-- 한동현 [Donghyun Han] | [GitHub](https://github.com/donghyun99) | [Linkedin](https://www.linkedin.com/in/donghyun99/) |
-- 이창환 [ChangHwan Lee] | [Github](https://github.com/Hwan-I) | Linkedin
-- 유경민 [Kyeongmin Yu] | [Github](https://github.com/yukyeongmin) | Linkdedin |
+# Welcome to PseudoDiffusers!!
+
+
+## About Us
+This is the repository of PseudoDiffusers team.
+
+Our aim is to review papers and code related to computer vision generation models, approach them theoretically, and conduct various experiments by fine-tuning diffusion based models.
+
+[About Us - PseudoLab](https://www.linkedin.com/company/pseudolab/)
+
+[About Us - PseudoDiffusers](https://chanrankim.notion.site/PseudoDiffusers-b666d39ea1924b4692796e442bebcd44)
+
+참여 방법: 매주 수요일 오후 9시, 가짜연구소 Discord Room-DH 로 입장!
+
+
+## Publications
+**DiffInject: Revisiting Debias via Synthetic Data Generation using Diffusion-based Style Injection**
+Donggeun Ko*, Sangwoo Jo*, Dongjun Lee, Namjun Park, Jaekwang KIM
+CVPR 2024 Workshop
+[PDF](https://openreview.net/pdf?id=jSB5wlUU3p)
+
+
+## Tech Blog Contents
+- Preliminary Works
+- Image Generation
+- Video Generation
+- 3D Generation
+- Experiments
+
+
+## Contributors
+- 조상우 [Sangwoo Jo] | [Github](https://github.com/jasonjo97) | [Linkedin](https://www.linkedin.com/in/sangwoojo/) |
+- 문광수 [Kwangsu Mun] | [Github](https://github.com/mksoo) | [Linkedin](https://www.linkedin.com/in/%EA%B4%91%EC%88%98-%EB%AC%B8-95681b229/) |
+- 김지수 [Jisu Kim] | Github | [Linkedin](https://www.linkedin.com/in/%EC%A7%80%EC%88%98-%EA%B9%80-5a0b2320a/) |
+- 박범수 [Beomsoo Park] | [Github](https://github.com/hanlyang0522) | Linkedin |
+- 지승환 [Seunghwan Ji] | [Github](https://github.com/hwansnaa) | [Linkedin](https://www.linkedin.com/in/%EC%8A%B9%ED%99%98-%EC%A7%80-0169b425a/) |
+- 고동근 [Donggeun Sean Ko] | [Github](https://github.com/seanko29) | [Linkedin](https://www.linkedin.com/in/sangwoojo/) |
+- 조남경 [Namkyeong Cho] | Github | Linkedin |
+- 김선훈 [SeonHoon Kim] | [Github](https://github.com/egshkim) | [Linkedin](https://www.linkedin.com/in/seonhoonkim/) |
+- 이준형 [Junhyoung Lee] | [Github](https://github.com/jjuun0) | [Linkedin](https://www.linkedin.com/in/jjuun0) |
+- 조형서 [Hyoungseo Cho] | [Github](https://github.com/ChoHyoungSeo) | [Linkedin](https://www.linkedin.com/in/hyoungseo-cho/) |
+- 유정화 [Jeonghwa Yoo] | [Github](https://github.com/jeongHwarr) | [Linkedin](https://www.linkedin.com/in/jeonghwa-yoo-8403a716b/) |
+- 박세환 [Sehwan Park] | [Github](https://github.com/shp216) | Linkedin |
+- 송건학 [Geonhak Song] | [Github](https://github.com/geonhak904) | Linkedin |
+- 한동현 [Donghyun Han] | [GitHub](https://github.com/donghyun99) | [Linkedin](https://www.linkedin.com/in/donghyun99/) |
+- 이창환 [ChangHwan Lee] | [Github](https://github.com/Hwan-I) | Linkedin
+- 유경민 [Kyeongmin Yu] | [Github](https://github.com/yukyeongmin) | Linkdedin |
- 이정인 [Jeongin Lee] | Github | Linkdedin |
\ No newline at end of file
diff --git a/_sphinx_design_static/design-style.4045f2051d55cab465a707391d5b2007.min.css b/_sphinx_design_static/design-style.4045f2051d55cab465a707391d5b2007.min.css
index 3225661c..57bec30a 100755
--- a/_sphinx_design_static/design-style.4045f2051d55cab465a707391d5b2007.min.css
+++ b/_sphinx_design_static/design-style.4045f2051d55cab465a707391d5b2007.min.css
@@ -1 +1 @@
-.sd-bg-primary{background-color:var(--sd-color-primary) !important}.sd-bg-text-primary{color:var(--sd-color-primary-text) !important}button.sd-bg-primary:focus,button.sd-bg-primary:hover{background-color:var(--sd-color-primary-highlight) !important}a.sd-bg-primary:focus,a.sd-bg-primary:hover{background-color:var(--sd-color-primary-highlight) !important}.sd-bg-secondary{background-color:var(--sd-color-secondary) !important}.sd-bg-text-secondary{color:var(--sd-color-secondary-text) !important}button.sd-bg-secondary:focus,button.sd-bg-secondary:hover{background-color:var(--sd-color-secondary-highlight) !important}a.sd-bg-secondary:focus,a.sd-bg-secondary:hover{background-color:var(--sd-color-secondary-highlight) !important}.sd-bg-success{background-color:var(--sd-color-success) !important}.sd-bg-text-success{color:var(--sd-color-success-text) !important}button.sd-bg-success:focus,button.sd-bg-success:hover{background-color:var(--sd-color-success-highlight) !important}a.sd-bg-success:focus,a.sd-bg-success:hover{background-color:var(--sd-color-success-highlight) !important}.sd-bg-info{background-color:var(--sd-color-info) !important}.sd-bg-text-info{color:var(--sd-color-info-text) !important}button.sd-bg-info:focus,button.sd-bg-info:hover{background-color:var(--sd-color-info-highlight) !important}a.sd-bg-info:focus,a.sd-bg-info:hover{background-color:var(--sd-color-info-highlight) !important}.sd-bg-warning{background-color:var(--sd-color-warning) !important}.sd-bg-text-warning{color:var(--sd-color-warning-text) !important}button.sd-bg-warning:focus,button.sd-bg-warning:hover{background-color:var(--sd-color-warning-highlight) !important}a.sd-bg-warning:focus,a.sd-bg-warning:hover{background-color:var(--sd-color-warning-highlight) !important}.sd-bg-danger{background-color:var(--sd-color-danger) !important}.sd-bg-text-danger{color:var(--sd-color-danger-text) !important}button.sd-bg-danger:focus,button.sd-bg-danger:hover{background-color:var(--sd-color-danger-highlight) !important}a.sd-bg-danger:focus,a.sd-bg-danger:hover{background-color:var(--sd-color-danger-highlight) !important}.sd-bg-light{background-color:var(--sd-color-light) !important}.sd-bg-text-light{color:var(--sd-color-light-text) !important}button.sd-bg-light:focus,button.sd-bg-light:hover{background-color:var(--sd-color-light-highlight) !important}a.sd-bg-light:focus,a.sd-bg-light:hover{background-color:var(--sd-color-light-highlight) !important}.sd-bg-muted{background-color:var(--sd-color-muted) !important}.sd-bg-text-muted{color:var(--sd-color-muted-text) !important}button.sd-bg-muted:focus,button.sd-bg-muted:hover{background-color:var(--sd-color-muted-highlight) !important}a.sd-bg-muted:focus,a.sd-bg-muted:hover{background-color:var(--sd-color-muted-highlight) !important}.sd-bg-dark{background-color:var(--sd-color-dark) !important}.sd-bg-text-dark{color:var(--sd-color-dark-text) !important}button.sd-bg-dark:focus,button.sd-bg-dark:hover{background-color:var(--sd-color-dark-highlight) !important}a.sd-bg-dark:focus,a.sd-bg-dark:hover{background-color:var(--sd-color-dark-highlight) !important}.sd-bg-black{background-color:var(--sd-color-black) !important}.sd-bg-text-black{color:var(--sd-color-black-text) !important}button.sd-bg-black:focus,button.sd-bg-black:hover{background-color:var(--sd-color-black-highlight) !important}a.sd-bg-black:focus,a.sd-bg-black:hover{background-color:var(--sd-color-black-highlight) !important}.sd-bg-white{background-color:var(--sd-color-white) !important}.sd-bg-text-white{color:var(--sd-color-white-text) !important}button.sd-bg-white:focus,button.sd-bg-white:hover{background-color:var(--sd-color-white-highlight) !important}a.sd-bg-white:focus,a.sd-bg-white:hover{background-color:var(--sd-color-white-highlight) !important}.sd-text-primary,.sd-text-primary>p{color:var(--sd-color-primary) !important}a.sd-text-primary:focus,a.sd-text-primary:hover{color:var(--sd-color-primary-highlight) !important}.sd-text-secondary,.sd-text-secondary>p{color:var(--sd-color-secondary) !important}a.sd-text-secondary:focus,a.sd-text-secondary:hover{color:var(--sd-color-secondary-highlight) !important}.sd-text-success,.sd-text-success>p{color:var(--sd-color-success) !important}a.sd-text-success:focus,a.sd-text-success:hover{color:var(--sd-color-success-highlight) !important}.sd-text-info,.sd-text-info>p{color:var(--sd-color-info) !important}a.sd-text-info:focus,a.sd-text-info:hover{color:var(--sd-color-info-highlight) !important}.sd-text-warning,.sd-text-warning>p{color:var(--sd-color-warning) !important}a.sd-text-warning:focus,a.sd-text-warning:hover{color:var(--sd-color-warning-highlight) !important}.sd-text-danger,.sd-text-danger>p{color:var(--sd-color-danger) !important}a.sd-text-danger:focus,a.sd-text-danger:hover{color:var(--sd-color-danger-highlight) !important}.sd-text-light,.sd-text-light>p{color:var(--sd-color-light) !important}a.sd-text-light:focus,a.sd-text-light:hover{color:var(--sd-color-light-highlight) !important}.sd-text-muted,.sd-text-muted>p{color:var(--sd-color-muted) !important}a.sd-text-muted:focus,a.sd-text-muted:hover{color:var(--sd-color-muted-highlight) !important}.sd-text-dark,.sd-text-dark>p{color:var(--sd-color-dark) !important}a.sd-text-dark:focus,a.sd-text-dark:hover{color:var(--sd-color-dark-highlight) !important}.sd-text-black,.sd-text-black>p{color:var(--sd-color-black) !important}a.sd-text-black:focus,a.sd-text-black:hover{color:var(--sd-color-black-highlight) !important}.sd-text-white,.sd-text-white>p{color:var(--sd-color-white) !important}a.sd-text-white:focus,a.sd-text-white:hover{color:var(--sd-color-white-highlight) !important}.sd-outline-primary{border-color:var(--sd-color-primary) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-primary:focus,a.sd-outline-primary:hover{border-color:var(--sd-color-primary-highlight) !important}.sd-outline-secondary{border-color:var(--sd-color-secondary) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-secondary:focus,a.sd-outline-secondary:hover{border-color:var(--sd-color-secondary-highlight) !important}.sd-outline-success{border-color:var(--sd-color-success) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-success:focus,a.sd-outline-success:hover{border-color:var(--sd-color-success-highlight) !important}.sd-outline-info{border-color:var(--sd-color-info) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-info:focus,a.sd-outline-info:hover{border-color:var(--sd-color-info-highlight) !important}.sd-outline-warning{border-color:var(--sd-color-warning) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-warning:focus,a.sd-outline-warning:hover{border-color:var(--sd-color-warning-highlight) !important}.sd-outline-danger{border-color:var(--sd-color-danger) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-danger:focus,a.sd-outline-danger:hover{border-color:var(--sd-color-danger-highlight) !important}.sd-outline-light{border-color:var(--sd-color-light) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-light:focus,a.sd-outline-light:hover{border-color:var(--sd-color-light-highlight) !important}.sd-outline-muted{border-color:var(--sd-color-muted) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-muted:focus,a.sd-outline-muted:hover{border-color:var(--sd-color-muted-highlight) !important}.sd-outline-dark{border-color:var(--sd-color-dark) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-dark:focus,a.sd-outline-dark:hover{border-color:var(--sd-color-dark-highlight) !important}.sd-outline-black{border-color:var(--sd-color-black) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-black:focus,a.sd-outline-black:hover{border-color:var(--sd-color-black-highlight) !important}.sd-outline-white{border-color:var(--sd-color-white) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-white:focus,a.sd-outline-white:hover{border-color:var(--sd-color-white-highlight) !important}.sd-bg-transparent{background-color:transparent !important}.sd-outline-transparent{border-color:transparent !important}.sd-text-transparent{color:transparent !important}.sd-p-0{padding:0 !important}.sd-pt-0,.sd-py-0{padding-top:0 !important}.sd-pr-0,.sd-px-0{padding-right:0 !important}.sd-pb-0,.sd-py-0{padding-bottom:0 !important}.sd-pl-0,.sd-px-0{padding-left:0 !important}.sd-p-1{padding:.25rem !important}.sd-pt-1,.sd-py-1{padding-top:.25rem !important}.sd-pr-1,.sd-px-1{padding-right:.25rem !important}.sd-pb-1,.sd-py-1{padding-bottom:.25rem !important}.sd-pl-1,.sd-px-1{padding-left:.25rem !important}.sd-p-2{padding:.5rem !important}.sd-pt-2,.sd-py-2{padding-top:.5rem !important}.sd-pr-2,.sd-px-2{padding-right:.5rem !important}.sd-pb-2,.sd-py-2{padding-bottom:.5rem !important}.sd-pl-2,.sd-px-2{padding-left:.5rem !important}.sd-p-3{padding:1rem !important}.sd-pt-3,.sd-py-3{padding-top:1rem !important}.sd-pr-3,.sd-px-3{padding-right:1rem !important}.sd-pb-3,.sd-py-3{padding-bottom:1rem !important}.sd-pl-3,.sd-px-3{padding-left:1rem !important}.sd-p-4{padding:1.5rem !important}.sd-pt-4,.sd-py-4{padding-top:1.5rem !important}.sd-pr-4,.sd-px-4{padding-right:1.5rem !important}.sd-pb-4,.sd-py-4{padding-bottom:1.5rem !important}.sd-pl-4,.sd-px-4{padding-left:1.5rem !important}.sd-p-5{padding:3rem !important}.sd-pt-5,.sd-py-5{padding-top:3rem !important}.sd-pr-5,.sd-px-5{padding-right:3rem !important}.sd-pb-5,.sd-py-5{padding-bottom:3rem !important}.sd-pl-5,.sd-px-5{padding-left:3rem !important}.sd-m-auto{margin:auto !important}.sd-mt-auto,.sd-my-auto{margin-top:auto !important}.sd-mr-auto,.sd-mx-auto{margin-right:auto !important}.sd-mb-auto,.sd-my-auto{margin-bottom:auto !important}.sd-ml-auto,.sd-mx-auto{margin-left:auto !important}.sd-m-0{margin:0 !important}.sd-mt-0,.sd-my-0{margin-top:0 !important}.sd-mr-0,.sd-mx-0{margin-right:0 !important}.sd-mb-0,.sd-my-0{margin-bottom:0 !important}.sd-ml-0,.sd-mx-0{margin-left:0 !important}.sd-m-1{margin:.25rem !important}.sd-mt-1,.sd-my-1{margin-top:.25rem !important}.sd-mr-1,.sd-mx-1{margin-right:.25rem !important}.sd-mb-1,.sd-my-1{margin-bottom:.25rem !important}.sd-ml-1,.sd-mx-1{margin-left:.25rem !important}.sd-m-2{margin:.5rem !important}.sd-mt-2,.sd-my-2{margin-top:.5rem !important}.sd-mr-2,.sd-mx-2{margin-right:.5rem !important}.sd-mb-2,.sd-my-2{margin-bottom:.5rem !important}.sd-ml-2,.sd-mx-2{margin-left:.5rem !important}.sd-m-3{margin:1rem !important}.sd-mt-3,.sd-my-3{margin-top:1rem !important}.sd-mr-3,.sd-mx-3{margin-right:1rem !important}.sd-mb-3,.sd-my-3{margin-bottom:1rem !important}.sd-ml-3,.sd-mx-3{margin-left:1rem !important}.sd-m-4{margin:1.5rem !important}.sd-mt-4,.sd-my-4{margin-top:1.5rem !important}.sd-mr-4,.sd-mx-4{margin-right:1.5rem !important}.sd-mb-4,.sd-my-4{margin-bottom:1.5rem !important}.sd-ml-4,.sd-mx-4{margin-left:1.5rem !important}.sd-m-5{margin:3rem !important}.sd-mt-5,.sd-my-5{margin-top:3rem !important}.sd-mr-5,.sd-mx-5{margin-right:3rem !important}.sd-mb-5,.sd-my-5{margin-bottom:3rem !important}.sd-ml-5,.sd-mx-5{margin-left:3rem !important}.sd-w-25{width:25% !important}.sd-w-50{width:50% !important}.sd-w-75{width:75% !important}.sd-w-100{width:100% !important}.sd-w-auto{width:auto !important}.sd-h-25{height:25% !important}.sd-h-50{height:50% !important}.sd-h-75{height:75% !important}.sd-h-100{height:100% !important}.sd-h-auto{height:auto !important}.sd-d-none{display:none !important}.sd-d-inline{display:inline !important}.sd-d-inline-block{display:inline-block !important}.sd-d-block{display:block !important}.sd-d-grid{display:grid !important}.sd-d-flex-row{display:-ms-flexbox !important;display:flex !important;flex-direction:row !important}.sd-d-flex-column{display:-ms-flexbox !important;display:flex !important;flex-direction:column !important}.sd-d-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}@media(min-width: 576px){.sd-d-sm-none{display:none !important}.sd-d-sm-inline{display:inline !important}.sd-d-sm-inline-block{display:inline-block !important}.sd-d-sm-block{display:block !important}.sd-d-sm-grid{display:grid !important}.sd-d-sm-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-sm-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}@media(min-width: 768px){.sd-d-md-none{display:none !important}.sd-d-md-inline{display:inline !important}.sd-d-md-inline-block{display:inline-block !important}.sd-d-md-block{display:block !important}.sd-d-md-grid{display:grid !important}.sd-d-md-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-md-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}@media(min-width: 992px){.sd-d-lg-none{display:none !important}.sd-d-lg-inline{display:inline !important}.sd-d-lg-inline-block{display:inline-block !important}.sd-d-lg-block{display:block !important}.sd-d-lg-grid{display:grid !important}.sd-d-lg-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-lg-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}@media(min-width: 1200px){.sd-d-xl-none{display:none !important}.sd-d-xl-inline{display:inline !important}.sd-d-xl-inline-block{display:inline-block !important}.sd-d-xl-block{display:block !important}.sd-d-xl-grid{display:grid !important}.sd-d-xl-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-xl-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}.sd-align-major-start{justify-content:flex-start !important}.sd-align-major-end{justify-content:flex-end !important}.sd-align-major-center{justify-content:center !important}.sd-align-major-justify{justify-content:space-between !important}.sd-align-major-spaced{justify-content:space-evenly !important}.sd-align-minor-start{align-items:flex-start !important}.sd-align-minor-end{align-items:flex-end !important}.sd-align-minor-center{align-items:center !important}.sd-align-minor-stretch{align-items:stretch !important}.sd-text-justify{text-align:justify !important}.sd-text-left{text-align:left !important}.sd-text-right{text-align:right !important}.sd-text-center{text-align:center !important}.sd-font-weight-light{font-weight:300 !important}.sd-font-weight-lighter{font-weight:lighter !important}.sd-font-weight-normal{font-weight:400 !important}.sd-font-weight-bold{font-weight:700 !important}.sd-font-weight-bolder{font-weight:bolder !important}.sd-font-italic{font-style:italic !important}.sd-text-decoration-none{text-decoration:none !important}.sd-text-lowercase{text-transform:lowercase !important}.sd-text-uppercase{text-transform:uppercase !important}.sd-text-capitalize{text-transform:capitalize !important}.sd-text-wrap{white-space:normal !important}.sd-text-nowrap{white-space:nowrap !important}.sd-text-truncate{overflow:hidden;text-overflow:ellipsis;white-space:nowrap}.sd-fs-1,.sd-fs-1>p{font-size:calc(1.375rem + 1.5vw) !important;line-height:unset !important}.sd-fs-2,.sd-fs-2>p{font-size:calc(1.325rem + 0.9vw) !important;line-height:unset !important}.sd-fs-3,.sd-fs-3>p{font-size:calc(1.3rem + 0.6vw) !important;line-height:unset !important}.sd-fs-4,.sd-fs-4>p{font-size:calc(1.275rem + 0.3vw) !important;line-height:unset !important}.sd-fs-5,.sd-fs-5>p{font-size:1.25rem !important;line-height:unset !important}.sd-fs-6,.sd-fs-6>p{font-size:1rem !important;line-height:unset !important}.sd-border-0{border:0 solid !important}.sd-border-top-0{border-top:0 solid !important}.sd-border-bottom-0{border-bottom:0 solid !important}.sd-border-right-0{border-right:0 solid !important}.sd-border-left-0{border-left:0 solid !important}.sd-border-1{border:1px solid !important}.sd-border-top-1{border-top:1px solid !important}.sd-border-bottom-1{border-bottom:1px solid !important}.sd-border-right-1{border-right:1px solid !important}.sd-border-left-1{border-left:1px solid !important}.sd-border-2{border:2px solid !important}.sd-border-top-2{border-top:2px solid !important}.sd-border-bottom-2{border-bottom:2px solid !important}.sd-border-right-2{border-right:2px solid !important}.sd-border-left-2{border-left:2px solid !important}.sd-border-3{border:3px solid !important}.sd-border-top-3{border-top:3px solid !important}.sd-border-bottom-3{border-bottom:3px solid !important}.sd-border-right-3{border-right:3px solid !important}.sd-border-left-3{border-left:3px solid !important}.sd-border-4{border:4px solid !important}.sd-border-top-4{border-top:4px solid !important}.sd-border-bottom-4{border-bottom:4px solid !important}.sd-border-right-4{border-right:4px solid !important}.sd-border-left-4{border-left:4px solid !important}.sd-border-5{border:5px solid !important}.sd-border-top-5{border-top:5px solid !important}.sd-border-bottom-5{border-bottom:5px solid !important}.sd-border-right-5{border-right:5px solid !important}.sd-border-left-5{border-left:5px solid !important}.sd-rounded-0{border-radius:0 !important}.sd-rounded-1{border-radius:.2rem !important}.sd-rounded-2{border-radius:.3rem !important}.sd-rounded-3{border-radius:.5rem !important}.sd-rounded-pill{border-radius:50rem !important}.sd-rounded-circle{border-radius:50% !important}.shadow-none{box-shadow:none !important}.sd-shadow-sm{box-shadow:0 .125rem .25rem var(--sd-color-shadow) !important}.sd-shadow-md{box-shadow:0 .5rem 1rem var(--sd-color-shadow) !important}.sd-shadow-lg{box-shadow:0 1rem 3rem var(--sd-color-shadow) !important}@keyframes sd-slide-from-left{0%{transform:translateX(-100%)}100%{transform:translateX(0)}}@keyframes sd-slide-from-right{0%{transform:translateX(200%)}100%{transform:translateX(0)}}@keyframes sd-grow100{0%{transform:scale(0);opacity:.5}100%{transform:scale(1);opacity:1}}@keyframes sd-grow50{0%{transform:scale(0.5);opacity:.5}100%{transform:scale(1);opacity:1}}@keyframes sd-grow50-rot20{0%{transform:scale(0.5) rotateZ(-20deg);opacity:.5}75%{transform:scale(1) rotateZ(5deg);opacity:1}95%{transform:scale(1) rotateZ(-1deg);opacity:1}100%{transform:scale(1) rotateZ(0);opacity:1}}.sd-animate-slide-from-left{animation:1s ease-out 0s 1 normal none running sd-slide-from-left}.sd-animate-slide-from-right{animation:1s ease-out 0s 1 normal none running sd-slide-from-right}.sd-animate-grow100{animation:1s ease-out 0s 1 normal none running sd-grow100}.sd-animate-grow50{animation:1s ease-out 0s 1 normal none running sd-grow50}.sd-animate-grow50-rot20{animation:1s ease-out 0s 1 normal none running sd-grow50-rot20}.sd-badge{display:inline-block;padding:.35em .65em;font-size:.75em;font-weight:700;line-height:1;text-align:center;white-space:nowrap;vertical-align:baseline;border-radius:.25rem}.sd-badge:empty{display:none}a.sd-badge{text-decoration:none}.sd-btn .sd-badge{position:relative;top:-1px}.sd-btn{background-color:transparent;border:1px solid transparent;border-radius:.25rem;cursor:pointer;display:inline-block;font-weight:400;font-size:1rem;line-height:1.5;padding:.375rem .75rem;text-align:center;text-decoration:none;transition:color .15s ease-in-out,background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out;vertical-align:middle;user-select:none;-moz-user-select:none;-ms-user-select:none;-webkit-user-select:none}.sd-btn:hover{text-decoration:none}@media(prefers-reduced-motion: reduce){.sd-btn{transition:none}}.sd-btn-primary,.sd-btn-outline-primary:hover,.sd-btn-outline-primary:focus{color:var(--sd-color-primary-text) !important;background-color:var(--sd-color-primary) !important;border-color:var(--sd-color-primary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-primary:hover,.sd-btn-primary:focus{color:var(--sd-color-primary-text) !important;background-color:var(--sd-color-primary-highlight) !important;border-color:var(--sd-color-primary-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-primary{color:var(--sd-color-primary) !important;border-color:var(--sd-color-primary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-secondary,.sd-btn-outline-secondary:hover,.sd-btn-outline-secondary:focus{color:var(--sd-color-secondary-text) !important;background-color:var(--sd-color-secondary) !important;border-color:var(--sd-color-secondary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-secondary:hover,.sd-btn-secondary:focus{color:var(--sd-color-secondary-text) !important;background-color:var(--sd-color-secondary-highlight) !important;border-color:var(--sd-color-secondary-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-secondary{color:var(--sd-color-secondary) !important;border-color:var(--sd-color-secondary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-success,.sd-btn-outline-success:hover,.sd-btn-outline-success:focus{color:var(--sd-color-success-text) !important;background-color:var(--sd-color-success) !important;border-color:var(--sd-color-success) !important;border-width:1px !important;border-style:solid !important}.sd-btn-success:hover,.sd-btn-success:focus{color:var(--sd-color-success-text) !important;background-color:var(--sd-color-success-highlight) !important;border-color:var(--sd-color-success-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-success{color:var(--sd-color-success) !important;border-color:var(--sd-color-success) !important;border-width:1px !important;border-style:solid !important}.sd-btn-info,.sd-btn-outline-info:hover,.sd-btn-outline-info:focus{color:var(--sd-color-info-text) !important;background-color:var(--sd-color-info) !important;border-color:var(--sd-color-info) !important;border-width:1px !important;border-style:solid !important}.sd-btn-info:hover,.sd-btn-info:focus{color:var(--sd-color-info-text) !important;background-color:var(--sd-color-info-highlight) !important;border-color:var(--sd-color-info-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-info{color:var(--sd-color-info) !important;border-color:var(--sd-color-info) !important;border-width:1px !important;border-style:solid !important}.sd-btn-warning,.sd-btn-outline-warning:hover,.sd-btn-outline-warning:focus{color:var(--sd-color-warning-text) !important;background-color:var(--sd-color-warning) !important;border-color:var(--sd-color-warning) !important;border-width:1px !important;border-style:solid !important}.sd-btn-warning:hover,.sd-btn-warning:focus{color:var(--sd-color-warning-text) !important;background-color:var(--sd-color-warning-highlight) !important;border-color:var(--sd-color-warning-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-warning{color:var(--sd-color-warning) !important;border-color:var(--sd-color-warning) !important;border-width:1px !important;border-style:solid !important}.sd-btn-danger,.sd-btn-outline-danger:hover,.sd-btn-outline-danger:focus{color:var(--sd-color-danger-text) !important;background-color:var(--sd-color-danger) !important;border-color:var(--sd-color-danger) !important;border-width:1px !important;border-style:solid !important}.sd-btn-danger:hover,.sd-btn-danger:focus{color:var(--sd-color-danger-text) !important;background-color:var(--sd-color-danger-highlight) !important;border-color:var(--sd-color-danger-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-danger{color:var(--sd-color-danger) !important;border-color:var(--sd-color-danger) !important;border-width:1px !important;border-style:solid !important}.sd-btn-light,.sd-btn-outline-light:hover,.sd-btn-outline-light:focus{color:var(--sd-color-light-text) !important;background-color:var(--sd-color-light) !important;border-color:var(--sd-color-light) !important;border-width:1px !important;border-style:solid !important}.sd-btn-light:hover,.sd-btn-light:focus{color:var(--sd-color-light-text) !important;background-color:var(--sd-color-light-highlight) !important;border-color:var(--sd-color-light-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-light{color:var(--sd-color-light) !important;border-color:var(--sd-color-light) !important;border-width:1px !important;border-style:solid !important}.sd-btn-muted,.sd-btn-outline-muted:hover,.sd-btn-outline-muted:focus{color:var(--sd-color-muted-text) !important;background-color:var(--sd-color-muted) !important;border-color:var(--sd-color-muted) !important;border-width:1px !important;border-style:solid !important}.sd-btn-muted:hover,.sd-btn-muted:focus{color:var(--sd-color-muted-text) !important;background-color:var(--sd-color-muted-highlight) !important;border-color:var(--sd-color-muted-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-muted{color:var(--sd-color-muted) !important;border-color:var(--sd-color-muted) !important;border-width:1px !important;border-style:solid !important}.sd-btn-dark,.sd-btn-outline-dark:hover,.sd-btn-outline-dark:focus{color:var(--sd-color-dark-text) !important;background-color:var(--sd-color-dark) !important;border-color:var(--sd-color-dark) !important;border-width:1px !important;border-style:solid !important}.sd-btn-dark:hover,.sd-btn-dark:focus{color:var(--sd-color-dark-text) !important;background-color:var(--sd-color-dark-highlight) !important;border-color:var(--sd-color-dark-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-dark{color:var(--sd-color-dark) !important;border-color:var(--sd-color-dark) !important;border-width:1px !important;border-style:solid !important}.sd-btn-black,.sd-btn-outline-black:hover,.sd-btn-outline-black:focus{color:var(--sd-color-black-text) !important;background-color:var(--sd-color-black) !important;border-color:var(--sd-color-black) !important;border-width:1px !important;border-style:solid !important}.sd-btn-black:hover,.sd-btn-black:focus{color:var(--sd-color-black-text) !important;background-color:var(--sd-color-black-highlight) !important;border-color:var(--sd-color-black-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-black{color:var(--sd-color-black) !important;border-color:var(--sd-color-black) !important;border-width:1px !important;border-style:solid !important}.sd-btn-white,.sd-btn-outline-white:hover,.sd-btn-outline-white:focus{color:var(--sd-color-white-text) !important;background-color:var(--sd-color-white) !important;border-color:var(--sd-color-white) !important;border-width:1px !important;border-style:solid !important}.sd-btn-white:hover,.sd-btn-white:focus{color:var(--sd-color-white-text) !important;background-color:var(--sd-color-white-highlight) !important;border-color:var(--sd-color-white-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-white{color:var(--sd-color-white) !important;border-color:var(--sd-color-white) !important;border-width:1px !important;border-style:solid !important}.sd-stretched-link::after{position:absolute;top:0;right:0;bottom:0;left:0;z-index:1;content:""}.sd-hide-link-text{font-size:0}.sd-octicon,.sd-material-icon{display:inline-block;fill:currentColor;vertical-align:middle}.sd-avatar-xs{border-radius:50%;object-fit:cover;object-position:center;width:1rem;height:1rem}.sd-avatar-sm{border-radius:50%;object-fit:cover;object-position:center;width:3rem;height:3rem}.sd-avatar-md{border-radius:50%;object-fit:cover;object-position:center;width:5rem;height:5rem}.sd-avatar-lg{border-radius:50%;object-fit:cover;object-position:center;width:7rem;height:7rem}.sd-avatar-xl{border-radius:50%;object-fit:cover;object-position:center;width:10rem;height:10rem}.sd-avatar-inherit{border-radius:50%;object-fit:cover;object-position:center;width:inherit;height:inherit}.sd-avatar-initial{border-radius:50%;object-fit:cover;object-position:center;width:initial;height:initial}.sd-card{background-clip:border-box;background-color:var(--sd-color-card-background);border:1px solid var(--sd-color-card-border);border-radius:.25rem;color:var(--sd-color-card-text);display:-ms-flexbox;display:flex;-ms-flex-direction:column;flex-direction:column;min-width:0;position:relative;word-wrap:break-word}.sd-card>hr{margin-left:0;margin-right:0}.sd-card-hover:hover{border-color:var(--sd-color-card-border-hover);transform:scale(1.01)}.sd-card-body{-ms-flex:1 1 auto;flex:1 1 auto;padding:1rem 1rem}.sd-card-title{margin-bottom:.5rem}.sd-card-subtitle{margin-top:-0.25rem;margin-bottom:0}.sd-card-text:last-child{margin-bottom:0}.sd-card-link:hover{text-decoration:none}.sd-card-link+.card-link{margin-left:1rem}.sd-card-header{padding:.5rem 1rem;margin-bottom:0;background-color:var(--sd-color-card-header);border-bottom:1px solid var(--sd-color-card-border)}.sd-card-header:first-child{border-radius:calc(0.25rem - 1px) calc(0.25rem - 1px) 0 0}.sd-card-footer{padding:.5rem 1rem;background-color:var(--sd-color-card-footer);border-top:1px solid var(--sd-color-card-border)}.sd-card-footer:last-child{border-radius:0 0 calc(0.25rem - 1px) calc(0.25rem - 1px)}.sd-card-header-tabs{margin-right:-0.5rem;margin-bottom:-0.5rem;margin-left:-0.5rem;border-bottom:0}.sd-card-header-pills{margin-right:-0.5rem;margin-left:-0.5rem}.sd-card-img-overlay{position:absolute;top:0;right:0;bottom:0;left:0;padding:1rem;border-radius:calc(0.25rem - 1px)}.sd-card-img,.sd-card-img-bottom,.sd-card-img-top{width:100%}.sd-card-img,.sd-card-img-top{border-top-left-radius:calc(0.25rem - 1px);border-top-right-radius:calc(0.25rem - 1px)}.sd-card-img,.sd-card-img-bottom{border-bottom-left-radius:calc(0.25rem - 1px);border-bottom-right-radius:calc(0.25rem - 1px)}.sd-cards-carousel{width:100%;display:flex;flex-wrap:nowrap;-ms-flex-direction:row;flex-direction:row;overflow-x:hidden;scroll-snap-type:x mandatory}.sd-cards-carousel.sd-show-scrollbar{overflow-x:auto}.sd-cards-carousel:hover,.sd-cards-carousel:focus{overflow-x:auto}.sd-cards-carousel>.sd-card{flex-shrink:0;scroll-snap-align:start}.sd-cards-carousel>.sd-card:not(:last-child){margin-right:3px}.sd-card-cols-1>.sd-card{width:90%}.sd-card-cols-2>.sd-card{width:45%}.sd-card-cols-3>.sd-card{width:30%}.sd-card-cols-4>.sd-card{width:22.5%}.sd-card-cols-5>.sd-card{width:18%}.sd-card-cols-6>.sd-card{width:15%}.sd-card-cols-7>.sd-card{width:12.8571428571%}.sd-card-cols-8>.sd-card{width:11.25%}.sd-card-cols-9>.sd-card{width:10%}.sd-card-cols-10>.sd-card{width:9%}.sd-card-cols-11>.sd-card{width:8.1818181818%}.sd-card-cols-12>.sd-card{width:7.5%}.sd-container,.sd-container-fluid,.sd-container-lg,.sd-container-md,.sd-container-sm,.sd-container-xl{margin-left:auto;margin-right:auto;padding-left:var(--sd-gutter-x, 0.75rem);padding-right:var(--sd-gutter-x, 0.75rem);width:100%}@media(min-width: 576px){.sd-container-sm,.sd-container{max-width:540px}}@media(min-width: 768px){.sd-container-md,.sd-container-sm,.sd-container{max-width:720px}}@media(min-width: 992px){.sd-container-lg,.sd-container-md,.sd-container-sm,.sd-container{max-width:960px}}@media(min-width: 1200px){.sd-container-xl,.sd-container-lg,.sd-container-md,.sd-container-sm,.sd-container{max-width:1140px}}.sd-row{--sd-gutter-x: 1.5rem;--sd-gutter-y: 0;display:-ms-flexbox;display:flex;-ms-flex-wrap:wrap;flex-wrap:wrap;margin-top:calc(var(--sd-gutter-y) * -1);margin-right:calc(var(--sd-gutter-x) * -0.5);margin-left:calc(var(--sd-gutter-x) * -0.5)}.sd-row>*{box-sizing:border-box;flex-shrink:0;width:100%;max-width:100%;padding-right:calc(var(--sd-gutter-x) * 0.5);padding-left:calc(var(--sd-gutter-x) * 0.5);margin-top:var(--sd-gutter-y)}.sd-col{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-auto>*{flex:0 0 auto;width:auto}.sd-row-cols-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}@media(min-width: 576px){.sd-col-sm{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-sm-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-sm-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-sm-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-sm-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-sm-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-sm-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-sm-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-sm-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-sm-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-sm-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-sm-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-sm-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-sm-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}@media(min-width: 768px){.sd-col-md{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-md-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-md-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-md-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-md-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-md-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-md-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-md-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-md-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-md-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-md-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-md-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-md-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-md-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}@media(min-width: 992px){.sd-col-lg{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-lg-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-lg-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-lg-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-lg-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-lg-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-lg-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-lg-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-lg-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-lg-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-lg-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-lg-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-lg-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-lg-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}@media(min-width: 1200px){.sd-col-xl{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-xl-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-xl-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-xl-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-xl-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-xl-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-xl-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-xl-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-xl-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-xl-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-xl-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-xl-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-xl-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-xl-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}.sd-col-auto{flex:0 0 auto;-ms-flex:0 0 auto;width:auto}.sd-col-1{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}.sd-col-2{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-col-3{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-col-4{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-col-5{flex:0 0 auto;-ms-flex:0 0 auto;width:41.6666666667%}.sd-col-6{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-col-7{flex:0 0 auto;-ms-flex:0 0 auto;width:58.3333333333%}.sd-col-8{flex:0 0 auto;-ms-flex:0 0 auto;width:66.6666666667%}.sd-col-9{flex:0 0 auto;-ms-flex:0 0 auto;width:75%}.sd-col-10{flex:0 0 auto;-ms-flex:0 0 auto;width:83.3333333333%}.sd-col-11{flex:0 0 auto;-ms-flex:0 0 auto;width:91.6666666667%}.sd-col-12{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-g-0,.sd-gy-0{--sd-gutter-y: 0}.sd-g-0,.sd-gx-0{--sd-gutter-x: 0}.sd-g-1,.sd-gy-1{--sd-gutter-y: 0.25rem}.sd-g-1,.sd-gx-1{--sd-gutter-x: 0.25rem}.sd-g-2,.sd-gy-2{--sd-gutter-y: 0.5rem}.sd-g-2,.sd-gx-2{--sd-gutter-x: 0.5rem}.sd-g-3,.sd-gy-3{--sd-gutter-y: 1rem}.sd-g-3,.sd-gx-3{--sd-gutter-x: 1rem}.sd-g-4,.sd-gy-4{--sd-gutter-y: 1.5rem}.sd-g-4,.sd-gx-4{--sd-gutter-x: 1.5rem}.sd-g-5,.sd-gy-5{--sd-gutter-y: 3rem}.sd-g-5,.sd-gx-5{--sd-gutter-x: 3rem}@media(min-width: 576px){.sd-col-sm-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-sm-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-sm-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-sm-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-sm-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-sm-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-sm-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-sm-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-sm-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-sm-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-sm-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-sm-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-sm-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-sm-0,.sd-gy-sm-0{--sd-gutter-y: 0}.sd-g-sm-0,.sd-gx-sm-0{--sd-gutter-x: 0}.sd-g-sm-1,.sd-gy-sm-1{--sd-gutter-y: 0.25rem}.sd-g-sm-1,.sd-gx-sm-1{--sd-gutter-x: 0.25rem}.sd-g-sm-2,.sd-gy-sm-2{--sd-gutter-y: 0.5rem}.sd-g-sm-2,.sd-gx-sm-2{--sd-gutter-x: 0.5rem}.sd-g-sm-3,.sd-gy-sm-3{--sd-gutter-y: 1rem}.sd-g-sm-3,.sd-gx-sm-3{--sd-gutter-x: 1rem}.sd-g-sm-4,.sd-gy-sm-4{--sd-gutter-y: 1.5rem}.sd-g-sm-4,.sd-gx-sm-4{--sd-gutter-x: 1.5rem}.sd-g-sm-5,.sd-gy-sm-5{--sd-gutter-y: 3rem}.sd-g-sm-5,.sd-gx-sm-5{--sd-gutter-x: 3rem}}@media(min-width: 768px){.sd-col-md-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-md-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-md-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-md-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-md-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-md-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-md-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-md-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-md-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-md-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-md-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-md-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-md-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-md-0,.sd-gy-md-0{--sd-gutter-y: 0}.sd-g-md-0,.sd-gx-md-0{--sd-gutter-x: 0}.sd-g-md-1,.sd-gy-md-1{--sd-gutter-y: 0.25rem}.sd-g-md-1,.sd-gx-md-1{--sd-gutter-x: 0.25rem}.sd-g-md-2,.sd-gy-md-2{--sd-gutter-y: 0.5rem}.sd-g-md-2,.sd-gx-md-2{--sd-gutter-x: 0.5rem}.sd-g-md-3,.sd-gy-md-3{--sd-gutter-y: 1rem}.sd-g-md-3,.sd-gx-md-3{--sd-gutter-x: 1rem}.sd-g-md-4,.sd-gy-md-4{--sd-gutter-y: 1.5rem}.sd-g-md-4,.sd-gx-md-4{--sd-gutter-x: 1.5rem}.sd-g-md-5,.sd-gy-md-5{--sd-gutter-y: 3rem}.sd-g-md-5,.sd-gx-md-5{--sd-gutter-x: 3rem}}@media(min-width: 992px){.sd-col-lg-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-lg-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-lg-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-lg-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-lg-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-lg-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-lg-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-lg-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-lg-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-lg-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-lg-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-lg-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-lg-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-lg-0,.sd-gy-lg-0{--sd-gutter-y: 0}.sd-g-lg-0,.sd-gx-lg-0{--sd-gutter-x: 0}.sd-g-lg-1,.sd-gy-lg-1{--sd-gutter-y: 0.25rem}.sd-g-lg-1,.sd-gx-lg-1{--sd-gutter-x: 0.25rem}.sd-g-lg-2,.sd-gy-lg-2{--sd-gutter-y: 0.5rem}.sd-g-lg-2,.sd-gx-lg-2{--sd-gutter-x: 0.5rem}.sd-g-lg-3,.sd-gy-lg-3{--sd-gutter-y: 1rem}.sd-g-lg-3,.sd-gx-lg-3{--sd-gutter-x: 1rem}.sd-g-lg-4,.sd-gy-lg-4{--sd-gutter-y: 1.5rem}.sd-g-lg-4,.sd-gx-lg-4{--sd-gutter-x: 1.5rem}.sd-g-lg-5,.sd-gy-lg-5{--sd-gutter-y: 3rem}.sd-g-lg-5,.sd-gx-lg-5{--sd-gutter-x: 3rem}}@media(min-width: 1200px){.sd-col-xl-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-xl-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-xl-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-xl-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-xl-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-xl-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-xl-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-xl-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-xl-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-xl-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-xl-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-xl-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-xl-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-xl-0,.sd-gy-xl-0{--sd-gutter-y: 0}.sd-g-xl-0,.sd-gx-xl-0{--sd-gutter-x: 0}.sd-g-xl-1,.sd-gy-xl-1{--sd-gutter-y: 0.25rem}.sd-g-xl-1,.sd-gx-xl-1{--sd-gutter-x: 0.25rem}.sd-g-xl-2,.sd-gy-xl-2{--sd-gutter-y: 0.5rem}.sd-g-xl-2,.sd-gx-xl-2{--sd-gutter-x: 0.5rem}.sd-g-xl-3,.sd-gy-xl-3{--sd-gutter-y: 1rem}.sd-g-xl-3,.sd-gx-xl-3{--sd-gutter-x: 1rem}.sd-g-xl-4,.sd-gy-xl-4{--sd-gutter-y: 1.5rem}.sd-g-xl-4,.sd-gx-xl-4{--sd-gutter-x: 1.5rem}.sd-g-xl-5,.sd-gy-xl-5{--sd-gutter-y: 3rem}.sd-g-xl-5,.sd-gx-xl-5{--sd-gutter-x: 3rem}}.sd-flex-row-reverse{flex-direction:row-reverse !important}details.sd-dropdown{position:relative}details.sd-dropdown .sd-summary-title{font-weight:700;padding-right:3em !important;-moz-user-select:none;-ms-user-select:none;-webkit-user-select:none;user-select:none}details.sd-dropdown:hover{cursor:pointer}details.sd-dropdown .sd-summary-content{cursor:default}details.sd-dropdown summary{list-style:none;padding:1em}details.sd-dropdown summary .sd-octicon.no-title{vertical-align:middle}details.sd-dropdown[open] summary .sd-octicon.no-title{visibility:hidden}details.sd-dropdown summary::-webkit-details-marker{display:none}details.sd-dropdown summary:focus{outline:none}details.sd-dropdown .sd-summary-icon{margin-right:.5em}details.sd-dropdown .sd-summary-icon svg{opacity:.8}details.sd-dropdown summary:hover .sd-summary-up svg,details.sd-dropdown summary:hover .sd-summary-down svg{opacity:1;transform:scale(1.1)}details.sd-dropdown .sd-summary-up svg,details.sd-dropdown .sd-summary-down svg{display:block;opacity:.6}details.sd-dropdown .sd-summary-up,details.sd-dropdown .sd-summary-down{pointer-events:none;position:absolute;right:1em;top:1em}details.sd-dropdown[open]>.sd-summary-title .sd-summary-down{visibility:hidden}details.sd-dropdown:not([open])>.sd-summary-title .sd-summary-up{visibility:hidden}details.sd-dropdown:not([open]).sd-card{border:none}details.sd-dropdown:not([open])>.sd-card-header{border:1px solid var(--sd-color-card-border);border-radius:.25rem}details.sd-dropdown.sd-fade-in[open] summary~*{-moz-animation:sd-fade-in .5s ease-in-out;-webkit-animation:sd-fade-in .5s ease-in-out;animation:sd-fade-in .5s ease-in-out}details.sd-dropdown.sd-fade-in-slide-down[open] summary~*{-moz-animation:sd-fade-in .5s ease-in-out,sd-slide-down .5s ease-in-out;-webkit-animation:sd-fade-in .5s ease-in-out,sd-slide-down .5s ease-in-out;animation:sd-fade-in .5s ease-in-out,sd-slide-down .5s ease-in-out}.sd-col>.sd-dropdown{width:100%}.sd-summary-content>.sd-tab-set:first-child{margin-top:0}@keyframes sd-fade-in{0%{opacity:0}100%{opacity:1}}@keyframes sd-slide-down{0%{transform:translate(0, -10px)}100%{transform:translate(0, 0)}}.sd-tab-set{border-radius:.125rem;display:flex;flex-wrap:wrap;margin:1em 0;position:relative}.sd-tab-set>input{opacity:0;position:absolute}.sd-tab-set>input:checked+label{border-color:var(--sd-color-tabs-underline-active);color:var(--sd-color-tabs-label-active)}.sd-tab-set>input:checked+label+.sd-tab-content{display:block}.sd-tab-set>input:not(:checked)+label:hover{color:var(--sd-color-tabs-label-hover);border-color:var(--sd-color-tabs-underline-hover)}.sd-tab-set>input:focus+label{outline-style:auto}.sd-tab-set>input:not(.focus-visible)+label{outline:none;-webkit-tap-highlight-color:transparent}.sd-tab-set>label{border-bottom:.125rem solid transparent;margin-bottom:0;color:var(--sd-color-tabs-label-inactive);border-color:var(--sd-color-tabs-underline-inactive);cursor:pointer;font-size:var(--sd-fontsize-tabs-label);font-weight:700;padding:1em 1.25em .5em;transition:color 250ms;width:auto;z-index:1}html .sd-tab-set>label:hover{color:var(--sd-color-tabs-label-active)}.sd-col>.sd-tab-set{width:100%}.sd-tab-content{box-shadow:0 -0.0625rem var(--sd-color-tabs-overline),0 .0625rem var(--sd-color-tabs-underline);display:none;order:99;padding-bottom:.75rem;padding-top:.75rem;width:100%}.sd-tab-content>:first-child{margin-top:0 !important}.sd-tab-content>:last-child{margin-bottom:0 !important}.sd-tab-content>.sd-tab-set{margin:0}.sd-sphinx-override,.sd-sphinx-override *{-moz-box-sizing:border-box;-webkit-box-sizing:border-box;box-sizing:border-box}.sd-sphinx-override p{margin-top:0}:root{--sd-color-primary: #007bff;--sd-color-secondary: #6c757d;--sd-color-success: #28a745;--sd-color-info: #17a2b8;--sd-color-warning: #f0b37e;--sd-color-danger: #dc3545;--sd-color-light: #f8f9fa;--sd-color-muted: #6c757d;--sd-color-dark: #212529;--sd-color-black: black;--sd-color-white: white;--sd-color-primary-highlight: #0069d9;--sd-color-secondary-highlight: #5c636a;--sd-color-success-highlight: #228e3b;--sd-color-info-highlight: #148a9c;--sd-color-warning-highlight: #cc986b;--sd-color-danger-highlight: #bb2d3b;--sd-color-light-highlight: #d3d4d5;--sd-color-muted-highlight: #5c636a;--sd-color-dark-highlight: #1c1f23;--sd-color-black-highlight: black;--sd-color-white-highlight: #d9d9d9;--sd-color-primary-text: #fff;--sd-color-secondary-text: #fff;--sd-color-success-text: #fff;--sd-color-info-text: #fff;--sd-color-warning-text: #212529;--sd-color-danger-text: #fff;--sd-color-light-text: #212529;--sd-color-muted-text: #fff;--sd-color-dark-text: #fff;--sd-color-black-text: #fff;--sd-color-white-text: #212529;--sd-color-shadow: rgba(0, 0, 0, 0.15);--sd-color-card-border: rgba(0, 0, 0, 0.125);--sd-color-card-border-hover: hsla(231, 99%, 66%, 1);--sd-color-card-background: transparent;--sd-color-card-text: inherit;--sd-color-card-header: transparent;--sd-color-card-footer: transparent;--sd-color-tabs-label-active: hsla(231, 99%, 66%, 1);--sd-color-tabs-label-hover: hsla(231, 99%, 66%, 1);--sd-color-tabs-label-inactive: hsl(0, 0%, 66%);--sd-color-tabs-underline-active: hsla(231, 99%, 66%, 1);--sd-color-tabs-underline-hover: rgba(178, 206, 245, 0.62);--sd-color-tabs-underline-inactive: transparent;--sd-color-tabs-overline: rgb(222, 222, 222);--sd-color-tabs-underline: rgb(222, 222, 222);--sd-fontsize-tabs-label: 1rem}
+.sd-bg-primary{background-color:var(--sd-color-primary) !important}.sd-bg-text-primary{color:var(--sd-color-primary-text) !important}button.sd-bg-primary:focus,button.sd-bg-primary:hover{background-color:var(--sd-color-primary-highlight) !important}a.sd-bg-primary:focus,a.sd-bg-primary:hover{background-color:var(--sd-color-primary-highlight) !important}.sd-bg-secondary{background-color:var(--sd-color-secondary) !important}.sd-bg-text-secondary{color:var(--sd-color-secondary-text) !important}button.sd-bg-secondary:focus,button.sd-bg-secondary:hover{background-color:var(--sd-color-secondary-highlight) !important}a.sd-bg-secondary:focus,a.sd-bg-secondary:hover{background-color:var(--sd-color-secondary-highlight) !important}.sd-bg-success{background-color:var(--sd-color-success) !important}.sd-bg-text-success{color:var(--sd-color-success-text) !important}button.sd-bg-success:focus,button.sd-bg-success:hover{background-color:var(--sd-color-success-highlight) !important}a.sd-bg-success:focus,a.sd-bg-success:hover{background-color:var(--sd-color-success-highlight) !important}.sd-bg-info{background-color:var(--sd-color-info) !important}.sd-bg-text-info{color:var(--sd-color-info-text) !important}button.sd-bg-info:focus,button.sd-bg-info:hover{background-color:var(--sd-color-info-highlight) !important}a.sd-bg-info:focus,a.sd-bg-info:hover{background-color:var(--sd-color-info-highlight) !important}.sd-bg-warning{background-color:var(--sd-color-warning) !important}.sd-bg-text-warning{color:var(--sd-color-warning-text) !important}button.sd-bg-warning:focus,button.sd-bg-warning:hover{background-color:var(--sd-color-warning-highlight) !important}a.sd-bg-warning:focus,a.sd-bg-warning:hover{background-color:var(--sd-color-warning-highlight) !important}.sd-bg-danger{background-color:var(--sd-color-danger) !important}.sd-bg-text-danger{color:var(--sd-color-danger-text) !important}button.sd-bg-danger:focus,button.sd-bg-danger:hover{background-color:var(--sd-color-danger-highlight) !important}a.sd-bg-danger:focus,a.sd-bg-danger:hover{background-color:var(--sd-color-danger-highlight) !important}.sd-bg-light{background-color:var(--sd-color-light) !important}.sd-bg-text-light{color:var(--sd-color-light-text) !important}button.sd-bg-light:focus,button.sd-bg-light:hover{background-color:var(--sd-color-light-highlight) !important}a.sd-bg-light:focus,a.sd-bg-light:hover{background-color:var(--sd-color-light-highlight) !important}.sd-bg-muted{background-color:var(--sd-color-muted) !important}.sd-bg-text-muted{color:var(--sd-color-muted-text) !important}button.sd-bg-muted:focus,button.sd-bg-muted:hover{background-color:var(--sd-color-muted-highlight) !important}a.sd-bg-muted:focus,a.sd-bg-muted:hover{background-color:var(--sd-color-muted-highlight) !important}.sd-bg-dark{background-color:var(--sd-color-dark) !important}.sd-bg-text-dark{color:var(--sd-color-dark-text) !important}button.sd-bg-dark:focus,button.sd-bg-dark:hover{background-color:var(--sd-color-dark-highlight) !important}a.sd-bg-dark:focus,a.sd-bg-dark:hover{background-color:var(--sd-color-dark-highlight) !important}.sd-bg-black{background-color:var(--sd-color-black) !important}.sd-bg-text-black{color:var(--sd-color-black-text) !important}button.sd-bg-black:focus,button.sd-bg-black:hover{background-color:var(--sd-color-black-highlight) !important}a.sd-bg-black:focus,a.sd-bg-black:hover{background-color:var(--sd-color-black-highlight) !important}.sd-bg-white{background-color:var(--sd-color-white) !important}.sd-bg-text-white{color:var(--sd-color-white-text) !important}button.sd-bg-white:focus,button.sd-bg-white:hover{background-color:var(--sd-color-white-highlight) !important}a.sd-bg-white:focus,a.sd-bg-white:hover{background-color:var(--sd-color-white-highlight) !important}.sd-text-primary,.sd-text-primary>p{color:var(--sd-color-primary) !important}a.sd-text-primary:focus,a.sd-text-primary:hover{color:var(--sd-color-primary-highlight) !important}.sd-text-secondary,.sd-text-secondary>p{color:var(--sd-color-secondary) !important}a.sd-text-secondary:focus,a.sd-text-secondary:hover{color:var(--sd-color-secondary-highlight) !important}.sd-text-success,.sd-text-success>p{color:var(--sd-color-success) !important}a.sd-text-success:focus,a.sd-text-success:hover{color:var(--sd-color-success-highlight) !important}.sd-text-info,.sd-text-info>p{color:var(--sd-color-info) !important}a.sd-text-info:focus,a.sd-text-info:hover{color:var(--sd-color-info-highlight) !important}.sd-text-warning,.sd-text-warning>p{color:var(--sd-color-warning) !important}a.sd-text-warning:focus,a.sd-text-warning:hover{color:var(--sd-color-warning-highlight) !important}.sd-text-danger,.sd-text-danger>p{color:var(--sd-color-danger) !important}a.sd-text-danger:focus,a.sd-text-danger:hover{color:var(--sd-color-danger-highlight) !important}.sd-text-light,.sd-text-light>p{color:var(--sd-color-light) !important}a.sd-text-light:focus,a.sd-text-light:hover{color:var(--sd-color-light-highlight) !important}.sd-text-muted,.sd-text-muted>p{color:var(--sd-color-muted) !important}a.sd-text-muted:focus,a.sd-text-muted:hover{color:var(--sd-color-muted-highlight) !important}.sd-text-dark,.sd-text-dark>p{color:var(--sd-color-dark) !important}a.sd-text-dark:focus,a.sd-text-dark:hover{color:var(--sd-color-dark-highlight) !important}.sd-text-black,.sd-text-black>p{color:var(--sd-color-black) !important}a.sd-text-black:focus,a.sd-text-black:hover{color:var(--sd-color-black-highlight) !important}.sd-text-white,.sd-text-white>p{color:var(--sd-color-white) !important}a.sd-text-white:focus,a.sd-text-white:hover{color:var(--sd-color-white-highlight) !important}.sd-outline-primary{border-color:var(--sd-color-primary) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-primary:focus,a.sd-outline-primary:hover{border-color:var(--sd-color-primary-highlight) !important}.sd-outline-secondary{border-color:var(--sd-color-secondary) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-secondary:focus,a.sd-outline-secondary:hover{border-color:var(--sd-color-secondary-highlight) !important}.sd-outline-success{border-color:var(--sd-color-success) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-success:focus,a.sd-outline-success:hover{border-color:var(--sd-color-success-highlight) !important}.sd-outline-info{border-color:var(--sd-color-info) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-info:focus,a.sd-outline-info:hover{border-color:var(--sd-color-info-highlight) !important}.sd-outline-warning{border-color:var(--sd-color-warning) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-warning:focus,a.sd-outline-warning:hover{border-color:var(--sd-color-warning-highlight) !important}.sd-outline-danger{border-color:var(--sd-color-danger) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-danger:focus,a.sd-outline-danger:hover{border-color:var(--sd-color-danger-highlight) !important}.sd-outline-light{border-color:var(--sd-color-light) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-light:focus,a.sd-outline-light:hover{border-color:var(--sd-color-light-highlight) !important}.sd-outline-muted{border-color:var(--sd-color-muted) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-muted:focus,a.sd-outline-muted:hover{border-color:var(--sd-color-muted-highlight) !important}.sd-outline-dark{border-color:var(--sd-color-dark) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-dark:focus,a.sd-outline-dark:hover{border-color:var(--sd-color-dark-highlight) !important}.sd-outline-black{border-color:var(--sd-color-black) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-black:focus,a.sd-outline-black:hover{border-color:var(--sd-color-black-highlight) !important}.sd-outline-white{border-color:var(--sd-color-white) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-white:focus,a.sd-outline-white:hover{border-color:var(--sd-color-white-highlight) !important}.sd-bg-transparent{background-color:transparent !important}.sd-outline-transparent{border-color:transparent !important}.sd-text-transparent{color:transparent !important}.sd-p-0{padding:0 !important}.sd-pt-0,.sd-py-0{padding-top:0 !important}.sd-pr-0,.sd-px-0{padding-right:0 !important}.sd-pb-0,.sd-py-0{padding-bottom:0 !important}.sd-pl-0,.sd-px-0{padding-left:0 !important}.sd-p-1{padding:.25rem !important}.sd-pt-1,.sd-py-1{padding-top:.25rem !important}.sd-pr-1,.sd-px-1{padding-right:.25rem !important}.sd-pb-1,.sd-py-1{padding-bottom:.25rem !important}.sd-pl-1,.sd-px-1{padding-left:.25rem !important}.sd-p-2{padding:.5rem !important}.sd-pt-2,.sd-py-2{padding-top:.5rem !important}.sd-pr-2,.sd-px-2{padding-right:.5rem !important}.sd-pb-2,.sd-py-2{padding-bottom:.5rem !important}.sd-pl-2,.sd-px-2{padding-left:.5rem !important}.sd-p-3{padding:1rem !important}.sd-pt-3,.sd-py-3{padding-top:1rem !important}.sd-pr-3,.sd-px-3{padding-right:1rem !important}.sd-pb-3,.sd-py-3{padding-bottom:1rem !important}.sd-pl-3,.sd-px-3{padding-left:1rem !important}.sd-p-4{padding:1.5rem !important}.sd-pt-4,.sd-py-4{padding-top:1.5rem !important}.sd-pr-4,.sd-px-4{padding-right:1.5rem !important}.sd-pb-4,.sd-py-4{padding-bottom:1.5rem !important}.sd-pl-4,.sd-px-4{padding-left:1.5rem !important}.sd-p-5{padding:3rem !important}.sd-pt-5,.sd-py-5{padding-top:3rem !important}.sd-pr-5,.sd-px-5{padding-right:3rem !important}.sd-pb-5,.sd-py-5{padding-bottom:3rem !important}.sd-pl-5,.sd-px-5{padding-left:3rem !important}.sd-m-auto{margin:auto !important}.sd-mt-auto,.sd-my-auto{margin-top:auto !important}.sd-mr-auto,.sd-mx-auto{margin-right:auto !important}.sd-mb-auto,.sd-my-auto{margin-bottom:auto !important}.sd-ml-auto,.sd-mx-auto{margin-left:auto !important}.sd-m-0{margin:0 !important}.sd-mt-0,.sd-my-0{margin-top:0 !important}.sd-mr-0,.sd-mx-0{margin-right:0 !important}.sd-mb-0,.sd-my-0{margin-bottom:0 !important}.sd-ml-0,.sd-mx-0{margin-left:0 !important}.sd-m-1{margin:.25rem !important}.sd-mt-1,.sd-my-1{margin-top:.25rem !important}.sd-mr-1,.sd-mx-1{margin-right:.25rem !important}.sd-mb-1,.sd-my-1{margin-bottom:.25rem !important}.sd-ml-1,.sd-mx-1{margin-left:.25rem !important}.sd-m-2{margin:.5rem !important}.sd-mt-2,.sd-my-2{margin-top:.5rem !important}.sd-mr-2,.sd-mx-2{margin-right:.5rem !important}.sd-mb-2,.sd-my-2{margin-bottom:.5rem !important}.sd-ml-2,.sd-mx-2{margin-left:.5rem !important}.sd-m-3{margin:1rem !important}.sd-mt-3,.sd-my-3{margin-top:1rem !important}.sd-mr-3,.sd-mx-3{margin-right:1rem !important}.sd-mb-3,.sd-my-3{margin-bottom:1rem !important}.sd-ml-3,.sd-mx-3{margin-left:1rem !important}.sd-m-4{margin:1.5rem !important}.sd-mt-4,.sd-my-4{margin-top:1.5rem !important}.sd-mr-4,.sd-mx-4{margin-right:1.5rem !important}.sd-mb-4,.sd-my-4{margin-bottom:1.5rem !important}.sd-ml-4,.sd-mx-4{margin-left:1.5rem !important}.sd-m-5{margin:3rem !important}.sd-mt-5,.sd-my-5{margin-top:3rem !important}.sd-mr-5,.sd-mx-5{margin-right:3rem !important}.sd-mb-5,.sd-my-5{margin-bottom:3rem !important}.sd-ml-5,.sd-mx-5{margin-left:3rem !important}.sd-w-25{width:25% !important}.sd-w-50{width:50% !important}.sd-w-75{width:75% !important}.sd-w-100{width:100% !important}.sd-w-auto{width:auto !important}.sd-h-25{height:25% !important}.sd-h-50{height:50% !important}.sd-h-75{height:75% !important}.sd-h-100{height:100% !important}.sd-h-auto{height:auto !important}.sd-d-none{display:none !important}.sd-d-inline{display:inline !important}.sd-d-inline-block{display:inline-block !important}.sd-d-block{display:block !important}.sd-d-grid{display:grid !important}.sd-d-flex-row{display:-ms-flexbox !important;display:flex !important;flex-direction:row !important}.sd-d-flex-column{display:-ms-flexbox !important;display:flex !important;flex-direction:column !important}.sd-d-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}@media(min-width: 576px){.sd-d-sm-none{display:none !important}.sd-d-sm-inline{display:inline !important}.sd-d-sm-inline-block{display:inline-block !important}.sd-d-sm-block{display:block !important}.sd-d-sm-grid{display:grid !important}.sd-d-sm-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-sm-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}@media(min-width: 768px){.sd-d-md-none{display:none !important}.sd-d-md-inline{display:inline !important}.sd-d-md-inline-block{display:inline-block !important}.sd-d-md-block{display:block !important}.sd-d-md-grid{display:grid !important}.sd-d-md-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-md-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}@media(min-width: 992px){.sd-d-lg-none{display:none !important}.sd-d-lg-inline{display:inline !important}.sd-d-lg-inline-block{display:inline-block !important}.sd-d-lg-block{display:block !important}.sd-d-lg-grid{display:grid !important}.sd-d-lg-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-lg-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}@media(min-width: 1200px){.sd-d-xl-none{display:none !important}.sd-d-xl-inline{display:inline !important}.sd-d-xl-inline-block{display:inline-block !important}.sd-d-xl-block{display:block !important}.sd-d-xl-grid{display:grid !important}.sd-d-xl-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-xl-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}.sd-align-major-start{justify-content:flex-start !important}.sd-align-major-end{justify-content:flex-end !important}.sd-align-major-center{justify-content:center !important}.sd-align-major-justify{justify-content:space-between !important}.sd-align-major-spaced{justify-content:space-evenly !important}.sd-align-minor-start{align-items:flex-start !important}.sd-align-minor-end{align-items:flex-end !important}.sd-align-minor-center{align-items:center !important}.sd-align-minor-stretch{align-items:stretch !important}.sd-text-justify{text-align:justify !important}.sd-text-left{text-align:left !important}.sd-text-right{text-align:right !important}.sd-text-center{text-align:center !important}.sd-font-weight-light{font-weight:300 !important}.sd-font-weight-lighter{font-weight:lighter !important}.sd-font-weight-normal{font-weight:400 !important}.sd-font-weight-bold{font-weight:700 !important}.sd-font-weight-bolder{font-weight:bolder !important}.sd-font-italic{font-style:italic !important}.sd-text-decoration-none{text-decoration:none !important}.sd-text-lowercase{text-transform:lowercase !important}.sd-text-uppercase{text-transform:uppercase !important}.sd-text-capitalize{text-transform:capitalize !important}.sd-text-wrap{white-space:normal !important}.sd-text-nowrap{white-space:nowrap !important}.sd-text-truncate{overflow:hidden;text-overflow:ellipsis;white-space:nowrap}.sd-fs-1,.sd-fs-1>p{font-size:calc(1.375rem + 1.5vw) !important;line-height:unset !important}.sd-fs-2,.sd-fs-2>p{font-size:calc(1.325rem + 0.9vw) !important;line-height:unset !important}.sd-fs-3,.sd-fs-3>p{font-size:calc(1.3rem + 0.6vw) !important;line-height:unset !important}.sd-fs-4,.sd-fs-4>p{font-size:calc(1.275rem + 0.3vw) !important;line-height:unset !important}.sd-fs-5,.sd-fs-5>p{font-size:1.25rem !important;line-height:unset !important}.sd-fs-6,.sd-fs-6>p{font-size:1rem !important;line-height:unset !important}.sd-border-0{border:0 solid !important}.sd-border-top-0{border-top:0 solid !important}.sd-border-bottom-0{border-bottom:0 solid !important}.sd-border-right-0{border-right:0 solid !important}.sd-border-left-0{border-left:0 solid !important}.sd-border-1{border:1px solid !important}.sd-border-top-1{border-top:1px solid !important}.sd-border-bottom-1{border-bottom:1px solid !important}.sd-border-right-1{border-right:1px solid !important}.sd-border-left-1{border-left:1px solid !important}.sd-border-2{border:2px solid !important}.sd-border-top-2{border-top:2px solid !important}.sd-border-bottom-2{border-bottom:2px solid !important}.sd-border-right-2{border-right:2px solid !important}.sd-border-left-2{border-left:2px solid !important}.sd-border-3{border:3px solid !important}.sd-border-top-3{border-top:3px solid !important}.sd-border-bottom-3{border-bottom:3px solid !important}.sd-border-right-3{border-right:3px solid !important}.sd-border-left-3{border-left:3px solid !important}.sd-border-4{border:4px solid !important}.sd-border-top-4{border-top:4px solid !important}.sd-border-bottom-4{border-bottom:4px solid !important}.sd-border-right-4{border-right:4px solid !important}.sd-border-left-4{border-left:4px solid !important}.sd-border-5{border:5px solid !important}.sd-border-top-5{border-top:5px solid !important}.sd-border-bottom-5{border-bottom:5px solid !important}.sd-border-right-5{border-right:5px solid !important}.sd-border-left-5{border-left:5px solid !important}.sd-rounded-0{border-radius:0 !important}.sd-rounded-1{border-radius:.2rem !important}.sd-rounded-2{border-radius:.3rem !important}.sd-rounded-3{border-radius:.5rem !important}.sd-rounded-pill{border-radius:50rem !important}.sd-rounded-circle{border-radius:50% !important}.shadow-none{box-shadow:none !important}.sd-shadow-sm{box-shadow:0 .125rem .25rem var(--sd-color-shadow) !important}.sd-shadow-md{box-shadow:0 .5rem 1rem var(--sd-color-shadow) !important}.sd-shadow-lg{box-shadow:0 1rem 3rem var(--sd-color-shadow) !important}@keyframes sd-slide-from-left{0%{transform:translateX(-100%)}100%{transform:translateX(0)}}@keyframes sd-slide-from-right{0%{transform:translateX(200%)}100%{transform:translateX(0)}}@keyframes sd-grow100{0%{transform:scale(0);opacity:.5}100%{transform:scale(1);opacity:1}}@keyframes sd-grow50{0%{transform:scale(0.5);opacity:.5}100%{transform:scale(1);opacity:1}}@keyframes sd-grow50-rot20{0%{transform:scale(0.5) rotateZ(-20deg);opacity:.5}75%{transform:scale(1) rotateZ(5deg);opacity:1}95%{transform:scale(1) rotateZ(-1deg);opacity:1}100%{transform:scale(1) rotateZ(0);opacity:1}}.sd-animate-slide-from-left{animation:1s ease-out 0s 1 normal none running sd-slide-from-left}.sd-animate-slide-from-right{animation:1s ease-out 0s 1 normal none running sd-slide-from-right}.sd-animate-grow100{animation:1s ease-out 0s 1 normal none running sd-grow100}.sd-animate-grow50{animation:1s ease-out 0s 1 normal none running sd-grow50}.sd-animate-grow50-rot20{animation:1s ease-out 0s 1 normal none running sd-grow50-rot20}.sd-badge{display:inline-block;padding:.35em .65em;font-size:.75em;font-weight:700;line-height:1;text-align:center;white-space:nowrap;vertical-align:baseline;border-radius:.25rem}.sd-badge:empty{display:none}a.sd-badge{text-decoration:none}.sd-btn .sd-badge{position:relative;top:-1px}.sd-btn{background-color:transparent;border:1px solid transparent;border-radius:.25rem;cursor:pointer;display:inline-block;font-weight:400;font-size:1rem;line-height:1.5;padding:.375rem .75rem;text-align:center;text-decoration:none;transition:color .15s ease-in-out,background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out;vertical-align:middle;user-select:none;-moz-user-select:none;-ms-user-select:none;-webkit-user-select:none}.sd-btn:hover{text-decoration:none}@media(prefers-reduced-motion: reduce){.sd-btn{transition:none}}.sd-btn-primary,.sd-btn-outline-primary:hover,.sd-btn-outline-primary:focus{color:var(--sd-color-primary-text) !important;background-color:var(--sd-color-primary) !important;border-color:var(--sd-color-primary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-primary:hover,.sd-btn-primary:focus{color:var(--sd-color-primary-text) !important;background-color:var(--sd-color-primary-highlight) !important;border-color:var(--sd-color-primary-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-primary{color:var(--sd-color-primary) !important;border-color:var(--sd-color-primary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-secondary,.sd-btn-outline-secondary:hover,.sd-btn-outline-secondary:focus{color:var(--sd-color-secondary-text) !important;background-color:var(--sd-color-secondary) !important;border-color:var(--sd-color-secondary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-secondary:hover,.sd-btn-secondary:focus{color:var(--sd-color-secondary-text) !important;background-color:var(--sd-color-secondary-highlight) !important;border-color:var(--sd-color-secondary-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-secondary{color:var(--sd-color-secondary) !important;border-color:var(--sd-color-secondary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-success,.sd-btn-outline-success:hover,.sd-btn-outline-success:focus{color:var(--sd-color-success-text) !important;background-color:var(--sd-color-success) !important;border-color:var(--sd-color-success) !important;border-width:1px !important;border-style:solid !important}.sd-btn-success:hover,.sd-btn-success:focus{color:var(--sd-color-success-text) !important;background-color:var(--sd-color-success-highlight) !important;border-color:var(--sd-color-success-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-success{color:var(--sd-color-success) !important;border-color:var(--sd-color-success) !important;border-width:1px !important;border-style:solid !important}.sd-btn-info,.sd-btn-outline-info:hover,.sd-btn-outline-info:focus{color:var(--sd-color-info-text) !important;background-color:var(--sd-color-info) !important;border-color:var(--sd-color-info) !important;border-width:1px !important;border-style:solid !important}.sd-btn-info:hover,.sd-btn-info:focus{color:var(--sd-color-info-text) !important;background-color:var(--sd-color-info-highlight) !important;border-color:var(--sd-color-info-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-info{color:var(--sd-color-info) !important;border-color:var(--sd-color-info) !important;border-width:1px !important;border-style:solid !important}.sd-btn-warning,.sd-btn-outline-warning:hover,.sd-btn-outline-warning:focus{color:var(--sd-color-warning-text) !important;background-color:var(--sd-color-warning) !important;border-color:var(--sd-color-warning) !important;border-width:1px !important;border-style:solid !important}.sd-btn-warning:hover,.sd-btn-warning:focus{color:var(--sd-color-warning-text) !important;background-color:var(--sd-color-warning-highlight) !important;border-color:var(--sd-color-warning-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-warning{color:var(--sd-color-warning) !important;border-color:var(--sd-color-warning) !important;border-width:1px !important;border-style:solid !important}.sd-btn-danger,.sd-btn-outline-danger:hover,.sd-btn-outline-danger:focus{color:var(--sd-color-danger-text) !important;background-color:var(--sd-color-danger) !important;border-color:var(--sd-color-danger) !important;border-width:1px !important;border-style:solid !important}.sd-btn-danger:hover,.sd-btn-danger:focus{color:var(--sd-color-danger-text) !important;background-color:var(--sd-color-danger-highlight) !important;border-color:var(--sd-color-danger-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-danger{color:var(--sd-color-danger) !important;border-color:var(--sd-color-danger) !important;border-width:1px !important;border-style:solid !important}.sd-btn-light,.sd-btn-outline-light:hover,.sd-btn-outline-light:focus{color:var(--sd-color-light-text) !important;background-color:var(--sd-color-light) !important;border-color:var(--sd-color-light) !important;border-width:1px !important;border-style:solid !important}.sd-btn-light:hover,.sd-btn-light:focus{color:var(--sd-color-light-text) !important;background-color:var(--sd-color-light-highlight) !important;border-color:var(--sd-color-light-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-light{color:var(--sd-color-light) !important;border-color:var(--sd-color-light) !important;border-width:1px !important;border-style:solid !important}.sd-btn-muted,.sd-btn-outline-muted:hover,.sd-btn-outline-muted:focus{color:var(--sd-color-muted-text) !important;background-color:var(--sd-color-muted) !important;border-color:var(--sd-color-muted) !important;border-width:1px !important;border-style:solid !important}.sd-btn-muted:hover,.sd-btn-muted:focus{color:var(--sd-color-muted-text) !important;background-color:var(--sd-color-muted-highlight) !important;border-color:var(--sd-color-muted-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-muted{color:var(--sd-color-muted) !important;border-color:var(--sd-color-muted) !important;border-width:1px !important;border-style:solid !important}.sd-btn-dark,.sd-btn-outline-dark:hover,.sd-btn-outline-dark:focus{color:var(--sd-color-dark-text) !important;background-color:var(--sd-color-dark) !important;border-color:var(--sd-color-dark) !important;border-width:1px !important;border-style:solid !important}.sd-btn-dark:hover,.sd-btn-dark:focus{color:var(--sd-color-dark-text) !important;background-color:var(--sd-color-dark-highlight) !important;border-color:var(--sd-color-dark-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-dark{color:var(--sd-color-dark) !important;border-color:var(--sd-color-dark) !important;border-width:1px !important;border-style:solid !important}.sd-btn-black,.sd-btn-outline-black:hover,.sd-btn-outline-black:focus{color:var(--sd-color-black-text) !important;background-color:var(--sd-color-black) !important;border-color:var(--sd-color-black) !important;border-width:1px !important;border-style:solid !important}.sd-btn-black:hover,.sd-btn-black:focus{color:var(--sd-color-black-text) !important;background-color:var(--sd-color-black-highlight) !important;border-color:var(--sd-color-black-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-black{color:var(--sd-color-black) !important;border-color:var(--sd-color-black) !important;border-width:1px !important;border-style:solid !important}.sd-btn-white,.sd-btn-outline-white:hover,.sd-btn-outline-white:focus{color:var(--sd-color-white-text) !important;background-color:var(--sd-color-white) !important;border-color:var(--sd-color-white) !important;border-width:1px !important;border-style:solid !important}.sd-btn-white:hover,.sd-btn-white:focus{color:var(--sd-color-white-text) !important;background-color:var(--sd-color-white-highlight) !important;border-color:var(--sd-color-white-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-white{color:var(--sd-color-white) !important;border-color:var(--sd-color-white) !important;border-width:1px !important;border-style:solid !important}.sd-stretched-link::after{position:absolute;top:0;right:0;bottom:0;left:0;z-index:1;content:""}.sd-hide-link-text{font-size:0}.sd-octicon,.sd-material-icon{display:inline-block;fill:currentColor;vertical-align:middle}.sd-avatar-xs{border-radius:50%;object-fit:cover;object-position:center;width:1rem;height:1rem}.sd-avatar-sm{border-radius:50%;object-fit:cover;object-position:center;width:3rem;height:3rem}.sd-avatar-md{border-radius:50%;object-fit:cover;object-position:center;width:5rem;height:5rem}.sd-avatar-lg{border-radius:50%;object-fit:cover;object-position:center;width:7rem;height:7rem}.sd-avatar-xl{border-radius:50%;object-fit:cover;object-position:center;width:10rem;height:10rem}.sd-avatar-inherit{border-radius:50%;object-fit:cover;object-position:center;width:inherit;height:inherit}.sd-avatar-initial{border-radius:50%;object-fit:cover;object-position:center;width:initial;height:initial}.sd-card{background-clip:border-box;background-color:var(--sd-color-card-background);border:1px solid var(--sd-color-card-border);border-radius:.25rem;color:var(--sd-color-card-text);display:-ms-flexbox;display:flex;-ms-flex-direction:column;flex-direction:column;min-width:0;position:relative;word-wrap:break-word}.sd-card>hr{margin-left:0;margin-right:0}.sd-card-hover:hover{border-color:var(--sd-color-card-border-hover);transform:scale(1.01)}.sd-card-body{-ms-flex:1 1 auto;flex:1 1 auto;padding:1rem 1rem}.sd-card-title{margin-bottom:.5rem}.sd-card-subtitle{margin-top:-0.25rem;margin-bottom:0}.sd-card-text:last-child{margin-bottom:0}.sd-card-link:hover{text-decoration:none}.sd-card-link+.card-link{margin-left:1rem}.sd-card-header{padding:.5rem 1rem;margin-bottom:0;background-color:var(--sd-color-card-header);border-bottom:1px solid var(--sd-color-card-border)}.sd-card-header:first-child{border-radius:calc(0.25rem - 1px) calc(0.25rem - 1px) 0 0}.sd-card-footer{padding:.5rem 1rem;background-color:var(--sd-color-card-footer);border-top:1px solid var(--sd-color-card-border)}.sd-card-footer:last-child{border-radius:0 0 calc(0.25rem - 1px) calc(0.25rem - 1px)}.sd-card-header-tabs{margin-right:-0.5rem;margin-bottom:-0.5rem;margin-left:-0.5rem;border-bottom:0}.sd-card-header-pills{margin-right:-0.5rem;margin-left:-0.5rem}.sd-card-img-overlay{position:absolute;top:0;right:0;bottom:0;left:0;padding:1rem;border-radius:calc(0.25rem - 1px)}.sd-card-img,.sd-card-img-bottom,.sd-card-img-top{width:100%}.sd-card-img,.sd-card-img-top{border-top-left-radius:calc(0.25rem - 1px);border-top-right-radius:calc(0.25rem - 1px)}.sd-card-img,.sd-card-img-bottom{border-bottom-left-radius:calc(0.25rem - 1px);border-bottom-right-radius:calc(0.25rem - 1px)}.sd-cards-carousel{width:100%;display:flex;flex-wrap:nowrap;-ms-flex-direction:row;flex-direction:row;overflow-x:hidden;scroll-snap-type:x mandatory}.sd-cards-carousel.sd-show-scrollbar{overflow-x:auto}.sd-cards-carousel:hover,.sd-cards-carousel:focus{overflow-x:auto}.sd-cards-carousel>.sd-card{flex-shrink:0;scroll-snap-align:start}.sd-cards-carousel>.sd-card:not(:last-child){margin-right:3px}.sd-card-cols-1>.sd-card{width:90%}.sd-card-cols-2>.sd-card{width:45%}.sd-card-cols-3>.sd-card{width:30%}.sd-card-cols-4>.sd-card{width:22.5%}.sd-card-cols-5>.sd-card{width:18%}.sd-card-cols-6>.sd-card{width:15%}.sd-card-cols-7>.sd-card{width:12.8571428571%}.sd-card-cols-8>.sd-card{width:11.25%}.sd-card-cols-9>.sd-card{width:10%}.sd-card-cols-10>.sd-card{width:9%}.sd-card-cols-11>.sd-card{width:8.1818181818%}.sd-card-cols-12>.sd-card{width:7.5%}.sd-container,.sd-container-fluid,.sd-container-lg,.sd-container-md,.sd-container-sm,.sd-container-xl{margin-left:auto;margin-right:auto;padding-left:var(--sd-gutter-x, 0.75rem);padding-right:var(--sd-gutter-x, 0.75rem);width:100%}@media(min-width: 576px){.sd-container-sm,.sd-container{max-width:540px}}@media(min-width: 768px){.sd-container-md,.sd-container-sm,.sd-container{max-width:720px}}@media(min-width: 992px){.sd-container-lg,.sd-container-md,.sd-container-sm,.sd-container{max-width:960px}}@media(min-width: 1200px){.sd-container-xl,.sd-container-lg,.sd-container-md,.sd-container-sm,.sd-container{max-width:1140px}}.sd-row{--sd-gutter-x: 1.5rem;--sd-gutter-y: 0;display:-ms-flexbox;display:flex;-ms-flex-wrap:wrap;flex-wrap:wrap;margin-top:calc(var(--sd-gutter-y) * -1);margin-right:calc(var(--sd-gutter-x) * -0.5);margin-left:calc(var(--sd-gutter-x) * -0.5)}.sd-row>*{box-sizing:border-box;flex-shrink:0;width:100%;max-width:100%;padding-right:calc(var(--sd-gutter-x) * 0.5);padding-left:calc(var(--sd-gutter-x) * 0.5);margin-top:var(--sd-gutter-y)}.sd-col{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-auto>*{flex:0 0 auto;width:auto}.sd-row-cols-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}@media(min-width: 576px){.sd-col-sm{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-sm-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-sm-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-sm-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-sm-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-sm-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-sm-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-sm-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-sm-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-sm-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-sm-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-sm-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-sm-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-sm-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}@media(min-width: 768px){.sd-col-md{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-md-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-md-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-md-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-md-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-md-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-md-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-md-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-md-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-md-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-md-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-md-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-md-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-md-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}@media(min-width: 992px){.sd-col-lg{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-lg-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-lg-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-lg-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-lg-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-lg-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-lg-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-lg-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-lg-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-lg-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-lg-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-lg-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-lg-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-lg-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}@media(min-width: 1200px){.sd-col-xl{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-xl-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-xl-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-xl-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-xl-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-xl-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-xl-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-xl-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-xl-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-xl-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-xl-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-xl-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-xl-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-xl-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}.sd-col-auto{flex:0 0 auto;-ms-flex:0 0 auto;width:auto}.sd-col-1{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}.sd-col-2{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-col-3{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-col-4{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-col-5{flex:0 0 auto;-ms-flex:0 0 auto;width:41.6666666667%}.sd-col-6{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-col-7{flex:0 0 auto;-ms-flex:0 0 auto;width:58.3333333333%}.sd-col-8{flex:0 0 auto;-ms-flex:0 0 auto;width:66.6666666667%}.sd-col-9{flex:0 0 auto;-ms-flex:0 0 auto;width:75%}.sd-col-10{flex:0 0 auto;-ms-flex:0 0 auto;width:83.3333333333%}.sd-col-11{flex:0 0 auto;-ms-flex:0 0 auto;width:91.6666666667%}.sd-col-12{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-g-0,.sd-gy-0{--sd-gutter-y: 0}.sd-g-0,.sd-gx-0{--sd-gutter-x: 0}.sd-g-1,.sd-gy-1{--sd-gutter-y: 0.25rem}.sd-g-1,.sd-gx-1{--sd-gutter-x: 0.25rem}.sd-g-2,.sd-gy-2{--sd-gutter-y: 0.5rem}.sd-g-2,.sd-gx-2{--sd-gutter-x: 0.5rem}.sd-g-3,.sd-gy-3{--sd-gutter-y: 1rem}.sd-g-3,.sd-gx-3{--sd-gutter-x: 1rem}.sd-g-4,.sd-gy-4{--sd-gutter-y: 1.5rem}.sd-g-4,.sd-gx-4{--sd-gutter-x: 1.5rem}.sd-g-5,.sd-gy-5{--sd-gutter-y: 3rem}.sd-g-5,.sd-gx-5{--sd-gutter-x: 3rem}@media(min-width: 576px){.sd-col-sm-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-sm-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-sm-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-sm-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-sm-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-sm-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-sm-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-sm-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-sm-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-sm-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-sm-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-sm-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-sm-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-sm-0,.sd-gy-sm-0{--sd-gutter-y: 0}.sd-g-sm-0,.sd-gx-sm-0{--sd-gutter-x: 0}.sd-g-sm-1,.sd-gy-sm-1{--sd-gutter-y: 0.25rem}.sd-g-sm-1,.sd-gx-sm-1{--sd-gutter-x: 0.25rem}.sd-g-sm-2,.sd-gy-sm-2{--sd-gutter-y: 0.5rem}.sd-g-sm-2,.sd-gx-sm-2{--sd-gutter-x: 0.5rem}.sd-g-sm-3,.sd-gy-sm-3{--sd-gutter-y: 1rem}.sd-g-sm-3,.sd-gx-sm-3{--sd-gutter-x: 1rem}.sd-g-sm-4,.sd-gy-sm-4{--sd-gutter-y: 1.5rem}.sd-g-sm-4,.sd-gx-sm-4{--sd-gutter-x: 1.5rem}.sd-g-sm-5,.sd-gy-sm-5{--sd-gutter-y: 3rem}.sd-g-sm-5,.sd-gx-sm-5{--sd-gutter-x: 3rem}}@media(min-width: 768px){.sd-col-md-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-md-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-md-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-md-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-md-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-md-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-md-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-md-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-md-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-md-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-md-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-md-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-md-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-md-0,.sd-gy-md-0{--sd-gutter-y: 0}.sd-g-md-0,.sd-gx-md-0{--sd-gutter-x: 0}.sd-g-md-1,.sd-gy-md-1{--sd-gutter-y: 0.25rem}.sd-g-md-1,.sd-gx-md-1{--sd-gutter-x: 0.25rem}.sd-g-md-2,.sd-gy-md-2{--sd-gutter-y: 0.5rem}.sd-g-md-2,.sd-gx-md-2{--sd-gutter-x: 0.5rem}.sd-g-md-3,.sd-gy-md-3{--sd-gutter-y: 1rem}.sd-g-md-3,.sd-gx-md-3{--sd-gutter-x: 1rem}.sd-g-md-4,.sd-gy-md-4{--sd-gutter-y: 1.5rem}.sd-g-md-4,.sd-gx-md-4{--sd-gutter-x: 1.5rem}.sd-g-md-5,.sd-gy-md-5{--sd-gutter-y: 3rem}.sd-g-md-5,.sd-gx-md-5{--sd-gutter-x: 3rem}}@media(min-width: 992px){.sd-col-lg-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-lg-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-lg-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-lg-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-lg-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-lg-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-lg-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-lg-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-lg-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-lg-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-lg-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-lg-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-lg-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-lg-0,.sd-gy-lg-0{--sd-gutter-y: 0}.sd-g-lg-0,.sd-gx-lg-0{--sd-gutter-x: 0}.sd-g-lg-1,.sd-gy-lg-1{--sd-gutter-y: 0.25rem}.sd-g-lg-1,.sd-gx-lg-1{--sd-gutter-x: 0.25rem}.sd-g-lg-2,.sd-gy-lg-2{--sd-gutter-y: 0.5rem}.sd-g-lg-2,.sd-gx-lg-2{--sd-gutter-x: 0.5rem}.sd-g-lg-3,.sd-gy-lg-3{--sd-gutter-y: 1rem}.sd-g-lg-3,.sd-gx-lg-3{--sd-gutter-x: 1rem}.sd-g-lg-4,.sd-gy-lg-4{--sd-gutter-y: 1.5rem}.sd-g-lg-4,.sd-gx-lg-4{--sd-gutter-x: 1.5rem}.sd-g-lg-5,.sd-gy-lg-5{--sd-gutter-y: 3rem}.sd-g-lg-5,.sd-gx-lg-5{--sd-gutter-x: 3rem}}@media(min-width: 1200px){.sd-col-xl-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-xl-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-xl-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-xl-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-xl-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-xl-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-xl-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-xl-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-xl-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-xl-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-xl-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-xl-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-xl-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-xl-0,.sd-gy-xl-0{--sd-gutter-y: 0}.sd-g-xl-0,.sd-gx-xl-0{--sd-gutter-x: 0}.sd-g-xl-1,.sd-gy-xl-1{--sd-gutter-y: 0.25rem}.sd-g-xl-1,.sd-gx-xl-1{--sd-gutter-x: 0.25rem}.sd-g-xl-2,.sd-gy-xl-2{--sd-gutter-y: 0.5rem}.sd-g-xl-2,.sd-gx-xl-2{--sd-gutter-x: 0.5rem}.sd-g-xl-3,.sd-gy-xl-3{--sd-gutter-y: 1rem}.sd-g-xl-3,.sd-gx-xl-3{--sd-gutter-x: 1rem}.sd-g-xl-4,.sd-gy-xl-4{--sd-gutter-y: 1.5rem}.sd-g-xl-4,.sd-gx-xl-4{--sd-gutter-x: 1.5rem}.sd-g-xl-5,.sd-gy-xl-5{--sd-gutter-y: 3rem}.sd-g-xl-5,.sd-gx-xl-5{--sd-gutter-x: 3rem}}.sd-flex-row-reverse{flex-direction:row-reverse !important}details.sd-dropdown{position:relative}details.sd-dropdown .sd-summary-title{font-weight:700;padding-right:3em !important;-moz-user-select:none;-ms-user-select:none;-webkit-user-select:none;user-select:none}details.sd-dropdown:hover{cursor:pointer}details.sd-dropdown .sd-summary-content{cursor:default}details.sd-dropdown summary{list-style:none;padding:1em}details.sd-dropdown summary .sd-octicon.no-title{vertical-align:middle}details.sd-dropdown[open] summary .sd-octicon.no-title{visibility:hidden}details.sd-dropdown summary::-webkit-details-marker{display:none}details.sd-dropdown summary:focus{outline:none}details.sd-dropdown .sd-summary-icon{margin-right:.5em}details.sd-dropdown .sd-summary-icon svg{opacity:.8}details.sd-dropdown summary:hover .sd-summary-up svg,details.sd-dropdown summary:hover .sd-summary-down svg{opacity:1;transform:scale(1.1)}details.sd-dropdown .sd-summary-up svg,details.sd-dropdown .sd-summary-down svg{display:block;opacity:.6}details.sd-dropdown .sd-summary-up,details.sd-dropdown .sd-summary-down{pointer-events:none;position:absolute;right:1em;top:1em}details.sd-dropdown[open]>.sd-summary-title .sd-summary-down{visibility:hidden}details.sd-dropdown:not([open])>.sd-summary-title .sd-summary-up{visibility:hidden}details.sd-dropdown:not([open]).sd-card{border:none}details.sd-dropdown:not([open])>.sd-card-header{border:1px solid var(--sd-color-card-border);border-radius:.25rem}details.sd-dropdown.sd-fade-in[open] summary~*{-moz-animation:sd-fade-in .5s ease-in-out;-webkit-animation:sd-fade-in .5s ease-in-out;animation:sd-fade-in .5s ease-in-out}details.sd-dropdown.sd-fade-in-slide-down[open] summary~*{-moz-animation:sd-fade-in .5s ease-in-out,sd-slide-down .5s ease-in-out;-webkit-animation:sd-fade-in .5s ease-in-out,sd-slide-down .5s ease-in-out;animation:sd-fade-in .5s ease-in-out,sd-slide-down .5s ease-in-out}.sd-col>.sd-dropdown{width:100%}.sd-summary-content>.sd-tab-set:first-child{margin-top:0}@keyframes sd-fade-in{0%{opacity:0}100%{opacity:1}}@keyframes sd-slide-down{0%{transform:translate(0, -10px)}100%{transform:translate(0, 0)}}.sd-tab-set{border-radius:.125rem;display:flex;flex-wrap:wrap;margin:1em 0;position:relative}.sd-tab-set>input{opacity:0;position:absolute}.sd-tab-set>input:checked+label{border-color:var(--sd-color-tabs-underline-active);color:var(--sd-color-tabs-label-active)}.sd-tab-set>input:checked+label+.sd-tab-content{display:block}.sd-tab-set>input:not(:checked)+label:hover{color:var(--sd-color-tabs-label-hover);border-color:var(--sd-color-tabs-underline-hover)}.sd-tab-set>input:focus+label{outline-style:auto}.sd-tab-set>input:not(.focus-visible)+label{outline:none;-webkit-tap-highlight-color:transparent}.sd-tab-set>label{border-bottom:.125rem solid transparent;margin-bottom:0;color:var(--sd-color-tabs-label-inactive);border-color:var(--sd-color-tabs-underline-inactive);cursor:pointer;font-size:var(--sd-fontsize-tabs-label);font-weight:700;padding:1em 1.25em .5em;transition:color 250ms;width:auto;z-index:1}html .sd-tab-set>label:hover{color:var(--sd-color-tabs-label-active)}.sd-col>.sd-tab-set{width:100%}.sd-tab-content{box-shadow:0 -0.0625rem var(--sd-color-tabs-overline),0 .0625rem var(--sd-color-tabs-underline);display:none;order:99;padding-bottom:.75rem;padding-top:.75rem;width:100%}.sd-tab-content>:first-child{margin-top:0 !important}.sd-tab-content>:last-child{margin-bottom:0 !important}.sd-tab-content>.sd-tab-set{margin:0}.sd-sphinx-override,.sd-sphinx-override *{-moz-box-sizing:border-box;-webkit-box-sizing:border-box;box-sizing:border-box}.sd-sphinx-override p{margin-top:0}:root{--sd-color-primary: #007bff;--sd-color-secondary: #6c757d;--sd-color-success: #28a745;--sd-color-info: #17a2b8;--sd-color-warning: #f0b37e;--sd-color-danger: #dc3545;--sd-color-light: #f8f9fa;--sd-color-muted: #6c757d;--sd-color-dark: #212529;--sd-color-black: black;--sd-color-white: white;--sd-color-primary-highlight: #0069d9;--sd-color-secondary-highlight: #5c636a;--sd-color-success-highlight: #228e3b;--sd-color-info-highlight: #148a9c;--sd-color-warning-highlight: #cc986b;--sd-color-danger-highlight: #bb2d3b;--sd-color-light-highlight: #d3d4d5;--sd-color-muted-highlight: #5c636a;--sd-color-dark-highlight: #1c1f23;--sd-color-black-highlight: black;--sd-color-white-highlight: #d9d9d9;--sd-color-primary-text: #fff;--sd-color-secondary-text: #fff;--sd-color-success-text: #fff;--sd-color-info-text: #fff;--sd-color-warning-text: #212529;--sd-color-danger-text: #fff;--sd-color-light-text: #212529;--sd-color-muted-text: #fff;--sd-color-dark-text: #fff;--sd-color-black-text: #fff;--sd-color-white-text: #212529;--sd-color-shadow: rgba(0, 0, 0, 0.15);--sd-color-card-border: rgba(0, 0, 0, 0.125);--sd-color-card-border-hover: hsla(231, 99%, 66%, 1);--sd-color-card-background: transparent;--sd-color-card-text: inherit;--sd-color-card-header: transparent;--sd-color-card-footer: transparent;--sd-color-tabs-label-active: hsla(231, 99%, 66%, 1);--sd-color-tabs-label-hover: hsla(231, 99%, 66%, 1);--sd-color-tabs-label-inactive: hsl(0, 0%, 66%);--sd-color-tabs-underline-active: hsla(231, 99%, 66%, 1);--sd-color-tabs-underline-hover: rgba(178, 206, 245, 0.62);--sd-color-tabs-underline-inactive: transparent;--sd-color-tabs-overline: rgb(222, 222, 222);--sd-color-tabs-underline: rgb(222, 222, 222);--sd-fontsize-tabs-label: 1rem}
diff --git a/_sphinx_design_static/design-tabs.js b/_sphinx_design_static/design-tabs.js
index 36b38cf0..a869cf55 100755
--- a/_sphinx_design_static/design-tabs.js
+++ b/_sphinx_design_static/design-tabs.js
@@ -1,27 +1,27 @@
-var sd_labels_by_text = {};
-
-function ready() {
- const li = document.getElementsByClassName("sd-tab-label");
- for (const label of li) {
- syncId = label.getAttribute("data-sync-id");
- if (syncId) {
- label.onclick = onLabelClick;
- if (!sd_labels_by_text[syncId]) {
- sd_labels_by_text[syncId] = [];
- }
- sd_labels_by_text[syncId].push(label);
- }
- }
-}
-
-function onLabelClick() {
- // Activate other inputs with the same sync id.
- syncId = this.getAttribute("data-sync-id");
- for (label of sd_labels_by_text[syncId]) {
- if (label === this) continue;
- label.previousElementSibling.checked = true;
- }
- window.localStorage.setItem("sphinx-design-last-tab", syncId);
-}
-
-document.addEventListener("DOMContentLoaded", ready, false);
+var sd_labels_by_text = {};
+
+function ready() {
+ const li = document.getElementsByClassName("sd-tab-label");
+ for (const label of li) {
+ syncId = label.getAttribute("data-sync-id");
+ if (syncId) {
+ label.onclick = onLabelClick;
+ if (!sd_labels_by_text[syncId]) {
+ sd_labels_by_text[syncId] = [];
+ }
+ sd_labels_by_text[syncId].push(label);
+ }
+ }
+}
+
+function onLabelClick() {
+ // Activate other inputs with the same sync id.
+ syncId = this.getAttribute("data-sync-id");
+ for (label of sd_labels_by_text[syncId]) {
+ if (label === this) continue;
+ label.previousElementSibling.checked = true;
+ }
+ window.localStorage.setItem("sphinx-design-last-tab", syncId);
+}
+
+document.addEventListener("DOMContentLoaded", ready, false);
diff --git a/_static/basic.css b/_static/basic.css
index 61778181..d613287e 100755
--- a/_static/basic.css
+++ b/_static/basic.css
@@ -236,16 +236,6 @@ div.body p, div.body dd, div.body li, div.body blockquote {
a.headerlink {
visibility: hidden;
}
-a.brackets:before,
-span.brackets > a:before{
- content: "[";
-}
-
-a.brackets:after,
-span.brackets > a:after {
- content: "]";
-}
-
h1:hover > a.headerlink,
h2:hover > a.headerlink,
@@ -334,11 +324,17 @@ aside.sidebar {
p.sidebar-title {
font-weight: bold;
}
+nav.contents,
+aside.topic,
+
div.admonition, div.topic, blockquote {
clear: left;
}
/* -- topics ---------------------------------------------------------------- */
+nav.contents,
+aside.topic,
+
div.topic {
border: 1px solid #ccc;
padding: 7px;
@@ -377,6 +373,9 @@ div.body p.centered {
div.sidebar > :last-child,
aside.sidebar > :last-child,
+nav.contents > :last-child,
+aside.topic > :last-child,
+
div.topic > :last-child,
div.admonition > :last-child {
margin-bottom: 0;
@@ -384,6 +383,9 @@ div.admonition > :last-child {
div.sidebar::after,
aside.sidebar::after,
+nav.contents::after,
+aside.topic::after,
+
div.topic::after,
div.admonition::after,
blockquote::after {
diff --git a/_static/css/blank.css b/_static/css/blank.css
index 8a686ec7..80c40fb4 100755
--- a/_static/css/blank.css
+++ b/_static/css/blank.css
@@ -1,2 +1,2 @@
-/* This file is intentionally left blank to override the stylesheet of the
+/* This file is intentionally left blank to override the stylesheet of the
parent theme via theme.conf. The parent style we import directly in theme.css */
\ No newline at end of file
diff --git a/_static/css/index.73d71520a4ca3b99cfee5594769eaaae.css b/_static/css/index.73d71520a4ca3b99cfee5594769eaaae.css
index 948a8bf1..dfa47cdc 100755
--- a/_static/css/index.73d71520a4ca3b99cfee5594769eaaae.css
+++ b/_static/css/index.73d71520a4ca3b99cfee5594769eaaae.css
@@ -1,6 +1,6 @@
-/*!
- * Bootstrap v4.5.0 (https://getbootstrap.com/)
- * Copyright 2011-2020 The Bootstrap Authors
- * Copyright 2011-2020 Twitter, Inc.
- * Licensed under MIT (https://github.com/twbs/bootstrap/blob/master/LICENSE)
+/*!
+ * Bootstrap v4.5.0 (https://getbootstrap.com/)
+ * Copyright 2011-2020 The Bootstrap Authors
+ * Copyright 2011-2020 Twitter, Inc.
+ * Licensed under MIT (https://github.com/twbs/bootstrap/blob/master/LICENSE)
*/:root{--blue:#007bff;--indigo:#6610f2;--purple:#6f42c1;--pink:#e83e8c;--red:#dc3545;--orange:#fd7e14;--yellow:#ffc107;--green:#28a745;--teal:#20c997;--cyan:#17a2b8;--white:#fff;--gray:#6c757d;--gray-dark:#343a40;--primary:#007bff;--secondary:#6c757d;--success:#28a745;--info:#17a2b8;--warning:#ffc107;--danger:#dc3545;--light:#f8f9fa;--dark:#343a40;--breakpoint-xs:0;--breakpoint-sm:576px;--breakpoint-md:768px;--breakpoint-lg:992px;--breakpoint-xl:1200px;--font-family-sans-serif:-apple-system,BlinkMacSystemFont,"Segoe UI",Roboto,"Helvetica Neue",Arial,"Noto Sans",sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol","Noto Color Emoji";--font-family-monospace:SFMono-Regular,Menlo,Monaco,Consolas,"Liberation Mono","Courier New",monospace}*,:after,:before{box-sizing:border-box}html{font-family:sans-serif;line-height:1.15;-webkit-text-size-adjust:100%;-webkit-tap-highlight-color:rgba(0,0,0,0)}article,aside,figcaption,figure,footer,header,hgroup,main,nav,section{display:block}body{margin:0;font-family:-apple-system,BlinkMacSystemFont,Segoe UI,Roboto,Helvetica Neue,Arial,Noto Sans,sans-serif,Apple Color Emoji,Segoe UI Emoji,Segoe UI Symbol,Noto Color Emoji;font-size:1rem;line-height:1.5;color:#212529;text-align:left}[tabindex="-1"]:focus:not(:focus-visible){outline:0!important}hr{box-sizing:content-box;height:0;overflow:visible}h1,h2,h3,h4,h5,h6{margin-top:0;margin-bottom:.5rem}p{margin-top:0;margin-bottom:1rem}abbr[data-original-title],abbr[title]{text-decoration:underline;text-decoration:underline dotted;cursor:help;border-bottom:0;text-decoration-skip-ink:none}address{font-style:normal;line-height:inherit}address,dl,ol,ul{margin-bottom:1rem}dl,ol,ul{margin-top:0}ol ol,ol ul,ul ol,ul ul{margin-bottom:0}dt{font-weight:700}dd{margin-bottom:.5rem;margin-left:0}blockquote{margin:0 0 1rem}b,strong{font-weight:bolder}small{font-size:80%}sub,sup{position:relative;font-size:75%;line-height:0;vertical-align:baseline}sub{bottom:-.25em}sup{top:-.5em}a{color:#007bff;background-color:transparent}a:hover{color:#0056b3}a:not([href]),a:not([href]):hover{color:inherit;text-decoration:none}code,kbd,pre,samp{font-family:SFMono-Regular,Menlo,Monaco,Consolas,Liberation Mono,Courier New,monospace;font-size:1em}pre{margin-top:0;margin-bottom:1rem;overflow:auto;-ms-overflow-style:scrollbar}figure{margin:0 0 1rem}img{border-style:none}img,svg{vertical-align:middle}svg{overflow:hidden}table{border-collapse:collapse}caption{padding-top:.75rem;padding-bottom:.75rem;color:#6c757d;text-align:left;caption-side:bottom}th{text-align:inherit}label{display:inline-block;margin-bottom:.5rem}button{border-radius:0}button:focus{outline:1px dotted;outline:5px auto -webkit-focus-ring-color}button,input,optgroup,select,textarea{margin:0;font-family:inherit;font-size:inherit;line-height:inherit}button,input{overflow:visible}button,select{text-transform:none}[role=button]{cursor:pointer}select{word-wrap:normal}[type=button],[type=reset],[type=submit],button{-webkit-appearance:button}[type=button]:not(:disabled),[type=reset]:not(:disabled),[type=submit]:not(:disabled),button:not(:disabled){cursor:pointer}[type=button]::-moz-focus-inner,[type=reset]::-moz-focus-inner,[type=submit]::-moz-focus-inner,button::-moz-focus-inner{padding:0;border-style:none}input[type=checkbox],input[type=radio]{box-sizing:border-box;padding:0}textarea{overflow:auto;resize:vertical}fieldset{min-width:0;padding:0;margin:0;border:0}legend{display:block;width:100%;max-width:100%;padding:0;margin-bottom:.5rem;font-size:1.5rem;line-height:inherit;color:inherit;white-space:normal}progress{vertical-align:baseline}[type=number]::-webkit-inner-spin-button,[type=number]::-webkit-outer-spin-button{height:auto}[type=search]{outline-offset:-2px;-webkit-appearance:none}[type=search]::-webkit-search-decoration{-webkit-appearance:none}::-webkit-file-upload-button{font:inherit;-webkit-appearance:button}output{display:inline-block}summary{display:list-item;cursor:pointer}template{display:none}[hidden]{display:none!important}.h1,.h2,.h3,.h4,.h5,.h6,h1,h2,h3,h4,h5,h6{margin-bottom:.5rem;font-weight:500;line-height:1.2}.h1,h1{font-size:2.5rem}.h2,h2{font-size:2rem}.h3,h3{font-size:1.75rem}.h4,h4{font-size:1.5rem}.h5,h5{font-size:1.25rem}.h6,h6{font-size:1rem}.lead{font-size:1.25rem;font-weight:300}.display-1{font-size:6rem}.display-1,.display-2{font-weight:300;line-height:1.2}.display-2{font-size:5.5rem}.display-3{font-size:4.5rem}.display-3,.display-4{font-weight:300;line-height:1.2}.display-4{font-size:3.5rem}hr{margin-top:1rem;margin-bottom:1rem;border-top:1px solid rgba(0,0,0,.1)}.small,small{font-size:80%;font-weight:400}.mark,mark{padding:.2em;background-color:#fcf8e3}.list-inline,.list-unstyled{padding-left:0;list-style:none}.list-inline-item{display:inline-block}.list-inline-item:not(:last-child){margin-right:.5rem}.initialism{font-size:90%;text-transform:uppercase}.blockquote{margin-bottom:1rem;font-size:1.25rem}.blockquote-footer{display:block;font-size:80%;color:#6c757d}.blockquote-footer:before{content:"\2014\00A0"}.img-fluid,.img-thumbnail{max-width:100%;height:auto}.img-thumbnail{padding:.25rem;background-color:#fff;border:1px solid #dee2e6;border-radius:.25rem}.figure{display:inline-block}.figure-img{margin-bottom:.5rem;line-height:1}.figure-caption{font-size:90%;color:#6c757d}code{font-size:87.5%;color:#e83e8c;word-wrap:break-word}a>code{color:inherit}kbd{padding:.2rem .4rem;font-size:87.5%;color:#fff;background-color:#212529;border-radius:.2rem}kbd kbd{padding:0;font-size:100%;font-weight:700}pre{display:block;font-size:87.5%;color:#212529}pre code{font-size:inherit;color:inherit;word-break:normal}.pre-scrollable{max-height:340px;overflow-y:scroll}.container{width:100%;padding-right:15px;padding-left:15px;margin-right:auto;margin-left:auto}@media (min-width:576px){.container{max-width:540px}}@media (min-width:768px){.container{max-width:720px}}@media (min-width:992px){.container{max-width:960px}}@media (min-width:1200px){.container{max-width:1400px}}.container-fluid,.container-lg,.container-md,.container-sm,.container-xl{width:100%;padding-right:15px;padding-left:15px;margin-right:auto;margin-left:auto}@media (min-width:576px){.container,.container-sm{max-width:540px}}@media (min-width:768px){.container,.container-md,.container-sm{max-width:720px}}@media (min-width:992px){.container,.container-lg,.container-md,.container-sm{max-width:960px}}@media (min-width:1200px){.container,.container-lg,.container-md,.container-sm,.container-xl{max-width:1400px}}.row{display:flex;flex-wrap:wrap;margin-right:-15px;margin-left:-15px}.no-gutters{margin-right:0;margin-left:0}.no-gutters>.col,.no-gutters>[class*=col-]{padding-right:0;padding-left:0}.col,.col-1,.col-2,.col-3,.col-4,.col-5,.col-6,.col-7,.col-8,.col-9,.col-10,.col-11,.col-12,.col-auto,.col-lg,.col-lg-1,.col-lg-2,.col-lg-3,.col-lg-4,.col-lg-5,.col-lg-6,.col-lg-7,.col-lg-8,.col-lg-9,.col-lg-10,.col-lg-11,.col-lg-12,.col-lg-auto,.col-md,.col-md-1,.col-md-2,.col-md-3,.col-md-4,.col-md-5,.col-md-6,.col-md-7,.col-md-8,.col-md-9,.col-md-10,.col-md-11,.col-md-12,.col-md-auto,.col-sm,.col-sm-1,.col-sm-2,.col-sm-3,.col-sm-4,.col-sm-5,.col-sm-6,.col-sm-7,.col-sm-8,.col-sm-9,.col-sm-10,.col-sm-11,.col-sm-12,.col-sm-auto,.col-xl,.col-xl-1,.col-xl-2,.col-xl-3,.col-xl-4,.col-xl-5,.col-xl-6,.col-xl-7,.col-xl-8,.col-xl-9,.col-xl-10,.col-xl-11,.col-xl-12,.col-xl-auto{position:relative;width:100%;padding-right:15px;padding-left:15px}.col{flex-basis:0;flex-grow:1;min-width:0;max-width:100%}.row-cols-1>*{flex:0 0 100%;max-width:100%}.row-cols-2>*{flex:0 0 50%;max-width:50%}.row-cols-3>*{flex:0 0 33.33333%;max-width:33.33333%}.row-cols-4>*{flex:0 0 25%;max-width:25%}.row-cols-5>*{flex:0 0 20%;max-width:20%}.row-cols-6>*{flex:0 0 16.66667%;max-width:16.66667%}.col-auto{flex:0 0 auto;width:auto;max-width:100%}.col-1{flex:0 0 8.33333%;max-width:8.33333%}.col-2{flex:0 0 16.66667%;max-width:16.66667%}.col-3{flex:0 0 25%;max-width:25%}.col-4{flex:0 0 33.33333%;max-width:33.33333%}.col-5{flex:0 0 41.66667%;max-width:41.66667%}.col-6{flex:0 0 50%;max-width:50%}.col-7{flex:0 0 58.33333%;max-width:58.33333%}.col-8{flex:0 0 66.66667%;max-width:66.66667%}.col-9{flex:0 0 75%;max-width:75%}.col-10{flex:0 0 83.33333%;max-width:83.33333%}.col-11{flex:0 0 91.66667%;max-width:91.66667%}.col-12{flex:0 0 100%;max-width:100%}.order-first{order:-1}.order-last{order:13}.order-0{order:0}.order-1{order:1}.order-2{order:2}.order-3{order:3}.order-4{order:4}.order-5{order:5}.order-6{order:6}.order-7{order:7}.order-8{order:8}.order-9{order:9}.order-10{order:10}.order-11{order:11}.order-12{order:12}.offset-1{margin-left:8.33333%}.offset-2{margin-left:16.66667%}.offset-3{margin-left:25%}.offset-4{margin-left:33.33333%}.offset-5{margin-left:41.66667%}.offset-6{margin-left:50%}.offset-7{margin-left:58.33333%}.offset-8{margin-left:66.66667%}.offset-9{margin-left:75%}.offset-10{margin-left:83.33333%}.offset-11{margin-left:91.66667%}@media (min-width:576px){.col-sm{flex-basis:0;flex-grow:1;min-width:0;max-width:100%}.row-cols-sm-1>*{flex:0 0 100%;max-width:100%}.row-cols-sm-2>*{flex:0 0 50%;max-width:50%}.row-cols-sm-3>*{flex:0 0 33.33333%;max-width:33.33333%}.row-cols-sm-4>*{flex:0 0 25%;max-width:25%}.row-cols-sm-5>*{flex:0 0 20%;max-width:20%}.row-cols-sm-6>*{flex:0 0 16.66667%;max-width:16.66667%}.col-sm-auto{flex:0 0 auto;width:auto;max-width:100%}.col-sm-1{flex:0 0 8.33333%;max-width:8.33333%}.col-sm-2{flex:0 0 16.66667%;max-width:16.66667%}.col-sm-3{flex:0 0 25%;max-width:25%}.col-sm-4{flex:0 0 33.33333%;max-width:33.33333%}.col-sm-5{flex:0 0 41.66667%;max-width:41.66667%}.col-sm-6{flex:0 0 50%;max-width:50%}.col-sm-7{flex:0 0 58.33333%;max-width:58.33333%}.col-sm-8{flex:0 0 66.66667%;max-width:66.66667%}.col-sm-9{flex:0 0 75%;max-width:75%}.col-sm-10{flex:0 0 83.33333%;max-width:83.33333%}.col-sm-11{flex:0 0 91.66667%;max-width:91.66667%}.col-sm-12{flex:0 0 100%;max-width:100%}.order-sm-first{order:-1}.order-sm-last{order:13}.order-sm-0{order:0}.order-sm-1{order:1}.order-sm-2{order:2}.order-sm-3{order:3}.order-sm-4{order:4}.order-sm-5{order:5}.order-sm-6{order:6}.order-sm-7{order:7}.order-sm-8{order:8}.order-sm-9{order:9}.order-sm-10{order:10}.order-sm-11{order:11}.order-sm-12{order:12}.offset-sm-0{margin-left:0}.offset-sm-1{margin-left:8.33333%}.offset-sm-2{margin-left:16.66667%}.offset-sm-3{margin-left:25%}.offset-sm-4{margin-left:33.33333%}.offset-sm-5{margin-left:41.66667%}.offset-sm-6{margin-left:50%}.offset-sm-7{margin-left:58.33333%}.offset-sm-8{margin-left:66.66667%}.offset-sm-9{margin-left:75%}.offset-sm-10{margin-left:83.33333%}.offset-sm-11{margin-left:91.66667%}}@media (min-width:768px){.col-md{flex-basis:0;flex-grow:1;min-width:0;max-width:100%}.row-cols-md-1>*{flex:0 0 100%;max-width:100%}.row-cols-md-2>*{flex:0 0 50%;max-width:50%}.row-cols-md-3>*{flex:0 0 33.33333%;max-width:33.33333%}.row-cols-md-4>*{flex:0 0 25%;max-width:25%}.row-cols-md-5>*{flex:0 0 20%;max-width:20%}.row-cols-md-6>*{flex:0 0 16.66667%;max-width:16.66667%}.col-md-auto{flex:0 0 auto;width:auto;max-width:100%}.col-md-1{flex:0 0 8.33333%;max-width:8.33333%}.col-md-2{flex:0 0 16.66667%;max-width:16.66667%}.col-md-3{flex:0 0 25%;max-width:25%}.col-md-4{flex:0 0 33.33333%;max-width:33.33333%}.col-md-5{flex:0 0 41.66667%;max-width:41.66667%}.col-md-6{flex:0 0 50%;max-width:50%}.col-md-7{flex:0 0 58.33333%;max-width:58.33333%}.col-md-8{flex:0 0 66.66667%;max-width:66.66667%}.col-md-9{flex:0 0 75%;max-width:75%}.col-md-10{flex:0 0 83.33333%;max-width:83.33333%}.col-md-11{flex:0 0 91.66667%;max-width:91.66667%}.col-md-12{flex:0 0 100%;max-width:100%}.order-md-first{order:-1}.order-md-last{order:13}.order-md-0{order:0}.order-md-1{order:1}.order-md-2{order:2}.order-md-3{order:3}.order-md-4{order:4}.order-md-5{order:5}.order-md-6{order:6}.order-md-7{order:7}.order-md-8{order:8}.order-md-9{order:9}.order-md-10{order:10}.order-md-11{order:11}.order-md-12{order:12}.offset-md-0{margin-left:0}.offset-md-1{margin-left:8.33333%}.offset-md-2{margin-left:16.66667%}.offset-md-3{margin-left:25%}.offset-md-4{margin-left:33.33333%}.offset-md-5{margin-left:41.66667%}.offset-md-6{margin-left:50%}.offset-md-7{margin-left:58.33333%}.offset-md-8{margin-left:66.66667%}.offset-md-9{margin-left:75%}.offset-md-10{margin-left:83.33333%}.offset-md-11{margin-left:91.66667%}}@media (min-width:992px){.col-lg{flex-basis:0;flex-grow:1;min-width:0;max-width:100%}.row-cols-lg-1>*{flex:0 0 100%;max-width:100%}.row-cols-lg-2>*{flex:0 0 50%;max-width:50%}.row-cols-lg-3>*{flex:0 0 33.33333%;max-width:33.33333%}.row-cols-lg-4>*{flex:0 0 25%;max-width:25%}.row-cols-lg-5>*{flex:0 0 20%;max-width:20%}.row-cols-lg-6>*{flex:0 0 16.66667%;max-width:16.66667%}.col-lg-auto{flex:0 0 auto;width:auto;max-width:100%}.col-lg-1{flex:0 0 8.33333%;max-width:8.33333%}.col-lg-2{flex:0 0 16.66667%;max-width:16.66667%}.col-lg-3{flex:0 0 25%;max-width:25%}.col-lg-4{flex:0 0 33.33333%;max-width:33.33333%}.col-lg-5{flex:0 0 41.66667%;max-width:41.66667%}.col-lg-6{flex:0 0 50%;max-width:50%}.col-lg-7{flex:0 0 58.33333%;max-width:58.33333%}.col-lg-8{flex:0 0 66.66667%;max-width:66.66667%}.col-lg-9{flex:0 0 75%;max-width:75%}.col-lg-10{flex:0 0 83.33333%;max-width:83.33333%}.col-lg-11{flex:0 0 91.66667%;max-width:91.66667%}.col-lg-12{flex:0 0 100%;max-width:100%}.order-lg-first{order:-1}.order-lg-last{order:13}.order-lg-0{order:0}.order-lg-1{order:1}.order-lg-2{order:2}.order-lg-3{order:3}.order-lg-4{order:4}.order-lg-5{order:5}.order-lg-6{order:6}.order-lg-7{order:7}.order-lg-8{order:8}.order-lg-9{order:9}.order-lg-10{order:10}.order-lg-11{order:11}.order-lg-12{order:12}.offset-lg-0{margin-left:0}.offset-lg-1{margin-left:8.33333%}.offset-lg-2{margin-left:16.66667%}.offset-lg-3{margin-left:25%}.offset-lg-4{margin-left:33.33333%}.offset-lg-5{margin-left:41.66667%}.offset-lg-6{margin-left:50%}.offset-lg-7{margin-left:58.33333%}.offset-lg-8{margin-left:66.66667%}.offset-lg-9{margin-left:75%}.offset-lg-10{margin-left:83.33333%}.offset-lg-11{margin-left:91.66667%}}@media (min-width:1200px){.col-xl{flex-basis:0;flex-grow:1;min-width:0;max-width:100%}.row-cols-xl-1>*{flex:0 0 100%;max-width:100%}.row-cols-xl-2>*{flex:0 0 50%;max-width:50%}.row-cols-xl-3>*{flex:0 0 33.33333%;max-width:33.33333%}.row-cols-xl-4>*{flex:0 0 25%;max-width:25%}.row-cols-xl-5>*{flex:0 0 20%;max-width:20%}.row-cols-xl-6>*{flex:0 0 16.66667%;max-width:16.66667%}.col-xl-auto{flex:0 0 auto;width:auto;max-width:100%}.col-xl-1{flex:0 0 8.33333%;max-width:8.33333%}.col-xl-2{flex:0 0 16.66667%;max-width:16.66667%}.col-xl-3{flex:0 0 25%;max-width:25%}.col-xl-4{flex:0 0 33.33333%;max-width:33.33333%}.col-xl-5{flex:0 0 41.66667%;max-width:41.66667%}.col-xl-6{flex:0 0 50%;max-width:50%}.col-xl-7{flex:0 0 58.33333%;max-width:58.33333%}.col-xl-8{flex:0 0 66.66667%;max-width:66.66667%}.col-xl-9{flex:0 0 75%;max-width:75%}.col-xl-10{flex:0 0 83.33333%;max-width:83.33333%}.col-xl-11{flex:0 0 91.66667%;max-width:91.66667%}.col-xl-12{flex:0 0 100%;max-width:100%}.order-xl-first{order:-1}.order-xl-last{order:13}.order-xl-0{order:0}.order-xl-1{order:1}.order-xl-2{order:2}.order-xl-3{order:3}.order-xl-4{order:4}.order-xl-5{order:5}.order-xl-6{order:6}.order-xl-7{order:7}.order-xl-8{order:8}.order-xl-9{order:9}.order-xl-10{order:10}.order-xl-11{order:11}.order-xl-12{order:12}.offset-xl-0{margin-left:0}.offset-xl-1{margin-left:8.33333%}.offset-xl-2{margin-left:16.66667%}.offset-xl-3{margin-left:25%}.offset-xl-4{margin-left:33.33333%}.offset-xl-5{margin-left:41.66667%}.offset-xl-6{margin-left:50%}.offset-xl-7{margin-left:58.33333%}.offset-xl-8{margin-left:66.66667%}.offset-xl-9{margin-left:75%}.offset-xl-10{margin-left:83.33333%}.offset-xl-11{margin-left:91.66667%}}.table{width:100%;margin-bottom:1rem;color:#212529}.table td,.table th{padding:.75rem;vertical-align:top;border-top:1px solid #dee2e6}.table thead th{vertical-align:bottom;border-bottom:2px solid #dee2e6}.table tbody+tbody{border-top:2px solid #dee2e6}.table-sm td,.table-sm th{padding:.3rem}.table-bordered,.table-bordered td,.table-bordered th{border:1px solid #dee2e6}.table-bordered thead td,.table-bordered thead th{border-bottom-width:2px}.table-borderless tbody+tbody,.table-borderless td,.table-borderless th,.table-borderless thead th{border:0}.table-striped tbody tr:nth-of-type(odd){background-color:rgba(0,0,0,.05)}.table-hover tbody tr:hover{color:#212529;background-color:rgba(0,0,0,.075)}.table-primary,.table-primary>td,.table-primary>th{background-color:#b8daff}.table-primary tbody+tbody,.table-primary td,.table-primary th,.table-primary thead th{border-color:#7abaff}.table-hover .table-primary:hover,.table-hover .table-primary:hover>td,.table-hover .table-primary:hover>th{background-color:#9fcdff}.table-secondary,.table-secondary>td,.table-secondary>th{background-color:#d6d8db}.table-secondary tbody+tbody,.table-secondary td,.table-secondary th,.table-secondary thead th{border-color:#b3b7bb}.table-hover .table-secondary:hover,.table-hover .table-secondary:hover>td,.table-hover .table-secondary:hover>th{background-color:#c8cbcf}.table-success,.table-success>td,.table-success>th{background-color:#c3e6cb}.table-success tbody+tbody,.table-success td,.table-success th,.table-success thead th{border-color:#8fd19e}.table-hover .table-success:hover,.table-hover .table-success:hover>td,.table-hover .table-success:hover>th{background-color:#b1dfbb}.table-info,.table-info>td,.table-info>th{background-color:#bee5eb}.table-info tbody+tbody,.table-info td,.table-info th,.table-info thead th{border-color:#86cfda}.table-hover .table-info:hover,.table-hover .table-info:hover>td,.table-hover .table-info:hover>th{background-color:#abdde5}.table-warning,.table-warning>td,.table-warning>th{background-color:#ffeeba}.table-warning tbody+tbody,.table-warning td,.table-warning th,.table-warning thead th{border-color:#ffdf7e}.table-hover .table-warning:hover,.table-hover .table-warning:hover>td,.table-hover .table-warning:hover>th{background-color:#ffe8a1}.table-danger,.table-danger>td,.table-danger>th{background-color:#f5c6cb}.table-danger tbody+tbody,.table-danger td,.table-danger th,.table-danger thead th{border-color:#ed969e}.table-hover .table-danger:hover,.table-hover .table-danger:hover>td,.table-hover .table-danger:hover>th{background-color:#f1b0b7}.table-light,.table-light>td,.table-light>th{background-color:#fdfdfe}.table-light tbody+tbody,.table-light td,.table-light th,.table-light thead th{border-color:#fbfcfc}.table-hover .table-light:hover,.table-hover .table-light:hover>td,.table-hover .table-light:hover>th{background-color:#ececf6}.table-dark,.table-dark>td,.table-dark>th{background-color:#c6c8ca}.table-dark tbody+tbody,.table-dark td,.table-dark th,.table-dark thead th{border-color:#95999c}.table-hover .table-dark:hover,.table-hover .table-dark:hover>td,.table-hover .table-dark:hover>th{background-color:#b9bbbe}.table-active,.table-active>td,.table-active>th,.table-hover .table-active:hover,.table-hover .table-active:hover>td,.table-hover .table-active:hover>th{background-color:rgba(0,0,0,.075)}.table .thead-dark th{color:#fff;background-color:#343a40;border-color:#454d55}.table .thead-light th{color:#495057;background-color:#e9ecef;border-color:#dee2e6}.table-dark{color:#fff;background-color:#343a40}.table-dark td,.table-dark th,.table-dark thead th{border-color:#454d55}.table-dark.table-bordered{border:0}.table-dark.table-striped tbody tr:nth-of-type(odd){background-color:hsla(0,0%,100%,.05)}.table-dark.table-hover tbody tr:hover{color:#fff;background-color:hsla(0,0%,100%,.075)}@media (max-width:575.98px){.table-responsive-sm{display:block;width:100%;overflow-x:auto;-webkit-overflow-scrolling:touch}.table-responsive-sm>.table-bordered{border:0}}@media (max-width:767.98px){.table-responsive-md{display:block;width:100%;overflow-x:auto;-webkit-overflow-scrolling:touch}.table-responsive-md>.table-bordered{border:0}}@media (max-width:991.98px){.table-responsive-lg{display:block;width:100%;overflow-x:auto;-webkit-overflow-scrolling:touch}.table-responsive-lg>.table-bordered{border:0}}@media (max-width:1199.98px){.table-responsive-xl{display:block;width:100%;overflow-x:auto;-webkit-overflow-scrolling:touch}.table-responsive-xl>.table-bordered{border:0}}.table-responsive{display:block;width:100%;overflow-x:auto;-webkit-overflow-scrolling:touch}.table-responsive>.table-bordered{border:0}.form-control{display:block;width:100%;height:calc(1.5em + .75rem + 2px);padding:.375rem .75rem;font-size:1rem;font-weight:400;line-height:1.5;color:#495057;background-color:#fff;background-clip:padding-box;border:1px solid #ced4da;border-radius:.25rem;transition:border-color .15s ease-in-out,box-shadow .15s ease-in-out}@media (prefers-reduced-motion:reduce){.form-control{transition:none}}.form-control::-ms-expand{background-color:transparent;border:0}.form-control:-moz-focusring{color:transparent;text-shadow:0 0 0 #495057}.form-control:focus{color:#495057;background-color:#fff;border-color:#80bdff;outline:0;box-shadow:0 0 0 .2rem rgba(0,123,255,.25)}.form-control::placeholder{color:#6c757d;opacity:1}.form-control:disabled,.form-control[readonly]{background-color:#e9ecef;opacity:1}input[type=date].form-control,input[type=datetime-local].form-control,input[type=month].form-control,input[type=time].form-control{appearance:none}select.form-control:focus::-ms-value{color:#495057;background-color:#fff}.form-control-file,.form-control-range{display:block;width:100%}.col-form-label{padding-top:calc(.375rem + 1px);padding-bottom:calc(.375rem + 1px);margin-bottom:0;font-size:inherit;line-height:1.5}.col-form-label-lg{padding-top:calc(.5rem + 1px);padding-bottom:calc(.5rem + 1px);font-size:1.25rem;line-height:1.5}.col-form-label-sm{padding-top:calc(.25rem + 1px);padding-bottom:calc(.25rem + 1px);font-size:.875rem;line-height:1.5}.form-control-plaintext{display:block;width:100%;padding:.375rem 0;margin-bottom:0;font-size:1rem;line-height:1.5;color:#212529;background-color:transparent;border:solid transparent;border-width:1px 0}.form-control-plaintext.form-control-lg,.form-control-plaintext.form-control-sm{padding-right:0;padding-left:0}.form-control-sm{height:calc(1.5em + .5rem + 2px);padding:.25rem .5rem;font-size:.875rem;line-height:1.5;border-radius:.2rem}.form-control-lg{height:calc(1.5em + 1rem + 2px);padding:.5rem 1rem;font-size:1.25rem;line-height:1.5;border-radius:.3rem}select.form-control[multiple],select.form-control[size],textarea.form-control{height:auto}.form-group{margin-bottom:1rem}.form-text{display:block;margin-top:.25rem}.form-row{display:flex;flex-wrap:wrap;margin-right:-5px;margin-left:-5px}.form-row>.col,.form-row>[class*=col-]{padding-right:5px;padding-left:5px}.form-check{position:relative;display:block;padding-left:1.25rem}.form-check-input{position:absolute;margin-top:.3rem;margin-left:-1.25rem}.form-check-input:disabled~.form-check-label,.form-check-input[disabled]~.form-check-label{color:#6c757d}.form-check-label{margin-bottom:0}.form-check-inline{display:inline-flex;align-items:center;padding-left:0;margin-right:.75rem}.form-check-inline .form-check-input{position:static;margin-top:0;margin-right:.3125rem;margin-left:0}.valid-feedback{display:none;width:100%;margin-top:.25rem;font-size:80%;color:#28a745}.valid-tooltip{position:absolute;top:100%;z-index:5;display:none;max-width:100%;padding:.25rem .5rem;margin-top:.1rem;font-size:.875rem;line-height:1.5;color:#fff;background-color:rgba(40,167,69,.9);border-radius:.25rem}.is-valid~.valid-feedback,.is-valid~.valid-tooltip,.was-validated :valid~.valid-feedback,.was-validated :valid~.valid-tooltip{display:block}.form-control.is-valid,.was-validated .form-control:valid{border-color:#28a745;padding-right:calc(1.5em + .75rem);background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='8' height='8'%3E%3Cpath fill='%2328a745' d='M2.3 6.73L.6 4.53c-.4-1.04.46-1.4 1.1-.8l1.1 1.4 3.4-3.8c.6-.63 1.6-.27 1.2.7l-4 4.6c-.43.5-.8.4-1.1.1z'/%3E%3C/svg%3E");background-repeat:no-repeat;background-position:right calc(.375em + .1875rem) center;background-size:calc(.75em + .375rem) calc(.75em + .375rem)}.form-control.is-valid:focus,.was-validated .form-control:valid:focus{border-color:#28a745;box-shadow:0 0 0 .2rem rgba(40,167,69,.25)}.was-validated textarea.form-control:valid,textarea.form-control.is-valid{padding-right:calc(1.5em + .75rem);background-position:top calc(.375em + .1875rem) right calc(.375em + .1875rem)}.custom-select.is-valid,.was-validated .custom-select:valid{border-color:#28a745;padding-right:calc(.75em + 2.3125rem);background:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='4' height='5'%3E%3Cpath fill='%23343a40' d='M2 0L0 2h4zm0 5L0 3h4z'/%3E%3C/svg%3E") no-repeat right .75rem center/8px 10px,url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='8' height='8'%3E%3Cpath fill='%2328a745' d='M2.3 6.73L.6 4.53c-.4-1.04.46-1.4 1.1-.8l1.1 1.4 3.4-3.8c.6-.63 1.6-.27 1.2.7l-4 4.6c-.43.5-.8.4-1.1.1z'/%3E%3C/svg%3E") #fff no-repeat center right 1.75rem/calc(.75em + .375rem) calc(.75em + .375rem)}.custom-select.is-valid:focus,.was-validated .custom-select:valid:focus{border-color:#28a745;box-shadow:0 0 0 .2rem rgba(40,167,69,.25)}.form-check-input.is-valid~.form-check-label,.was-validated .form-check-input:valid~.form-check-label{color:#28a745}.form-check-input.is-valid~.valid-feedback,.form-check-input.is-valid~.valid-tooltip,.was-validated .form-check-input:valid~.valid-feedback,.was-validated .form-check-input:valid~.valid-tooltip{display:block}.custom-control-input.is-valid~.custom-control-label,.was-validated .custom-control-input:valid~.custom-control-label{color:#28a745}.custom-control-input.is-valid~.custom-control-label:before,.was-validated .custom-control-input:valid~.custom-control-label:before{border-color:#28a745}.custom-control-input.is-valid:checked~.custom-control-label:before,.was-validated .custom-control-input:valid:checked~.custom-control-label:before{border-color:#34ce57;background-color:#34ce57}.custom-control-input.is-valid:focus~.custom-control-label:before,.was-validated .custom-control-input:valid:focus~.custom-control-label:before{box-shadow:0 0 0 .2rem rgba(40,167,69,.25)}.custom-control-input.is-valid:focus:not(:checked)~.custom-control-label:before,.custom-file-input.is-valid~.custom-file-label,.was-validated .custom-control-input:valid:focus:not(:checked)~.custom-control-label:before,.was-validated .custom-file-input:valid~.custom-file-label{border-color:#28a745}.custom-file-input.is-valid:focus~.custom-file-label,.was-validated .custom-file-input:valid:focus~.custom-file-label{border-color:#28a745;box-shadow:0 0 0 .2rem rgba(40,167,69,.25)}.invalid-feedback{display:none;width:100%;margin-top:.25rem;font-size:80%;color:#dc3545}.invalid-tooltip{position:absolute;top:100%;z-index:5;display:none;max-width:100%;padding:.25rem .5rem;margin-top:.1rem;font-size:.875rem;line-height:1.5;color:#fff;background-color:rgba(220,53,69,.9);border-radius:.25rem}.is-invalid~.invalid-feedback,.is-invalid~.invalid-tooltip,.was-validated :invalid~.invalid-feedback,.was-validated :invalid~.invalid-tooltip{display:block}.form-control.is-invalid,.was-validated .form-control:invalid{border-color:#dc3545;padding-right:calc(1.5em + .75rem);background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='12' height='12' fill='none' stroke='%23dc3545'%3E%3Ccircle cx='6' cy='6' r='4.5'/%3E%3Cpath stroke-linejoin='round' d='M5.8 3.6h.4L6 6.5z'/%3E%3Ccircle cx='6' cy='8.2' r='.6' fill='%23dc3545' stroke='none'/%3E%3C/svg%3E");background-repeat:no-repeat;background-position:right calc(.375em + .1875rem) center;background-size:calc(.75em + .375rem) calc(.75em + .375rem)}.form-control.is-invalid:focus,.was-validated .form-control:invalid:focus{border-color:#dc3545;box-shadow:0 0 0 .2rem rgba(220,53,69,.25)}.was-validated textarea.form-control:invalid,textarea.form-control.is-invalid{padding-right:calc(1.5em + .75rem);background-position:top calc(.375em + .1875rem) right calc(.375em + .1875rem)}.custom-select.is-invalid,.was-validated .custom-select:invalid{border-color:#dc3545;padding-right:calc(.75em + 2.3125rem);background:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='4' height='5'%3E%3Cpath fill='%23343a40' d='M2 0L0 2h4zm0 5L0 3h4z'/%3E%3C/svg%3E") no-repeat right .75rem center/8px 10px,url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='12' height='12' fill='none' stroke='%23dc3545'%3E%3Ccircle cx='6' cy='6' r='4.5'/%3E%3Cpath stroke-linejoin='round' d='M5.8 3.6h.4L6 6.5z'/%3E%3Ccircle cx='6' cy='8.2' r='.6' fill='%23dc3545' stroke='none'/%3E%3C/svg%3E") #fff no-repeat center right 1.75rem/calc(.75em + .375rem) calc(.75em + .375rem)}.custom-select.is-invalid:focus,.was-validated .custom-select:invalid:focus{border-color:#dc3545;box-shadow:0 0 0 .2rem rgba(220,53,69,.25)}.form-check-input.is-invalid~.form-check-label,.was-validated .form-check-input:invalid~.form-check-label{color:#dc3545}.form-check-input.is-invalid~.invalid-feedback,.form-check-input.is-invalid~.invalid-tooltip,.was-validated .form-check-input:invalid~.invalid-feedback,.was-validated .form-check-input:invalid~.invalid-tooltip{display:block}.custom-control-input.is-invalid~.custom-control-label,.was-validated .custom-control-input:invalid~.custom-control-label{color:#dc3545}.custom-control-input.is-invalid~.custom-control-label:before,.was-validated .custom-control-input:invalid~.custom-control-label:before{border-color:#dc3545}.custom-control-input.is-invalid:checked~.custom-control-label:before,.was-validated .custom-control-input:invalid:checked~.custom-control-label:before{border-color:#e4606d;background-color:#e4606d}.custom-control-input.is-invalid:focus~.custom-control-label:before,.was-validated .custom-control-input:invalid:focus~.custom-control-label:before{box-shadow:0 0 0 .2rem rgba(220,53,69,.25)}.custom-control-input.is-invalid:focus:not(:checked)~.custom-control-label:before,.custom-file-input.is-invalid~.custom-file-label,.was-validated .custom-control-input:invalid:focus:not(:checked)~.custom-control-label:before,.was-validated .custom-file-input:invalid~.custom-file-label{border-color:#dc3545}.custom-file-input.is-invalid:focus~.custom-file-label,.was-validated .custom-file-input:invalid:focus~.custom-file-label{border-color:#dc3545;box-shadow:0 0 0 .2rem rgba(220,53,69,.25)}.form-inline{display:flex;flex-flow:row wrap;align-items:center}.form-inline .form-check{width:100%}@media (min-width:576px){.form-inline label{justify-content:center}.form-inline .form-group,.form-inline label{display:flex;align-items:center;margin-bottom:0}.form-inline .form-group{flex:0 0 auto;flex-flow:row wrap}.form-inline .form-control{display:inline-block;width:auto;vertical-align:middle}.form-inline .form-control-plaintext{display:inline-block}.form-inline .custom-select,.form-inline .input-group{width:auto}.form-inline .form-check{display:flex;align-items:center;justify-content:center;width:auto;padding-left:0}.form-inline .form-check-input{position:relative;flex-shrink:0;margin-top:0;margin-right:.25rem;margin-left:0}.form-inline .custom-control{align-items:center;justify-content:center}.form-inline .custom-control-label{margin-bottom:0}}.btn{display:inline-block;font-weight:400;color:#212529;text-align:center;vertical-align:middle;user-select:none;background-color:transparent;border:1px solid transparent;padding:.375rem .75rem;font-size:1rem;line-height:1.5;border-radius:.25rem;transition:color .15s ease-in-out,background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out}@media (prefers-reduced-motion:reduce){.btn{transition:none}}.btn:hover{color:#212529;text-decoration:none}.btn.focus,.btn:focus{outline:0;box-shadow:0 0 0 .2rem rgba(0,123,255,.25)}.btn.disabled,.btn:disabled{opacity:.65}.btn:not(:disabled):not(.disabled){cursor:pointer}a.btn.disabled,fieldset:disabled a.btn{pointer-events:none}.btn-primary{color:#fff;background-color:#007bff;border-color:#007bff}.btn-primary.focus,.btn-primary:focus,.btn-primary:hover{color:#fff;background-color:#0069d9;border-color:#0062cc}.btn-primary.focus,.btn-primary:focus{box-shadow:0 0 0 .2rem rgba(38,143,255,.5)}.btn-primary.disabled,.btn-primary:disabled{color:#fff;background-color:#007bff;border-color:#007bff}.btn-primary:not(:disabled):not(.disabled).active,.btn-primary:not(:disabled):not(.disabled):active,.show>.btn-primary.dropdown-toggle{color:#fff;background-color:#0062cc;border-color:#005cbf}.btn-primary:not(:disabled):not(.disabled).active:focus,.btn-primary:not(:disabled):not(.disabled):active:focus,.show>.btn-primary.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(38,143,255,.5)}.btn-secondary{color:#fff;background-color:#6c757d;border-color:#6c757d}.btn-secondary.focus,.btn-secondary:focus,.btn-secondary:hover{color:#fff;background-color:#5a6268;border-color:#545b62}.btn-secondary.focus,.btn-secondary:focus{box-shadow:0 0 0 .2rem rgba(130,138,145,.5)}.btn-secondary.disabled,.btn-secondary:disabled{color:#fff;background-color:#6c757d;border-color:#6c757d}.btn-secondary:not(:disabled):not(.disabled).active,.btn-secondary:not(:disabled):not(.disabled):active,.show>.btn-secondary.dropdown-toggle{color:#fff;background-color:#545b62;border-color:#4e555b}.btn-secondary:not(:disabled):not(.disabled).active:focus,.btn-secondary:not(:disabled):not(.disabled):active:focus,.show>.btn-secondary.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(130,138,145,.5)}.btn-success{color:#fff;background-color:#28a745;border-color:#28a745}.btn-success.focus,.btn-success:focus,.btn-success:hover{color:#fff;background-color:#218838;border-color:#1e7e34}.btn-success.focus,.btn-success:focus{box-shadow:0 0 0 .2rem rgba(72,180,97,.5)}.btn-success.disabled,.btn-success:disabled{color:#fff;background-color:#28a745;border-color:#28a745}.btn-success:not(:disabled):not(.disabled).active,.btn-success:not(:disabled):not(.disabled):active,.show>.btn-success.dropdown-toggle{color:#fff;background-color:#1e7e34;border-color:#1c7430}.btn-success:not(:disabled):not(.disabled).active:focus,.btn-success:not(:disabled):not(.disabled):active:focus,.show>.btn-success.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(72,180,97,.5)}.btn-info{color:#fff;background-color:#17a2b8;border-color:#17a2b8}.btn-info.focus,.btn-info:focus,.btn-info:hover{color:#fff;background-color:#138496;border-color:#117a8b}.btn-info.focus,.btn-info:focus{box-shadow:0 0 0 .2rem rgba(58,176,195,.5)}.btn-info.disabled,.btn-info:disabled{color:#fff;background-color:#17a2b8;border-color:#17a2b8}.btn-info:not(:disabled):not(.disabled).active,.btn-info:not(:disabled):not(.disabled):active,.show>.btn-info.dropdown-toggle{color:#fff;background-color:#117a8b;border-color:#10707f}.btn-info:not(:disabled):not(.disabled).active:focus,.btn-info:not(:disabled):not(.disabled):active:focus,.show>.btn-info.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(58,176,195,.5)}.btn-warning{color:#212529;background-color:#ffc107;border-color:#ffc107}.btn-warning.focus,.btn-warning:focus,.btn-warning:hover{color:#212529;background-color:#e0a800;border-color:#d39e00}.btn-warning.focus,.btn-warning:focus{box-shadow:0 0 0 .2rem rgba(222,170,12,.5)}.btn-warning.disabled,.btn-warning:disabled{color:#212529;background-color:#ffc107;border-color:#ffc107}.btn-warning:not(:disabled):not(.disabled).active,.btn-warning:not(:disabled):not(.disabled):active,.show>.btn-warning.dropdown-toggle{color:#212529;background-color:#d39e00;border-color:#c69500}.btn-warning:not(:disabled):not(.disabled).active:focus,.btn-warning:not(:disabled):not(.disabled):active:focus,.show>.btn-warning.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(222,170,12,.5)}.btn-danger{color:#fff;background-color:#dc3545;border-color:#dc3545}.btn-danger.focus,.btn-danger:focus,.btn-danger:hover{color:#fff;background-color:#c82333;border-color:#bd2130}.btn-danger.focus,.btn-danger:focus{box-shadow:0 0 0 .2rem rgba(225,83,97,.5)}.btn-danger.disabled,.btn-danger:disabled{color:#fff;background-color:#dc3545;border-color:#dc3545}.btn-danger:not(:disabled):not(.disabled).active,.btn-danger:not(:disabled):not(.disabled):active,.show>.btn-danger.dropdown-toggle{color:#fff;background-color:#bd2130;border-color:#b21f2d}.btn-danger:not(:disabled):not(.disabled).active:focus,.btn-danger:not(:disabled):not(.disabled):active:focus,.show>.btn-danger.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(225,83,97,.5)}.btn-light{color:#212529;background-color:#f8f9fa;border-color:#f8f9fa}.btn-light.focus,.btn-light:focus,.btn-light:hover{color:#212529;background-color:#e2e6ea;border-color:#dae0e5}.btn-light.focus,.btn-light:focus{box-shadow:0 0 0 .2rem rgba(216,217,219,.5)}.btn-light.disabled,.btn-light:disabled{color:#212529;background-color:#f8f9fa;border-color:#f8f9fa}.btn-light:not(:disabled):not(.disabled).active,.btn-light:not(:disabled):not(.disabled):active,.show>.btn-light.dropdown-toggle{color:#212529;background-color:#dae0e5;border-color:#d3d9df}.btn-light:not(:disabled):not(.disabled).active:focus,.btn-light:not(:disabled):not(.disabled):active:focus,.show>.btn-light.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(216,217,219,.5)}.btn-dark{color:#fff;background-color:#343a40;border-color:#343a40}.btn-dark.focus,.btn-dark:focus,.btn-dark:hover{color:#fff;background-color:#23272b;border-color:#1d2124}.btn-dark.focus,.btn-dark:focus{box-shadow:0 0 0 .2rem rgba(82,88,93,.5)}.btn-dark.disabled,.btn-dark:disabled{color:#fff;background-color:#343a40;border-color:#343a40}.btn-dark:not(:disabled):not(.disabled).active,.btn-dark:not(:disabled):not(.disabled):active,.show>.btn-dark.dropdown-toggle{color:#fff;background-color:#1d2124;border-color:#171a1d}.btn-dark:not(:disabled):not(.disabled).active:focus,.btn-dark:not(:disabled):not(.disabled):active:focus,.show>.btn-dark.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(82,88,93,.5)}.btn-outline-primary{color:#007bff;border-color:#007bff}.btn-outline-primary:hover{color:#fff;background-color:#007bff;border-color:#007bff}.btn-outline-primary.focus,.btn-outline-primary:focus{box-shadow:0 0 0 .2rem rgba(0,123,255,.5)}.btn-outline-primary.disabled,.btn-outline-primary:disabled{color:#007bff;background-color:transparent}.btn-outline-primary:not(:disabled):not(.disabled).active,.btn-outline-primary:not(:disabled):not(.disabled):active,.show>.btn-outline-primary.dropdown-toggle{color:#fff;background-color:#007bff;border-color:#007bff}.btn-outline-primary:not(:disabled):not(.disabled).active:focus,.btn-outline-primary:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-primary.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(0,123,255,.5)}.btn-outline-secondary{color:#6c757d;border-color:#6c757d}.btn-outline-secondary:hover{color:#fff;background-color:#6c757d;border-color:#6c757d}.btn-outline-secondary.focus,.btn-outline-secondary:focus{box-shadow:0 0 0 .2rem rgba(108,117,125,.5)}.btn-outline-secondary.disabled,.btn-outline-secondary:disabled{color:#6c757d;background-color:transparent}.btn-outline-secondary:not(:disabled):not(.disabled).active,.btn-outline-secondary:not(:disabled):not(.disabled):active,.show>.btn-outline-secondary.dropdown-toggle{color:#fff;background-color:#6c757d;border-color:#6c757d}.btn-outline-secondary:not(:disabled):not(.disabled).active:focus,.btn-outline-secondary:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-secondary.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(108,117,125,.5)}.btn-outline-success{color:#28a745;border-color:#28a745}.btn-outline-success:hover{color:#fff;background-color:#28a745;border-color:#28a745}.btn-outline-success.focus,.btn-outline-success:focus{box-shadow:0 0 0 .2rem rgba(40,167,69,.5)}.btn-outline-success.disabled,.btn-outline-success:disabled{color:#28a745;background-color:transparent}.btn-outline-success:not(:disabled):not(.disabled).active,.btn-outline-success:not(:disabled):not(.disabled):active,.show>.btn-outline-success.dropdown-toggle{color:#fff;background-color:#28a745;border-color:#28a745}.btn-outline-success:not(:disabled):not(.disabled).active:focus,.btn-outline-success:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-success.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(40,167,69,.5)}.btn-outline-info{color:#17a2b8;border-color:#17a2b8}.btn-outline-info:hover{color:#fff;background-color:#17a2b8;border-color:#17a2b8}.btn-outline-info.focus,.btn-outline-info:focus{box-shadow:0 0 0 .2rem rgba(23,162,184,.5)}.btn-outline-info.disabled,.btn-outline-info:disabled{color:#17a2b8;background-color:transparent}.btn-outline-info:not(:disabled):not(.disabled).active,.btn-outline-info:not(:disabled):not(.disabled):active,.show>.btn-outline-info.dropdown-toggle{color:#fff;background-color:#17a2b8;border-color:#17a2b8}.btn-outline-info:not(:disabled):not(.disabled).active:focus,.btn-outline-info:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-info.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(23,162,184,.5)}.btn-outline-warning{color:#ffc107;border-color:#ffc107}.btn-outline-warning:hover{color:#212529;background-color:#ffc107;border-color:#ffc107}.btn-outline-warning.focus,.btn-outline-warning:focus{box-shadow:0 0 0 .2rem rgba(255,193,7,.5)}.btn-outline-warning.disabled,.btn-outline-warning:disabled{color:#ffc107;background-color:transparent}.btn-outline-warning:not(:disabled):not(.disabled).active,.btn-outline-warning:not(:disabled):not(.disabled):active,.show>.btn-outline-warning.dropdown-toggle{color:#212529;background-color:#ffc107;border-color:#ffc107}.btn-outline-warning:not(:disabled):not(.disabled).active:focus,.btn-outline-warning:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-warning.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(255,193,7,.5)}.btn-outline-danger{color:#dc3545;border-color:#dc3545}.btn-outline-danger:hover{color:#fff;background-color:#dc3545;border-color:#dc3545}.btn-outline-danger.focus,.btn-outline-danger:focus{box-shadow:0 0 0 .2rem rgba(220,53,69,.5)}.btn-outline-danger.disabled,.btn-outline-danger:disabled{color:#dc3545;background-color:transparent}.btn-outline-danger:not(:disabled):not(.disabled).active,.btn-outline-danger:not(:disabled):not(.disabled):active,.show>.btn-outline-danger.dropdown-toggle{color:#fff;background-color:#dc3545;border-color:#dc3545}.btn-outline-danger:not(:disabled):not(.disabled).active:focus,.btn-outline-danger:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-danger.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(220,53,69,.5)}.btn-outline-light{color:#f8f9fa;border-color:#f8f9fa}.btn-outline-light:hover{color:#212529;background-color:#f8f9fa;border-color:#f8f9fa}.btn-outline-light.focus,.btn-outline-light:focus{box-shadow:0 0 0 .2rem rgba(248,249,250,.5)}.btn-outline-light.disabled,.btn-outline-light:disabled{color:#f8f9fa;background-color:transparent}.btn-outline-light:not(:disabled):not(.disabled).active,.btn-outline-light:not(:disabled):not(.disabled):active,.show>.btn-outline-light.dropdown-toggle{color:#212529;background-color:#f8f9fa;border-color:#f8f9fa}.btn-outline-light:not(:disabled):not(.disabled).active:focus,.btn-outline-light:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-light.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(248,249,250,.5)}.btn-outline-dark{color:#343a40;border-color:#343a40}.btn-outline-dark:hover{color:#fff;background-color:#343a40;border-color:#343a40}.btn-outline-dark.focus,.btn-outline-dark:focus{box-shadow:0 0 0 .2rem rgba(52,58,64,.5)}.btn-outline-dark.disabled,.btn-outline-dark:disabled{color:#343a40;background-color:transparent}.btn-outline-dark:not(:disabled):not(.disabled).active,.btn-outline-dark:not(:disabled):not(.disabled):active,.show>.btn-outline-dark.dropdown-toggle{color:#fff;background-color:#343a40;border-color:#343a40}.btn-outline-dark:not(:disabled):not(.disabled).active:focus,.btn-outline-dark:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-dark.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(52,58,64,.5)}.btn-link{font-weight:400;color:#007bff;text-decoration:none}.btn-link:hover{color:#0056b3}.btn-link.focus,.btn-link:focus,.btn-link:hover{text-decoration:underline}.btn-link.disabled,.btn-link:disabled{color:#6c757d;pointer-events:none}.btn-group-lg>.btn,.btn-lg{padding:.5rem 1rem;font-size:1.25rem;line-height:1.5;border-radius:.3rem}.btn-group-sm>.btn,.btn-sm{padding:.25rem .5rem;font-size:.875rem;line-height:1.5;border-radius:.2rem}.btn-block{display:block;width:100%}.btn-block+.btn-block{margin-top:.5rem}input[type=button].btn-block,input[type=reset].btn-block,input[type=submit].btn-block{width:100%}.fade{transition:opacity .15s linear}@media (prefers-reduced-motion:reduce){.fade{transition:none}}.fade:not(.show){opacity:0}.collapse:not(.show){display:none}.collapsing{position:relative;height:0;overflow:hidden;transition:height .35s ease}@media (prefers-reduced-motion:reduce){.collapsing{transition:none}}.dropdown,.dropleft,.dropright,.dropup{position:relative}.dropdown-toggle{white-space:nowrap}.dropdown-toggle:after{display:inline-block;margin-left:.255em;vertical-align:.255em;content:"";border-top:.3em solid;border-right:.3em solid transparent;border-bottom:0;border-left:.3em solid transparent}.dropdown-toggle:empty:after{margin-left:0}.dropdown-menu{position:absolute;top:100%;left:0;z-index:1000;display:none;float:left;min-width:10rem;padding:.5rem 0;margin:.125rem 0 0;font-size:1rem;color:#212529;text-align:left;list-style:none;background-color:#fff;background-clip:padding-box;border:1px solid rgba(0,0,0,.15);border-radius:.25rem}.dropdown-menu-left{right:auto;left:0}.dropdown-menu-right{right:0;left:auto}@media (min-width:576px){.dropdown-menu-sm-left{right:auto;left:0}.dropdown-menu-sm-right{right:0;left:auto}}@media (min-width:768px){.dropdown-menu-md-left{right:auto;left:0}.dropdown-menu-md-right{right:0;left:auto}}@media (min-width:992px){.dropdown-menu-lg-left{right:auto;left:0}.dropdown-menu-lg-right{right:0;left:auto}}@media (min-width:1200px){.dropdown-menu-xl-left{right:auto;left:0}.dropdown-menu-xl-right{right:0;left:auto}}.dropup .dropdown-menu{top:auto;bottom:100%;margin-top:0;margin-bottom:.125rem}.dropup .dropdown-toggle:after{display:inline-block;margin-left:.255em;vertical-align:.255em;content:"";border-top:0;border-right:.3em solid transparent;border-bottom:.3em solid;border-left:.3em solid transparent}.dropup .dropdown-toggle:empty:after{margin-left:0}.dropright .dropdown-menu{top:0;right:auto;left:100%;margin-top:0;margin-left:.125rem}.dropright .dropdown-toggle:after{display:inline-block;margin-left:.255em;vertical-align:.255em;content:"";border-top:.3em solid transparent;border-right:0;border-bottom:.3em solid transparent;border-left:.3em solid}.dropright .dropdown-toggle:empty:after{margin-left:0}.dropright .dropdown-toggle:after{vertical-align:0}.dropleft .dropdown-menu{top:0;right:100%;left:auto;margin-top:0;margin-right:.125rem}.dropleft .dropdown-toggle:after{display:inline-block;margin-left:.255em;vertical-align:.255em;content:"";display:none}.dropleft .dropdown-toggle:before{display:inline-block;margin-right:.255em;vertical-align:.255em;content:"";border-top:.3em solid transparent;border-right:.3em solid;border-bottom:.3em solid transparent}.dropleft .dropdown-toggle:empty:after{margin-left:0}.dropleft .dropdown-toggle:before{vertical-align:0}.dropdown-menu[x-placement^=bottom],.dropdown-menu[x-placement^=left],.dropdown-menu[x-placement^=right],.dropdown-menu[x-placement^=top]{right:auto;bottom:auto}.dropdown-divider{height:0;margin:.5rem 0;overflow:hidden;border-top:1px solid #e9ecef}.dropdown-item{display:block;width:100%;padding:.25rem 1.5rem;clear:both;font-weight:400;color:#212529;text-align:inherit;white-space:nowrap;background-color:transparent;border:0}.dropdown-item:focus,.dropdown-item:hover{color:#16181b;text-decoration:none;background-color:#f8f9fa}.dropdown-item.active,.dropdown-item:active{color:#fff;text-decoration:none;background-color:#007bff}.dropdown-item.disabled,.dropdown-item:disabled{color:#6c757d;pointer-events:none;background-color:transparent}.dropdown-menu.show{display:block}.dropdown-header{display:block;padding:.5rem 1.5rem;margin-bottom:0;font-size:.875rem;color:#6c757d;white-space:nowrap}.dropdown-item-text{display:block;padding:.25rem 1.5rem;color:#212529}.btn-group,.btn-group-vertical{position:relative;display:inline-flex;vertical-align:middle}.btn-group-vertical>.btn,.btn-group>.btn{position:relative;flex:1 1 auto}.btn-group-vertical>.btn.active,.btn-group-vertical>.btn:active,.btn-group-vertical>.btn:focus,.btn-group-vertical>.btn:hover,.btn-group>.btn.active,.btn-group>.btn:active,.btn-group>.btn:focus,.btn-group>.btn:hover{z-index:1}.btn-toolbar{display:flex;flex-wrap:wrap;justify-content:flex-start}.btn-toolbar .input-group{width:auto}.btn-group>.btn-group:not(:first-child),.btn-group>.btn:not(:first-child){margin-left:-1px}.btn-group>.btn-group:not(:last-child)>.btn,.btn-group>.btn:not(:last-child):not(.dropdown-toggle){border-top-right-radius:0;border-bottom-right-radius:0}.btn-group>.btn-group:not(:first-child)>.btn,.btn-group>.btn:not(:first-child){border-top-left-radius:0;border-bottom-left-radius:0}.dropdown-toggle-split{padding-right:.5625rem;padding-left:.5625rem}.dropdown-toggle-split:after,.dropright .dropdown-toggle-split:after,.dropup .dropdown-toggle-split:after{margin-left:0}.dropleft .dropdown-toggle-split:before{margin-right:0}.btn-group-sm>.btn+.dropdown-toggle-split,.btn-sm+.dropdown-toggle-split{padding-right:.375rem;padding-left:.375rem}.btn-group-lg>.btn+.dropdown-toggle-split,.btn-lg+.dropdown-toggle-split{padding-right:.75rem;padding-left:.75rem}.btn-group-vertical{flex-direction:column;align-items:flex-start;justify-content:center}.btn-group-vertical>.btn,.btn-group-vertical>.btn-group{width:100%}.btn-group-vertical>.btn-group:not(:first-child),.btn-group-vertical>.btn:not(:first-child){margin-top:-1px}.btn-group-vertical>.btn-group:not(:last-child)>.btn,.btn-group-vertical>.btn:not(:last-child):not(.dropdown-toggle){border-bottom-right-radius:0;border-bottom-left-radius:0}.btn-group-vertical>.btn-group:not(:first-child)>.btn,.btn-group-vertical>.btn:not(:first-child){border-top-left-radius:0;border-top-right-radius:0}.btn-group-toggle>.btn,.btn-group-toggle>.btn-group>.btn{margin-bottom:0}.btn-group-toggle>.btn-group>.btn input[type=checkbox],.btn-group-toggle>.btn-group>.btn input[type=radio],.btn-group-toggle>.btn input[type=checkbox],.btn-group-toggle>.btn input[type=radio]{position:absolute;clip:rect(0,0,0,0);pointer-events:none}.input-group{position:relative;display:flex;flex-wrap:wrap;align-items:stretch;width:100%}.input-group>.custom-file,.input-group>.custom-select,.input-group>.form-control,.input-group>.form-control-plaintext{position:relative;flex:1 1 auto;width:1%;min-width:0;margin-bottom:0}.input-group>.custom-file+.custom-file,.input-group>.custom-file+.custom-select,.input-group>.custom-file+.form-control,.input-group>.custom-select+.custom-file,.input-group>.custom-select+.custom-select,.input-group>.custom-select+.form-control,.input-group>.form-control+.custom-file,.input-group>.form-control+.custom-select,.input-group>.form-control+.form-control,.input-group>.form-control-plaintext+.custom-file,.input-group>.form-control-plaintext+.custom-select,.input-group>.form-control-plaintext+.form-control{margin-left:-1px}.input-group>.custom-file .custom-file-input:focus~.custom-file-label,.input-group>.custom-select:focus,.input-group>.form-control:focus{z-index:3}.input-group>.custom-file .custom-file-input:focus{z-index:4}.input-group>.custom-select:not(:last-child),.input-group>.form-control:not(:last-child){border-top-right-radius:0;border-bottom-right-radius:0}.input-group>.custom-select:not(:first-child),.input-group>.form-control:not(:first-child){border-top-left-radius:0;border-bottom-left-radius:0}.input-group>.custom-file{display:flex;align-items:center}.input-group>.custom-file:not(:last-child) .custom-file-label,.input-group>.custom-file:not(:last-child) .custom-file-label:after{border-top-right-radius:0;border-bottom-right-radius:0}.input-group>.custom-file:not(:first-child) .custom-file-label{border-top-left-radius:0;border-bottom-left-radius:0}.input-group-append,.input-group-prepend{display:flex}.input-group-append .btn,.input-group-prepend .btn{position:relative;z-index:2}.input-group-append .btn:focus,.input-group-prepend .btn:focus{z-index:3}.input-group-append .btn+.btn,.input-group-append .btn+.input-group-text,.input-group-append .input-group-text+.btn,.input-group-append .input-group-text+.input-group-text,.input-group-prepend .btn+.btn,.input-group-prepend .btn+.input-group-text,.input-group-prepend .input-group-text+.btn,.input-group-prepend .input-group-text+.input-group-text{margin-left:-1px}.input-group-prepend{margin-right:-1px}.input-group-append{margin-left:-1px}.input-group-text{display:flex;align-items:center;padding:.375rem .75rem;margin-bottom:0;font-size:1rem;font-weight:400;line-height:1.5;color:#495057;text-align:center;white-space:nowrap;background-color:#e9ecef;border:1px solid #ced4da;border-radius:.25rem}.input-group-text input[type=checkbox],.input-group-text input[type=radio]{margin-top:0}.input-group-lg>.custom-select,.input-group-lg>.form-control:not(textarea){height:calc(1.5em + 1rem + 2px)}.input-group-lg>.custom-select,.input-group-lg>.form-control,.input-group-lg>.input-group-append>.btn,.input-group-lg>.input-group-append>.input-group-text,.input-group-lg>.input-group-prepend>.btn,.input-group-lg>.input-group-prepend>.input-group-text{padding:.5rem 1rem;font-size:1.25rem;line-height:1.5;border-radius:.3rem}.input-group-sm>.custom-select,.input-group-sm>.form-control:not(textarea){height:calc(1.5em + .5rem + 2px)}.input-group-sm>.custom-select,.input-group-sm>.form-control,.input-group-sm>.input-group-append>.btn,.input-group-sm>.input-group-append>.input-group-text,.input-group-sm>.input-group-prepend>.btn,.input-group-sm>.input-group-prepend>.input-group-text{padding:.25rem .5rem;font-size:.875rem;line-height:1.5;border-radius:.2rem}.input-group-lg>.custom-select,.input-group-sm>.custom-select{padding-right:1.75rem}.input-group>.input-group-append:last-child>.btn:not(:last-child):not(.dropdown-toggle),.input-group>.input-group-append:last-child>.input-group-text:not(:last-child),.input-group>.input-group-append:not(:last-child)>.btn,.input-group>.input-group-append:not(:last-child)>.input-group-text,.input-group>.input-group-prepend>.btn,.input-group>.input-group-prepend>.input-group-text{border-top-right-radius:0;border-bottom-right-radius:0}.input-group>.input-group-append>.btn,.input-group>.input-group-append>.input-group-text,.input-group>.input-group-prepend:first-child>.btn:not(:first-child),.input-group>.input-group-prepend:first-child>.input-group-text:not(:first-child),.input-group>.input-group-prepend:not(:first-child)>.btn,.input-group>.input-group-prepend:not(:first-child)>.input-group-text{border-top-left-radius:0;border-bottom-left-radius:0}.custom-control{position:relative;display:block;min-height:1.5rem;padding-left:1.5rem}.custom-control-inline{display:inline-flex;margin-right:1rem}.custom-control-input{position:absolute;left:0;z-index:-1;width:1rem;height:1.25rem;opacity:0}.custom-control-input:checked~.custom-control-label:before{color:#fff;border-color:#007bff;background-color:#007bff}.custom-control-input:focus~.custom-control-label:before{box-shadow:0 0 0 .2rem rgba(0,123,255,.25)}.custom-control-input:focus:not(:checked)~.custom-control-label:before{border-color:#80bdff}.custom-control-input:not(:disabled):active~.custom-control-label:before{color:#fff;background-color:#b3d7ff;border-color:#b3d7ff}.custom-control-input:disabled~.custom-control-label,.custom-control-input[disabled]~.custom-control-label{color:#6c757d}.custom-control-input:disabled~.custom-control-label:before,.custom-control-input[disabled]~.custom-control-label:before{background-color:#e9ecef}.custom-control-label{position:relative;margin-bottom:0;vertical-align:top}.custom-control-label:before{pointer-events:none;background-color:#fff;border:1px solid #adb5bd}.custom-control-label:after,.custom-control-label:before{position:absolute;top:.25rem;left:-1.5rem;display:block;width:1rem;height:1rem;content:""}.custom-control-label:after{background:no-repeat 50%/50% 50%}.custom-checkbox .custom-control-label:before{border-radius:.25rem}.custom-checkbox .custom-control-input:checked~.custom-control-label:after{background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='8' height='8'%3E%3Cpath fill='%23fff' d='M6.564.75l-3.59 3.612-1.538-1.55L0 4.26l2.974 2.99L8 2.193z'/%3E%3C/svg%3E")}.custom-checkbox .custom-control-input:indeterminate~.custom-control-label:before{border-color:#007bff;background-color:#007bff}.custom-checkbox .custom-control-input:indeterminate~.custom-control-label:after{background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='4' height='4'%3E%3Cpath stroke='%23fff' d='M0 2h4'/%3E%3C/svg%3E")}.custom-checkbox .custom-control-input:disabled:checked~.custom-control-label:before{background-color:rgba(0,123,255,.5)}.custom-checkbox .custom-control-input:disabled:indeterminate~.custom-control-label:before{background-color:rgba(0,123,255,.5)}.custom-radio .custom-control-label:before{border-radius:50%}.custom-radio .custom-control-input:checked~.custom-control-label:after{background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='12' height='12' viewBox='-4 -4 8 8'%3E%3Ccircle r='3' fill='%23fff'/%3E%3C/svg%3E")}.custom-radio .custom-control-input:disabled:checked~.custom-control-label:before{background-color:rgba(0,123,255,.5)}.custom-switch{padding-left:2.25rem}.custom-switch .custom-control-label:before{left:-2.25rem;width:1.75rem;pointer-events:all;border-radius:.5rem}.custom-switch .custom-control-label:after{top:calc(.25rem + 2px);left:calc(-2.25rem + 2px);width:calc(1rem - 4px);height:calc(1rem - 4px);background-color:#adb5bd;border-radius:.5rem;transition:transform .15s ease-in-out,background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out}@media (prefers-reduced-motion:reduce){.custom-switch .custom-control-label:after{transition:none}}.custom-switch .custom-control-input:checked~.custom-control-label:after{background-color:#fff;transform:translateX(.75rem)}.custom-switch .custom-control-input:disabled:checked~.custom-control-label:before{background-color:rgba(0,123,255,.5)}.custom-select{display:inline-block;width:100%;height:calc(1.5em + .75rem + 2px);padding:.375rem 1.75rem .375rem .75rem;font-size:1rem;font-weight:400;line-height:1.5;color:#495057;vertical-align:middle;background:#fff url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='4' height='5'%3E%3Cpath fill='%23343a40' d='M2 0L0 2h4zm0 5L0 3h4z'/%3E%3C/svg%3E") no-repeat right .75rem center/8px 10px;border:1px solid #ced4da;border-radius:.25rem;appearance:none}.custom-select:focus{border-color:#80bdff;outline:0;box-shadow:0 0 0 .2rem rgba(0,123,255,.25)}.custom-select:focus::-ms-value{color:#495057;background-color:#fff}.custom-select[multiple],.custom-select[size]:not([size="1"]){height:auto;padding-right:.75rem;background-image:none}.custom-select:disabled{color:#6c757d;background-color:#e9ecef}.custom-select::-ms-expand{display:none}.custom-select:-moz-focusring{color:transparent;text-shadow:0 0 0 #495057}.custom-select-sm{height:calc(1.5em + .5rem + 2px);padding-top:.25rem;padding-bottom:.25rem;padding-left:.5rem;font-size:.875rem}.custom-select-lg{height:calc(1.5em + 1rem + 2px);padding-top:.5rem;padding-bottom:.5rem;padding-left:1rem;font-size:1.25rem}.custom-file{display:inline-block;margin-bottom:0}.custom-file,.custom-file-input{position:relative;width:100%;height:calc(1.5em + .75rem + 2px)}.custom-file-input{z-index:2;margin:0;opacity:0}.custom-file-input:focus~.custom-file-label{border-color:#80bdff;box-shadow:0 0 0 .2rem rgba(0,123,255,.25)}.custom-file-input:disabled~.custom-file-label,.custom-file-input[disabled]~.custom-file-label{background-color:#e9ecef}.custom-file-input:lang(en)~.custom-file-label:after{content:"Browse"}.custom-file-input~.custom-file-label[data-browse]:after{content:attr(data-browse)}.custom-file-label{left:0;z-index:1;height:calc(1.5em + .75rem + 2px);font-weight:400;background-color:#fff;border:1px solid #ced4da;border-radius:.25rem}.custom-file-label,.custom-file-label:after{position:absolute;top:0;right:0;padding:.375rem .75rem;line-height:1.5;color:#495057}.custom-file-label:after{bottom:0;z-index:3;display:block;height:calc(1.5em + .75rem);content:"Browse";background-color:#e9ecef;border-left:inherit;border-radius:0 .25rem .25rem 0}.custom-range{width:100%;height:1.4rem;padding:0;background-color:transparent;appearance:none}.custom-range:focus{outline:none}.custom-range:focus::-webkit-slider-thumb{box-shadow:0 0 0 1px #fff,0 0 0 .2rem rgba(0,123,255,.25)}.custom-range:focus::-moz-range-thumb{box-shadow:0 0 0 1px #fff,0 0 0 .2rem rgba(0,123,255,.25)}.custom-range:focus::-ms-thumb{box-shadow:0 0 0 1px #fff,0 0 0 .2rem rgba(0,123,255,.25)}.custom-range::-moz-focus-outer{border:0}.custom-range::-webkit-slider-thumb{width:1rem;height:1rem;margin-top:-.25rem;background-color:#007bff;border:0;border-radius:1rem;transition:background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out;appearance:none}@media (prefers-reduced-motion:reduce){.custom-range::-webkit-slider-thumb{transition:none}}.custom-range::-webkit-slider-thumb:active{background-color:#b3d7ff}.custom-range::-webkit-slider-runnable-track{width:100%;height:.5rem;color:transparent;cursor:pointer;background-color:#dee2e6;border-color:transparent;border-radius:1rem}.custom-range::-moz-range-thumb{width:1rem;height:1rem;background-color:#007bff;border:0;border-radius:1rem;transition:background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out;appearance:none}@media (prefers-reduced-motion:reduce){.custom-range::-moz-range-thumb{transition:none}}.custom-range::-moz-range-thumb:active{background-color:#b3d7ff}.custom-range::-moz-range-track{width:100%;height:.5rem;color:transparent;cursor:pointer;background-color:#dee2e6;border-color:transparent;border-radius:1rem}.custom-range::-ms-thumb{width:1rem;height:1rem;margin-top:0;margin-right:.2rem;margin-left:.2rem;background-color:#007bff;border:0;border-radius:1rem;transition:background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out;appearance:none}@media (prefers-reduced-motion:reduce){.custom-range::-ms-thumb{transition:none}}.custom-range::-ms-thumb:active{background-color:#b3d7ff}.custom-range::-ms-track{width:100%;height:.5rem;color:transparent;cursor:pointer;background-color:transparent;border-color:transparent;border-width:.5rem}.custom-range::-ms-fill-lower,.custom-range::-ms-fill-upper{background-color:#dee2e6;border-radius:1rem}.custom-range::-ms-fill-upper{margin-right:15px}.custom-range:disabled::-webkit-slider-thumb{background-color:#adb5bd}.custom-range:disabled::-webkit-slider-runnable-track{cursor:default}.custom-range:disabled::-moz-range-thumb{background-color:#adb5bd}.custom-range:disabled::-moz-range-track{cursor:default}.custom-range:disabled::-ms-thumb{background-color:#adb5bd}.custom-control-label:before,.custom-file-label,.custom-select{transition:background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out}@media (prefers-reduced-motion:reduce){.custom-control-label:before,.custom-file-label,.custom-select{transition:none}}.nav{display:flex;flex-wrap:wrap;padding-left:0;margin-bottom:0;list-style:none}.nav-link{display:block;padding:.5rem 1rem}.nav-link:focus,.nav-link:hover{text-decoration:none}.nav-link.disabled{color:#6c757d;pointer-events:none;cursor:default}.nav-tabs{border-bottom:1px solid #dee2e6}.nav-tabs .nav-item{margin-bottom:-1px}.nav-tabs .nav-link{border:1px solid transparent;border-top-left-radius:.25rem;border-top-right-radius:.25rem}.nav-tabs .nav-link:focus,.nav-tabs .nav-link:hover{border-color:#e9ecef #e9ecef #dee2e6}.nav-tabs .nav-link.disabled{color:#6c757d;background-color:transparent;border-color:transparent}.nav-tabs .nav-item.show .nav-link,.nav-tabs .nav-link.active{color:#495057;background-color:#fff;border-color:#dee2e6 #dee2e6 #fff}.nav-tabs .dropdown-menu{margin-top:-1px;border-top-left-radius:0;border-top-right-radius:0}.nav-pills .nav-link{border-radius:.25rem}.nav-pills .nav-link.active,.nav-pills .show>.nav-link{color:#fff;background-color:#007bff}.nav-fill .nav-item{flex:1 1 auto;text-align:center}.nav-justified .nav-item{flex-basis:0;flex-grow:1;text-align:center}.tab-content>.tab-pane{display:none}.tab-content>.active{display:block}.navbar{position:relative;padding:.5rem 1rem}.navbar,.navbar .container,.navbar .container-fluid,.navbar .container-lg,.navbar .container-md,.navbar .container-sm,.navbar .container-xl{display:flex;flex-wrap:wrap;align-items:center;justify-content:space-between}.navbar-brand{display:inline-block;padding-top:.3125rem;padding-bottom:.3125rem;margin-right:1rem;font-size:1.25rem;line-height:inherit;white-space:nowrap}.navbar-brand:focus,.navbar-brand:hover{text-decoration:none}.navbar-nav{display:flex;flex-direction:column;padding-left:0;margin-bottom:0;list-style:none}.navbar-nav .nav-link{padding-right:0;padding-left:0}.navbar-nav .dropdown-menu{position:static;float:none}.navbar-text{display:inline-block;padding-top:.5rem;padding-bottom:.5rem}.navbar-collapse{flex-basis:100%;flex-grow:1;align-items:center}.navbar-toggler{padding:.25rem .75rem;font-size:1.25rem;line-height:1;background-color:transparent;border:1px solid transparent;border-radius:.25rem}.navbar-toggler:focus,.navbar-toggler:hover{text-decoration:none}.navbar-toggler-icon{display:inline-block;width:1.5em;height:1.5em;vertical-align:middle;content:"";background:no-repeat 50%;background-size:100% 100%}@media (max-width:575.98px){.navbar-expand-sm>.container,.navbar-expand-sm>.container-fluid,.navbar-expand-sm>.container-lg,.navbar-expand-sm>.container-md,.navbar-expand-sm>.container-sm,.navbar-expand-sm>.container-xl{padding-right:0;padding-left:0}}@media (min-width:576px){.navbar-expand-sm{flex-flow:row nowrap;justify-content:flex-start}.navbar-expand-sm .navbar-nav{flex-direction:row}.navbar-expand-sm .navbar-nav .dropdown-menu{position:absolute}.navbar-expand-sm .navbar-nav .nav-link{padding-right:.5rem;padding-left:.5rem}.navbar-expand-sm>.container,.navbar-expand-sm>.container-fluid,.navbar-expand-sm>.container-lg,.navbar-expand-sm>.container-md,.navbar-expand-sm>.container-sm,.navbar-expand-sm>.container-xl{flex-wrap:nowrap}.navbar-expand-sm .navbar-collapse{display:flex!important;flex-basis:auto}.navbar-expand-sm .navbar-toggler{display:none}}@media (max-width:767.98px){.navbar-expand-md>.container,.navbar-expand-md>.container-fluid,.navbar-expand-md>.container-lg,.navbar-expand-md>.container-md,.navbar-expand-md>.container-sm,.navbar-expand-md>.container-xl{padding-right:0;padding-left:0}}@media (min-width:768px){.navbar-expand-md{flex-flow:row nowrap;justify-content:flex-start}.navbar-expand-md .navbar-nav{flex-direction:row}.navbar-expand-md .navbar-nav .dropdown-menu{position:absolute}.navbar-expand-md .navbar-nav .nav-link{padding-right:.5rem;padding-left:.5rem}.navbar-expand-md>.container,.navbar-expand-md>.container-fluid,.navbar-expand-md>.container-lg,.navbar-expand-md>.container-md,.navbar-expand-md>.container-sm,.navbar-expand-md>.container-xl{flex-wrap:nowrap}.navbar-expand-md .navbar-collapse{display:flex!important;flex-basis:auto}.navbar-expand-md .navbar-toggler{display:none}}@media (max-width:991.98px){.navbar-expand-lg>.container,.navbar-expand-lg>.container-fluid,.navbar-expand-lg>.container-lg,.navbar-expand-lg>.container-md,.navbar-expand-lg>.container-sm,.navbar-expand-lg>.container-xl{padding-right:0;padding-left:0}}@media (min-width:992px){.navbar-expand-lg{flex-flow:row nowrap;justify-content:flex-start}.navbar-expand-lg .navbar-nav{flex-direction:row}.navbar-expand-lg .navbar-nav .dropdown-menu{position:absolute}.navbar-expand-lg .navbar-nav .nav-link{padding-right:.5rem;padding-left:.5rem}.navbar-expand-lg>.container,.navbar-expand-lg>.container-fluid,.navbar-expand-lg>.container-lg,.navbar-expand-lg>.container-md,.navbar-expand-lg>.container-sm,.navbar-expand-lg>.container-xl{flex-wrap:nowrap}.navbar-expand-lg .navbar-collapse{display:flex!important;flex-basis:auto}.navbar-expand-lg .navbar-toggler{display:none}}@media (max-width:1199.98px){.navbar-expand-xl>.container,.navbar-expand-xl>.container-fluid,.navbar-expand-xl>.container-lg,.navbar-expand-xl>.container-md,.navbar-expand-xl>.container-sm,.navbar-expand-xl>.container-xl{padding-right:0;padding-left:0}}@media (min-width:1200px){.navbar-expand-xl{flex-flow:row nowrap;justify-content:flex-start}.navbar-expand-xl .navbar-nav{flex-direction:row}.navbar-expand-xl .navbar-nav .dropdown-menu{position:absolute}.navbar-expand-xl .navbar-nav .nav-link{padding-right:.5rem;padding-left:.5rem}.navbar-expand-xl>.container,.navbar-expand-xl>.container-fluid,.navbar-expand-xl>.container-lg,.navbar-expand-xl>.container-md,.navbar-expand-xl>.container-sm,.navbar-expand-xl>.container-xl{flex-wrap:nowrap}.navbar-expand-xl .navbar-collapse{display:flex!important;flex-basis:auto}.navbar-expand-xl .navbar-toggler{display:none}}.navbar-expand{flex-flow:row nowrap;justify-content:flex-start}.navbar-expand>.container,.navbar-expand>.container-fluid,.navbar-expand>.container-lg,.navbar-expand>.container-md,.navbar-expand>.container-sm,.navbar-expand>.container-xl{padding-right:0;padding-left:0}.navbar-expand .navbar-nav{flex-direction:row}.navbar-expand .navbar-nav .dropdown-menu{position:absolute}.navbar-expand .navbar-nav .nav-link{padding-right:.5rem;padding-left:.5rem}.navbar-expand>.container,.navbar-expand>.container-fluid,.navbar-expand>.container-lg,.navbar-expand>.container-md,.navbar-expand>.container-sm,.navbar-expand>.container-xl{flex-wrap:nowrap}.navbar-expand .navbar-collapse{display:flex!important;flex-basis:auto}.navbar-expand .navbar-toggler{display:none}.navbar-light .navbar-brand,.navbar-light .navbar-brand:focus,.navbar-light .navbar-brand:hover{color:rgba(0,0,0,.9)}.navbar-light .navbar-nav .nav-link{color:rgba(0,0,0,.5)}.navbar-light .navbar-nav .nav-link:focus,.navbar-light .navbar-nav .nav-link:hover{color:rgba(0,0,0,.7)}.navbar-light .navbar-nav .nav-link.disabled{color:rgba(0,0,0,.3)}.navbar-light .navbar-nav .active>.nav-link,.navbar-light .navbar-nav .nav-link.active,.navbar-light .navbar-nav .nav-link.show,.navbar-light .navbar-nav .show>.nav-link{color:rgba(0,0,0,.9)}.navbar-light .navbar-toggler{color:rgba(0,0,0,.5);border-color:rgba(0,0,0,.1)}.navbar-light .navbar-toggler-icon{background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='30' height='30'%3E%3Cpath stroke='rgba(0,0,0,0.5)' stroke-linecap='round' stroke-miterlimit='10' stroke-width='2' d='M4 7h22M4 15h22M4 23h22'/%3E%3C/svg%3E")}.navbar-light .navbar-text{color:rgba(0,0,0,.5)}.navbar-light .navbar-text a,.navbar-light .navbar-text a:focus,.navbar-light .navbar-text a:hover{color:rgba(0,0,0,.9)}.navbar-dark .navbar-brand,.navbar-dark .navbar-brand:focus,.navbar-dark .navbar-brand:hover{color:#fff}.navbar-dark .navbar-nav .nav-link{color:hsla(0,0%,100%,.5)}.navbar-dark .navbar-nav .nav-link:focus,.navbar-dark .navbar-nav .nav-link:hover{color:hsla(0,0%,100%,.75)}.navbar-dark .navbar-nav .nav-link.disabled{color:hsla(0,0%,100%,.25)}.navbar-dark .navbar-nav .active>.nav-link,.navbar-dark .navbar-nav .nav-link.active,.navbar-dark .navbar-nav .nav-link.show,.navbar-dark .navbar-nav .show>.nav-link{color:#fff}.navbar-dark .navbar-toggler{color:hsla(0,0%,100%,.5);border-color:hsla(0,0%,100%,.1)}.navbar-dark .navbar-toggler-icon{background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='30' height='30'%3E%3Cpath stroke='rgba(255,255,255,0.5)' stroke-linecap='round' stroke-miterlimit='10' stroke-width='2' d='M4 7h22M4 15h22M4 23h22'/%3E%3C/svg%3E")}.navbar-dark .navbar-text{color:hsla(0,0%,100%,.5)}.navbar-dark .navbar-text a,.navbar-dark .navbar-text a:focus,.navbar-dark .navbar-text a:hover{color:#fff}.card{position:relative;display:flex;flex-direction:column;min-width:0;word-wrap:break-word;background-color:#fff;background-clip:border-box;border:1px solid rgba(0,0,0,.125);border-radius:.25rem}.card>hr{margin-right:0;margin-left:0}.card>.list-group{border-top:inherit;border-bottom:inherit}.card>.list-group:first-child{border-top-width:0;border-top-left-radius:calc(.25rem - 1px);border-top-right-radius:calc(.25rem - 1px)}.card>.list-group:last-child{border-bottom-width:0;border-bottom-right-radius:calc(.25rem - 1px);border-bottom-left-radius:calc(.25rem - 1px)}.card-body{flex:1 1 auto;min-height:1px;padding:1.25rem}.card-title{margin-bottom:.75rem}.card-subtitle{margin-top:-.375rem}.card-subtitle,.card-text:last-child{margin-bottom:0}.card-link:hover{text-decoration:none}.card-link+.card-link{margin-left:1.25rem}.card-header{padding:.75rem 1.25rem;margin-bottom:0;background-color:rgba(0,0,0,.03);border-bottom:1px solid rgba(0,0,0,.125)}.card-header:first-child{border-radius:calc(.25rem - 1px) calc(.25rem - 1px) 0 0}.card-header+.list-group .list-group-item:first-child{border-top:0}.card-footer{padding:.75rem 1.25rem;background-color:rgba(0,0,0,.03);border-top:1px solid rgba(0,0,0,.125)}.card-footer:last-child{border-radius:0 0 calc(.25rem - 1px) calc(.25rem - 1px)}.card-header-tabs{margin-bottom:-.75rem;border-bottom:0}.card-header-pills,.card-header-tabs{margin-right:-.625rem;margin-left:-.625rem}.card-img-overlay{position:absolute;top:0;right:0;bottom:0;left:0;padding:1.25rem}.card-img,.card-img-bottom,.card-img-top{flex-shrink:0;width:100%}.card-img,.card-img-top{border-top-left-radius:calc(.25rem - 1px);border-top-right-radius:calc(.25rem - 1px)}.card-img,.card-img-bottom{border-bottom-right-radius:calc(.25rem - 1px);border-bottom-left-radius:calc(.25rem - 1px)}.card-deck .card{margin-bottom:15px}@media (min-width:576px){.card-deck{display:flex;flex-flow:row wrap;margin-right:-15px;margin-left:-15px}.card-deck .card{flex:1 0 0%;margin-right:15px;margin-bottom:0;margin-left:15px}}.card-group>.card{margin-bottom:15px}@media (min-width:576px){.card-group{display:flex;flex-flow:row wrap}.card-group>.card{flex:1 0 0%;margin-bottom:0}.card-group>.card+.card{margin-left:0;border-left:0}.card-group>.card:not(:last-child){border-top-right-radius:0;border-bottom-right-radius:0}.card-group>.card:not(:last-child) .card-header,.card-group>.card:not(:last-child) .card-img-top{border-top-right-radius:0}.card-group>.card:not(:last-child) .card-footer,.card-group>.card:not(:last-child) .card-img-bottom{border-bottom-right-radius:0}.card-group>.card:not(:first-child){border-top-left-radius:0;border-bottom-left-radius:0}.card-group>.card:not(:first-child) .card-header,.card-group>.card:not(:first-child) .card-img-top{border-top-left-radius:0}.card-group>.card:not(:first-child) .card-footer,.card-group>.card:not(:first-child) .card-img-bottom{border-bottom-left-radius:0}}.card-columns .card{margin-bottom:.75rem}@media (min-width:576px){.card-columns{column-count:3;column-gap:1.25rem;orphans:1;widows:1}.card-columns .card{display:inline-block;width:100%}}.accordion>.card{overflow:hidden}.accordion>.card:not(:last-of-type){border-bottom:0;border-bottom-right-radius:0;border-bottom-left-radius:0}.accordion>.card:not(:first-of-type){border-top-left-radius:0;border-top-right-radius:0}.accordion>.card>.card-header{border-radius:0;margin-bottom:-1px}.breadcrumb{flex-wrap:wrap;padding:.75rem 1rem;margin-bottom:1rem;list-style:none;background-color:#e9ecef;border-radius:.25rem}.breadcrumb,.breadcrumb-item{display:flex}.breadcrumb-item+.breadcrumb-item{padding-left:.5rem}.breadcrumb-item+.breadcrumb-item:before{display:inline-block;padding-right:.5rem;color:#6c757d;content:"/"}.breadcrumb-item+.breadcrumb-item:hover:before{text-decoration:underline;text-decoration:none}.breadcrumb-item.active{color:#6c757d}.pagination{display:flex;padding-left:0;list-style:none;border-radius:.25rem}.page-link{position:relative;display:block;padding:.5rem .75rem;margin-left:-1px;line-height:1.25;color:#007bff;background-color:#fff;border:1px solid #dee2e6}.page-link:hover{z-index:2;color:#0056b3;text-decoration:none;background-color:#e9ecef;border-color:#dee2e6}.page-link:focus{z-index:3;outline:0;box-shadow:0 0 0 .2rem rgba(0,123,255,.25)}.page-item:first-child .page-link{margin-left:0;border-top-left-radius:.25rem;border-bottom-left-radius:.25rem}.page-item:last-child .page-link{border-top-right-radius:.25rem;border-bottom-right-radius:.25rem}.page-item.active .page-link{z-index:3;color:#fff;background-color:#007bff;border-color:#007bff}.page-item.disabled .page-link{color:#6c757d;pointer-events:none;cursor:auto;background-color:#fff;border-color:#dee2e6}.pagination-lg .page-link{padding:.75rem 1.5rem;font-size:1.25rem;line-height:1.5}.pagination-lg .page-item:first-child .page-link{border-top-left-radius:.3rem;border-bottom-left-radius:.3rem}.pagination-lg .page-item:last-child .page-link{border-top-right-radius:.3rem;border-bottom-right-radius:.3rem}.pagination-sm .page-link{padding:.25rem .5rem;font-size:.875rem;line-height:1.5}.pagination-sm .page-item:first-child .page-link{border-top-left-radius:.2rem;border-bottom-left-radius:.2rem}.pagination-sm .page-item:last-child .page-link{border-top-right-radius:.2rem;border-bottom-right-radius:.2rem}.badge{display:inline-block;padding:.25em .4em;font-size:75%;font-weight:700;line-height:1;text-align:center;white-space:nowrap;vertical-align:baseline;border-radius:.25rem;transition:color .15s ease-in-out,background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out}@media (prefers-reduced-motion:reduce){.badge{transition:none}}a.badge:focus,a.badge:hover{text-decoration:none}.badge:empty{display:none}.btn .badge{position:relative;top:-1px}.badge-pill{padding-right:.6em;padding-left:.6em;border-radius:10rem}.badge-primary{color:#fff;background-color:#007bff}a.badge-primary:focus,a.badge-primary:hover{color:#fff;background-color:#0062cc}a.badge-primary.focus,a.badge-primary:focus{outline:0;box-shadow:0 0 0 .2rem rgba(0,123,255,.5)}.badge-secondary{color:#fff;background-color:#6c757d}a.badge-secondary:focus,a.badge-secondary:hover{color:#fff;background-color:#545b62}a.badge-secondary.focus,a.badge-secondary:focus{outline:0;box-shadow:0 0 0 .2rem rgba(108,117,125,.5)}.badge-success{color:#fff;background-color:#28a745}a.badge-success:focus,a.badge-success:hover{color:#fff;background-color:#1e7e34}a.badge-success.focus,a.badge-success:focus{outline:0;box-shadow:0 0 0 .2rem rgba(40,167,69,.5)}.badge-info{color:#fff;background-color:#17a2b8}a.badge-info:focus,a.badge-info:hover{color:#fff;background-color:#117a8b}a.badge-info.focus,a.badge-info:focus{outline:0;box-shadow:0 0 0 .2rem rgba(23,162,184,.5)}.badge-warning{color:#212529;background-color:#ffc107}a.badge-warning:focus,a.badge-warning:hover{color:#212529;background-color:#d39e00}a.badge-warning.focus,a.badge-warning:focus{outline:0;box-shadow:0 0 0 .2rem rgba(255,193,7,.5)}.badge-danger{color:#fff;background-color:#dc3545}a.badge-danger:focus,a.badge-danger:hover{color:#fff;background-color:#bd2130}a.badge-danger.focus,a.badge-danger:focus{outline:0;box-shadow:0 0 0 .2rem rgba(220,53,69,.5)}.badge-light{color:#212529;background-color:#f8f9fa}a.badge-light:focus,a.badge-light:hover{color:#212529;background-color:#dae0e5}a.badge-light.focus,a.badge-light:focus{outline:0;box-shadow:0 0 0 .2rem rgba(248,249,250,.5)}.badge-dark{color:#fff;background-color:#343a40}a.badge-dark:focus,a.badge-dark:hover{color:#fff;background-color:#1d2124}a.badge-dark.focus,a.badge-dark:focus{outline:0;box-shadow:0 0 0 .2rem rgba(52,58,64,.5)}.jumbotron{padding:2rem 1rem;margin-bottom:2rem;background-color:#e9ecef;border-radius:.3rem}@media (min-width:576px){.jumbotron{padding:4rem 2rem}}.jumbotron-fluid{padding-right:0;padding-left:0;border-radius:0}.alert{position:relative;padding:.75rem 1.25rem;margin-bottom:1rem;border:1px solid transparent;border-radius:.25rem}.alert-heading{color:inherit}.alert-link{font-weight:700}.alert-dismissible{padding-right:4rem}.alert-dismissible .close{position:absolute;top:0;right:0;padding:.75rem 1.25rem;color:inherit}.alert-primary{color:#004085;background-color:#cce5ff;border-color:#b8daff}.alert-primary hr{border-top-color:#9fcdff}.alert-primary .alert-link{color:#002752}.alert-secondary{color:#383d41;background-color:#e2e3e5;border-color:#d6d8db}.alert-secondary hr{border-top-color:#c8cbcf}.alert-secondary .alert-link{color:#202326}.alert-success{color:#155724;background-color:#d4edda;border-color:#c3e6cb}.alert-success hr{border-top-color:#b1dfbb}.alert-success .alert-link{color:#0b2e13}.alert-info{color:#0c5460;background-color:#d1ecf1;border-color:#bee5eb}.alert-info hr{border-top-color:#abdde5}.alert-info .alert-link{color:#062c33}.alert-warning{color:#856404;background-color:#fff3cd;border-color:#ffeeba}.alert-warning hr{border-top-color:#ffe8a1}.alert-warning .alert-link{color:#533f03}.alert-danger{color:#721c24;background-color:#f8d7da;border-color:#f5c6cb}.alert-danger hr{border-top-color:#f1b0b7}.alert-danger .alert-link{color:#491217}.alert-light{color:#818182;background-color:#fefefe;border-color:#fdfdfe}.alert-light hr{border-top-color:#ececf6}.alert-light .alert-link{color:#686868}.alert-dark{color:#1b1e21;background-color:#d6d8d9;border-color:#c6c8ca}.alert-dark hr{border-top-color:#b9bbbe}.alert-dark .alert-link{color:#040505}@keyframes progress-bar-stripes{0%{background-position:1rem 0}to{background-position:0 0}}.progress{height:1rem;line-height:0;font-size:.75rem;background-color:#e9ecef;border-radius:.25rem}.progress,.progress-bar{display:flex;overflow:hidden}.progress-bar{flex-direction:column;justify-content:center;color:#fff;text-align:center;white-space:nowrap;background-color:#007bff;transition:width .6s ease}@media (prefers-reduced-motion:reduce){.progress-bar{transition:none}}.progress-bar-striped{background-image:linear-gradient(45deg,hsla(0,0%,100%,.15) 25%,transparent 0,transparent 50%,hsla(0,0%,100%,.15) 0,hsla(0,0%,100%,.15) 75%,transparent 0,transparent);background-size:1rem 1rem}.progress-bar-animated{animation:progress-bar-stripes 1s linear infinite}@media (prefers-reduced-motion:reduce){.progress-bar-animated{animation:none}}.media{display:flex;align-items:flex-start}.media-body{flex:1}.list-group{display:flex;flex-direction:column;padding-left:0;margin-bottom:0;border-radius:.25rem}.list-group-item-action{width:100%;color:#495057;text-align:inherit}.list-group-item-action:focus,.list-group-item-action:hover{z-index:1;color:#495057;text-decoration:none;background-color:#f8f9fa}.list-group-item-action:active{color:#212529;background-color:#e9ecef}.list-group-item{position:relative;display:block;padding:.75rem 1.25rem;background-color:#fff;border:1px solid rgba(0,0,0,.125)}.list-group-item:first-child{border-top-left-radius:inherit;border-top-right-radius:inherit}.list-group-item:last-child{border-bottom-right-radius:inherit;border-bottom-left-radius:inherit}.list-group-item.disabled,.list-group-item:disabled{color:#6c757d;pointer-events:none;background-color:#fff}.list-group-item.active{z-index:2;color:#fff;background-color:#007bff;border-color:#007bff}.list-group-item+.list-group-item{border-top-width:0}.list-group-item+.list-group-item.active{margin-top:-1px;border-top-width:1px}.list-group-horizontal{flex-direction:row}.list-group-horizontal>.list-group-item:first-child{border-bottom-left-radius:.25rem;border-top-right-radius:0}.list-group-horizontal>.list-group-item:last-child{border-top-right-radius:.25rem;border-bottom-left-radius:0}.list-group-horizontal>.list-group-item.active{margin-top:0}.list-group-horizontal>.list-group-item+.list-group-item{border-top-width:1px;border-left-width:0}.list-group-horizontal>.list-group-item+.list-group-item.active{margin-left:-1px;border-left-width:1px}@media (min-width:576px){.list-group-horizontal-sm{flex-direction:row}.list-group-horizontal-sm>.list-group-item:first-child{border-bottom-left-radius:.25rem;border-top-right-radius:0}.list-group-horizontal-sm>.list-group-item:last-child{border-top-right-radius:.25rem;border-bottom-left-radius:0}.list-group-horizontal-sm>.list-group-item.active{margin-top:0}.list-group-horizontal-sm>.list-group-item+.list-group-item{border-top-width:1px;border-left-width:0}.list-group-horizontal-sm>.list-group-item+.list-group-item.active{margin-left:-1px;border-left-width:1px}}@media (min-width:768px){.list-group-horizontal-md{flex-direction:row}.list-group-horizontal-md>.list-group-item:first-child{border-bottom-left-radius:.25rem;border-top-right-radius:0}.list-group-horizontal-md>.list-group-item:last-child{border-top-right-radius:.25rem;border-bottom-left-radius:0}.list-group-horizontal-md>.list-group-item.active{margin-top:0}.list-group-horizontal-md>.list-group-item+.list-group-item{border-top-width:1px;border-left-width:0}.list-group-horizontal-md>.list-group-item+.list-group-item.active{margin-left:-1px;border-left-width:1px}}@media (min-width:992px){.list-group-horizontal-lg{flex-direction:row}.list-group-horizontal-lg>.list-group-item:first-child{border-bottom-left-radius:.25rem;border-top-right-radius:0}.list-group-horizontal-lg>.list-group-item:last-child{border-top-right-radius:.25rem;border-bottom-left-radius:0}.list-group-horizontal-lg>.list-group-item.active{margin-top:0}.list-group-horizontal-lg>.list-group-item+.list-group-item{border-top-width:1px;border-left-width:0}.list-group-horizontal-lg>.list-group-item+.list-group-item.active{margin-left:-1px;border-left-width:1px}}@media (min-width:1200px){.list-group-horizontal-xl{flex-direction:row}.list-group-horizontal-xl>.list-group-item:first-child{border-bottom-left-radius:.25rem;border-top-right-radius:0}.list-group-horizontal-xl>.list-group-item:last-child{border-top-right-radius:.25rem;border-bottom-left-radius:0}.list-group-horizontal-xl>.list-group-item.active{margin-top:0}.list-group-horizontal-xl>.list-group-item+.list-group-item{border-top-width:1px;border-left-width:0}.list-group-horizontal-xl>.list-group-item+.list-group-item.active{margin-left:-1px;border-left-width:1px}}.list-group-flush{border-radius:0}.list-group-flush>.list-group-item{border-width:0 0 1px}.list-group-flush>.list-group-item:last-child{border-bottom-width:0}.list-group-item-primary{color:#004085;background-color:#b8daff}.list-group-item-primary.list-group-item-action:focus,.list-group-item-primary.list-group-item-action:hover{color:#004085;background-color:#9fcdff}.list-group-item-primary.list-group-item-action.active{color:#fff;background-color:#004085;border-color:#004085}.list-group-item-secondary{color:#383d41;background-color:#d6d8db}.list-group-item-secondary.list-group-item-action:focus,.list-group-item-secondary.list-group-item-action:hover{color:#383d41;background-color:#c8cbcf}.list-group-item-secondary.list-group-item-action.active{color:#fff;background-color:#383d41;border-color:#383d41}.list-group-item-success{color:#155724;background-color:#c3e6cb}.list-group-item-success.list-group-item-action:focus,.list-group-item-success.list-group-item-action:hover{color:#155724;background-color:#b1dfbb}.list-group-item-success.list-group-item-action.active{color:#fff;background-color:#155724;border-color:#155724}.list-group-item-info{color:#0c5460;background-color:#bee5eb}.list-group-item-info.list-group-item-action:focus,.list-group-item-info.list-group-item-action:hover{color:#0c5460;background-color:#abdde5}.list-group-item-info.list-group-item-action.active{color:#fff;background-color:#0c5460;border-color:#0c5460}.list-group-item-warning{color:#856404;background-color:#ffeeba}.list-group-item-warning.list-group-item-action:focus,.list-group-item-warning.list-group-item-action:hover{color:#856404;background-color:#ffe8a1}.list-group-item-warning.list-group-item-action.active{color:#fff;background-color:#856404;border-color:#856404}.list-group-item-danger{color:#721c24;background-color:#f5c6cb}.list-group-item-danger.list-group-item-action:focus,.list-group-item-danger.list-group-item-action:hover{color:#721c24;background-color:#f1b0b7}.list-group-item-danger.list-group-item-action.active{color:#fff;background-color:#721c24;border-color:#721c24}.list-group-item-light{color:#818182;background-color:#fdfdfe}.list-group-item-light.list-group-item-action:focus,.list-group-item-light.list-group-item-action:hover{color:#818182;background-color:#ececf6}.list-group-item-light.list-group-item-action.active{color:#fff;background-color:#818182;border-color:#818182}.list-group-item-dark{color:#1b1e21;background-color:#c6c8ca}.list-group-item-dark.list-group-item-action:focus,.list-group-item-dark.list-group-item-action:hover{color:#1b1e21;background-color:#b9bbbe}.list-group-item-dark.list-group-item-action.active{color:#fff;background-color:#1b1e21;border-color:#1b1e21}.close{float:right;font-size:1.5rem;font-weight:700;line-height:1;color:#000;text-shadow:0 1px 0 #fff;opacity:.5}.close:hover{color:#000;text-decoration:none}.close:not(:disabled):not(.disabled):focus,.close:not(:disabled):not(.disabled):hover{opacity:.75}button.close{padding:0;background-color:transparent;border:0}a.close.disabled{pointer-events:none}.toast{max-width:350px;overflow:hidden;font-size:.875rem;background-color:hsla(0,0%,100%,.85);background-clip:padding-box;border:1px solid rgba(0,0,0,.1);box-shadow:0 .25rem .75rem rgba(0,0,0,.1);backdrop-filter:blur(10px);opacity:0;border-radius:.25rem}.toast:not(:last-child){margin-bottom:.75rem}.toast.showing{opacity:1}.toast.show{display:block;opacity:1}.toast.hide{display:none}.toast-header{display:flex;align-items:center;padding:.25rem .75rem;color:#6c757d;background-color:hsla(0,0%,100%,.85);background-clip:padding-box;border-bottom:1px solid rgba(0,0,0,.05)}.toast-body{padding:.75rem}.modal-open{overflow:hidden}.modal-open .modal{overflow-x:hidden;overflow-y:auto}.modal{position:fixed;top:0;left:0;z-index:1050;display:none;width:100%;height:100%;overflow:hidden;outline:0}.modal-dialog{position:relative;width:auto;margin:.5rem;pointer-events:none}.modal.fade .modal-dialog{transition:transform .3s ease-out;transform:translateY(-50px)}@media (prefers-reduced-motion:reduce){.modal.fade .modal-dialog{transition:none}}.modal.show .modal-dialog{transform:none}.modal.modal-static .modal-dialog{transform:scale(1.02)}.modal-dialog-scrollable{display:flex;max-height:calc(100% - 1rem)}.modal-dialog-scrollable .modal-content{max-height:calc(100vh - 1rem);overflow:hidden}.modal-dialog-scrollable .modal-footer,.modal-dialog-scrollable .modal-header{flex-shrink:0}.modal-dialog-scrollable .modal-body{overflow-y:auto}.modal-dialog-centered{display:flex;align-items:center;min-height:calc(100% - 1rem)}.modal-dialog-centered:before{display:block;height:calc(100vh - 1rem);height:min-content;content:""}.modal-dialog-centered.modal-dialog-scrollable{flex-direction:column;justify-content:center;height:100%}.modal-dialog-centered.modal-dialog-scrollable .modal-content{max-height:none}.modal-dialog-centered.modal-dialog-scrollable:before{content:none}.modal-content{position:relative;display:flex;flex-direction:column;width:100%;pointer-events:auto;background-color:#fff;background-clip:padding-box;border:1px solid rgba(0,0,0,.2);border-radius:.3rem;outline:0}.modal-backdrop{position:fixed;top:0;left:0;z-index:1040;width:100vw;height:100vh;background-color:#000}.modal-backdrop.fade{opacity:0}.modal-backdrop.show{opacity:.5}.modal-header{display:flex;align-items:flex-start;justify-content:space-between;padding:1rem;border-bottom:1px solid #dee2e6;border-top-left-radius:calc(.3rem - 1px);border-top-right-radius:calc(.3rem - 1px)}.modal-header .close{padding:1rem;margin:-1rem -1rem -1rem auto}.modal-title{margin-bottom:0;line-height:1.5}.modal-body{position:relative;flex:1 1 auto;padding:1rem}.modal-footer{display:flex;flex-wrap:wrap;align-items:center;justify-content:flex-end;padding:.75rem;border-top:1px solid #dee2e6;border-bottom-right-radius:calc(.3rem - 1px);border-bottom-left-radius:calc(.3rem - 1px)}.modal-footer>*{margin:.25rem}.modal-scrollbar-measure{position:absolute;top:-9999px;width:50px;height:50px;overflow:scroll}@media (min-width:576px){.modal-dialog{max-width:500px;margin:1.75rem auto}.modal-dialog-scrollable{max-height:calc(100% - 3.5rem)}.modal-dialog-scrollable .modal-content{max-height:calc(100vh - 3.5rem)}.modal-dialog-centered{min-height:calc(100% - 3.5rem)}.modal-dialog-centered:before{height:calc(100vh - 3.5rem);height:min-content}.modal-sm{max-width:300px}}@media (min-width:992px){.modal-lg,.modal-xl{max-width:800px}}@media (min-width:1200px){.modal-xl{max-width:1140px}}.tooltip{position:absolute;z-index:1070;display:block;margin:0;font-family:-apple-system,BlinkMacSystemFont,Segoe UI,Roboto,Helvetica Neue,Arial,Noto Sans,sans-serif,Apple Color Emoji,Segoe UI Emoji,Segoe UI Symbol,Noto Color Emoji;font-style:normal;font-weight:400;line-height:1.5;text-align:left;text-align:start;text-decoration:none;text-shadow:none;text-transform:none;letter-spacing:normal;word-break:normal;word-spacing:normal;white-space:normal;line-break:auto;font-size:.875rem;word-wrap:break-word;opacity:0}.tooltip.show{opacity:.9}.tooltip .arrow{position:absolute;display:block;width:.8rem;height:.4rem}.tooltip .arrow:before{position:absolute;content:"";border-color:transparent;border-style:solid}.bs-tooltip-auto[x-placement^=top],.bs-tooltip-top{padding:.4rem 0}.bs-tooltip-auto[x-placement^=top] .arrow,.bs-tooltip-top .arrow{bottom:0}.bs-tooltip-auto[x-placement^=top] .arrow:before,.bs-tooltip-top .arrow:before{top:0;border-width:.4rem .4rem 0;border-top-color:#000}.bs-tooltip-auto[x-placement^=right],.bs-tooltip-right{padding:0 .4rem}.bs-tooltip-auto[x-placement^=right] .arrow,.bs-tooltip-right .arrow{left:0;width:.4rem;height:.8rem}.bs-tooltip-auto[x-placement^=right] .arrow:before,.bs-tooltip-right .arrow:before{right:0;border-width:.4rem .4rem .4rem 0;border-right-color:#000}.bs-tooltip-auto[x-placement^=bottom],.bs-tooltip-bottom{padding:.4rem 0}.bs-tooltip-auto[x-placement^=bottom] .arrow,.bs-tooltip-bottom .arrow{top:0}.bs-tooltip-auto[x-placement^=bottom] .arrow:before,.bs-tooltip-bottom .arrow:before{bottom:0;border-width:0 .4rem .4rem;border-bottom-color:#000}.bs-tooltip-auto[x-placement^=left],.bs-tooltip-left{padding:0 .4rem}.bs-tooltip-auto[x-placement^=left] .arrow,.bs-tooltip-left .arrow{right:0;width:.4rem;height:.8rem}.bs-tooltip-auto[x-placement^=left] .arrow:before,.bs-tooltip-left .arrow:before{left:0;border-width:.4rem 0 .4rem .4rem;border-left-color:#000}.tooltip-inner{max-width:200px;padding:.25rem .5rem;color:#fff;text-align:center;background-color:#000;border-radius:.25rem}.popover{top:0;left:0;z-index:1060;max-width:276px;font-family:-apple-system,BlinkMacSystemFont,Segoe UI,Roboto,Helvetica Neue,Arial,Noto Sans,sans-serif,Apple Color Emoji,Segoe UI Emoji,Segoe UI Symbol,Noto Color Emoji;font-style:normal;font-weight:400;line-height:1.5;text-align:left;text-align:start;text-decoration:none;text-shadow:none;text-transform:none;letter-spacing:normal;word-break:normal;word-spacing:normal;white-space:normal;line-break:auto;font-size:.875rem;word-wrap:break-word;background-color:#fff;background-clip:padding-box;border:1px solid rgba(0,0,0,.2);border-radius:.3rem}.popover,.popover .arrow{position:absolute;display:block}.popover .arrow{width:1rem;height:.5rem;margin:0 .3rem}.popover .arrow:after,.popover .arrow:before{position:absolute;display:block;content:"";border-color:transparent;border-style:solid}.bs-popover-auto[x-placement^=top],.bs-popover-top{margin-bottom:.5rem}.bs-popover-auto[x-placement^=top]>.arrow,.bs-popover-top>.arrow{bottom:calc(-.5rem - 1px)}.bs-popover-auto[x-placement^=top]>.arrow:before,.bs-popover-top>.arrow:before{bottom:0;border-width:.5rem .5rem 0;border-top-color:rgba(0,0,0,.25)}.bs-popover-auto[x-placement^=top]>.arrow:after,.bs-popover-top>.arrow:after{bottom:1px;border-width:.5rem .5rem 0;border-top-color:#fff}.bs-popover-auto[x-placement^=right],.bs-popover-right{margin-left:.5rem}.bs-popover-auto[x-placement^=right]>.arrow,.bs-popover-right>.arrow{left:calc(-.5rem - 1px);width:.5rem;height:1rem;margin:.3rem 0}.bs-popover-auto[x-placement^=right]>.arrow:before,.bs-popover-right>.arrow:before{left:0;border-width:.5rem .5rem .5rem 0;border-right-color:rgba(0,0,0,.25)}.bs-popover-auto[x-placement^=right]>.arrow:after,.bs-popover-right>.arrow:after{left:1px;border-width:.5rem .5rem .5rem 0;border-right-color:#fff}.bs-popover-auto[x-placement^=bottom],.bs-popover-bottom{margin-top:.5rem}.bs-popover-auto[x-placement^=bottom]>.arrow,.bs-popover-bottom>.arrow{top:calc(-.5rem - 1px)}.bs-popover-auto[x-placement^=bottom]>.arrow:before,.bs-popover-bottom>.arrow:before{top:0;border-width:0 .5rem .5rem;border-bottom-color:rgba(0,0,0,.25)}.bs-popover-auto[x-placement^=bottom]>.arrow:after,.bs-popover-bottom>.arrow:after{top:1px;border-width:0 .5rem .5rem;border-bottom-color:#fff}.bs-popover-auto[x-placement^=bottom] .popover-header:before,.bs-popover-bottom .popover-header:before{position:absolute;top:0;left:50%;display:block;width:1rem;margin-left:-.5rem;content:"";border-bottom:1px solid #f7f7f7}.bs-popover-auto[x-placement^=left],.bs-popover-left{margin-right:.5rem}.bs-popover-auto[x-placement^=left]>.arrow,.bs-popover-left>.arrow{right:calc(-.5rem - 1px);width:.5rem;height:1rem;margin:.3rem 0}.bs-popover-auto[x-placement^=left]>.arrow:before,.bs-popover-left>.arrow:before{right:0;border-width:.5rem 0 .5rem .5rem;border-left-color:rgba(0,0,0,.25)}.bs-popover-auto[x-placement^=left]>.arrow:after,.bs-popover-left>.arrow:after{right:1px;border-width:.5rem 0 .5rem .5rem;border-left-color:#fff}.popover-header{padding:.5rem .75rem;margin-bottom:0;font-size:1rem;background-color:#f7f7f7;border-bottom:1px solid #ebebeb;border-top-left-radius:calc(.3rem - 1px);border-top-right-radius:calc(.3rem - 1px)}.popover-header:empty{display:none}.popover-body{padding:.5rem .75rem;color:#212529}.carousel{position:relative}.carousel.pointer-event{touch-action:pan-y}.carousel-inner{position:relative;width:100%;overflow:hidden}.carousel-inner:after{display:block;clear:both;content:""}.carousel-item{position:relative;display:none;float:left;width:100%;margin-right:-100%;backface-visibility:hidden;transition:transform .6s ease-in-out}@media (prefers-reduced-motion:reduce){.carousel-item{transition:none}}.carousel-item-next,.carousel-item-prev,.carousel-item.active{display:block}.active.carousel-item-right,.carousel-item-next:not(.carousel-item-left){transform:translateX(100%)}.active.carousel-item-left,.carousel-item-prev:not(.carousel-item-right){transform:translateX(-100%)}.carousel-fade .carousel-item{opacity:0;transition-property:opacity;transform:none}.carousel-fade .carousel-item-next.carousel-item-left,.carousel-fade .carousel-item-prev.carousel-item-right,.carousel-fade .carousel-item.active{z-index:1;opacity:1}.carousel-fade .active.carousel-item-left,.carousel-fade .active.carousel-item-right{z-index:0;opacity:0;transition:opacity 0s .6s}@media (prefers-reduced-motion:reduce){.carousel-fade .active.carousel-item-left,.carousel-fade .active.carousel-item-right{transition:none}}.carousel-control-next,.carousel-control-prev{position:absolute;top:0;bottom:0;z-index:1;display:flex;align-items:center;justify-content:center;width:15%;color:#fff;text-align:center;opacity:.5;transition:opacity .15s ease}@media (prefers-reduced-motion:reduce){.carousel-control-next,.carousel-control-prev{transition:none}}.carousel-control-next:focus,.carousel-control-next:hover,.carousel-control-prev:focus,.carousel-control-prev:hover{color:#fff;text-decoration:none;outline:0;opacity:.9}.carousel-control-prev{left:0}.carousel-control-next{right:0}.carousel-control-next-icon,.carousel-control-prev-icon{display:inline-block;width:20px;height:20px;background:no-repeat 50%/100% 100%}.carousel-control-prev-icon{background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' fill='%23fff' width='8' height='8'%3E%3Cpath d='M5.25 0l-4 4 4 4 1.5-1.5L4.25 4l2.5-2.5L5.25 0z'/%3E%3C/svg%3E")}.carousel-control-next-icon{background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' fill='%23fff' width='8' height='8'%3E%3Cpath d='M2.75 0l-1.5 1.5L3.75 4l-2.5 2.5L2.75 8l4-4-4-4z'/%3E%3C/svg%3E")}.carousel-indicators{position:absolute;right:0;bottom:0;left:0;z-index:15;display:flex;justify-content:center;padding-left:0;margin-right:15%;margin-left:15%;list-style:none}.carousel-indicators li{box-sizing:content-box;flex:0 1 auto;width:30px;height:3px;margin-right:3px;margin-left:3px;text-indent:-999px;cursor:pointer;background-color:#fff;background-clip:padding-box;border-top:10px solid transparent;border-bottom:10px solid transparent;opacity:.5;transition:opacity .6s ease}@media (prefers-reduced-motion:reduce){.carousel-indicators li{transition:none}}.carousel-indicators .active{opacity:1}.carousel-caption{position:absolute;right:15%;bottom:20px;left:15%;z-index:10;padding-top:20px;padding-bottom:20px;color:#fff;text-align:center}@keyframes spinner-border{to{transform:rotate(1turn)}}.spinner-border{display:inline-block;width:2rem;height:2rem;vertical-align:text-bottom;border:.25em solid;border-right:.25em solid transparent;border-radius:50%;animation:spinner-border .75s linear infinite}.spinner-border-sm{width:1rem;height:1rem;border-width:.2em}@keyframes spinner-grow{0%{transform:scale(0)}50%{opacity:1;transform:none}}.spinner-grow{display:inline-block;width:2rem;height:2rem;vertical-align:text-bottom;background-color:currentColor;border-radius:50%;opacity:0;animation:spinner-grow .75s linear infinite}.spinner-grow-sm{width:1rem;height:1rem}.align-baseline{vertical-align:baseline!important}.align-top{vertical-align:top!important}.align-middle{vertical-align:middle!important}.align-bottom{vertical-align:bottom!important}.align-text-bottom{vertical-align:text-bottom!important}.align-text-top{vertical-align:text-top!important}.bg-primary{background-color:#007bff!important}a.bg-primary:focus,a.bg-primary:hover,button.bg-primary:focus,button.bg-primary:hover{background-color:#0062cc!important}.bg-secondary{background-color:#6c757d!important}a.bg-secondary:focus,a.bg-secondary:hover,button.bg-secondary:focus,button.bg-secondary:hover{background-color:#545b62!important}.bg-success{background-color:#28a745!important}a.bg-success:focus,a.bg-success:hover,button.bg-success:focus,button.bg-success:hover{background-color:#1e7e34!important}.bg-info{background-color:#17a2b8!important}a.bg-info:focus,a.bg-info:hover,button.bg-info:focus,button.bg-info:hover{background-color:#117a8b!important}.bg-warning{background-color:#ffc107!important}a.bg-warning:focus,a.bg-warning:hover,button.bg-warning:focus,button.bg-warning:hover{background-color:#d39e00!important}.bg-danger{background-color:#dc3545!important}a.bg-danger:focus,a.bg-danger:hover,button.bg-danger:focus,button.bg-danger:hover{background-color:#bd2130!important}.bg-light{background-color:#f8f9fa!important}a.bg-light:focus,a.bg-light:hover,button.bg-light:focus,button.bg-light:hover{background-color:#dae0e5!important}.bg-dark{background-color:#343a40!important}a.bg-dark:focus,a.bg-dark:hover,button.bg-dark:focus,button.bg-dark:hover{background-color:#1d2124!important}.bg-white{background-color:#fff!important}.bg-transparent{background-color:transparent!important}.border{border:1px solid #dee2e6!important}.border-top{border-top:1px solid #dee2e6!important}.border-right{border-right:1px solid #dee2e6!important}.border-bottom{border-bottom:1px solid #dee2e6!important}.border-left{border-left:1px solid #dee2e6!important}.border-0{border:0!important}.border-top-0{border-top:0!important}.border-right-0{border-right:0!important}.border-bottom-0{border-bottom:0!important}.border-left-0{border-left:0!important}.border-primary{border-color:#007bff!important}.border-secondary{border-color:#6c757d!important}.border-success{border-color:#28a745!important}.border-info{border-color:#17a2b8!important}.border-warning{border-color:#ffc107!important}.border-danger{border-color:#dc3545!important}.border-light{border-color:#f8f9fa!important}.border-dark{border-color:#343a40!important}.border-white{border-color:#fff!important}.rounded-sm{border-radius:.2rem!important}.rounded{border-radius:.25rem!important}.rounded-top{border-top-left-radius:.25rem!important}.rounded-right,.rounded-top{border-top-right-radius:.25rem!important}.rounded-bottom,.rounded-right{border-bottom-right-radius:.25rem!important}.rounded-bottom,.rounded-left{border-bottom-left-radius:.25rem!important}.rounded-left{border-top-left-radius:.25rem!important}.rounded-lg{border-radius:.3rem!important}.rounded-circle{border-radius:50%!important}.rounded-pill{border-radius:50rem!important}.rounded-0{border-radius:0!important}.clearfix:after{display:block;clear:both;content:""}.d-none{display:none!important}.d-inline{display:inline!important}.d-inline-block{display:inline-block!important}.d-block{display:block!important}.d-table{display:table!important}.d-table-row{display:table-row!important}.d-table-cell{display:table-cell!important}.d-flex{display:flex!important}.d-inline-flex{display:inline-flex!important}@media (min-width:576px){.d-sm-none{display:none!important}.d-sm-inline{display:inline!important}.d-sm-inline-block{display:inline-block!important}.d-sm-block{display:block!important}.d-sm-table{display:table!important}.d-sm-table-row{display:table-row!important}.d-sm-table-cell{display:table-cell!important}.d-sm-flex{display:flex!important}.d-sm-inline-flex{display:inline-flex!important}}@media (min-width:768px){.d-md-none{display:none!important}.d-md-inline{display:inline!important}.d-md-inline-block{display:inline-block!important}.d-md-block{display:block!important}.d-md-table{display:table!important}.d-md-table-row{display:table-row!important}.d-md-table-cell{display:table-cell!important}.d-md-flex{display:flex!important}.d-md-inline-flex{display:inline-flex!important}}@media (min-width:992px){.d-lg-none{display:none!important}.d-lg-inline{display:inline!important}.d-lg-inline-block{display:inline-block!important}.d-lg-block{display:block!important}.d-lg-table{display:table!important}.d-lg-table-row{display:table-row!important}.d-lg-table-cell{display:table-cell!important}.d-lg-flex{display:flex!important}.d-lg-inline-flex{display:inline-flex!important}}@media (min-width:1200px){.d-xl-none{display:none!important}.d-xl-inline{display:inline!important}.d-xl-inline-block{display:inline-block!important}.d-xl-block{display:block!important}.d-xl-table{display:table!important}.d-xl-table-row{display:table-row!important}.d-xl-table-cell{display:table-cell!important}.d-xl-flex{display:flex!important}.d-xl-inline-flex{display:inline-flex!important}}@media print{.d-print-none{display:none!important}.d-print-inline{display:inline!important}.d-print-inline-block{display:inline-block!important}.d-print-block{display:block!important}.d-print-table{display:table!important}.d-print-table-row{display:table-row!important}.d-print-table-cell{display:table-cell!important}.d-print-flex{display:flex!important}.d-print-inline-flex{display:inline-flex!important}}.embed-responsive{position:relative;display:block;width:100%;padding:0;overflow:hidden}.embed-responsive:before{display:block;content:""}.embed-responsive .embed-responsive-item,.embed-responsive embed,.embed-responsive iframe,.embed-responsive object,.embed-responsive video{position:absolute;top:0;bottom:0;left:0;width:100%;height:100%;border:0}.embed-responsive-21by9:before{padding-top:42.85714%}.embed-responsive-16by9:before{padding-top:56.25%}.embed-responsive-4by3:before{padding-top:75%}.embed-responsive-1by1:before{padding-top:100%}.flex-row{flex-direction:row!important}.flex-column{flex-direction:column!important}.flex-row-reverse{flex-direction:row-reverse!important}.flex-column-reverse{flex-direction:column-reverse!important}.flex-wrap{flex-wrap:wrap!important}.flex-nowrap{flex-wrap:nowrap!important}.flex-wrap-reverse{flex-wrap:wrap-reverse!important}.flex-fill{flex:1 1 auto!important}.flex-grow-0{flex-grow:0!important}.flex-grow-1{flex-grow:1!important}.flex-shrink-0{flex-shrink:0!important}.flex-shrink-1{flex-shrink:1!important}.justify-content-start{justify-content:flex-start!important}.justify-content-end{justify-content:flex-end!important}.justify-content-center{justify-content:center!important}.justify-content-between{justify-content:space-between!important}.justify-content-around{justify-content:space-around!important}.align-items-start{align-items:flex-start!important}.align-items-end{align-items:flex-end!important}.align-items-center{align-items:center!important}.align-items-baseline{align-items:baseline!important}.align-items-stretch{align-items:stretch!important}.align-content-start{align-content:flex-start!important}.align-content-end{align-content:flex-end!important}.align-content-center{align-content:center!important}.align-content-between{align-content:space-between!important}.align-content-around{align-content:space-around!important}.align-content-stretch{align-content:stretch!important}.align-self-auto{align-self:auto!important}.align-self-start{align-self:flex-start!important}.align-self-end{align-self:flex-end!important}.align-self-center{align-self:center!important}.align-self-baseline{align-self:baseline!important}.align-self-stretch{align-self:stretch!important}@media (min-width:576px){.flex-sm-row{flex-direction:row!important}.flex-sm-column{flex-direction:column!important}.flex-sm-row-reverse{flex-direction:row-reverse!important}.flex-sm-column-reverse{flex-direction:column-reverse!important}.flex-sm-wrap{flex-wrap:wrap!important}.flex-sm-nowrap{flex-wrap:nowrap!important}.flex-sm-wrap-reverse{flex-wrap:wrap-reverse!important}.flex-sm-fill{flex:1 1 auto!important}.flex-sm-grow-0{flex-grow:0!important}.flex-sm-grow-1{flex-grow:1!important}.flex-sm-shrink-0{flex-shrink:0!important}.flex-sm-shrink-1{flex-shrink:1!important}.justify-content-sm-start{justify-content:flex-start!important}.justify-content-sm-end{justify-content:flex-end!important}.justify-content-sm-center{justify-content:center!important}.justify-content-sm-between{justify-content:space-between!important}.justify-content-sm-around{justify-content:space-around!important}.align-items-sm-start{align-items:flex-start!important}.align-items-sm-end{align-items:flex-end!important}.align-items-sm-center{align-items:center!important}.align-items-sm-baseline{align-items:baseline!important}.align-items-sm-stretch{align-items:stretch!important}.align-content-sm-start{align-content:flex-start!important}.align-content-sm-end{align-content:flex-end!important}.align-content-sm-center{align-content:center!important}.align-content-sm-between{align-content:space-between!important}.align-content-sm-around{align-content:space-around!important}.align-content-sm-stretch{align-content:stretch!important}.align-self-sm-auto{align-self:auto!important}.align-self-sm-start{align-self:flex-start!important}.align-self-sm-end{align-self:flex-end!important}.align-self-sm-center{align-self:center!important}.align-self-sm-baseline{align-self:baseline!important}.align-self-sm-stretch{align-self:stretch!important}}@media (min-width:768px){.flex-md-row{flex-direction:row!important}.flex-md-column{flex-direction:column!important}.flex-md-row-reverse{flex-direction:row-reverse!important}.flex-md-column-reverse{flex-direction:column-reverse!important}.flex-md-wrap{flex-wrap:wrap!important}.flex-md-nowrap{flex-wrap:nowrap!important}.flex-md-wrap-reverse{flex-wrap:wrap-reverse!important}.flex-md-fill{flex:1 1 auto!important}.flex-md-grow-0{flex-grow:0!important}.flex-md-grow-1{flex-grow:1!important}.flex-md-shrink-0{flex-shrink:0!important}.flex-md-shrink-1{flex-shrink:1!important}.justify-content-md-start{justify-content:flex-start!important}.justify-content-md-end{justify-content:flex-end!important}.justify-content-md-center{justify-content:center!important}.justify-content-md-between{justify-content:space-between!important}.justify-content-md-around{justify-content:space-around!important}.align-items-md-start{align-items:flex-start!important}.align-items-md-end{align-items:flex-end!important}.align-items-md-center{align-items:center!important}.align-items-md-baseline{align-items:baseline!important}.align-items-md-stretch{align-items:stretch!important}.align-content-md-start{align-content:flex-start!important}.align-content-md-end{align-content:flex-end!important}.align-content-md-center{align-content:center!important}.align-content-md-between{align-content:space-between!important}.align-content-md-around{align-content:space-around!important}.align-content-md-stretch{align-content:stretch!important}.align-self-md-auto{align-self:auto!important}.align-self-md-start{align-self:flex-start!important}.align-self-md-end{align-self:flex-end!important}.align-self-md-center{align-self:center!important}.align-self-md-baseline{align-self:baseline!important}.align-self-md-stretch{align-self:stretch!important}}@media (min-width:992px){.flex-lg-row{flex-direction:row!important}.flex-lg-column{flex-direction:column!important}.flex-lg-row-reverse{flex-direction:row-reverse!important}.flex-lg-column-reverse{flex-direction:column-reverse!important}.flex-lg-wrap{flex-wrap:wrap!important}.flex-lg-nowrap{flex-wrap:nowrap!important}.flex-lg-wrap-reverse{flex-wrap:wrap-reverse!important}.flex-lg-fill{flex:1 1 auto!important}.flex-lg-grow-0{flex-grow:0!important}.flex-lg-grow-1{flex-grow:1!important}.flex-lg-shrink-0{flex-shrink:0!important}.flex-lg-shrink-1{flex-shrink:1!important}.justify-content-lg-start{justify-content:flex-start!important}.justify-content-lg-end{justify-content:flex-end!important}.justify-content-lg-center{justify-content:center!important}.justify-content-lg-between{justify-content:space-between!important}.justify-content-lg-around{justify-content:space-around!important}.align-items-lg-start{align-items:flex-start!important}.align-items-lg-end{align-items:flex-end!important}.align-items-lg-center{align-items:center!important}.align-items-lg-baseline{align-items:baseline!important}.align-items-lg-stretch{align-items:stretch!important}.align-content-lg-start{align-content:flex-start!important}.align-content-lg-end{align-content:flex-end!important}.align-content-lg-center{align-content:center!important}.align-content-lg-between{align-content:space-between!important}.align-content-lg-around{align-content:space-around!important}.align-content-lg-stretch{align-content:stretch!important}.align-self-lg-auto{align-self:auto!important}.align-self-lg-start{align-self:flex-start!important}.align-self-lg-end{align-self:flex-end!important}.align-self-lg-center{align-self:center!important}.align-self-lg-baseline{align-self:baseline!important}.align-self-lg-stretch{align-self:stretch!important}}@media (min-width:1200px){.flex-xl-row{flex-direction:row!important}.flex-xl-column{flex-direction:column!important}.flex-xl-row-reverse{flex-direction:row-reverse!important}.flex-xl-column-reverse{flex-direction:column-reverse!important}.flex-xl-wrap{flex-wrap:wrap!important}.flex-xl-nowrap{flex-wrap:nowrap!important}.flex-xl-wrap-reverse{flex-wrap:wrap-reverse!important}.flex-xl-fill{flex:1 1 auto!important}.flex-xl-grow-0{flex-grow:0!important}.flex-xl-grow-1{flex-grow:1!important}.flex-xl-shrink-0{flex-shrink:0!important}.flex-xl-shrink-1{flex-shrink:1!important}.justify-content-xl-start{justify-content:flex-start!important}.justify-content-xl-end{justify-content:flex-end!important}.justify-content-xl-center{justify-content:center!important}.justify-content-xl-between{justify-content:space-between!important}.justify-content-xl-around{justify-content:space-around!important}.align-items-xl-start{align-items:flex-start!important}.align-items-xl-end{align-items:flex-end!important}.align-items-xl-center{align-items:center!important}.align-items-xl-baseline{align-items:baseline!important}.align-items-xl-stretch{align-items:stretch!important}.align-content-xl-start{align-content:flex-start!important}.align-content-xl-end{align-content:flex-end!important}.align-content-xl-center{align-content:center!important}.align-content-xl-between{align-content:space-between!important}.align-content-xl-around{align-content:space-around!important}.align-content-xl-stretch{align-content:stretch!important}.align-self-xl-auto{align-self:auto!important}.align-self-xl-start{align-self:flex-start!important}.align-self-xl-end{align-self:flex-end!important}.align-self-xl-center{align-self:center!important}.align-self-xl-baseline{align-self:baseline!important}.align-self-xl-stretch{align-self:stretch!important}}.float-left{float:left!important}.float-right{float:right!important}.float-none{float:none!important}@media (min-width:576px){.float-sm-left{float:left!important}.float-sm-right{float:right!important}.float-sm-none{float:none!important}}@media (min-width:768px){.float-md-left{float:left!important}.float-md-right{float:right!important}.float-md-none{float:none!important}}@media (min-width:992px){.float-lg-left{float:left!important}.float-lg-right{float:right!important}.float-lg-none{float:none!important}}@media (min-width:1200px){.float-xl-left{float:left!important}.float-xl-right{float:right!important}.float-xl-none{float:none!important}}.user-select-all{user-select:all!important}.user-select-auto{user-select:auto!important}.user-select-none{user-select:none!important}.overflow-auto{overflow:auto!important}.overflow-hidden{overflow:hidden!important}.position-static{position:static!important}.position-relative{position:relative!important}.position-absolute{position:absolute!important}.position-fixed{position:fixed!important}.position-sticky{position:sticky!important}.fixed-top{top:0}.fixed-bottom,.fixed-top{position:fixed;right:0;left:0;z-index:1030}.fixed-bottom{bottom:0}@supports (position:sticky){.sticky-top{position:sticky;top:0;z-index:1020}}.sr-only{position:absolute;width:1px;height:1px;padding:0;margin:-1px;overflow:hidden;clip:rect(0,0,0,0);white-space:nowrap;border:0}.sr-only-focusable:active,.sr-only-focusable:focus{position:static;width:auto;height:auto;overflow:visible;clip:auto;white-space:normal}.shadow-sm{box-shadow:0 .125rem .25rem rgba(0,0,0,.075)!important}.shadow{box-shadow:0 .5rem 1rem rgba(0,0,0,.15)!important}.shadow-lg{box-shadow:0 1rem 3rem rgba(0,0,0,.175)!important}.shadow-none{box-shadow:none!important}.w-25{width:25%!important}.w-50{width:50%!important}.w-75{width:75%!important}.w-100{width:100%!important}.w-auto{width:auto!important}.h-25{height:25%!important}.h-50{height:50%!important}.h-75{height:75%!important}.h-100{height:100%!important}.h-auto{height:auto!important}.mw-100{max-width:100%!important}.mh-100{max-height:100%!important}.min-vw-100{min-width:100vw!important}.min-vh-100{min-height:100vh!important}.vw-100{width:100vw!important}.vh-100{height:100vh!important}.m-0{margin:0!important}.mt-0,.my-0{margin-top:0!important}.mr-0,.mx-0{margin-right:0!important}.mb-0,.my-0{margin-bottom:0!important}.ml-0,.mx-0{margin-left:0!important}.m-1{margin:.25rem!important}.mt-1,.my-1{margin-top:.25rem!important}.mr-1,.mx-1{margin-right:.25rem!important}.mb-1,.my-1{margin-bottom:.25rem!important}.ml-1,.mx-1{margin-left:.25rem!important}.m-2{margin:.5rem!important}.mt-2,.my-2{margin-top:.5rem!important}.mr-2,.mx-2{margin-right:.5rem!important}.mb-2,.my-2{margin-bottom:.5rem!important}.ml-2,.mx-2{margin-left:.5rem!important}.m-3{margin:1rem!important}.mt-3,.my-3{margin-top:1rem!important}.mr-3,.mx-3{margin-right:1rem!important}.mb-3,.my-3{margin-bottom:1rem!important}.ml-3,.mx-3{margin-left:1rem!important}.m-4{margin:1.5rem!important}.mt-4,.my-4{margin-top:1.5rem!important}.mr-4,.mx-4{margin-right:1.5rem!important}.mb-4,.my-4{margin-bottom:1.5rem!important}.ml-4,.mx-4{margin-left:1.5rem!important}.m-5{margin:3rem!important}.mt-5,.my-5{margin-top:3rem!important}.mr-5,.mx-5{margin-right:3rem!important}.mb-5,.my-5{margin-bottom:3rem!important}.ml-5,.mx-5{margin-left:3rem!important}.p-0{padding:0!important}.pt-0,.py-0{padding-top:0!important}.pr-0,.px-0{padding-right:0!important}.pb-0,.py-0{padding-bottom:0!important}.pl-0,.px-0{padding-left:0!important}.p-1{padding:.25rem!important}.pt-1,.py-1{padding-top:.25rem!important}.pr-1,.px-1{padding-right:.25rem!important}.pb-1,.py-1{padding-bottom:.25rem!important}.pl-1,.px-1{padding-left:.25rem!important}.p-2{padding:.5rem!important}.pt-2,.py-2{padding-top:.5rem!important}.pr-2,.px-2{padding-right:.5rem!important}.pb-2,.py-2{padding-bottom:.5rem!important}.pl-2,.px-2{padding-left:.5rem!important}.p-3{padding:1rem!important}.pt-3,.py-3{padding-top:1rem!important}.pr-3,.px-3{padding-right:1rem!important}.pb-3,.py-3{padding-bottom:1rem!important}.pl-3,.px-3{padding-left:1rem!important}.p-4{padding:1.5rem!important}.pt-4,.py-4{padding-top:1.5rem!important}.pr-4,.px-4{padding-right:1.5rem!important}.pb-4,.py-4{padding-bottom:1.5rem!important}.pl-4,.px-4{padding-left:1.5rem!important}.p-5{padding:3rem!important}.pt-5,.py-5{padding-top:3rem!important}.pr-5,.px-5{padding-right:3rem!important}.pb-5,.py-5{padding-bottom:3rem!important}.pl-5,.px-5{padding-left:3rem!important}.m-n1{margin:-.25rem!important}.mt-n1,.my-n1{margin-top:-.25rem!important}.mr-n1,.mx-n1{margin-right:-.25rem!important}.mb-n1,.my-n1{margin-bottom:-.25rem!important}.ml-n1,.mx-n1{margin-left:-.25rem!important}.m-n2{margin:-.5rem!important}.mt-n2,.my-n2{margin-top:-.5rem!important}.mr-n2,.mx-n2{margin-right:-.5rem!important}.mb-n2,.my-n2{margin-bottom:-.5rem!important}.ml-n2,.mx-n2{margin-left:-.5rem!important}.m-n3{margin:-1rem!important}.mt-n3,.my-n3{margin-top:-1rem!important}.mr-n3,.mx-n3{margin-right:-1rem!important}.mb-n3,.my-n3{margin-bottom:-1rem!important}.ml-n3,.mx-n3{margin-left:-1rem!important}.m-n4{margin:-1.5rem!important}.mt-n4,.my-n4{margin-top:-1.5rem!important}.mr-n4,.mx-n4{margin-right:-1.5rem!important}.mb-n4,.my-n4{margin-bottom:-1.5rem!important}.ml-n4,.mx-n4{margin-left:-1.5rem!important}.m-n5{margin:-3rem!important}.mt-n5,.my-n5{margin-top:-3rem!important}.mr-n5,.mx-n5{margin-right:-3rem!important}.mb-n5,.my-n5{margin-bottom:-3rem!important}.ml-n5,.mx-n5{margin-left:-3rem!important}.m-auto{margin:auto!important}.mt-auto,.my-auto{margin-top:auto!important}.mr-auto,.mx-auto{margin-right:auto!important}.mb-auto,.my-auto{margin-bottom:auto!important}.ml-auto,.mx-auto{margin-left:auto!important}@media (min-width:576px){.m-sm-0{margin:0!important}.mt-sm-0,.my-sm-0{margin-top:0!important}.mr-sm-0,.mx-sm-0{margin-right:0!important}.mb-sm-0,.my-sm-0{margin-bottom:0!important}.ml-sm-0,.mx-sm-0{margin-left:0!important}.m-sm-1{margin:.25rem!important}.mt-sm-1,.my-sm-1{margin-top:.25rem!important}.mr-sm-1,.mx-sm-1{margin-right:.25rem!important}.mb-sm-1,.my-sm-1{margin-bottom:.25rem!important}.ml-sm-1,.mx-sm-1{margin-left:.25rem!important}.m-sm-2{margin:.5rem!important}.mt-sm-2,.my-sm-2{margin-top:.5rem!important}.mr-sm-2,.mx-sm-2{margin-right:.5rem!important}.mb-sm-2,.my-sm-2{margin-bottom:.5rem!important}.ml-sm-2,.mx-sm-2{margin-left:.5rem!important}.m-sm-3{margin:1rem!important}.mt-sm-3,.my-sm-3{margin-top:1rem!important}.mr-sm-3,.mx-sm-3{margin-right:1rem!important}.mb-sm-3,.my-sm-3{margin-bottom:1rem!important}.ml-sm-3,.mx-sm-3{margin-left:1rem!important}.m-sm-4{margin:1.5rem!important}.mt-sm-4,.my-sm-4{margin-top:1.5rem!important}.mr-sm-4,.mx-sm-4{margin-right:1.5rem!important}.mb-sm-4,.my-sm-4{margin-bottom:1.5rem!important}.ml-sm-4,.mx-sm-4{margin-left:1.5rem!important}.m-sm-5{margin:3rem!important}.mt-sm-5,.my-sm-5{margin-top:3rem!important}.mr-sm-5,.mx-sm-5{margin-right:3rem!important}.mb-sm-5,.my-sm-5{margin-bottom:3rem!important}.ml-sm-5,.mx-sm-5{margin-left:3rem!important}.p-sm-0{padding:0!important}.pt-sm-0,.py-sm-0{padding-top:0!important}.pr-sm-0,.px-sm-0{padding-right:0!important}.pb-sm-0,.py-sm-0{padding-bottom:0!important}.pl-sm-0,.px-sm-0{padding-left:0!important}.p-sm-1{padding:.25rem!important}.pt-sm-1,.py-sm-1{padding-top:.25rem!important}.pr-sm-1,.px-sm-1{padding-right:.25rem!important}.pb-sm-1,.py-sm-1{padding-bottom:.25rem!important}.pl-sm-1,.px-sm-1{padding-left:.25rem!important}.p-sm-2{padding:.5rem!important}.pt-sm-2,.py-sm-2{padding-top:.5rem!important}.pr-sm-2,.px-sm-2{padding-right:.5rem!important}.pb-sm-2,.py-sm-2{padding-bottom:.5rem!important}.pl-sm-2,.px-sm-2{padding-left:.5rem!important}.p-sm-3{padding:1rem!important}.pt-sm-3,.py-sm-3{padding-top:1rem!important}.pr-sm-3,.px-sm-3{padding-right:1rem!important}.pb-sm-3,.py-sm-3{padding-bottom:1rem!important}.pl-sm-3,.px-sm-3{padding-left:1rem!important}.p-sm-4{padding:1.5rem!important}.pt-sm-4,.py-sm-4{padding-top:1.5rem!important}.pr-sm-4,.px-sm-4{padding-right:1.5rem!important}.pb-sm-4,.py-sm-4{padding-bottom:1.5rem!important}.pl-sm-4,.px-sm-4{padding-left:1.5rem!important}.p-sm-5{padding:3rem!important}.pt-sm-5,.py-sm-5{padding-top:3rem!important}.pr-sm-5,.px-sm-5{padding-right:3rem!important}.pb-sm-5,.py-sm-5{padding-bottom:3rem!important}.pl-sm-5,.px-sm-5{padding-left:3rem!important}.m-sm-n1{margin:-.25rem!important}.mt-sm-n1,.my-sm-n1{margin-top:-.25rem!important}.mr-sm-n1,.mx-sm-n1{margin-right:-.25rem!important}.mb-sm-n1,.my-sm-n1{margin-bottom:-.25rem!important}.ml-sm-n1,.mx-sm-n1{margin-left:-.25rem!important}.m-sm-n2{margin:-.5rem!important}.mt-sm-n2,.my-sm-n2{margin-top:-.5rem!important}.mr-sm-n2,.mx-sm-n2{margin-right:-.5rem!important}.mb-sm-n2,.my-sm-n2{margin-bottom:-.5rem!important}.ml-sm-n2,.mx-sm-n2{margin-left:-.5rem!important}.m-sm-n3{margin:-1rem!important}.mt-sm-n3,.my-sm-n3{margin-top:-1rem!important}.mr-sm-n3,.mx-sm-n3{margin-right:-1rem!important}.mb-sm-n3,.my-sm-n3{margin-bottom:-1rem!important}.ml-sm-n3,.mx-sm-n3{margin-left:-1rem!important}.m-sm-n4{margin:-1.5rem!important}.mt-sm-n4,.my-sm-n4{margin-top:-1.5rem!important}.mr-sm-n4,.mx-sm-n4{margin-right:-1.5rem!important}.mb-sm-n4,.my-sm-n4{margin-bottom:-1.5rem!important}.ml-sm-n4,.mx-sm-n4{margin-left:-1.5rem!important}.m-sm-n5{margin:-3rem!important}.mt-sm-n5,.my-sm-n5{margin-top:-3rem!important}.mr-sm-n5,.mx-sm-n5{margin-right:-3rem!important}.mb-sm-n5,.my-sm-n5{margin-bottom:-3rem!important}.ml-sm-n5,.mx-sm-n5{margin-left:-3rem!important}.m-sm-auto{margin:auto!important}.mt-sm-auto,.my-sm-auto{margin-top:auto!important}.mr-sm-auto,.mx-sm-auto{margin-right:auto!important}.mb-sm-auto,.my-sm-auto{margin-bottom:auto!important}.ml-sm-auto,.mx-sm-auto{margin-left:auto!important}}@media (min-width:768px){.m-md-0{margin:0!important}.mt-md-0,.my-md-0{margin-top:0!important}.mr-md-0,.mx-md-0{margin-right:0!important}.mb-md-0,.my-md-0{margin-bottom:0!important}.ml-md-0,.mx-md-0{margin-left:0!important}.m-md-1{margin:.25rem!important}.mt-md-1,.my-md-1{margin-top:.25rem!important}.mr-md-1,.mx-md-1{margin-right:.25rem!important}.mb-md-1,.my-md-1{margin-bottom:.25rem!important}.ml-md-1,.mx-md-1{margin-left:.25rem!important}.m-md-2{margin:.5rem!important}.mt-md-2,.my-md-2{margin-top:.5rem!important}.mr-md-2,.mx-md-2{margin-right:.5rem!important}.mb-md-2,.my-md-2{margin-bottom:.5rem!important}.ml-md-2,.mx-md-2{margin-left:.5rem!important}.m-md-3{margin:1rem!important}.mt-md-3,.my-md-3{margin-top:1rem!important}.mr-md-3,.mx-md-3{margin-right:1rem!important}.mb-md-3,.my-md-3{margin-bottom:1rem!important}.ml-md-3,.mx-md-3{margin-left:1rem!important}.m-md-4{margin:1.5rem!important}.mt-md-4,.my-md-4{margin-top:1.5rem!important}.mr-md-4,.mx-md-4{margin-right:1.5rem!important}.mb-md-4,.my-md-4{margin-bottom:1.5rem!important}.ml-md-4,.mx-md-4{margin-left:1.5rem!important}.m-md-5{margin:3rem!important}.mt-md-5,.my-md-5{margin-top:3rem!important}.mr-md-5,.mx-md-5{margin-right:3rem!important}.mb-md-5,.my-md-5{margin-bottom:3rem!important}.ml-md-5,.mx-md-5{margin-left:3rem!important}.p-md-0{padding:0!important}.pt-md-0,.py-md-0{padding-top:0!important}.pr-md-0,.px-md-0{padding-right:0!important}.pb-md-0,.py-md-0{padding-bottom:0!important}.pl-md-0,.px-md-0{padding-left:0!important}.p-md-1{padding:.25rem!important}.pt-md-1,.py-md-1{padding-top:.25rem!important}.pr-md-1,.px-md-1{padding-right:.25rem!important}.pb-md-1,.py-md-1{padding-bottom:.25rem!important}.pl-md-1,.px-md-1{padding-left:.25rem!important}.p-md-2{padding:.5rem!important}.pt-md-2,.py-md-2{padding-top:.5rem!important}.pr-md-2,.px-md-2{padding-right:.5rem!important}.pb-md-2,.py-md-2{padding-bottom:.5rem!important}.pl-md-2,.px-md-2{padding-left:.5rem!important}.p-md-3{padding:1rem!important}.pt-md-3,.py-md-3{padding-top:1rem!important}.pr-md-3,.px-md-3{padding-right:1rem!important}.pb-md-3,.py-md-3{padding-bottom:1rem!important}.pl-md-3,.px-md-3{padding-left:1rem!important}.p-md-4{padding:1.5rem!important}.pt-md-4,.py-md-4{padding-top:1.5rem!important}.pr-md-4,.px-md-4{padding-right:1.5rem!important}.pb-md-4,.py-md-4{padding-bottom:1.5rem!important}.pl-md-4,.px-md-4{padding-left:1.5rem!important}.p-md-5{padding:3rem!important}.pt-md-5,.py-md-5{padding-top:3rem!important}.pr-md-5,.px-md-5{padding-right:3rem!important}.pb-md-5,.py-md-5{padding-bottom:3rem!important}.pl-md-5,.px-md-5{padding-left:3rem!important}.m-md-n1{margin:-.25rem!important}.mt-md-n1,.my-md-n1{margin-top:-.25rem!important}.mr-md-n1,.mx-md-n1{margin-right:-.25rem!important}.mb-md-n1,.my-md-n1{margin-bottom:-.25rem!important}.ml-md-n1,.mx-md-n1{margin-left:-.25rem!important}.m-md-n2{margin:-.5rem!important}.mt-md-n2,.my-md-n2{margin-top:-.5rem!important}.mr-md-n2,.mx-md-n2{margin-right:-.5rem!important}.mb-md-n2,.my-md-n2{margin-bottom:-.5rem!important}.ml-md-n2,.mx-md-n2{margin-left:-.5rem!important}.m-md-n3{margin:-1rem!important}.mt-md-n3,.my-md-n3{margin-top:-1rem!important}.mr-md-n3,.mx-md-n3{margin-right:-1rem!important}.mb-md-n3,.my-md-n3{margin-bottom:-1rem!important}.ml-md-n3,.mx-md-n3{margin-left:-1rem!important}.m-md-n4{margin:-1.5rem!important}.mt-md-n4,.my-md-n4{margin-top:-1.5rem!important}.mr-md-n4,.mx-md-n4{margin-right:-1.5rem!important}.mb-md-n4,.my-md-n4{margin-bottom:-1.5rem!important}.ml-md-n4,.mx-md-n4{margin-left:-1.5rem!important}.m-md-n5{margin:-3rem!important}.mt-md-n5,.my-md-n5{margin-top:-3rem!important}.mr-md-n5,.mx-md-n5{margin-right:-3rem!important}.mb-md-n5,.my-md-n5{margin-bottom:-3rem!important}.ml-md-n5,.mx-md-n5{margin-left:-3rem!important}.m-md-auto{margin:auto!important}.mt-md-auto,.my-md-auto{margin-top:auto!important}.mr-md-auto,.mx-md-auto{margin-right:auto!important}.mb-md-auto,.my-md-auto{margin-bottom:auto!important}.ml-md-auto,.mx-md-auto{margin-left:auto!important}}@media (min-width:992px){.m-lg-0{margin:0!important}.mt-lg-0,.my-lg-0{margin-top:0!important}.mr-lg-0,.mx-lg-0{margin-right:0!important}.mb-lg-0,.my-lg-0{margin-bottom:0!important}.ml-lg-0,.mx-lg-0{margin-left:0!important}.m-lg-1{margin:.25rem!important}.mt-lg-1,.my-lg-1{margin-top:.25rem!important}.mr-lg-1,.mx-lg-1{margin-right:.25rem!important}.mb-lg-1,.my-lg-1{margin-bottom:.25rem!important}.ml-lg-1,.mx-lg-1{margin-left:.25rem!important}.m-lg-2{margin:.5rem!important}.mt-lg-2,.my-lg-2{margin-top:.5rem!important}.mr-lg-2,.mx-lg-2{margin-right:.5rem!important}.mb-lg-2,.my-lg-2{margin-bottom:.5rem!important}.ml-lg-2,.mx-lg-2{margin-left:.5rem!important}.m-lg-3{margin:1rem!important}.mt-lg-3,.my-lg-3{margin-top:1rem!important}.mr-lg-3,.mx-lg-3{margin-right:1rem!important}.mb-lg-3,.my-lg-3{margin-bottom:1rem!important}.ml-lg-3,.mx-lg-3{margin-left:1rem!important}.m-lg-4{margin:1.5rem!important}.mt-lg-4,.my-lg-4{margin-top:1.5rem!important}.mr-lg-4,.mx-lg-4{margin-right:1.5rem!important}.mb-lg-4,.my-lg-4{margin-bottom:1.5rem!important}.ml-lg-4,.mx-lg-4{margin-left:1.5rem!important}.m-lg-5{margin:3rem!important}.mt-lg-5,.my-lg-5{margin-top:3rem!important}.mr-lg-5,.mx-lg-5{margin-right:3rem!important}.mb-lg-5,.my-lg-5{margin-bottom:3rem!important}.ml-lg-5,.mx-lg-5{margin-left:3rem!important}.p-lg-0{padding:0!important}.pt-lg-0,.py-lg-0{padding-top:0!important}.pr-lg-0,.px-lg-0{padding-right:0!important}.pb-lg-0,.py-lg-0{padding-bottom:0!important}.pl-lg-0,.px-lg-0{padding-left:0!important}.p-lg-1{padding:.25rem!important}.pt-lg-1,.py-lg-1{padding-top:.25rem!important}.pr-lg-1,.px-lg-1{padding-right:.25rem!important}.pb-lg-1,.py-lg-1{padding-bottom:.25rem!important}.pl-lg-1,.px-lg-1{padding-left:.25rem!important}.p-lg-2{padding:.5rem!important}.pt-lg-2,.py-lg-2{padding-top:.5rem!important}.pr-lg-2,.px-lg-2{padding-right:.5rem!important}.pb-lg-2,.py-lg-2{padding-bottom:.5rem!important}.pl-lg-2,.px-lg-2{padding-left:.5rem!important}.p-lg-3{padding:1rem!important}.pt-lg-3,.py-lg-3{padding-top:1rem!important}.pr-lg-3,.px-lg-3{padding-right:1rem!important}.pb-lg-3,.py-lg-3{padding-bottom:1rem!important}.pl-lg-3,.px-lg-3{padding-left:1rem!important}.p-lg-4{padding:1.5rem!important}.pt-lg-4,.py-lg-4{padding-top:1.5rem!important}.pr-lg-4,.px-lg-4{padding-right:1.5rem!important}.pb-lg-4,.py-lg-4{padding-bottom:1.5rem!important}.pl-lg-4,.px-lg-4{padding-left:1.5rem!important}.p-lg-5{padding:3rem!important}.pt-lg-5,.py-lg-5{padding-top:3rem!important}.pr-lg-5,.px-lg-5{padding-right:3rem!important}.pb-lg-5,.py-lg-5{padding-bottom:3rem!important}.pl-lg-5,.px-lg-5{padding-left:3rem!important}.m-lg-n1{margin:-.25rem!important}.mt-lg-n1,.my-lg-n1{margin-top:-.25rem!important}.mr-lg-n1,.mx-lg-n1{margin-right:-.25rem!important}.mb-lg-n1,.my-lg-n1{margin-bottom:-.25rem!important}.ml-lg-n1,.mx-lg-n1{margin-left:-.25rem!important}.m-lg-n2{margin:-.5rem!important}.mt-lg-n2,.my-lg-n2{margin-top:-.5rem!important}.mr-lg-n2,.mx-lg-n2{margin-right:-.5rem!important}.mb-lg-n2,.my-lg-n2{margin-bottom:-.5rem!important}.ml-lg-n2,.mx-lg-n2{margin-left:-.5rem!important}.m-lg-n3{margin:-1rem!important}.mt-lg-n3,.my-lg-n3{margin-top:-1rem!important}.mr-lg-n3,.mx-lg-n3{margin-right:-1rem!important}.mb-lg-n3,.my-lg-n3{margin-bottom:-1rem!important}.ml-lg-n3,.mx-lg-n3{margin-left:-1rem!important}.m-lg-n4{margin:-1.5rem!important}.mt-lg-n4,.my-lg-n4{margin-top:-1.5rem!important}.mr-lg-n4,.mx-lg-n4{margin-right:-1.5rem!important}.mb-lg-n4,.my-lg-n4{margin-bottom:-1.5rem!important}.ml-lg-n4,.mx-lg-n4{margin-left:-1.5rem!important}.m-lg-n5{margin:-3rem!important}.mt-lg-n5,.my-lg-n5{margin-top:-3rem!important}.mr-lg-n5,.mx-lg-n5{margin-right:-3rem!important}.mb-lg-n5,.my-lg-n5{margin-bottom:-3rem!important}.ml-lg-n5,.mx-lg-n5{margin-left:-3rem!important}.m-lg-auto{margin:auto!important}.mt-lg-auto,.my-lg-auto{margin-top:auto!important}.mr-lg-auto,.mx-lg-auto{margin-right:auto!important}.mb-lg-auto,.my-lg-auto{margin-bottom:auto!important}.ml-lg-auto,.mx-lg-auto{margin-left:auto!important}}@media (min-width:1200px){.m-xl-0{margin:0!important}.mt-xl-0,.my-xl-0{margin-top:0!important}.mr-xl-0,.mx-xl-0{margin-right:0!important}.mb-xl-0,.my-xl-0{margin-bottom:0!important}.ml-xl-0,.mx-xl-0{margin-left:0!important}.m-xl-1{margin:.25rem!important}.mt-xl-1,.my-xl-1{margin-top:.25rem!important}.mr-xl-1,.mx-xl-1{margin-right:.25rem!important}.mb-xl-1,.my-xl-1{margin-bottom:.25rem!important}.ml-xl-1,.mx-xl-1{margin-left:.25rem!important}.m-xl-2{margin:.5rem!important}.mt-xl-2,.my-xl-2{margin-top:.5rem!important}.mr-xl-2,.mx-xl-2{margin-right:.5rem!important}.mb-xl-2,.my-xl-2{margin-bottom:.5rem!important}.ml-xl-2,.mx-xl-2{margin-left:.5rem!important}.m-xl-3{margin:1rem!important}.mt-xl-3,.my-xl-3{margin-top:1rem!important}.mr-xl-3,.mx-xl-3{margin-right:1rem!important}.mb-xl-3,.my-xl-3{margin-bottom:1rem!important}.ml-xl-3,.mx-xl-3{margin-left:1rem!important}.m-xl-4{margin:1.5rem!important}.mt-xl-4,.my-xl-4{margin-top:1.5rem!important}.mr-xl-4,.mx-xl-4{margin-right:1.5rem!important}.mb-xl-4,.my-xl-4{margin-bottom:1.5rem!important}.ml-xl-4,.mx-xl-4{margin-left:1.5rem!important}.m-xl-5{margin:3rem!important}.mt-xl-5,.my-xl-5{margin-top:3rem!important}.mr-xl-5,.mx-xl-5{margin-right:3rem!important}.mb-xl-5,.my-xl-5{margin-bottom:3rem!important}.ml-xl-5,.mx-xl-5{margin-left:3rem!important}.p-xl-0{padding:0!important}.pt-xl-0,.py-xl-0{padding-top:0!important}.pr-xl-0,.px-xl-0{padding-right:0!important}.pb-xl-0,.py-xl-0{padding-bottom:0!important}.pl-xl-0,.px-xl-0{padding-left:0!important}.p-xl-1{padding:.25rem!important}.pt-xl-1,.py-xl-1{padding-top:.25rem!important}.pr-xl-1,.px-xl-1{padding-right:.25rem!important}.pb-xl-1,.py-xl-1{padding-bottom:.25rem!important}.pl-xl-1,.px-xl-1{padding-left:.25rem!important}.p-xl-2{padding:.5rem!important}.pt-xl-2,.py-xl-2{padding-top:.5rem!important}.pr-xl-2,.px-xl-2{padding-right:.5rem!important}.pb-xl-2,.py-xl-2{padding-bottom:.5rem!important}.pl-xl-2,.px-xl-2{padding-left:.5rem!important}.p-xl-3{padding:1rem!important}.pt-xl-3,.py-xl-3{padding-top:1rem!important}.pr-xl-3,.px-xl-3{padding-right:1rem!important}.pb-xl-3,.py-xl-3{padding-bottom:1rem!important}.pl-xl-3,.px-xl-3{padding-left:1rem!important}.p-xl-4{padding:1.5rem!important}.pt-xl-4,.py-xl-4{padding-top:1.5rem!important}.pr-xl-4,.px-xl-4{padding-right:1.5rem!important}.pb-xl-4,.py-xl-4{padding-bottom:1.5rem!important}.pl-xl-4,.px-xl-4{padding-left:1.5rem!important}.p-xl-5{padding:3rem!important}.pt-xl-5,.py-xl-5{padding-top:3rem!important}.pr-xl-5,.px-xl-5{padding-right:3rem!important}.pb-xl-5,.py-xl-5{padding-bottom:3rem!important}.pl-xl-5,.px-xl-5{padding-left:3rem!important}.m-xl-n1{margin:-.25rem!important}.mt-xl-n1,.my-xl-n1{margin-top:-.25rem!important}.mr-xl-n1,.mx-xl-n1{margin-right:-.25rem!important}.mb-xl-n1,.my-xl-n1{margin-bottom:-.25rem!important}.ml-xl-n1,.mx-xl-n1{margin-left:-.25rem!important}.m-xl-n2{margin:-.5rem!important}.mt-xl-n2,.my-xl-n2{margin-top:-.5rem!important}.mr-xl-n2,.mx-xl-n2{margin-right:-.5rem!important}.mb-xl-n2,.my-xl-n2{margin-bottom:-.5rem!important}.ml-xl-n2,.mx-xl-n2{margin-left:-.5rem!important}.m-xl-n3{margin:-1rem!important}.mt-xl-n3,.my-xl-n3{margin-top:-1rem!important}.mr-xl-n3,.mx-xl-n3{margin-right:-1rem!important}.mb-xl-n3,.my-xl-n3{margin-bottom:-1rem!important}.ml-xl-n3,.mx-xl-n3{margin-left:-1rem!important}.m-xl-n4{margin:-1.5rem!important}.mt-xl-n4,.my-xl-n4{margin-top:-1.5rem!important}.mr-xl-n4,.mx-xl-n4{margin-right:-1.5rem!important}.mb-xl-n4,.my-xl-n4{margin-bottom:-1.5rem!important}.ml-xl-n4,.mx-xl-n4{margin-left:-1.5rem!important}.m-xl-n5{margin:-3rem!important}.mt-xl-n5,.my-xl-n5{margin-top:-3rem!important}.mr-xl-n5,.mx-xl-n5{margin-right:-3rem!important}.mb-xl-n5,.my-xl-n5{margin-bottom:-3rem!important}.ml-xl-n5,.mx-xl-n5{margin-left:-3rem!important}.m-xl-auto{margin:auto!important}.mt-xl-auto,.my-xl-auto{margin-top:auto!important}.mr-xl-auto,.mx-xl-auto{margin-right:auto!important}.mb-xl-auto,.my-xl-auto{margin-bottom:auto!important}.ml-xl-auto,.mx-xl-auto{margin-left:auto!important}}.stretched-link:after{position:absolute;top:0;right:0;bottom:0;left:0;z-index:1;pointer-events:auto;content:"";background-color:transparent}.text-monospace{font-family:SFMono-Regular,Menlo,Monaco,Consolas,Liberation Mono,Courier New,monospace!important}.text-justify{text-align:justify!important}.text-wrap{white-space:normal!important}.text-nowrap{white-space:nowrap!important}.text-truncate{overflow:hidden;text-overflow:ellipsis;white-space:nowrap}.text-left{text-align:left!important}.text-right{text-align:right!important}.text-center{text-align:center!important}@media (min-width:576px){.text-sm-left{text-align:left!important}.text-sm-right{text-align:right!important}.text-sm-center{text-align:center!important}}@media (min-width:768px){.text-md-left{text-align:left!important}.text-md-right{text-align:right!important}.text-md-center{text-align:center!important}}@media (min-width:992px){.text-lg-left{text-align:left!important}.text-lg-right{text-align:right!important}.text-lg-center{text-align:center!important}}@media (min-width:1200px){.text-xl-left{text-align:left!important}.text-xl-right{text-align:right!important}.text-xl-center{text-align:center!important}}.text-lowercase{text-transform:lowercase!important}.text-uppercase{text-transform:uppercase!important}.text-capitalize{text-transform:capitalize!important}.font-weight-light{font-weight:300!important}.font-weight-lighter{font-weight:lighter!important}.font-weight-normal{font-weight:400!important}.font-weight-bold{font-weight:700!important}.font-weight-bolder{font-weight:bolder!important}.font-italic{font-style:italic!important}.text-white{color:#fff!important}.text-primary{color:#007bff!important}a.text-primary:focus,a.text-primary:hover{color:#0056b3!important}.text-secondary{color:#6c757d!important}a.text-secondary:focus,a.text-secondary:hover{color:#494f54!important}.text-success{color:#28a745!important}a.text-success:focus,a.text-success:hover{color:#19692c!important}.text-info{color:#17a2b8!important}a.text-info:focus,a.text-info:hover{color:#0f6674!important}.text-warning{color:#ffc107!important}a.text-warning:focus,a.text-warning:hover{color:#ba8b00!important}.text-danger{color:#dc3545!important}a.text-danger:focus,a.text-danger:hover{color:#a71d2a!important}.text-light{color:#f8f9fa!important}a.text-light:focus,a.text-light:hover{color:#cbd3da!important}.text-dark{color:#343a40!important}a.text-dark:focus,a.text-dark:hover{color:#121416!important}.text-body{color:#212529!important}.text-muted{color:#6c757d!important}.text-black-50{color:rgba(0,0,0,.5)!important}.text-white-50{color:hsla(0,0%,100%,.5)!important}.text-hide{font:0/0 a;color:transparent;text-shadow:none;background-color:transparent;border:0}.text-decoration-none{text-decoration:none!important}.text-break{word-wrap:break-word!important}.text-reset{color:inherit!important}.visible{visibility:visible!important}.invisible{visibility:hidden!important}@media print{*,:after,:before{text-shadow:none!important;box-shadow:none!important}a:not(.btn){text-decoration:underline}abbr[title]:after{content:" (" attr(title) ")"}pre{white-space:pre-wrap!important}blockquote,pre{border:1px solid #adb5bd;page-break-inside:avoid}thead{display:table-header-group}img,tr{page-break-inside:avoid}h2,h3,p{orphans:3;widows:3}h2,h3{page-break-after:avoid}@page{size:a3}.container,body{min-width:992px!important}.navbar{display:none}.badge{border:1px solid #000}.table{border-collapse:collapse!important}.table td,.table th{background-color:#fff!important}.table-bordered td,.table-bordered th{border:1px solid #dee2e6!important}.table-dark{color:inherit}.table-dark tbody+tbody,.table-dark td,.table-dark th,.table-dark thead th{border-color:#dee2e6}.table .thead-dark th{color:inherit;border-color:#dee2e6}}html{font-size:15px}body{background-color:#fff;font-family:Lato,sans-serif;font-weight:400;line-height:1.65;color:#333;padding-top:75px}p{margin-bottom:1.15rem;font-size:1em}p.rubric{border-bottom:1px solid #c9c9c9}a{color:#005b81;text-decoration:none}a:hover{color:#e32e00;text-decoration:underline}a.headerlink{color:#c60f0f;font-size:.8em;padding:0 4px;text-decoration:none}a.headerlink:hover{background-color:#c60f0f;color:#fff}.header-style,h1,h2,h3,h4,h5,h6{margin:2.75rem 0 1.05rem;font-family:Open Sans,sans-serif;font-weight:400;line-height:1.15}.header-style:before,h1:before,h2:before,h3:before,h4:before,h5:before,h6:before{display:block;content:"";height:80px;margin:-80px 0 0}h1{margin-top:0;font-size:2.488em}h1,h2{color:#130654}h2{font-size:2.074em}h3{font-size:1.728em}h4{font-size:1.44em}h5{font-size:1.2em}h6{font-size:1em}.text_small,small{font-size:.833em}hr{border:0;border-top:1px solid #e5e5e5}pre{padding:10px;background-color:#fafafa;color:#222;line-height:1.2em;border:1px solid #c9c9c9;margin:1.5em 0;box-shadow:1px 1px 1px #d8d8d8}.navbar{position:fixed}.navbar-brand{position:relative;height:45px;width:auto}.navbar-brand img{max-width:100%;height:100%;width:auto}.navbar-light{background:#fff!important;box-shadow:0 .125rem .25rem 0 rgba(0,0,0,.11)}.navbar-nav li a{padding:0 15px}.navbar-nav>.active>.nav-link{font-weight:600;color:#130654!important}.navbar-header a{padding:0 15px}.admonition{margin:1.5625em auto;padding:0 .6rem .8rem!important;overflow:hidden;page-break-inside:avoid;border-left:.2rem solid #007bff;border-radius:.1rem;box-shadow:0 .2rem .5rem rgba(0,0,0,.05),0 0 .05rem rgba(0,0,0,.1);transition:color .25s,background-color .25s,border-color .25s}.admonition :last-child{margin-bottom:0}.admonition p.admonition-title~*{padding:0 1.4rem}.admonition>ol,.admonition>ul{margin-left:1em}.admonition .admonition-title{position:relative;margin:0 -.6rem!important;padding:.4rem .6rem .4rem 2rem;font-weight:700;background-color:rgba(68,138,255,.1)}.admonition .admonition-title:before{position:absolute;left:.6rem;width:1rem;height:1rem;color:#007bff;font-family:Font Awesome\ 5 Free;font-weight:900;content:""}.admonition .admonition-title+*{margin-top:.4em}.admonition.attention{border-color:#fd7e14}.admonition.attention .admonition-title{background-color:#ffedcc}.admonition.attention .admonition-title:before{color:#fd7e14;content:""}.admonition.caution{border-color:#fd7e14}.admonition.caution .admonition-title{background-color:#ffedcc}.admonition.caution .admonition-title:before{color:#fd7e14;content:""}.admonition.warning{border-color:#dc3545}.admonition.warning .admonition-title{background-color:#fdf3f2}.admonition.warning .admonition-title:before{color:#dc3545;content:""}.admonition.danger{border-color:#dc3545}.admonition.danger .admonition-title{background-color:#fdf3f2}.admonition.danger .admonition-title:before{color:#dc3545;content:""}.admonition.error{border-color:#dc3545}.admonition.error .admonition-title{background-color:#fdf3f2}.admonition.error .admonition-title:before{color:#dc3545;content:""}.admonition.hint{border-color:#ffc107}.admonition.hint .admonition-title{background-color:#fff6dd}.admonition.hint .admonition-title:before{color:#ffc107;content:""}.admonition.tip{border-color:#ffc107}.admonition.tip .admonition-title{background-color:#fff6dd}.admonition.tip .admonition-title:before{color:#ffc107;content:""}.admonition.important{border-color:#007bff}.admonition.important .admonition-title{background-color:#e7f2fa}.admonition.important .admonition-title:before{color:#007bff;content:""}.admonition.note{border-color:#007bff}.admonition.note .admonition-title{background-color:#e7f2fa}.admonition.note .admonition-title:before{color:#007bff;content:""}div.deprecated{margin-bottom:10px;margin-top:10px;padding:7px;color:#b94a48;background-color:#f3e5e5;border:1px solid #eed3d7;border-radius:.5rem}div.deprecated p{display:inline}.topic{background-color:#eee}.seealso dd{margin-top:0;margin-bottom:0}.viewcode-back{font-family:Lato,sans-serif}.viewcode-block:target{background-color:#f4debf;border-top:1px solid #ac9;border-bottom:1px solid #ac9}table.field-list{border-collapse:separate;border-spacing:10px;margin-left:1px}table.field-list th.field-name{padding:1px 8px 1px 5px;white-space:nowrap;background-color:#eee}table.field-list td.field-body p{font-style:italic}table.field-list td.field-body p>strong{font-style:normal}table.field-list td.field-body blockquote{border-left:none;margin:0 0 .3em;padding-left:30px}.table.autosummary td:first-child{white-space:nowrap}.footer{width:100%;border-top:1px solid #ccc;padding-top:10px}.bd-search{position:relative;padding:1rem 15px;margin-right:-15px;margin-left:-15px}.bd-search .icon{position:absolute;color:#a4a6a7;left:25px;top:25px}.bd-search input{border-radius:0;border:0;border-bottom:1px solid #e5e5e5;padding-left:35px}.bd-toc{-ms-flex-order:2;order:2;height:calc(100vh - 2rem);overflow-y:auto}@supports (position:-webkit-sticky) or (position:sticky){.bd-toc{position:-webkit-sticky;position:sticky;top:5rem;height:calc(100vh - 5rem);overflow-y:auto}}.bd-toc .onthispage{color:#a4a6a7}.section-nav{padding-left:0;border-left:1px solid #eee;border-bottom:none}.section-nav ul{padding-left:1rem}.toc-entry,.toc-entry a{display:block}.toc-entry a{padding:.125rem 1.5rem;color:#77757a}@media (min-width:1200px){.toc-entry a{padding-right:0}}.toc-entry a:hover{color:rgba(0,0,0,.85);text-decoration:none}.bd-sidebar{padding-top:1em}@media (min-width:768px){.bd-sidebar{border-right:1px solid rgba(0,0,0,.1)}@supports (position:-webkit-sticky) or (position:sticky){.bd-sidebar{position:-webkit-sticky;position:sticky;top:76px;z-index:1000;height:calc(100vh - 4rem)}}}.bd-links{padding-top:1rem;padding-bottom:1rem;margin-right:-15px;margin-left:-15px}@media (min-width:768px){@supports (position:-webkit-sticky) or (position:sticky){.bd-links{max-height:calc(100vh - 9rem);overflow-y:auto}}}@media (min-width:768px){.bd-links{display:block!important}}.bd-sidenav{display:none}.bd-content{padding-top:20px}.bd-content .section{max-width:100%}.bd-content .section table{display:block;overflow:auto}.bd-toc-link{display:block;padding:.25rem 1.5rem;font-weight:600;color:rgba(0,0,0,.65)}.bd-toc-link:hover{color:rgba(0,0,0,.85);text-decoration:none}.bd-toc-item.active{margin-bottom:1rem}.bd-toc-item.active:not(:first-child){margin-top:1rem}.bd-toc-item.active>.bd-toc-link{color:rgba(0,0,0,.85)}.bd-toc-item.active>.bd-toc-link:hover{background-color:transparent}.bd-toc-item.active>.bd-sidenav{display:block}.bd-sidebar .nav>li>a{display:block;padding:.25rem 1.5rem;font-size:.9em;color:rgba(0,0,0,.65)}.bd-sidebar .nav>li>a:hover{color:#130654;text-decoration:none;background-color:transparent}.bd-sidebar .nav>.active:hover>a,.bd-sidebar .nav>.active>a{font-weight:600;color:#130654}.bd-sidebar .nav>li>ul{list-style:none;padding:.25rem 1.5rem}.bd-sidebar .nav>li>ul>li>a{display:block;padding:.25rem 1.5rem;font-size:.9em;color:rgba(0,0,0,.65)}.bd-sidebar .nav>li>ul>.active:hover>a,.bd-sidebar .nav>li>ul>.active>a{font-weight:600;color:#130654}.toc-h2{font-size:.85rem}.toc-h3{font-size:.75rem}.toc-h4{font-size:.65rem}.toc-entry>.nav-link.active{font-weight:600;color:#130654;background-color:transparent;border-left:2px solid #563d7c}.nav-link:hover{border-style:none}#navbar-main-elements li.nav-item i{font-size:.7rem;padding-left:2px;vertical-align:middle}.bd-toc .nav .nav{display:none}.bd-toc .nav .nav.visible,.bd-toc .nav>.active>ul{display:block}.prev-next-bottom{margin:20px 0}.prev-next-bottom a.left-prev,.prev-next-bottom a.right-next{padding:10px;border:1px solid rgba(0,0,0,.2);max-width:45%;overflow-x:hidden;color:rgba(0,0,0,.65)}.prev-next-bottom a.left-prev{float:left}.prev-next-bottom a.left-prev:before{content:"<< "}.prev-next-bottom a.right-next{float:right}.prev-next-bottom a.right-next:after{content:" >>"}.alert{padding-bottom:0}.alert-info a{color:#e83e8c}i.fab{vertical-align:middle;font-style:normal;font-size:1.5rem;line-height:1.25}i.fa-github-square:before{color:#333}i.fa-twitter-square:before{color:#55acee}.tocsection{border-left:1px solid #eee;padding:.3rem 1.5rem}.tocsection i{padding-right:.5rem}.editthispage{padding-top:2rem}.editthispage a{color:#130754}
\ No newline at end of file
diff --git a/_static/css/index.ff1ffe594081f20da1ef19478df9384b.css b/_static/css/index.ff1ffe594081f20da1ef19478df9384b.css
index 9b1c5d79..c95bced9 100755
--- a/_static/css/index.ff1ffe594081f20da1ef19478df9384b.css
+++ b/_static/css/index.ff1ffe594081f20da1ef19478df9384b.css
@@ -1,6 +1,6 @@
-/*!
- * Bootstrap v4.5.0 (https://getbootstrap.com/)
- * Copyright 2011-2020 The Bootstrap Authors
- * Copyright 2011-2020 Twitter, Inc.
- * Licensed under MIT (https://github.com/twbs/bootstrap/blob/master/LICENSE)
+/*!
+ * Bootstrap v4.5.0 (https://getbootstrap.com/)
+ * Copyright 2011-2020 The Bootstrap Authors
+ * Copyright 2011-2020 Twitter, Inc.
+ * Licensed under MIT (https://github.com/twbs/bootstrap/blob/master/LICENSE)
*/:root{--blue:#007bff;--indigo:#6610f2;--purple:#6f42c1;--pink:#e83e8c;--red:#dc3545;--orange:#fd7e14;--yellow:#ffc107;--green:#28a745;--teal:#20c997;--cyan:#17a2b8;--white:#fff;--gray:#6c757d;--gray-dark:#343a40;--primary:#007bff;--secondary:#6c757d;--success:#28a745;--info:#17a2b8;--warning:#ffc107;--danger:#dc3545;--light:#f8f9fa;--dark:#343a40;--breakpoint-xs:0;--breakpoint-sm:540px;--breakpoint-md:720px;--breakpoint-lg:960px;--breakpoint-xl:1200px;--font-family-sans-serif:-apple-system,BlinkMacSystemFont,"Segoe UI",Roboto,"Helvetica Neue",Arial,"Noto Sans",sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol","Noto Color Emoji";--font-family-monospace:SFMono-Regular,Menlo,Monaco,Consolas,"Liberation Mono","Courier New",monospace}*,:after,:before{box-sizing:border-box}html{font-family:sans-serif;line-height:1.15;-webkit-text-size-adjust:100%;-webkit-tap-highlight-color:rgba(0,0,0,0)}article,aside,figcaption,figure,footer,header,hgroup,main,nav,section{display:block}body{margin:0;font-family:-apple-system,BlinkMacSystemFont,Segoe UI,Roboto,Helvetica Neue,Arial,Noto Sans,sans-serif,Apple Color Emoji,Segoe UI Emoji,Segoe UI Symbol,Noto Color Emoji;font-size:1rem;line-height:1.5;color:#212529;text-align:left}[tabindex="-1"]:focus:not(:focus-visible){outline:0!important}hr{box-sizing:content-box;height:0;overflow:visible}h1,h2,h3,h4,h5,h6{margin-top:0;margin-bottom:.5rem}p{margin-top:0;margin-bottom:1rem}abbr[data-original-title],abbr[title]{text-decoration:underline;text-decoration:underline dotted;cursor:help;border-bottom:0;text-decoration-skip-ink:none}address{font-style:normal;line-height:inherit}address,dl,ol,ul{margin-bottom:1rem}dl,ol,ul{margin-top:0}ol ol,ol ul,ul ol,ul ul{margin-bottom:0}dt{font-weight:700}dd{margin-bottom:.5rem;margin-left:0}blockquote{margin:0 0 1rem}b,strong{font-weight:bolder}small{font-size:80%}sub,sup{position:relative;font-size:75%;line-height:0;vertical-align:baseline}sub{bottom:-.25em}sup{top:-.5em}a{color:#007bff;background-color:transparent}a:hover{color:#0056b3}a:not([href]),a:not([href]):hover{color:inherit;text-decoration:none}code,kbd,pre,samp{font-family:SFMono-Regular,Menlo,Monaco,Consolas,Liberation Mono,Courier New,monospace;font-size:1em}pre{margin-top:0;margin-bottom:1rem;overflow:auto;-ms-overflow-style:scrollbar}figure{margin:0 0 1rem}img{border-style:none}img,svg{vertical-align:middle}svg{overflow:hidden}table{border-collapse:collapse}caption{padding-top:.75rem;padding-bottom:.75rem;color:#6c757d;text-align:left;caption-side:bottom}th{text-align:inherit}label{display:inline-block;margin-bottom:.5rem}button{border-radius:0}button:focus{outline:1px dotted;outline:5px auto -webkit-focus-ring-color}button,input,optgroup,select,textarea{margin:0;font-family:inherit;font-size:inherit;line-height:inherit}button,input{overflow:visible}button,select{text-transform:none}[role=button]{cursor:pointer}select{word-wrap:normal}[type=button],[type=reset],[type=submit],button{-webkit-appearance:button}[type=button]:not(:disabled),[type=reset]:not(:disabled),[type=submit]:not(:disabled),button:not(:disabled){cursor:pointer}[type=button]::-moz-focus-inner,[type=reset]::-moz-focus-inner,[type=submit]::-moz-focus-inner,button::-moz-focus-inner{padding:0;border-style:none}input[type=checkbox],input[type=radio]{box-sizing:border-box;padding:0}textarea{overflow:auto;resize:vertical}fieldset{min-width:0;padding:0;margin:0;border:0}legend{display:block;width:100%;max-width:100%;padding:0;margin-bottom:.5rem;font-size:1.5rem;line-height:inherit;color:inherit;white-space:normal}progress{vertical-align:baseline}[type=number]::-webkit-inner-spin-button,[type=number]::-webkit-outer-spin-button{height:auto}[type=search]{outline-offset:-2px;-webkit-appearance:none}[type=search]::-webkit-search-decoration{-webkit-appearance:none}::-webkit-file-upload-button{font:inherit;-webkit-appearance:button}output{display:inline-block}summary{display:list-item;cursor:pointer}template{display:none}[hidden]{display:none!important}.h1,.h2,.h3,.h4,.h5,.h6,h1,h2,h3,h4,h5,h6{margin-bottom:.5rem;font-weight:500;line-height:1.2}.h1,h1{font-size:2.5rem}.h2,h2{font-size:2rem}.h3,h3{font-size:1.75rem}.h4,h4{font-size:1.5rem}.h5,h5{font-size:1.25rem}.h6,h6{font-size:1rem}.lead{font-size:1.25rem;font-weight:300}.display-1{font-size:6rem}.display-1,.display-2{font-weight:300;line-height:1.2}.display-2{font-size:5.5rem}.display-3{font-size:4.5rem}.display-3,.display-4{font-weight:300;line-height:1.2}.display-4{font-size:3.5rem}hr{margin-top:1rem;margin-bottom:1rem;border-top:1px solid rgba(0,0,0,.1)}.small,small{font-size:80%;font-weight:400}.mark,mark{padding:.2em;background-color:#fcf8e3}.list-inline,.list-unstyled{padding-left:0;list-style:none}.list-inline-item{display:inline-block}.list-inline-item:not(:last-child){margin-right:.5rem}.initialism{font-size:90%;text-transform:uppercase}.blockquote{margin-bottom:1rem;font-size:1.25rem}.blockquote-footer{display:block;font-size:80%;color:#6c757d}.blockquote-footer:before{content:"\2014\00A0"}.img-fluid,.img-thumbnail{max-width:100%;height:auto}.img-thumbnail{padding:.25rem;background-color:#fff;border:1px solid #dee2e6;border-radius:.25rem}.figure{display:inline-block}.figure-img{margin-bottom:.5rem;line-height:1}.figure-caption{font-size:90%;color:#6c757d}code{font-size:87.5%;color:#e83e8c;word-wrap:break-word}a>code{color:inherit}kbd{padding:.2rem .4rem;font-size:87.5%;color:#fff;background-color:#212529;border-radius:.2rem}kbd kbd{padding:0;font-size:100%;font-weight:700}pre{display:block;font-size:87.5%;color:#212529}pre code{font-size:inherit;color:inherit;word-break:normal}.pre-scrollable{max-height:340px;overflow-y:scroll}.container{width:100%;padding-right:15px;padding-left:15px;margin-right:auto;margin-left:auto}@media (min-width:540px){.container{max-width:540px}}@media (min-width:720px){.container{max-width:720px}}@media (min-width:960px){.container{max-width:960px}}@media (min-width:1200px){.container{max-width:1400px}}.container-fluid,.container-lg,.container-md,.container-sm,.container-xl{width:100%;padding-right:15px;padding-left:15px;margin-right:auto;margin-left:auto}@media (min-width:540px){.container,.container-sm{max-width:540px}}@media (min-width:720px){.container,.container-md,.container-sm{max-width:720px}}@media (min-width:960px){.container,.container-lg,.container-md,.container-sm{max-width:960px}}@media (min-width:1200px){.container,.container-lg,.container-md,.container-sm,.container-xl{max-width:1400px}}.row{display:flex;flex-wrap:wrap;margin-right:-15px;margin-left:-15px}.no-gutters{margin-right:0;margin-left:0}.no-gutters>.col,.no-gutters>[class*=col-]{padding-right:0;padding-left:0}.col,.col-1,.col-2,.col-3,.col-4,.col-5,.col-6,.col-7,.col-8,.col-9,.col-10,.col-11,.col-12,.col-auto,.col-lg,.col-lg-1,.col-lg-2,.col-lg-3,.col-lg-4,.col-lg-5,.col-lg-6,.col-lg-7,.col-lg-8,.col-lg-9,.col-lg-10,.col-lg-11,.col-lg-12,.col-lg-auto,.col-md,.col-md-1,.col-md-2,.col-md-3,.col-md-4,.col-md-5,.col-md-6,.col-md-7,.col-md-8,.col-md-9,.col-md-10,.col-md-11,.col-md-12,.col-md-auto,.col-sm,.col-sm-1,.col-sm-2,.col-sm-3,.col-sm-4,.col-sm-5,.col-sm-6,.col-sm-7,.col-sm-8,.col-sm-9,.col-sm-10,.col-sm-11,.col-sm-12,.col-sm-auto,.col-xl,.col-xl-1,.col-xl-2,.col-xl-3,.col-xl-4,.col-xl-5,.col-xl-6,.col-xl-7,.col-xl-8,.col-xl-9,.col-xl-10,.col-xl-11,.col-xl-12,.col-xl-auto{position:relative;width:100%;padding-right:15px;padding-left:15px}.col{flex-basis:0;flex-grow:1;min-width:0;max-width:100%}.row-cols-1>*{flex:0 0 100%;max-width:100%}.row-cols-2>*{flex:0 0 50%;max-width:50%}.row-cols-3>*{flex:0 0 33.33333%;max-width:33.33333%}.row-cols-4>*{flex:0 0 25%;max-width:25%}.row-cols-5>*{flex:0 0 20%;max-width:20%}.row-cols-6>*{flex:0 0 16.66667%;max-width:16.66667%}.col-auto{flex:0 0 auto;width:auto;max-width:100%}.col-1{flex:0 0 8.33333%;max-width:8.33333%}.col-2{flex:0 0 16.66667%;max-width:16.66667%}.col-3{flex:0 0 25%;max-width:25%}.col-4{flex:0 0 33.33333%;max-width:33.33333%}.col-5{flex:0 0 41.66667%;max-width:41.66667%}.col-6{flex:0 0 50%;max-width:50%}.col-7{flex:0 0 58.33333%;max-width:58.33333%}.col-8{flex:0 0 66.66667%;max-width:66.66667%}.col-9{flex:0 0 75%;max-width:75%}.col-10{flex:0 0 83.33333%;max-width:83.33333%}.col-11{flex:0 0 91.66667%;max-width:91.66667%}.col-12{flex:0 0 100%;max-width:100%}.order-first{order:-1}.order-last{order:13}.order-0{order:0}.order-1{order:1}.order-2{order:2}.order-3{order:3}.order-4{order:4}.order-5{order:5}.order-6{order:6}.order-7{order:7}.order-8{order:8}.order-9{order:9}.order-10{order:10}.order-11{order:11}.order-12{order:12}.offset-1{margin-left:8.33333%}.offset-2{margin-left:16.66667%}.offset-3{margin-left:25%}.offset-4{margin-left:33.33333%}.offset-5{margin-left:41.66667%}.offset-6{margin-left:50%}.offset-7{margin-left:58.33333%}.offset-8{margin-left:66.66667%}.offset-9{margin-left:75%}.offset-10{margin-left:83.33333%}.offset-11{margin-left:91.66667%}@media (min-width:540px){.col-sm{flex-basis:0;flex-grow:1;min-width:0;max-width:100%}.row-cols-sm-1>*{flex:0 0 100%;max-width:100%}.row-cols-sm-2>*{flex:0 0 50%;max-width:50%}.row-cols-sm-3>*{flex:0 0 33.33333%;max-width:33.33333%}.row-cols-sm-4>*{flex:0 0 25%;max-width:25%}.row-cols-sm-5>*{flex:0 0 20%;max-width:20%}.row-cols-sm-6>*{flex:0 0 16.66667%;max-width:16.66667%}.col-sm-auto{flex:0 0 auto;width:auto;max-width:100%}.col-sm-1{flex:0 0 8.33333%;max-width:8.33333%}.col-sm-2{flex:0 0 16.66667%;max-width:16.66667%}.col-sm-3{flex:0 0 25%;max-width:25%}.col-sm-4{flex:0 0 33.33333%;max-width:33.33333%}.col-sm-5{flex:0 0 41.66667%;max-width:41.66667%}.col-sm-6{flex:0 0 50%;max-width:50%}.col-sm-7{flex:0 0 58.33333%;max-width:58.33333%}.col-sm-8{flex:0 0 66.66667%;max-width:66.66667%}.col-sm-9{flex:0 0 75%;max-width:75%}.col-sm-10{flex:0 0 83.33333%;max-width:83.33333%}.col-sm-11{flex:0 0 91.66667%;max-width:91.66667%}.col-sm-12{flex:0 0 100%;max-width:100%}.order-sm-first{order:-1}.order-sm-last{order:13}.order-sm-0{order:0}.order-sm-1{order:1}.order-sm-2{order:2}.order-sm-3{order:3}.order-sm-4{order:4}.order-sm-5{order:5}.order-sm-6{order:6}.order-sm-7{order:7}.order-sm-8{order:8}.order-sm-9{order:9}.order-sm-10{order:10}.order-sm-11{order:11}.order-sm-12{order:12}.offset-sm-0{margin-left:0}.offset-sm-1{margin-left:8.33333%}.offset-sm-2{margin-left:16.66667%}.offset-sm-3{margin-left:25%}.offset-sm-4{margin-left:33.33333%}.offset-sm-5{margin-left:41.66667%}.offset-sm-6{margin-left:50%}.offset-sm-7{margin-left:58.33333%}.offset-sm-8{margin-left:66.66667%}.offset-sm-9{margin-left:75%}.offset-sm-10{margin-left:83.33333%}.offset-sm-11{margin-left:91.66667%}}@media (min-width:720px){.col-md{flex-basis:0;flex-grow:1;min-width:0;max-width:100%}.row-cols-md-1>*{flex:0 0 100%;max-width:100%}.row-cols-md-2>*{flex:0 0 50%;max-width:50%}.row-cols-md-3>*{flex:0 0 33.33333%;max-width:33.33333%}.row-cols-md-4>*{flex:0 0 25%;max-width:25%}.row-cols-md-5>*{flex:0 0 20%;max-width:20%}.row-cols-md-6>*{flex:0 0 16.66667%;max-width:16.66667%}.col-md-auto{flex:0 0 auto;width:auto;max-width:100%}.col-md-1{flex:0 0 8.33333%;max-width:8.33333%}.col-md-2{flex:0 0 16.66667%;max-width:16.66667%}.col-md-3{flex:0 0 25%;max-width:25%}.col-md-4{flex:0 0 33.33333%;max-width:33.33333%}.col-md-5{flex:0 0 41.66667%;max-width:41.66667%}.col-md-6{flex:0 0 50%;max-width:50%}.col-md-7{flex:0 0 58.33333%;max-width:58.33333%}.col-md-8{flex:0 0 66.66667%;max-width:66.66667%}.col-md-9{flex:0 0 75%;max-width:75%}.col-md-10{flex:0 0 83.33333%;max-width:83.33333%}.col-md-11{flex:0 0 91.66667%;max-width:91.66667%}.col-md-12{flex:0 0 100%;max-width:100%}.order-md-first{order:-1}.order-md-last{order:13}.order-md-0{order:0}.order-md-1{order:1}.order-md-2{order:2}.order-md-3{order:3}.order-md-4{order:4}.order-md-5{order:5}.order-md-6{order:6}.order-md-7{order:7}.order-md-8{order:8}.order-md-9{order:9}.order-md-10{order:10}.order-md-11{order:11}.order-md-12{order:12}.offset-md-0{margin-left:0}.offset-md-1{margin-left:8.33333%}.offset-md-2{margin-left:16.66667%}.offset-md-3{margin-left:25%}.offset-md-4{margin-left:33.33333%}.offset-md-5{margin-left:41.66667%}.offset-md-6{margin-left:50%}.offset-md-7{margin-left:58.33333%}.offset-md-8{margin-left:66.66667%}.offset-md-9{margin-left:75%}.offset-md-10{margin-left:83.33333%}.offset-md-11{margin-left:91.66667%}}@media (min-width:960px){.col-lg{flex-basis:0;flex-grow:1;min-width:0;max-width:100%}.row-cols-lg-1>*{flex:0 0 100%;max-width:100%}.row-cols-lg-2>*{flex:0 0 50%;max-width:50%}.row-cols-lg-3>*{flex:0 0 33.33333%;max-width:33.33333%}.row-cols-lg-4>*{flex:0 0 25%;max-width:25%}.row-cols-lg-5>*{flex:0 0 20%;max-width:20%}.row-cols-lg-6>*{flex:0 0 16.66667%;max-width:16.66667%}.col-lg-auto{flex:0 0 auto;width:auto;max-width:100%}.col-lg-1{flex:0 0 8.33333%;max-width:8.33333%}.col-lg-2{flex:0 0 16.66667%;max-width:16.66667%}.col-lg-3{flex:0 0 25%;max-width:25%}.col-lg-4{flex:0 0 33.33333%;max-width:33.33333%}.col-lg-5{flex:0 0 41.66667%;max-width:41.66667%}.col-lg-6{flex:0 0 50%;max-width:50%}.col-lg-7{flex:0 0 58.33333%;max-width:58.33333%}.col-lg-8{flex:0 0 66.66667%;max-width:66.66667%}.col-lg-9{flex:0 0 75%;max-width:75%}.col-lg-10{flex:0 0 83.33333%;max-width:83.33333%}.col-lg-11{flex:0 0 91.66667%;max-width:91.66667%}.col-lg-12{flex:0 0 100%;max-width:100%}.order-lg-first{order:-1}.order-lg-last{order:13}.order-lg-0{order:0}.order-lg-1{order:1}.order-lg-2{order:2}.order-lg-3{order:3}.order-lg-4{order:4}.order-lg-5{order:5}.order-lg-6{order:6}.order-lg-7{order:7}.order-lg-8{order:8}.order-lg-9{order:9}.order-lg-10{order:10}.order-lg-11{order:11}.order-lg-12{order:12}.offset-lg-0{margin-left:0}.offset-lg-1{margin-left:8.33333%}.offset-lg-2{margin-left:16.66667%}.offset-lg-3{margin-left:25%}.offset-lg-4{margin-left:33.33333%}.offset-lg-5{margin-left:41.66667%}.offset-lg-6{margin-left:50%}.offset-lg-7{margin-left:58.33333%}.offset-lg-8{margin-left:66.66667%}.offset-lg-9{margin-left:75%}.offset-lg-10{margin-left:83.33333%}.offset-lg-11{margin-left:91.66667%}}@media (min-width:1200px){.col-xl{flex-basis:0;flex-grow:1;min-width:0;max-width:100%}.row-cols-xl-1>*{flex:0 0 100%;max-width:100%}.row-cols-xl-2>*{flex:0 0 50%;max-width:50%}.row-cols-xl-3>*{flex:0 0 33.33333%;max-width:33.33333%}.row-cols-xl-4>*{flex:0 0 25%;max-width:25%}.row-cols-xl-5>*{flex:0 0 20%;max-width:20%}.row-cols-xl-6>*{flex:0 0 16.66667%;max-width:16.66667%}.col-xl-auto{flex:0 0 auto;width:auto;max-width:100%}.col-xl-1{flex:0 0 8.33333%;max-width:8.33333%}.col-xl-2{flex:0 0 16.66667%;max-width:16.66667%}.col-xl-3{flex:0 0 25%;max-width:25%}.col-xl-4{flex:0 0 33.33333%;max-width:33.33333%}.col-xl-5{flex:0 0 41.66667%;max-width:41.66667%}.col-xl-6{flex:0 0 50%;max-width:50%}.col-xl-7{flex:0 0 58.33333%;max-width:58.33333%}.col-xl-8{flex:0 0 66.66667%;max-width:66.66667%}.col-xl-9{flex:0 0 75%;max-width:75%}.col-xl-10{flex:0 0 83.33333%;max-width:83.33333%}.col-xl-11{flex:0 0 91.66667%;max-width:91.66667%}.col-xl-12{flex:0 0 100%;max-width:100%}.order-xl-first{order:-1}.order-xl-last{order:13}.order-xl-0{order:0}.order-xl-1{order:1}.order-xl-2{order:2}.order-xl-3{order:3}.order-xl-4{order:4}.order-xl-5{order:5}.order-xl-6{order:6}.order-xl-7{order:7}.order-xl-8{order:8}.order-xl-9{order:9}.order-xl-10{order:10}.order-xl-11{order:11}.order-xl-12{order:12}.offset-xl-0{margin-left:0}.offset-xl-1{margin-left:8.33333%}.offset-xl-2{margin-left:16.66667%}.offset-xl-3{margin-left:25%}.offset-xl-4{margin-left:33.33333%}.offset-xl-5{margin-left:41.66667%}.offset-xl-6{margin-left:50%}.offset-xl-7{margin-left:58.33333%}.offset-xl-8{margin-left:66.66667%}.offset-xl-9{margin-left:75%}.offset-xl-10{margin-left:83.33333%}.offset-xl-11{margin-left:91.66667%}}.table{width:100%;margin-bottom:1rem;color:#212529}.table td,.table th{padding:.75rem;vertical-align:top;border-top:1px solid #dee2e6}.table thead th{vertical-align:bottom;border-bottom:2px solid #dee2e6}.table tbody+tbody{border-top:2px solid #dee2e6}.table-sm td,.table-sm th{padding:.3rem}.table-bordered,.table-bordered td,.table-bordered th{border:1px solid #dee2e6}.table-bordered thead td,.table-bordered thead th{border-bottom-width:2px}.table-borderless tbody+tbody,.table-borderless td,.table-borderless th,.table-borderless thead th{border:0}.table-striped tbody tr:nth-of-type(odd){background-color:rgba(0,0,0,.05)}.table-hover tbody tr:hover{color:#212529;background-color:rgba(0,0,0,.075)}.table-primary,.table-primary>td,.table-primary>th{background-color:#b8daff}.table-primary tbody+tbody,.table-primary td,.table-primary th,.table-primary thead th{border-color:#7abaff}.table-hover .table-primary:hover,.table-hover .table-primary:hover>td,.table-hover .table-primary:hover>th{background-color:#9fcdff}.table-secondary,.table-secondary>td,.table-secondary>th{background-color:#d6d8db}.table-secondary tbody+tbody,.table-secondary td,.table-secondary th,.table-secondary thead th{border-color:#b3b7bb}.table-hover .table-secondary:hover,.table-hover .table-secondary:hover>td,.table-hover .table-secondary:hover>th{background-color:#c8cbcf}.table-success,.table-success>td,.table-success>th{background-color:#c3e6cb}.table-success tbody+tbody,.table-success td,.table-success th,.table-success thead th{border-color:#8fd19e}.table-hover .table-success:hover,.table-hover .table-success:hover>td,.table-hover .table-success:hover>th{background-color:#b1dfbb}.table-info,.table-info>td,.table-info>th{background-color:#bee5eb}.table-info tbody+tbody,.table-info td,.table-info th,.table-info thead th{border-color:#86cfda}.table-hover .table-info:hover,.table-hover .table-info:hover>td,.table-hover .table-info:hover>th{background-color:#abdde5}.table-warning,.table-warning>td,.table-warning>th{background-color:#ffeeba}.table-warning tbody+tbody,.table-warning td,.table-warning th,.table-warning thead th{border-color:#ffdf7e}.table-hover .table-warning:hover,.table-hover .table-warning:hover>td,.table-hover .table-warning:hover>th{background-color:#ffe8a1}.table-danger,.table-danger>td,.table-danger>th{background-color:#f5c6cb}.table-danger tbody+tbody,.table-danger td,.table-danger th,.table-danger thead th{border-color:#ed969e}.table-hover .table-danger:hover,.table-hover .table-danger:hover>td,.table-hover .table-danger:hover>th{background-color:#f1b0b7}.table-light,.table-light>td,.table-light>th{background-color:#fdfdfe}.table-light tbody+tbody,.table-light td,.table-light th,.table-light thead th{border-color:#fbfcfc}.table-hover .table-light:hover,.table-hover .table-light:hover>td,.table-hover .table-light:hover>th{background-color:#ececf6}.table-dark,.table-dark>td,.table-dark>th{background-color:#c6c8ca}.table-dark tbody+tbody,.table-dark td,.table-dark th,.table-dark thead th{border-color:#95999c}.table-hover .table-dark:hover,.table-hover .table-dark:hover>td,.table-hover .table-dark:hover>th{background-color:#b9bbbe}.table-active,.table-active>td,.table-active>th,.table-hover .table-active:hover,.table-hover .table-active:hover>td,.table-hover .table-active:hover>th{background-color:rgba(0,0,0,.075)}.table .thead-dark th{color:#fff;background-color:#343a40;border-color:#454d55}.table .thead-light th{color:#495057;background-color:#e9ecef;border-color:#dee2e6}.table-dark{color:#fff;background-color:#343a40}.table-dark td,.table-dark th,.table-dark thead th{border-color:#454d55}.table-dark.table-bordered{border:0}.table-dark.table-striped tbody tr:nth-of-type(odd){background-color:hsla(0,0%,100%,.05)}.table-dark.table-hover tbody tr:hover{color:#fff;background-color:hsla(0,0%,100%,.075)}@media (max-width:539.98px){.table-responsive-sm{display:block;width:100%;overflow-x:auto;-webkit-overflow-scrolling:touch}.table-responsive-sm>.table-bordered{border:0}}@media (max-width:719.98px){.table-responsive-md{display:block;width:100%;overflow-x:auto;-webkit-overflow-scrolling:touch}.table-responsive-md>.table-bordered{border:0}}@media (max-width:959.98px){.table-responsive-lg{display:block;width:100%;overflow-x:auto;-webkit-overflow-scrolling:touch}.table-responsive-lg>.table-bordered{border:0}}@media (max-width:1199.98px){.table-responsive-xl{display:block;width:100%;overflow-x:auto;-webkit-overflow-scrolling:touch}.table-responsive-xl>.table-bordered{border:0}}.table-responsive{display:block;width:100%;overflow-x:auto;-webkit-overflow-scrolling:touch}.table-responsive>.table-bordered{border:0}.form-control{display:block;width:100%;height:calc(1.5em + .75rem + 2px);padding:.375rem .75rem;font-size:1rem;font-weight:400;line-height:1.5;color:#495057;background-color:#fff;background-clip:padding-box;border:1px solid #ced4da;border-radius:.25rem;transition:border-color .15s ease-in-out,box-shadow .15s ease-in-out}@media (prefers-reduced-motion:reduce){.form-control{transition:none}}.form-control::-ms-expand{background-color:transparent;border:0}.form-control:-moz-focusring{color:transparent;text-shadow:0 0 0 #495057}.form-control:focus{color:#495057;background-color:#fff;border-color:#80bdff;outline:0;box-shadow:0 0 0 .2rem rgba(0,123,255,.25)}.form-control::placeholder{color:#6c757d;opacity:1}.form-control:disabled,.form-control[readonly]{background-color:#e9ecef;opacity:1}input[type=date].form-control,input[type=datetime-local].form-control,input[type=month].form-control,input[type=time].form-control{appearance:none}select.form-control:focus::-ms-value{color:#495057;background-color:#fff}.form-control-file,.form-control-range{display:block;width:100%}.col-form-label{padding-top:calc(.375rem + 1px);padding-bottom:calc(.375rem + 1px);margin-bottom:0;font-size:inherit;line-height:1.5}.col-form-label-lg{padding-top:calc(.5rem + 1px);padding-bottom:calc(.5rem + 1px);font-size:1.25rem;line-height:1.5}.col-form-label-sm{padding-top:calc(.25rem + 1px);padding-bottom:calc(.25rem + 1px);font-size:.875rem;line-height:1.5}.form-control-plaintext{display:block;width:100%;padding:.375rem 0;margin-bottom:0;font-size:1rem;line-height:1.5;color:#212529;background-color:transparent;border:solid transparent;border-width:1px 0}.form-control-plaintext.form-control-lg,.form-control-plaintext.form-control-sm{padding-right:0;padding-left:0}.form-control-sm{height:calc(1.5em + .5rem + 2px);padding:.25rem .5rem;font-size:.875rem;line-height:1.5;border-radius:.2rem}.form-control-lg{height:calc(1.5em + 1rem + 2px);padding:.5rem 1rem;font-size:1.25rem;line-height:1.5;border-radius:.3rem}select.form-control[multiple],select.form-control[size],textarea.form-control{height:auto}.form-group{margin-bottom:1rem}.form-text{display:block;margin-top:.25rem}.form-row{display:flex;flex-wrap:wrap;margin-right:-5px;margin-left:-5px}.form-row>.col,.form-row>[class*=col-]{padding-right:5px;padding-left:5px}.form-check{position:relative;display:block;padding-left:1.25rem}.form-check-input{position:absolute;margin-top:.3rem;margin-left:-1.25rem}.form-check-input:disabled~.form-check-label,.form-check-input[disabled]~.form-check-label{color:#6c757d}.form-check-label{margin-bottom:0}.form-check-inline{display:inline-flex;align-items:center;padding-left:0;margin-right:.75rem}.form-check-inline .form-check-input{position:static;margin-top:0;margin-right:.3125rem;margin-left:0}.valid-feedback{display:none;width:100%;margin-top:.25rem;font-size:80%;color:#28a745}.valid-tooltip{position:absolute;top:100%;z-index:5;display:none;max-width:100%;padding:.25rem .5rem;margin-top:.1rem;font-size:.875rem;line-height:1.5;color:#fff;background-color:rgba(40,167,69,.9);border-radius:.25rem}.is-valid~.valid-feedback,.is-valid~.valid-tooltip,.was-validated :valid~.valid-feedback,.was-validated :valid~.valid-tooltip{display:block}.form-control.is-valid,.was-validated .form-control:valid{border-color:#28a745;padding-right:calc(1.5em + .75rem);background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='8' height='8'%3E%3Cpath fill='%2328a745' d='M2.3 6.73L.6 4.53c-.4-1.04.46-1.4 1.1-.8l1.1 1.4 3.4-3.8c.6-.63 1.6-.27 1.2.7l-4 4.6c-.43.5-.8.4-1.1.1z'/%3E%3C/svg%3E");background-repeat:no-repeat;background-position:right calc(.375em + .1875rem) center;background-size:calc(.75em + .375rem) calc(.75em + .375rem)}.form-control.is-valid:focus,.was-validated .form-control:valid:focus{border-color:#28a745;box-shadow:0 0 0 .2rem rgba(40,167,69,.25)}.was-validated textarea.form-control:valid,textarea.form-control.is-valid{padding-right:calc(1.5em + .75rem);background-position:top calc(.375em + .1875rem) right calc(.375em + .1875rem)}.custom-select.is-valid,.was-validated .custom-select:valid{border-color:#28a745;padding-right:calc(.75em + 2.3125rem);background:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='4' height='5'%3E%3Cpath fill='%23343a40' d='M2 0L0 2h4zm0 5L0 3h4z'/%3E%3C/svg%3E") no-repeat right .75rem center/8px 10px,url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='8' height='8'%3E%3Cpath fill='%2328a745' d='M2.3 6.73L.6 4.53c-.4-1.04.46-1.4 1.1-.8l1.1 1.4 3.4-3.8c.6-.63 1.6-.27 1.2.7l-4 4.6c-.43.5-.8.4-1.1.1z'/%3E%3C/svg%3E") #fff no-repeat center right 1.75rem/calc(.75em + .375rem) calc(.75em + .375rem)}.custom-select.is-valid:focus,.was-validated .custom-select:valid:focus{border-color:#28a745;box-shadow:0 0 0 .2rem rgba(40,167,69,.25)}.form-check-input.is-valid~.form-check-label,.was-validated .form-check-input:valid~.form-check-label{color:#28a745}.form-check-input.is-valid~.valid-feedback,.form-check-input.is-valid~.valid-tooltip,.was-validated .form-check-input:valid~.valid-feedback,.was-validated .form-check-input:valid~.valid-tooltip{display:block}.custom-control-input.is-valid~.custom-control-label,.was-validated .custom-control-input:valid~.custom-control-label{color:#28a745}.custom-control-input.is-valid~.custom-control-label:before,.was-validated .custom-control-input:valid~.custom-control-label:before{border-color:#28a745}.custom-control-input.is-valid:checked~.custom-control-label:before,.was-validated .custom-control-input:valid:checked~.custom-control-label:before{border-color:#34ce57;background-color:#34ce57}.custom-control-input.is-valid:focus~.custom-control-label:before,.was-validated .custom-control-input:valid:focus~.custom-control-label:before{box-shadow:0 0 0 .2rem rgba(40,167,69,.25)}.custom-control-input.is-valid:focus:not(:checked)~.custom-control-label:before,.custom-file-input.is-valid~.custom-file-label,.was-validated .custom-control-input:valid:focus:not(:checked)~.custom-control-label:before,.was-validated .custom-file-input:valid~.custom-file-label{border-color:#28a745}.custom-file-input.is-valid:focus~.custom-file-label,.was-validated .custom-file-input:valid:focus~.custom-file-label{border-color:#28a745;box-shadow:0 0 0 .2rem rgba(40,167,69,.25)}.invalid-feedback{display:none;width:100%;margin-top:.25rem;font-size:80%;color:#dc3545}.invalid-tooltip{position:absolute;top:100%;z-index:5;display:none;max-width:100%;padding:.25rem .5rem;margin-top:.1rem;font-size:.875rem;line-height:1.5;color:#fff;background-color:rgba(220,53,69,.9);border-radius:.25rem}.is-invalid~.invalid-feedback,.is-invalid~.invalid-tooltip,.was-validated :invalid~.invalid-feedback,.was-validated :invalid~.invalid-tooltip{display:block}.form-control.is-invalid,.was-validated .form-control:invalid{border-color:#dc3545;padding-right:calc(1.5em + .75rem);background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='12' height='12' fill='none' stroke='%23dc3545'%3E%3Ccircle cx='6' cy='6' r='4.5'/%3E%3Cpath stroke-linejoin='round' d='M5.8 3.6h.4L6 6.5z'/%3E%3Ccircle cx='6' cy='8.2' r='.6' fill='%23dc3545' stroke='none'/%3E%3C/svg%3E");background-repeat:no-repeat;background-position:right calc(.375em + .1875rem) center;background-size:calc(.75em + .375rem) calc(.75em + .375rem)}.form-control.is-invalid:focus,.was-validated .form-control:invalid:focus{border-color:#dc3545;box-shadow:0 0 0 .2rem rgba(220,53,69,.25)}.was-validated textarea.form-control:invalid,textarea.form-control.is-invalid{padding-right:calc(1.5em + .75rem);background-position:top calc(.375em + .1875rem) right calc(.375em + .1875rem)}.custom-select.is-invalid,.was-validated .custom-select:invalid{border-color:#dc3545;padding-right:calc(.75em + 2.3125rem);background:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='4' height='5'%3E%3Cpath fill='%23343a40' d='M2 0L0 2h4zm0 5L0 3h4z'/%3E%3C/svg%3E") no-repeat right .75rem center/8px 10px,url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='12' height='12' fill='none' stroke='%23dc3545'%3E%3Ccircle cx='6' cy='6' r='4.5'/%3E%3Cpath stroke-linejoin='round' d='M5.8 3.6h.4L6 6.5z'/%3E%3Ccircle cx='6' cy='8.2' r='.6' fill='%23dc3545' stroke='none'/%3E%3C/svg%3E") #fff no-repeat center right 1.75rem/calc(.75em + .375rem) calc(.75em + .375rem)}.custom-select.is-invalid:focus,.was-validated .custom-select:invalid:focus{border-color:#dc3545;box-shadow:0 0 0 .2rem rgba(220,53,69,.25)}.form-check-input.is-invalid~.form-check-label,.was-validated .form-check-input:invalid~.form-check-label{color:#dc3545}.form-check-input.is-invalid~.invalid-feedback,.form-check-input.is-invalid~.invalid-tooltip,.was-validated .form-check-input:invalid~.invalid-feedback,.was-validated .form-check-input:invalid~.invalid-tooltip{display:block}.custom-control-input.is-invalid~.custom-control-label,.was-validated .custom-control-input:invalid~.custom-control-label{color:#dc3545}.custom-control-input.is-invalid~.custom-control-label:before,.was-validated .custom-control-input:invalid~.custom-control-label:before{border-color:#dc3545}.custom-control-input.is-invalid:checked~.custom-control-label:before,.was-validated .custom-control-input:invalid:checked~.custom-control-label:before{border-color:#e4606d;background-color:#e4606d}.custom-control-input.is-invalid:focus~.custom-control-label:before,.was-validated .custom-control-input:invalid:focus~.custom-control-label:before{box-shadow:0 0 0 .2rem rgba(220,53,69,.25)}.custom-control-input.is-invalid:focus:not(:checked)~.custom-control-label:before,.custom-file-input.is-invalid~.custom-file-label,.was-validated .custom-control-input:invalid:focus:not(:checked)~.custom-control-label:before,.was-validated .custom-file-input:invalid~.custom-file-label{border-color:#dc3545}.custom-file-input.is-invalid:focus~.custom-file-label,.was-validated .custom-file-input:invalid:focus~.custom-file-label{border-color:#dc3545;box-shadow:0 0 0 .2rem rgba(220,53,69,.25)}.form-inline{display:flex;flex-flow:row wrap;align-items:center}.form-inline .form-check{width:100%}@media (min-width:540px){.form-inline label{justify-content:center}.form-inline .form-group,.form-inline label{display:flex;align-items:center;margin-bottom:0}.form-inline .form-group{flex:0 0 auto;flex-flow:row wrap}.form-inline .form-control{display:inline-block;width:auto;vertical-align:middle}.form-inline .form-control-plaintext{display:inline-block}.form-inline .custom-select,.form-inline .input-group{width:auto}.form-inline .form-check{display:flex;align-items:center;justify-content:center;width:auto;padding-left:0}.form-inline .form-check-input{position:relative;flex-shrink:0;margin-top:0;margin-right:.25rem;margin-left:0}.form-inline .custom-control{align-items:center;justify-content:center}.form-inline .custom-control-label{margin-bottom:0}}.btn{display:inline-block;font-weight:400;color:#212529;text-align:center;vertical-align:middle;user-select:none;background-color:transparent;border:1px solid transparent;padding:.375rem .75rem;font-size:1rem;line-height:1.5;border-radius:.25rem;transition:color .15s ease-in-out,background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out}@media (prefers-reduced-motion:reduce){.btn{transition:none}}.btn:hover{color:#212529;text-decoration:none}.btn.focus,.btn:focus{outline:0;box-shadow:0 0 0 .2rem rgba(0,123,255,.25)}.btn.disabled,.btn:disabled{opacity:.65}.btn:not(:disabled):not(.disabled){cursor:pointer}a.btn.disabled,fieldset:disabled a.btn{pointer-events:none}.btn-primary{color:#fff;background-color:#007bff;border-color:#007bff}.btn-primary.focus,.btn-primary:focus,.btn-primary:hover{color:#fff;background-color:#0069d9;border-color:#0062cc}.btn-primary.focus,.btn-primary:focus{box-shadow:0 0 0 .2rem rgba(38,143,255,.5)}.btn-primary.disabled,.btn-primary:disabled{color:#fff;background-color:#007bff;border-color:#007bff}.btn-primary:not(:disabled):not(.disabled).active,.btn-primary:not(:disabled):not(.disabled):active,.show>.btn-primary.dropdown-toggle{color:#fff;background-color:#0062cc;border-color:#005cbf}.btn-primary:not(:disabled):not(.disabled).active:focus,.btn-primary:not(:disabled):not(.disabled):active:focus,.show>.btn-primary.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(38,143,255,.5)}.btn-secondary{color:#fff;background-color:#6c757d;border-color:#6c757d}.btn-secondary.focus,.btn-secondary:focus,.btn-secondary:hover{color:#fff;background-color:#5a6268;border-color:#545b62}.btn-secondary.focus,.btn-secondary:focus{box-shadow:0 0 0 .2rem rgba(130,138,145,.5)}.btn-secondary.disabled,.btn-secondary:disabled{color:#fff;background-color:#6c757d;border-color:#6c757d}.btn-secondary:not(:disabled):not(.disabled).active,.btn-secondary:not(:disabled):not(.disabled):active,.show>.btn-secondary.dropdown-toggle{color:#fff;background-color:#545b62;border-color:#4e555b}.btn-secondary:not(:disabled):not(.disabled).active:focus,.btn-secondary:not(:disabled):not(.disabled):active:focus,.show>.btn-secondary.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(130,138,145,.5)}.btn-success{color:#fff;background-color:#28a745;border-color:#28a745}.btn-success.focus,.btn-success:focus,.btn-success:hover{color:#fff;background-color:#218838;border-color:#1e7e34}.btn-success.focus,.btn-success:focus{box-shadow:0 0 0 .2rem rgba(72,180,97,.5)}.btn-success.disabled,.btn-success:disabled{color:#fff;background-color:#28a745;border-color:#28a745}.btn-success:not(:disabled):not(.disabled).active,.btn-success:not(:disabled):not(.disabled):active,.show>.btn-success.dropdown-toggle{color:#fff;background-color:#1e7e34;border-color:#1c7430}.btn-success:not(:disabled):not(.disabled).active:focus,.btn-success:not(:disabled):not(.disabled):active:focus,.show>.btn-success.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(72,180,97,.5)}.btn-info{color:#fff;background-color:#17a2b8;border-color:#17a2b8}.btn-info.focus,.btn-info:focus,.btn-info:hover{color:#fff;background-color:#138496;border-color:#117a8b}.btn-info.focus,.btn-info:focus{box-shadow:0 0 0 .2rem rgba(58,176,195,.5)}.btn-info.disabled,.btn-info:disabled{color:#fff;background-color:#17a2b8;border-color:#17a2b8}.btn-info:not(:disabled):not(.disabled).active,.btn-info:not(:disabled):not(.disabled):active,.show>.btn-info.dropdown-toggle{color:#fff;background-color:#117a8b;border-color:#10707f}.btn-info:not(:disabled):not(.disabled).active:focus,.btn-info:not(:disabled):not(.disabled):active:focus,.show>.btn-info.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(58,176,195,.5)}.btn-warning{color:#212529;background-color:#ffc107;border-color:#ffc107}.btn-warning.focus,.btn-warning:focus,.btn-warning:hover{color:#212529;background-color:#e0a800;border-color:#d39e00}.btn-warning.focus,.btn-warning:focus{box-shadow:0 0 0 .2rem rgba(222,170,12,.5)}.btn-warning.disabled,.btn-warning:disabled{color:#212529;background-color:#ffc107;border-color:#ffc107}.btn-warning:not(:disabled):not(.disabled).active,.btn-warning:not(:disabled):not(.disabled):active,.show>.btn-warning.dropdown-toggle{color:#212529;background-color:#d39e00;border-color:#c69500}.btn-warning:not(:disabled):not(.disabled).active:focus,.btn-warning:not(:disabled):not(.disabled):active:focus,.show>.btn-warning.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(222,170,12,.5)}.btn-danger{color:#fff;background-color:#dc3545;border-color:#dc3545}.btn-danger.focus,.btn-danger:focus,.btn-danger:hover{color:#fff;background-color:#c82333;border-color:#bd2130}.btn-danger.focus,.btn-danger:focus{box-shadow:0 0 0 .2rem rgba(225,83,97,.5)}.btn-danger.disabled,.btn-danger:disabled{color:#fff;background-color:#dc3545;border-color:#dc3545}.btn-danger:not(:disabled):not(.disabled).active,.btn-danger:not(:disabled):not(.disabled):active,.show>.btn-danger.dropdown-toggle{color:#fff;background-color:#bd2130;border-color:#b21f2d}.btn-danger:not(:disabled):not(.disabled).active:focus,.btn-danger:not(:disabled):not(.disabled):active:focus,.show>.btn-danger.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(225,83,97,.5)}.btn-light{color:#212529;background-color:#f8f9fa;border-color:#f8f9fa}.btn-light.focus,.btn-light:focus,.btn-light:hover{color:#212529;background-color:#e2e6ea;border-color:#dae0e5}.btn-light.focus,.btn-light:focus{box-shadow:0 0 0 .2rem rgba(216,217,219,.5)}.btn-light.disabled,.btn-light:disabled{color:#212529;background-color:#f8f9fa;border-color:#f8f9fa}.btn-light:not(:disabled):not(.disabled).active,.btn-light:not(:disabled):not(.disabled):active,.show>.btn-light.dropdown-toggle{color:#212529;background-color:#dae0e5;border-color:#d3d9df}.btn-light:not(:disabled):not(.disabled).active:focus,.btn-light:not(:disabled):not(.disabled):active:focus,.show>.btn-light.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(216,217,219,.5)}.btn-dark{color:#fff;background-color:#343a40;border-color:#343a40}.btn-dark.focus,.btn-dark:focus,.btn-dark:hover{color:#fff;background-color:#23272b;border-color:#1d2124}.btn-dark.focus,.btn-dark:focus{box-shadow:0 0 0 .2rem rgba(82,88,93,.5)}.btn-dark.disabled,.btn-dark:disabled{color:#fff;background-color:#343a40;border-color:#343a40}.btn-dark:not(:disabled):not(.disabled).active,.btn-dark:not(:disabled):not(.disabled):active,.show>.btn-dark.dropdown-toggle{color:#fff;background-color:#1d2124;border-color:#171a1d}.btn-dark:not(:disabled):not(.disabled).active:focus,.btn-dark:not(:disabled):not(.disabled):active:focus,.show>.btn-dark.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(82,88,93,.5)}.btn-outline-primary{color:#007bff;border-color:#007bff}.btn-outline-primary:hover{color:#fff;background-color:#007bff;border-color:#007bff}.btn-outline-primary.focus,.btn-outline-primary:focus{box-shadow:0 0 0 .2rem rgba(0,123,255,.5)}.btn-outline-primary.disabled,.btn-outline-primary:disabled{color:#007bff;background-color:transparent}.btn-outline-primary:not(:disabled):not(.disabled).active,.btn-outline-primary:not(:disabled):not(.disabled):active,.show>.btn-outline-primary.dropdown-toggle{color:#fff;background-color:#007bff;border-color:#007bff}.btn-outline-primary:not(:disabled):not(.disabled).active:focus,.btn-outline-primary:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-primary.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(0,123,255,.5)}.btn-outline-secondary{color:#6c757d;border-color:#6c757d}.btn-outline-secondary:hover{color:#fff;background-color:#6c757d;border-color:#6c757d}.btn-outline-secondary.focus,.btn-outline-secondary:focus{box-shadow:0 0 0 .2rem rgba(108,117,125,.5)}.btn-outline-secondary.disabled,.btn-outline-secondary:disabled{color:#6c757d;background-color:transparent}.btn-outline-secondary:not(:disabled):not(.disabled).active,.btn-outline-secondary:not(:disabled):not(.disabled):active,.show>.btn-outline-secondary.dropdown-toggle{color:#fff;background-color:#6c757d;border-color:#6c757d}.btn-outline-secondary:not(:disabled):not(.disabled).active:focus,.btn-outline-secondary:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-secondary.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(108,117,125,.5)}.btn-outline-success{color:#28a745;border-color:#28a745}.btn-outline-success:hover{color:#fff;background-color:#28a745;border-color:#28a745}.btn-outline-success.focus,.btn-outline-success:focus{box-shadow:0 0 0 .2rem rgba(40,167,69,.5)}.btn-outline-success.disabled,.btn-outline-success:disabled{color:#28a745;background-color:transparent}.btn-outline-success:not(:disabled):not(.disabled).active,.btn-outline-success:not(:disabled):not(.disabled):active,.show>.btn-outline-success.dropdown-toggle{color:#fff;background-color:#28a745;border-color:#28a745}.btn-outline-success:not(:disabled):not(.disabled).active:focus,.btn-outline-success:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-success.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(40,167,69,.5)}.btn-outline-info{color:#17a2b8;border-color:#17a2b8}.btn-outline-info:hover{color:#fff;background-color:#17a2b8;border-color:#17a2b8}.btn-outline-info.focus,.btn-outline-info:focus{box-shadow:0 0 0 .2rem rgba(23,162,184,.5)}.btn-outline-info.disabled,.btn-outline-info:disabled{color:#17a2b8;background-color:transparent}.btn-outline-info:not(:disabled):not(.disabled).active,.btn-outline-info:not(:disabled):not(.disabled):active,.show>.btn-outline-info.dropdown-toggle{color:#fff;background-color:#17a2b8;border-color:#17a2b8}.btn-outline-info:not(:disabled):not(.disabled).active:focus,.btn-outline-info:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-info.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(23,162,184,.5)}.btn-outline-warning{color:#ffc107;border-color:#ffc107}.btn-outline-warning:hover{color:#212529;background-color:#ffc107;border-color:#ffc107}.btn-outline-warning.focus,.btn-outline-warning:focus{box-shadow:0 0 0 .2rem rgba(255,193,7,.5)}.btn-outline-warning.disabled,.btn-outline-warning:disabled{color:#ffc107;background-color:transparent}.btn-outline-warning:not(:disabled):not(.disabled).active,.btn-outline-warning:not(:disabled):not(.disabled):active,.show>.btn-outline-warning.dropdown-toggle{color:#212529;background-color:#ffc107;border-color:#ffc107}.btn-outline-warning:not(:disabled):not(.disabled).active:focus,.btn-outline-warning:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-warning.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(255,193,7,.5)}.btn-outline-danger{color:#dc3545;border-color:#dc3545}.btn-outline-danger:hover{color:#fff;background-color:#dc3545;border-color:#dc3545}.btn-outline-danger.focus,.btn-outline-danger:focus{box-shadow:0 0 0 .2rem rgba(220,53,69,.5)}.btn-outline-danger.disabled,.btn-outline-danger:disabled{color:#dc3545;background-color:transparent}.btn-outline-danger:not(:disabled):not(.disabled).active,.btn-outline-danger:not(:disabled):not(.disabled):active,.show>.btn-outline-danger.dropdown-toggle{color:#fff;background-color:#dc3545;border-color:#dc3545}.btn-outline-danger:not(:disabled):not(.disabled).active:focus,.btn-outline-danger:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-danger.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(220,53,69,.5)}.btn-outline-light{color:#f8f9fa;border-color:#f8f9fa}.btn-outline-light:hover{color:#212529;background-color:#f8f9fa;border-color:#f8f9fa}.btn-outline-light.focus,.btn-outline-light:focus{box-shadow:0 0 0 .2rem rgba(248,249,250,.5)}.btn-outline-light.disabled,.btn-outline-light:disabled{color:#f8f9fa;background-color:transparent}.btn-outline-light:not(:disabled):not(.disabled).active,.btn-outline-light:not(:disabled):not(.disabled):active,.show>.btn-outline-light.dropdown-toggle{color:#212529;background-color:#f8f9fa;border-color:#f8f9fa}.btn-outline-light:not(:disabled):not(.disabled).active:focus,.btn-outline-light:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-light.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(248,249,250,.5)}.btn-outline-dark{color:#343a40;border-color:#343a40}.btn-outline-dark:hover{color:#fff;background-color:#343a40;border-color:#343a40}.btn-outline-dark.focus,.btn-outline-dark:focus{box-shadow:0 0 0 .2rem rgba(52,58,64,.5)}.btn-outline-dark.disabled,.btn-outline-dark:disabled{color:#343a40;background-color:transparent}.btn-outline-dark:not(:disabled):not(.disabled).active,.btn-outline-dark:not(:disabled):not(.disabled):active,.show>.btn-outline-dark.dropdown-toggle{color:#fff;background-color:#343a40;border-color:#343a40}.btn-outline-dark:not(:disabled):not(.disabled).active:focus,.btn-outline-dark:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-dark.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(52,58,64,.5)}.btn-link{font-weight:400;color:#007bff;text-decoration:none}.btn-link:hover{color:#0056b3}.btn-link.focus,.btn-link:focus,.btn-link:hover{text-decoration:underline}.btn-link.disabled,.btn-link:disabled{color:#6c757d;pointer-events:none}.btn-group-lg>.btn,.btn-lg{padding:.5rem 1rem;font-size:1.25rem;line-height:1.5;border-radius:.3rem}.btn-group-sm>.btn,.btn-sm{padding:.25rem .5rem;font-size:.875rem;line-height:1.5;border-radius:.2rem}.btn-block{display:block;width:100%}.btn-block+.btn-block{margin-top:.5rem}input[type=button].btn-block,input[type=reset].btn-block,input[type=submit].btn-block{width:100%}.fade{transition:opacity .15s linear}@media (prefers-reduced-motion:reduce){.fade{transition:none}}.fade:not(.show){opacity:0}.collapse:not(.show){display:none}.collapsing{position:relative;height:0;overflow:hidden;transition:height .35s ease}@media (prefers-reduced-motion:reduce){.collapsing{transition:none}}.dropdown,.dropleft,.dropright,.dropup{position:relative}.dropdown-toggle{white-space:nowrap}.dropdown-toggle:after{display:inline-block;margin-left:.255em;vertical-align:.255em;content:"";border-top:.3em solid;border-right:.3em solid transparent;border-bottom:0;border-left:.3em solid transparent}.dropdown-toggle:empty:after{margin-left:0}.dropdown-menu{position:absolute;top:100%;left:0;z-index:1000;display:none;float:left;min-width:10rem;padding:.5rem 0;margin:.125rem 0 0;font-size:1rem;color:#212529;text-align:left;list-style:none;background-color:#fff;background-clip:padding-box;border:1px solid rgba(0,0,0,.15);border-radius:.25rem}.dropdown-menu-left{right:auto;left:0}.dropdown-menu-right{right:0;left:auto}@media (min-width:540px){.dropdown-menu-sm-left{right:auto;left:0}.dropdown-menu-sm-right{right:0;left:auto}}@media (min-width:720px){.dropdown-menu-md-left{right:auto;left:0}.dropdown-menu-md-right{right:0;left:auto}}@media (min-width:960px){.dropdown-menu-lg-left{right:auto;left:0}.dropdown-menu-lg-right{right:0;left:auto}}@media (min-width:1200px){.dropdown-menu-xl-left{right:auto;left:0}.dropdown-menu-xl-right{right:0;left:auto}}.dropup .dropdown-menu{top:auto;bottom:100%;margin-top:0;margin-bottom:.125rem}.dropup .dropdown-toggle:after{display:inline-block;margin-left:.255em;vertical-align:.255em;content:"";border-top:0;border-right:.3em solid transparent;border-bottom:.3em solid;border-left:.3em solid transparent}.dropup .dropdown-toggle:empty:after{margin-left:0}.dropright .dropdown-menu{top:0;right:auto;left:100%;margin-top:0;margin-left:.125rem}.dropright .dropdown-toggle:after{display:inline-block;margin-left:.255em;vertical-align:.255em;content:"";border-top:.3em solid transparent;border-right:0;border-bottom:.3em solid transparent;border-left:.3em solid}.dropright .dropdown-toggle:empty:after{margin-left:0}.dropright .dropdown-toggle:after{vertical-align:0}.dropleft .dropdown-menu{top:0;right:100%;left:auto;margin-top:0;margin-right:.125rem}.dropleft .dropdown-toggle:after{display:inline-block;margin-left:.255em;vertical-align:.255em;content:"";display:none}.dropleft .dropdown-toggle:before{display:inline-block;margin-right:.255em;vertical-align:.255em;content:"";border-top:.3em solid transparent;border-right:.3em solid;border-bottom:.3em solid transparent}.dropleft .dropdown-toggle:empty:after{margin-left:0}.dropleft .dropdown-toggle:before{vertical-align:0}.dropdown-menu[x-placement^=bottom],.dropdown-menu[x-placement^=left],.dropdown-menu[x-placement^=right],.dropdown-menu[x-placement^=top]{right:auto;bottom:auto}.dropdown-divider{height:0;margin:.5rem 0;overflow:hidden;border-top:1px solid #e9ecef}.dropdown-item{display:block;width:100%;padding:.25rem 1.5rem;clear:both;font-weight:400;color:#212529;text-align:inherit;white-space:nowrap;background-color:transparent;border:0}.dropdown-item:focus,.dropdown-item:hover{color:#16181b;text-decoration:none;background-color:#f8f9fa}.dropdown-item.active,.dropdown-item:active{color:#fff;text-decoration:none;background-color:#007bff}.dropdown-item.disabled,.dropdown-item:disabled{color:#6c757d;pointer-events:none;background-color:transparent}.dropdown-menu.show{display:block}.dropdown-header{display:block;padding:.5rem 1.5rem;margin-bottom:0;font-size:.875rem;color:#6c757d;white-space:nowrap}.dropdown-item-text{display:block;padding:.25rem 1.5rem;color:#212529}.btn-group,.btn-group-vertical{position:relative;display:inline-flex;vertical-align:middle}.btn-group-vertical>.btn,.btn-group>.btn{position:relative;flex:1 1 auto}.btn-group-vertical>.btn.active,.btn-group-vertical>.btn:active,.btn-group-vertical>.btn:focus,.btn-group-vertical>.btn:hover,.btn-group>.btn.active,.btn-group>.btn:active,.btn-group>.btn:focus,.btn-group>.btn:hover{z-index:1}.btn-toolbar{display:flex;flex-wrap:wrap;justify-content:flex-start}.btn-toolbar .input-group{width:auto}.btn-group>.btn-group:not(:first-child),.btn-group>.btn:not(:first-child){margin-left:-1px}.btn-group>.btn-group:not(:last-child)>.btn,.btn-group>.btn:not(:last-child):not(.dropdown-toggle){border-top-right-radius:0;border-bottom-right-radius:0}.btn-group>.btn-group:not(:first-child)>.btn,.btn-group>.btn:not(:first-child){border-top-left-radius:0;border-bottom-left-radius:0}.dropdown-toggle-split{padding-right:.5625rem;padding-left:.5625rem}.dropdown-toggle-split:after,.dropright .dropdown-toggle-split:after,.dropup .dropdown-toggle-split:after{margin-left:0}.dropleft .dropdown-toggle-split:before{margin-right:0}.btn-group-sm>.btn+.dropdown-toggle-split,.btn-sm+.dropdown-toggle-split{padding-right:.375rem;padding-left:.375rem}.btn-group-lg>.btn+.dropdown-toggle-split,.btn-lg+.dropdown-toggle-split{padding-right:.75rem;padding-left:.75rem}.btn-group-vertical{flex-direction:column;align-items:flex-start;justify-content:center}.btn-group-vertical>.btn,.btn-group-vertical>.btn-group{width:100%}.btn-group-vertical>.btn-group:not(:first-child),.btn-group-vertical>.btn:not(:first-child){margin-top:-1px}.btn-group-vertical>.btn-group:not(:last-child)>.btn,.btn-group-vertical>.btn:not(:last-child):not(.dropdown-toggle){border-bottom-right-radius:0;border-bottom-left-radius:0}.btn-group-vertical>.btn-group:not(:first-child)>.btn,.btn-group-vertical>.btn:not(:first-child){border-top-left-radius:0;border-top-right-radius:0}.btn-group-toggle>.btn,.btn-group-toggle>.btn-group>.btn{margin-bottom:0}.btn-group-toggle>.btn-group>.btn input[type=checkbox],.btn-group-toggle>.btn-group>.btn input[type=radio],.btn-group-toggle>.btn input[type=checkbox],.btn-group-toggle>.btn input[type=radio]{position:absolute;clip:rect(0,0,0,0);pointer-events:none}.input-group{position:relative;display:flex;flex-wrap:wrap;align-items:stretch;width:100%}.input-group>.custom-file,.input-group>.custom-select,.input-group>.form-control,.input-group>.form-control-plaintext{position:relative;flex:1 1 auto;width:1%;min-width:0;margin-bottom:0}.input-group>.custom-file+.custom-file,.input-group>.custom-file+.custom-select,.input-group>.custom-file+.form-control,.input-group>.custom-select+.custom-file,.input-group>.custom-select+.custom-select,.input-group>.custom-select+.form-control,.input-group>.form-control+.custom-file,.input-group>.form-control+.custom-select,.input-group>.form-control+.form-control,.input-group>.form-control-plaintext+.custom-file,.input-group>.form-control-plaintext+.custom-select,.input-group>.form-control-plaintext+.form-control{margin-left:-1px}.input-group>.custom-file .custom-file-input:focus~.custom-file-label,.input-group>.custom-select:focus,.input-group>.form-control:focus{z-index:3}.input-group>.custom-file .custom-file-input:focus{z-index:4}.input-group>.custom-select:not(:last-child),.input-group>.form-control:not(:last-child){border-top-right-radius:0;border-bottom-right-radius:0}.input-group>.custom-select:not(:first-child),.input-group>.form-control:not(:first-child){border-top-left-radius:0;border-bottom-left-radius:0}.input-group>.custom-file{display:flex;align-items:center}.input-group>.custom-file:not(:last-child) .custom-file-label,.input-group>.custom-file:not(:last-child) .custom-file-label:after{border-top-right-radius:0;border-bottom-right-radius:0}.input-group>.custom-file:not(:first-child) .custom-file-label{border-top-left-radius:0;border-bottom-left-radius:0}.input-group-append,.input-group-prepend{display:flex}.input-group-append .btn,.input-group-prepend .btn{position:relative;z-index:2}.input-group-append .btn:focus,.input-group-prepend .btn:focus{z-index:3}.input-group-append .btn+.btn,.input-group-append .btn+.input-group-text,.input-group-append .input-group-text+.btn,.input-group-append .input-group-text+.input-group-text,.input-group-prepend .btn+.btn,.input-group-prepend .btn+.input-group-text,.input-group-prepend .input-group-text+.btn,.input-group-prepend .input-group-text+.input-group-text{margin-left:-1px}.input-group-prepend{margin-right:-1px}.input-group-append{margin-left:-1px}.input-group-text{display:flex;align-items:center;padding:.375rem .75rem;margin-bottom:0;font-size:1rem;font-weight:400;line-height:1.5;color:#495057;text-align:center;white-space:nowrap;background-color:#e9ecef;border:1px solid #ced4da;border-radius:.25rem}.input-group-text input[type=checkbox],.input-group-text input[type=radio]{margin-top:0}.input-group-lg>.custom-select,.input-group-lg>.form-control:not(textarea){height:calc(1.5em + 1rem + 2px)}.input-group-lg>.custom-select,.input-group-lg>.form-control,.input-group-lg>.input-group-append>.btn,.input-group-lg>.input-group-append>.input-group-text,.input-group-lg>.input-group-prepend>.btn,.input-group-lg>.input-group-prepend>.input-group-text{padding:.5rem 1rem;font-size:1.25rem;line-height:1.5;border-radius:.3rem}.input-group-sm>.custom-select,.input-group-sm>.form-control:not(textarea){height:calc(1.5em + .5rem + 2px)}.input-group-sm>.custom-select,.input-group-sm>.form-control,.input-group-sm>.input-group-append>.btn,.input-group-sm>.input-group-append>.input-group-text,.input-group-sm>.input-group-prepend>.btn,.input-group-sm>.input-group-prepend>.input-group-text{padding:.25rem .5rem;font-size:.875rem;line-height:1.5;border-radius:.2rem}.input-group-lg>.custom-select,.input-group-sm>.custom-select{padding-right:1.75rem}.input-group>.input-group-append:last-child>.btn:not(:last-child):not(.dropdown-toggle),.input-group>.input-group-append:last-child>.input-group-text:not(:last-child),.input-group>.input-group-append:not(:last-child)>.btn,.input-group>.input-group-append:not(:last-child)>.input-group-text,.input-group>.input-group-prepend>.btn,.input-group>.input-group-prepend>.input-group-text{border-top-right-radius:0;border-bottom-right-radius:0}.input-group>.input-group-append>.btn,.input-group>.input-group-append>.input-group-text,.input-group>.input-group-prepend:first-child>.btn:not(:first-child),.input-group>.input-group-prepend:first-child>.input-group-text:not(:first-child),.input-group>.input-group-prepend:not(:first-child)>.btn,.input-group>.input-group-prepend:not(:first-child)>.input-group-text{border-top-left-radius:0;border-bottom-left-radius:0}.custom-control{position:relative;display:block;min-height:1.5rem;padding-left:1.5rem}.custom-control-inline{display:inline-flex;margin-right:1rem}.custom-control-input{position:absolute;left:0;z-index:-1;width:1rem;height:1.25rem;opacity:0}.custom-control-input:checked~.custom-control-label:before{color:#fff;border-color:#007bff;background-color:#007bff}.custom-control-input:focus~.custom-control-label:before{box-shadow:0 0 0 .2rem rgba(0,123,255,.25)}.custom-control-input:focus:not(:checked)~.custom-control-label:before{border-color:#80bdff}.custom-control-input:not(:disabled):active~.custom-control-label:before{color:#fff;background-color:#b3d7ff;border-color:#b3d7ff}.custom-control-input:disabled~.custom-control-label,.custom-control-input[disabled]~.custom-control-label{color:#6c757d}.custom-control-input:disabled~.custom-control-label:before,.custom-control-input[disabled]~.custom-control-label:before{background-color:#e9ecef}.custom-control-label{position:relative;margin-bottom:0;vertical-align:top}.custom-control-label:before{pointer-events:none;background-color:#fff;border:1px solid #adb5bd}.custom-control-label:after,.custom-control-label:before{position:absolute;top:.25rem;left:-1.5rem;display:block;width:1rem;height:1rem;content:""}.custom-control-label:after{background:no-repeat 50%/50% 50%}.custom-checkbox .custom-control-label:before{border-radius:.25rem}.custom-checkbox .custom-control-input:checked~.custom-control-label:after{background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='8' height='8'%3E%3Cpath fill='%23fff' d='M6.564.75l-3.59 3.612-1.538-1.55L0 4.26l2.974 2.99L8 2.193z'/%3E%3C/svg%3E")}.custom-checkbox .custom-control-input:indeterminate~.custom-control-label:before{border-color:#007bff;background-color:#007bff}.custom-checkbox .custom-control-input:indeterminate~.custom-control-label:after{background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='4' height='4'%3E%3Cpath stroke='%23fff' d='M0 2h4'/%3E%3C/svg%3E")}.custom-checkbox .custom-control-input:disabled:checked~.custom-control-label:before{background-color:rgba(0,123,255,.5)}.custom-checkbox .custom-control-input:disabled:indeterminate~.custom-control-label:before{background-color:rgba(0,123,255,.5)}.custom-radio .custom-control-label:before{border-radius:50%}.custom-radio .custom-control-input:checked~.custom-control-label:after{background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='12' height='12' viewBox='-4 -4 8 8'%3E%3Ccircle r='3' fill='%23fff'/%3E%3C/svg%3E")}.custom-radio .custom-control-input:disabled:checked~.custom-control-label:before{background-color:rgba(0,123,255,.5)}.custom-switch{padding-left:2.25rem}.custom-switch .custom-control-label:before{left:-2.25rem;width:1.75rem;pointer-events:all;border-radius:.5rem}.custom-switch .custom-control-label:after{top:calc(.25rem + 2px);left:calc(-2.25rem + 2px);width:calc(1rem - 4px);height:calc(1rem - 4px);background-color:#adb5bd;border-radius:.5rem;transition:transform .15s ease-in-out,background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out}@media (prefers-reduced-motion:reduce){.custom-switch .custom-control-label:after{transition:none}}.custom-switch .custom-control-input:checked~.custom-control-label:after{background-color:#fff;transform:translateX(.75rem)}.custom-switch .custom-control-input:disabled:checked~.custom-control-label:before{background-color:rgba(0,123,255,.5)}.custom-select{display:inline-block;width:100%;height:calc(1.5em + .75rem + 2px);padding:.375rem 1.75rem .375rem .75rem;font-size:1rem;font-weight:400;line-height:1.5;color:#495057;vertical-align:middle;background:#fff url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='4' height='5'%3E%3Cpath fill='%23343a40' d='M2 0L0 2h4zm0 5L0 3h4z'/%3E%3C/svg%3E") no-repeat right .75rem center/8px 10px;border:1px solid #ced4da;border-radius:.25rem;appearance:none}.custom-select:focus{border-color:#80bdff;outline:0;box-shadow:0 0 0 .2rem rgba(0,123,255,.25)}.custom-select:focus::-ms-value{color:#495057;background-color:#fff}.custom-select[multiple],.custom-select[size]:not([size="1"]){height:auto;padding-right:.75rem;background-image:none}.custom-select:disabled{color:#6c757d;background-color:#e9ecef}.custom-select::-ms-expand{display:none}.custom-select:-moz-focusring{color:transparent;text-shadow:0 0 0 #495057}.custom-select-sm{height:calc(1.5em + .5rem + 2px);padding-top:.25rem;padding-bottom:.25rem;padding-left:.5rem;font-size:.875rem}.custom-select-lg{height:calc(1.5em + 1rem + 2px);padding-top:.5rem;padding-bottom:.5rem;padding-left:1rem;font-size:1.25rem}.custom-file{display:inline-block;margin-bottom:0}.custom-file,.custom-file-input{position:relative;width:100%;height:calc(1.5em + .75rem + 2px)}.custom-file-input{z-index:2;margin:0;opacity:0}.custom-file-input:focus~.custom-file-label{border-color:#80bdff;box-shadow:0 0 0 .2rem rgba(0,123,255,.25)}.custom-file-input:disabled~.custom-file-label,.custom-file-input[disabled]~.custom-file-label{background-color:#e9ecef}.custom-file-input:lang(en)~.custom-file-label:after{content:"Browse"}.custom-file-input~.custom-file-label[data-browse]:after{content:attr(data-browse)}.custom-file-label{left:0;z-index:1;height:calc(1.5em + .75rem + 2px);font-weight:400;background-color:#fff;border:1px solid #ced4da;border-radius:.25rem}.custom-file-label,.custom-file-label:after{position:absolute;top:0;right:0;padding:.375rem .75rem;line-height:1.5;color:#495057}.custom-file-label:after{bottom:0;z-index:3;display:block;height:calc(1.5em + .75rem);content:"Browse";background-color:#e9ecef;border-left:inherit;border-radius:0 .25rem .25rem 0}.custom-range{width:100%;height:1.4rem;padding:0;background-color:transparent;appearance:none}.custom-range:focus{outline:none}.custom-range:focus::-webkit-slider-thumb{box-shadow:0 0 0 1px #fff,0 0 0 .2rem rgba(0,123,255,.25)}.custom-range:focus::-moz-range-thumb{box-shadow:0 0 0 1px #fff,0 0 0 .2rem rgba(0,123,255,.25)}.custom-range:focus::-ms-thumb{box-shadow:0 0 0 1px #fff,0 0 0 .2rem rgba(0,123,255,.25)}.custom-range::-moz-focus-outer{border:0}.custom-range::-webkit-slider-thumb{width:1rem;height:1rem;margin-top:-.25rem;background-color:#007bff;border:0;border-radius:1rem;transition:background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out;appearance:none}@media (prefers-reduced-motion:reduce){.custom-range::-webkit-slider-thumb{transition:none}}.custom-range::-webkit-slider-thumb:active{background-color:#b3d7ff}.custom-range::-webkit-slider-runnable-track{width:100%;height:.5rem;color:transparent;cursor:pointer;background-color:#dee2e6;border-color:transparent;border-radius:1rem}.custom-range::-moz-range-thumb{width:1rem;height:1rem;background-color:#007bff;border:0;border-radius:1rem;transition:background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out;appearance:none}@media (prefers-reduced-motion:reduce){.custom-range::-moz-range-thumb{transition:none}}.custom-range::-moz-range-thumb:active{background-color:#b3d7ff}.custom-range::-moz-range-track{width:100%;height:.5rem;color:transparent;cursor:pointer;background-color:#dee2e6;border-color:transparent;border-radius:1rem}.custom-range::-ms-thumb{width:1rem;height:1rem;margin-top:0;margin-right:.2rem;margin-left:.2rem;background-color:#007bff;border:0;border-radius:1rem;transition:background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out;appearance:none}@media (prefers-reduced-motion:reduce){.custom-range::-ms-thumb{transition:none}}.custom-range::-ms-thumb:active{background-color:#b3d7ff}.custom-range::-ms-track{width:100%;height:.5rem;color:transparent;cursor:pointer;background-color:transparent;border-color:transparent;border-width:.5rem}.custom-range::-ms-fill-lower,.custom-range::-ms-fill-upper{background-color:#dee2e6;border-radius:1rem}.custom-range::-ms-fill-upper{margin-right:15px}.custom-range:disabled::-webkit-slider-thumb{background-color:#adb5bd}.custom-range:disabled::-webkit-slider-runnable-track{cursor:default}.custom-range:disabled::-moz-range-thumb{background-color:#adb5bd}.custom-range:disabled::-moz-range-track{cursor:default}.custom-range:disabled::-ms-thumb{background-color:#adb5bd}.custom-control-label:before,.custom-file-label,.custom-select{transition:background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out}@media (prefers-reduced-motion:reduce){.custom-control-label:before,.custom-file-label,.custom-select{transition:none}}.nav{display:flex;flex-wrap:wrap;padding-left:0;margin-bottom:0;list-style:none}.nav-link{display:block;padding:.5rem 1rem}.nav-link:focus,.nav-link:hover{text-decoration:none}.nav-link.disabled{color:#6c757d;pointer-events:none;cursor:default}.nav-tabs{border-bottom:1px solid #dee2e6}.nav-tabs .nav-item{margin-bottom:-1px}.nav-tabs .nav-link{border:1px solid transparent;border-top-left-radius:.25rem;border-top-right-radius:.25rem}.nav-tabs .nav-link:focus,.nav-tabs .nav-link:hover{border-color:#e9ecef #e9ecef #dee2e6}.nav-tabs .nav-link.disabled{color:#6c757d;background-color:transparent;border-color:transparent}.nav-tabs .nav-item.show .nav-link,.nav-tabs .nav-link.active{color:#495057;background-color:#fff;border-color:#dee2e6 #dee2e6 #fff}.nav-tabs .dropdown-menu{margin-top:-1px;border-top-left-radius:0;border-top-right-radius:0}.nav-pills .nav-link{border-radius:.25rem}.nav-pills .nav-link.active,.nav-pills .show>.nav-link{color:#fff;background-color:#007bff}.nav-fill .nav-item{flex:1 1 auto;text-align:center}.nav-justified .nav-item{flex-basis:0;flex-grow:1;text-align:center}.tab-content>.tab-pane{display:none}.tab-content>.active{display:block}.navbar{position:relative;padding:.5rem 1rem}.navbar,.navbar .container,.navbar .container-fluid,.navbar .container-lg,.navbar .container-md,.navbar .container-sm,.navbar .container-xl{display:flex;flex-wrap:wrap;align-items:center;justify-content:space-between}.navbar-brand{display:inline-block;padding-top:.3125rem;padding-bottom:.3125rem;margin-right:1rem;font-size:1.25rem;line-height:inherit;white-space:nowrap}.navbar-brand:focus,.navbar-brand:hover{text-decoration:none}.navbar-nav{display:flex;flex-direction:column;padding-left:0;margin-bottom:0;list-style:none}.navbar-nav .nav-link{padding-right:0;padding-left:0}.navbar-nav .dropdown-menu{position:static;float:none}.navbar-text{display:inline-block;padding-top:.5rem;padding-bottom:.5rem}.navbar-collapse{flex-basis:100%;flex-grow:1;align-items:center}.navbar-toggler{padding:.25rem .75rem;font-size:1.25rem;line-height:1;background-color:transparent;border:1px solid transparent;border-radius:.25rem}.navbar-toggler:focus,.navbar-toggler:hover{text-decoration:none}.navbar-toggler-icon{display:inline-block;width:1.5em;height:1.5em;vertical-align:middle;content:"";background:no-repeat 50%;background-size:100% 100%}@media (max-width:539.98px){.navbar-expand-sm>.container,.navbar-expand-sm>.container-fluid,.navbar-expand-sm>.container-lg,.navbar-expand-sm>.container-md,.navbar-expand-sm>.container-sm,.navbar-expand-sm>.container-xl{padding-right:0;padding-left:0}}@media (min-width:540px){.navbar-expand-sm{flex-flow:row nowrap;justify-content:flex-start}.navbar-expand-sm .navbar-nav{flex-direction:row}.navbar-expand-sm .navbar-nav .dropdown-menu{position:absolute}.navbar-expand-sm .navbar-nav .nav-link{padding-right:.5rem;padding-left:.5rem}.navbar-expand-sm>.container,.navbar-expand-sm>.container-fluid,.navbar-expand-sm>.container-lg,.navbar-expand-sm>.container-md,.navbar-expand-sm>.container-sm,.navbar-expand-sm>.container-xl{flex-wrap:nowrap}.navbar-expand-sm .navbar-collapse{display:flex!important;flex-basis:auto}.navbar-expand-sm .navbar-toggler{display:none}}@media (max-width:719.98px){.navbar-expand-md>.container,.navbar-expand-md>.container-fluid,.navbar-expand-md>.container-lg,.navbar-expand-md>.container-md,.navbar-expand-md>.container-sm,.navbar-expand-md>.container-xl{padding-right:0;padding-left:0}}@media (min-width:720px){.navbar-expand-md{flex-flow:row nowrap;justify-content:flex-start}.navbar-expand-md .navbar-nav{flex-direction:row}.navbar-expand-md .navbar-nav .dropdown-menu{position:absolute}.navbar-expand-md .navbar-nav .nav-link{padding-right:.5rem;padding-left:.5rem}.navbar-expand-md>.container,.navbar-expand-md>.container-fluid,.navbar-expand-md>.container-lg,.navbar-expand-md>.container-md,.navbar-expand-md>.container-sm,.navbar-expand-md>.container-xl{flex-wrap:nowrap}.navbar-expand-md .navbar-collapse{display:flex!important;flex-basis:auto}.navbar-expand-md .navbar-toggler{display:none}}@media (max-width:959.98px){.navbar-expand-lg>.container,.navbar-expand-lg>.container-fluid,.navbar-expand-lg>.container-lg,.navbar-expand-lg>.container-md,.navbar-expand-lg>.container-sm,.navbar-expand-lg>.container-xl{padding-right:0;padding-left:0}}@media (min-width:960px){.navbar-expand-lg{flex-flow:row nowrap;justify-content:flex-start}.navbar-expand-lg .navbar-nav{flex-direction:row}.navbar-expand-lg .navbar-nav .dropdown-menu{position:absolute}.navbar-expand-lg .navbar-nav .nav-link{padding-right:.5rem;padding-left:.5rem}.navbar-expand-lg>.container,.navbar-expand-lg>.container-fluid,.navbar-expand-lg>.container-lg,.navbar-expand-lg>.container-md,.navbar-expand-lg>.container-sm,.navbar-expand-lg>.container-xl{flex-wrap:nowrap}.navbar-expand-lg .navbar-collapse{display:flex!important;flex-basis:auto}.navbar-expand-lg .navbar-toggler{display:none}}@media (max-width:1199.98px){.navbar-expand-xl>.container,.navbar-expand-xl>.container-fluid,.navbar-expand-xl>.container-lg,.navbar-expand-xl>.container-md,.navbar-expand-xl>.container-sm,.navbar-expand-xl>.container-xl{padding-right:0;padding-left:0}}@media (min-width:1200px){.navbar-expand-xl{flex-flow:row nowrap;justify-content:flex-start}.navbar-expand-xl .navbar-nav{flex-direction:row}.navbar-expand-xl .navbar-nav .dropdown-menu{position:absolute}.navbar-expand-xl .navbar-nav .nav-link{padding-right:.5rem;padding-left:.5rem}.navbar-expand-xl>.container,.navbar-expand-xl>.container-fluid,.navbar-expand-xl>.container-lg,.navbar-expand-xl>.container-md,.navbar-expand-xl>.container-sm,.navbar-expand-xl>.container-xl{flex-wrap:nowrap}.navbar-expand-xl .navbar-collapse{display:flex!important;flex-basis:auto}.navbar-expand-xl .navbar-toggler{display:none}}.navbar-expand{flex-flow:row nowrap;justify-content:flex-start}.navbar-expand>.container,.navbar-expand>.container-fluid,.navbar-expand>.container-lg,.navbar-expand>.container-md,.navbar-expand>.container-sm,.navbar-expand>.container-xl{padding-right:0;padding-left:0}.navbar-expand .navbar-nav{flex-direction:row}.navbar-expand .navbar-nav .dropdown-menu{position:absolute}.navbar-expand .navbar-nav .nav-link{padding-right:.5rem;padding-left:.5rem}.navbar-expand>.container,.navbar-expand>.container-fluid,.navbar-expand>.container-lg,.navbar-expand>.container-md,.navbar-expand>.container-sm,.navbar-expand>.container-xl{flex-wrap:nowrap}.navbar-expand .navbar-collapse{display:flex!important;flex-basis:auto}.navbar-expand .navbar-toggler{display:none}.navbar-light .navbar-brand,.navbar-light .navbar-brand:focus,.navbar-light .navbar-brand:hover{color:rgba(0,0,0,.9)}.navbar-light .navbar-nav .nav-link{color:rgba(0,0,0,.5)}.navbar-light .navbar-nav .nav-link:focus,.navbar-light .navbar-nav .nav-link:hover{color:rgba(0,0,0,.7)}.navbar-light .navbar-nav .nav-link.disabled{color:rgba(0,0,0,.3)}.navbar-light .navbar-nav .active>.nav-link,.navbar-light .navbar-nav .nav-link.active,.navbar-light .navbar-nav .nav-link.show,.navbar-light .navbar-nav .show>.nav-link{color:rgba(0,0,0,.9)}.navbar-light .navbar-toggler{color:rgba(0,0,0,.5);border-color:rgba(0,0,0,.1)}.navbar-light .navbar-toggler-icon{background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='30' height='30'%3E%3Cpath stroke='rgba(0,0,0,0.5)' stroke-linecap='round' stroke-miterlimit='10' stroke-width='2' d='M4 7h22M4 15h22M4 23h22'/%3E%3C/svg%3E")}.navbar-light .navbar-text{color:rgba(0,0,0,.5)}.navbar-light .navbar-text a,.navbar-light .navbar-text a:focus,.navbar-light .navbar-text a:hover{color:rgba(0,0,0,.9)}.navbar-dark .navbar-brand,.navbar-dark .navbar-brand:focus,.navbar-dark .navbar-brand:hover{color:#fff}.navbar-dark .navbar-nav .nav-link{color:hsla(0,0%,100%,.5)}.navbar-dark .navbar-nav .nav-link:focus,.navbar-dark .navbar-nav .nav-link:hover{color:hsla(0,0%,100%,.75)}.navbar-dark .navbar-nav .nav-link.disabled{color:hsla(0,0%,100%,.25)}.navbar-dark .navbar-nav .active>.nav-link,.navbar-dark .navbar-nav .nav-link.active,.navbar-dark .navbar-nav .nav-link.show,.navbar-dark .navbar-nav .show>.nav-link{color:#fff}.navbar-dark .navbar-toggler{color:hsla(0,0%,100%,.5);border-color:hsla(0,0%,100%,.1)}.navbar-dark .navbar-toggler-icon{background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='30' height='30'%3E%3Cpath stroke='rgba(255,255,255,0.5)' stroke-linecap='round' stroke-miterlimit='10' stroke-width='2' d='M4 7h22M4 15h22M4 23h22'/%3E%3C/svg%3E")}.navbar-dark .navbar-text{color:hsla(0,0%,100%,.5)}.navbar-dark .navbar-text a,.navbar-dark .navbar-text a:focus,.navbar-dark .navbar-text a:hover{color:#fff}.card{position:relative;display:flex;flex-direction:column;min-width:0;word-wrap:break-word;background-color:#fff;background-clip:border-box;border:1px solid rgba(0,0,0,.125);border-radius:.25rem}.card>hr{margin-right:0;margin-left:0}.card>.list-group{border-top:inherit;border-bottom:inherit}.card>.list-group:first-child{border-top-width:0;border-top-left-radius:calc(.25rem - 1px);border-top-right-radius:calc(.25rem - 1px)}.card>.list-group:last-child{border-bottom-width:0;border-bottom-right-radius:calc(.25rem - 1px);border-bottom-left-radius:calc(.25rem - 1px)}.card-body{flex:1 1 auto;min-height:1px;padding:1.25rem}.card-title{margin-bottom:.75rem}.card-subtitle{margin-top:-.375rem}.card-subtitle,.card-text:last-child{margin-bottom:0}.card-link:hover{text-decoration:none}.card-link+.card-link{margin-left:1.25rem}.card-header{padding:.75rem 1.25rem;margin-bottom:0;background-color:rgba(0,0,0,.03);border-bottom:1px solid rgba(0,0,0,.125)}.card-header:first-child{border-radius:calc(.25rem - 1px) calc(.25rem - 1px) 0 0}.card-header+.list-group .list-group-item:first-child{border-top:0}.card-footer{padding:.75rem 1.25rem;background-color:rgba(0,0,0,.03);border-top:1px solid rgba(0,0,0,.125)}.card-footer:last-child{border-radius:0 0 calc(.25rem - 1px) calc(.25rem - 1px)}.card-header-tabs{margin-bottom:-.75rem;border-bottom:0}.card-header-pills,.card-header-tabs{margin-right:-.625rem;margin-left:-.625rem}.card-img-overlay{position:absolute;top:0;right:0;bottom:0;left:0;padding:1.25rem}.card-img,.card-img-bottom,.card-img-top{flex-shrink:0;width:100%}.card-img,.card-img-top{border-top-left-radius:calc(.25rem - 1px);border-top-right-radius:calc(.25rem - 1px)}.card-img,.card-img-bottom{border-bottom-right-radius:calc(.25rem - 1px);border-bottom-left-radius:calc(.25rem - 1px)}.card-deck .card{margin-bottom:15px}@media (min-width:540px){.card-deck{display:flex;flex-flow:row wrap;margin-right:-15px;margin-left:-15px}.card-deck .card{flex:1 0 0%;margin-right:15px;margin-bottom:0;margin-left:15px}}.card-group>.card{margin-bottom:15px}@media (min-width:540px){.card-group{display:flex;flex-flow:row wrap}.card-group>.card{flex:1 0 0%;margin-bottom:0}.card-group>.card+.card{margin-left:0;border-left:0}.card-group>.card:not(:last-child){border-top-right-radius:0;border-bottom-right-radius:0}.card-group>.card:not(:last-child) .card-header,.card-group>.card:not(:last-child) .card-img-top{border-top-right-radius:0}.card-group>.card:not(:last-child) .card-footer,.card-group>.card:not(:last-child) .card-img-bottom{border-bottom-right-radius:0}.card-group>.card:not(:first-child){border-top-left-radius:0;border-bottom-left-radius:0}.card-group>.card:not(:first-child) .card-header,.card-group>.card:not(:first-child) .card-img-top{border-top-left-radius:0}.card-group>.card:not(:first-child) .card-footer,.card-group>.card:not(:first-child) .card-img-bottom{border-bottom-left-radius:0}}.card-columns .card{margin-bottom:.75rem}@media (min-width:540px){.card-columns{column-count:3;column-gap:1.25rem;orphans:1;widows:1}.card-columns .card{display:inline-block;width:100%}}.accordion>.card{overflow:hidden}.accordion>.card:not(:last-of-type){border-bottom:0;border-bottom-right-radius:0;border-bottom-left-radius:0}.accordion>.card:not(:first-of-type){border-top-left-radius:0;border-top-right-radius:0}.accordion>.card>.card-header{border-radius:0;margin-bottom:-1px}.breadcrumb{flex-wrap:wrap;padding:.75rem 1rem;margin-bottom:1rem;list-style:none;background-color:#e9ecef;border-radius:.25rem}.breadcrumb,.breadcrumb-item{display:flex}.breadcrumb-item+.breadcrumb-item{padding-left:.5rem}.breadcrumb-item+.breadcrumb-item:before{display:inline-block;padding-right:.5rem;color:#6c757d;content:"/"}.breadcrumb-item+.breadcrumb-item:hover:before{text-decoration:underline;text-decoration:none}.breadcrumb-item.active{color:#6c757d}.pagination{display:flex;padding-left:0;list-style:none;border-radius:.25rem}.page-link{position:relative;display:block;padding:.5rem .75rem;margin-left:-1px;line-height:1.25;color:#007bff;background-color:#fff;border:1px solid #dee2e6}.page-link:hover{z-index:2;color:#0056b3;text-decoration:none;background-color:#e9ecef;border-color:#dee2e6}.page-link:focus{z-index:3;outline:0;box-shadow:0 0 0 .2rem rgba(0,123,255,.25)}.page-item:first-child .page-link{margin-left:0;border-top-left-radius:.25rem;border-bottom-left-radius:.25rem}.page-item:last-child .page-link{border-top-right-radius:.25rem;border-bottom-right-radius:.25rem}.page-item.active .page-link{z-index:3;color:#fff;background-color:#007bff;border-color:#007bff}.page-item.disabled .page-link{color:#6c757d;pointer-events:none;cursor:auto;background-color:#fff;border-color:#dee2e6}.pagination-lg .page-link{padding:.75rem 1.5rem;font-size:1.25rem;line-height:1.5}.pagination-lg .page-item:first-child .page-link{border-top-left-radius:.3rem;border-bottom-left-radius:.3rem}.pagination-lg .page-item:last-child .page-link{border-top-right-radius:.3rem;border-bottom-right-radius:.3rem}.pagination-sm .page-link{padding:.25rem .5rem;font-size:.875rem;line-height:1.5}.pagination-sm .page-item:first-child .page-link{border-top-left-radius:.2rem;border-bottom-left-radius:.2rem}.pagination-sm .page-item:last-child .page-link{border-top-right-radius:.2rem;border-bottom-right-radius:.2rem}.badge{display:inline-block;padding:.25em .4em;font-size:75%;font-weight:700;line-height:1;text-align:center;white-space:nowrap;vertical-align:baseline;border-radius:.25rem;transition:color .15s ease-in-out,background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out}@media (prefers-reduced-motion:reduce){.badge{transition:none}}a.badge:focus,a.badge:hover{text-decoration:none}.badge:empty{display:none}.btn .badge{position:relative;top:-1px}.badge-pill{padding-right:.6em;padding-left:.6em;border-radius:10rem}.badge-primary{color:#fff;background-color:#007bff}a.badge-primary:focus,a.badge-primary:hover{color:#fff;background-color:#0062cc}a.badge-primary.focus,a.badge-primary:focus{outline:0;box-shadow:0 0 0 .2rem rgba(0,123,255,.5)}.badge-secondary{color:#fff;background-color:#6c757d}a.badge-secondary:focus,a.badge-secondary:hover{color:#fff;background-color:#545b62}a.badge-secondary.focus,a.badge-secondary:focus{outline:0;box-shadow:0 0 0 .2rem rgba(108,117,125,.5)}.badge-success{color:#fff;background-color:#28a745}a.badge-success:focus,a.badge-success:hover{color:#fff;background-color:#1e7e34}a.badge-success.focus,a.badge-success:focus{outline:0;box-shadow:0 0 0 .2rem rgba(40,167,69,.5)}.badge-info{color:#fff;background-color:#17a2b8}a.badge-info:focus,a.badge-info:hover{color:#fff;background-color:#117a8b}a.badge-info.focus,a.badge-info:focus{outline:0;box-shadow:0 0 0 .2rem rgba(23,162,184,.5)}.badge-warning{color:#212529;background-color:#ffc107}a.badge-warning:focus,a.badge-warning:hover{color:#212529;background-color:#d39e00}a.badge-warning.focus,a.badge-warning:focus{outline:0;box-shadow:0 0 0 .2rem rgba(255,193,7,.5)}.badge-danger{color:#fff;background-color:#dc3545}a.badge-danger:focus,a.badge-danger:hover{color:#fff;background-color:#bd2130}a.badge-danger.focus,a.badge-danger:focus{outline:0;box-shadow:0 0 0 .2rem rgba(220,53,69,.5)}.badge-light{color:#212529;background-color:#f8f9fa}a.badge-light:focus,a.badge-light:hover{color:#212529;background-color:#dae0e5}a.badge-light.focus,a.badge-light:focus{outline:0;box-shadow:0 0 0 .2rem rgba(248,249,250,.5)}.badge-dark{color:#fff;background-color:#343a40}a.badge-dark:focus,a.badge-dark:hover{color:#fff;background-color:#1d2124}a.badge-dark.focus,a.badge-dark:focus{outline:0;box-shadow:0 0 0 .2rem rgba(52,58,64,.5)}.jumbotron{padding:2rem 1rem;margin-bottom:2rem;background-color:#e9ecef;border-radius:.3rem}@media (min-width:540px){.jumbotron{padding:4rem 2rem}}.jumbotron-fluid{padding-right:0;padding-left:0;border-radius:0}.alert{position:relative;padding:.75rem 1.25rem;margin-bottom:1rem;border:1px solid transparent;border-radius:.25rem}.alert-heading{color:inherit}.alert-link{font-weight:700}.alert-dismissible{padding-right:4rem}.alert-dismissible .close{position:absolute;top:0;right:0;padding:.75rem 1.25rem;color:inherit}.alert-primary{color:#004085;background-color:#cce5ff;border-color:#b8daff}.alert-primary hr{border-top-color:#9fcdff}.alert-primary .alert-link{color:#002752}.alert-secondary{color:#383d41;background-color:#e2e3e5;border-color:#d6d8db}.alert-secondary hr{border-top-color:#c8cbcf}.alert-secondary .alert-link{color:#202326}.alert-success{color:#155724;background-color:#d4edda;border-color:#c3e6cb}.alert-success hr{border-top-color:#b1dfbb}.alert-success .alert-link{color:#0b2e13}.alert-info{color:#0c5460;background-color:#d1ecf1;border-color:#bee5eb}.alert-info hr{border-top-color:#abdde5}.alert-info .alert-link{color:#062c33}.alert-warning{color:#856404;background-color:#fff3cd;border-color:#ffeeba}.alert-warning hr{border-top-color:#ffe8a1}.alert-warning .alert-link{color:#533f03}.alert-danger{color:#721c24;background-color:#f8d7da;border-color:#f5c6cb}.alert-danger hr{border-top-color:#f1b0b7}.alert-danger .alert-link{color:#491217}.alert-light{color:#818182;background-color:#fefefe;border-color:#fdfdfe}.alert-light hr{border-top-color:#ececf6}.alert-light .alert-link{color:#686868}.alert-dark{color:#1b1e21;background-color:#d6d8d9;border-color:#c6c8ca}.alert-dark hr{border-top-color:#b9bbbe}.alert-dark .alert-link{color:#040505}@keyframes progress-bar-stripes{0%{background-position:1rem 0}to{background-position:0 0}}.progress{height:1rem;line-height:0;font-size:.75rem;background-color:#e9ecef;border-radius:.25rem}.progress,.progress-bar{display:flex;overflow:hidden}.progress-bar{flex-direction:column;justify-content:center;color:#fff;text-align:center;white-space:nowrap;background-color:#007bff;transition:width .6s ease}@media (prefers-reduced-motion:reduce){.progress-bar{transition:none}}.progress-bar-striped{background-image:linear-gradient(45deg,hsla(0,0%,100%,.15) 25%,transparent 0,transparent 50%,hsla(0,0%,100%,.15) 0,hsla(0,0%,100%,.15) 75%,transparent 0,transparent);background-size:1rem 1rem}.progress-bar-animated{animation:progress-bar-stripes 1s linear infinite}@media (prefers-reduced-motion:reduce){.progress-bar-animated{animation:none}}.media{display:flex;align-items:flex-start}.media-body{flex:1}.list-group{display:flex;flex-direction:column;padding-left:0;margin-bottom:0;border-radius:.25rem}.list-group-item-action{width:100%;color:#495057;text-align:inherit}.list-group-item-action:focus,.list-group-item-action:hover{z-index:1;color:#495057;text-decoration:none;background-color:#f8f9fa}.list-group-item-action:active{color:#212529;background-color:#e9ecef}.list-group-item{position:relative;display:block;padding:.75rem 1.25rem;background-color:#fff;border:1px solid rgba(0,0,0,.125)}.list-group-item:first-child{border-top-left-radius:inherit;border-top-right-radius:inherit}.list-group-item:last-child{border-bottom-right-radius:inherit;border-bottom-left-radius:inherit}.list-group-item.disabled,.list-group-item:disabled{color:#6c757d;pointer-events:none;background-color:#fff}.list-group-item.active{z-index:2;color:#fff;background-color:#007bff;border-color:#007bff}.list-group-item+.list-group-item{border-top-width:0}.list-group-item+.list-group-item.active{margin-top:-1px;border-top-width:1px}.list-group-horizontal{flex-direction:row}.list-group-horizontal>.list-group-item:first-child{border-bottom-left-radius:.25rem;border-top-right-radius:0}.list-group-horizontal>.list-group-item:last-child{border-top-right-radius:.25rem;border-bottom-left-radius:0}.list-group-horizontal>.list-group-item.active{margin-top:0}.list-group-horizontal>.list-group-item+.list-group-item{border-top-width:1px;border-left-width:0}.list-group-horizontal>.list-group-item+.list-group-item.active{margin-left:-1px;border-left-width:1px}@media (min-width:540px){.list-group-horizontal-sm{flex-direction:row}.list-group-horizontal-sm>.list-group-item:first-child{border-bottom-left-radius:.25rem;border-top-right-radius:0}.list-group-horizontal-sm>.list-group-item:last-child{border-top-right-radius:.25rem;border-bottom-left-radius:0}.list-group-horizontal-sm>.list-group-item.active{margin-top:0}.list-group-horizontal-sm>.list-group-item+.list-group-item{border-top-width:1px;border-left-width:0}.list-group-horizontal-sm>.list-group-item+.list-group-item.active{margin-left:-1px;border-left-width:1px}}@media (min-width:720px){.list-group-horizontal-md{flex-direction:row}.list-group-horizontal-md>.list-group-item:first-child{border-bottom-left-radius:.25rem;border-top-right-radius:0}.list-group-horizontal-md>.list-group-item:last-child{border-top-right-radius:.25rem;border-bottom-left-radius:0}.list-group-horizontal-md>.list-group-item.active{margin-top:0}.list-group-horizontal-md>.list-group-item+.list-group-item{border-top-width:1px;border-left-width:0}.list-group-horizontal-md>.list-group-item+.list-group-item.active{margin-left:-1px;border-left-width:1px}}@media (min-width:960px){.list-group-horizontal-lg{flex-direction:row}.list-group-horizontal-lg>.list-group-item:first-child{border-bottom-left-radius:.25rem;border-top-right-radius:0}.list-group-horizontal-lg>.list-group-item:last-child{border-top-right-radius:.25rem;border-bottom-left-radius:0}.list-group-horizontal-lg>.list-group-item.active{margin-top:0}.list-group-horizontal-lg>.list-group-item+.list-group-item{border-top-width:1px;border-left-width:0}.list-group-horizontal-lg>.list-group-item+.list-group-item.active{margin-left:-1px;border-left-width:1px}}@media (min-width:1200px){.list-group-horizontal-xl{flex-direction:row}.list-group-horizontal-xl>.list-group-item:first-child{border-bottom-left-radius:.25rem;border-top-right-radius:0}.list-group-horizontal-xl>.list-group-item:last-child{border-top-right-radius:.25rem;border-bottom-left-radius:0}.list-group-horizontal-xl>.list-group-item.active{margin-top:0}.list-group-horizontal-xl>.list-group-item+.list-group-item{border-top-width:1px;border-left-width:0}.list-group-horizontal-xl>.list-group-item+.list-group-item.active{margin-left:-1px;border-left-width:1px}}.list-group-flush{border-radius:0}.list-group-flush>.list-group-item{border-width:0 0 1px}.list-group-flush>.list-group-item:last-child{border-bottom-width:0}.list-group-item-primary{color:#004085;background-color:#b8daff}.list-group-item-primary.list-group-item-action:focus,.list-group-item-primary.list-group-item-action:hover{color:#004085;background-color:#9fcdff}.list-group-item-primary.list-group-item-action.active{color:#fff;background-color:#004085;border-color:#004085}.list-group-item-secondary{color:#383d41;background-color:#d6d8db}.list-group-item-secondary.list-group-item-action:focus,.list-group-item-secondary.list-group-item-action:hover{color:#383d41;background-color:#c8cbcf}.list-group-item-secondary.list-group-item-action.active{color:#fff;background-color:#383d41;border-color:#383d41}.list-group-item-success{color:#155724;background-color:#c3e6cb}.list-group-item-success.list-group-item-action:focus,.list-group-item-success.list-group-item-action:hover{color:#155724;background-color:#b1dfbb}.list-group-item-success.list-group-item-action.active{color:#fff;background-color:#155724;border-color:#155724}.list-group-item-info{color:#0c5460;background-color:#bee5eb}.list-group-item-info.list-group-item-action:focus,.list-group-item-info.list-group-item-action:hover{color:#0c5460;background-color:#abdde5}.list-group-item-info.list-group-item-action.active{color:#fff;background-color:#0c5460;border-color:#0c5460}.list-group-item-warning{color:#856404;background-color:#ffeeba}.list-group-item-warning.list-group-item-action:focus,.list-group-item-warning.list-group-item-action:hover{color:#856404;background-color:#ffe8a1}.list-group-item-warning.list-group-item-action.active{color:#fff;background-color:#856404;border-color:#856404}.list-group-item-danger{color:#721c24;background-color:#f5c6cb}.list-group-item-danger.list-group-item-action:focus,.list-group-item-danger.list-group-item-action:hover{color:#721c24;background-color:#f1b0b7}.list-group-item-danger.list-group-item-action.active{color:#fff;background-color:#721c24;border-color:#721c24}.list-group-item-light{color:#818182;background-color:#fdfdfe}.list-group-item-light.list-group-item-action:focus,.list-group-item-light.list-group-item-action:hover{color:#818182;background-color:#ececf6}.list-group-item-light.list-group-item-action.active{color:#fff;background-color:#818182;border-color:#818182}.list-group-item-dark{color:#1b1e21;background-color:#c6c8ca}.list-group-item-dark.list-group-item-action:focus,.list-group-item-dark.list-group-item-action:hover{color:#1b1e21;background-color:#b9bbbe}.list-group-item-dark.list-group-item-action.active{color:#fff;background-color:#1b1e21;border-color:#1b1e21}.close{float:right;font-size:1.5rem;font-weight:700;line-height:1;color:#000;text-shadow:0 1px 0 #fff;opacity:.5}.close:hover{color:#000;text-decoration:none}.close:not(:disabled):not(.disabled):focus,.close:not(:disabled):not(.disabled):hover{opacity:.75}button.close{padding:0;background-color:transparent;border:0}a.close.disabled{pointer-events:none}.toast{max-width:350px;overflow:hidden;font-size:.875rem;background-color:hsla(0,0%,100%,.85);background-clip:padding-box;border:1px solid rgba(0,0,0,.1);box-shadow:0 .25rem .75rem rgba(0,0,0,.1);backdrop-filter:blur(10px);opacity:0;border-radius:.25rem}.toast:not(:last-child){margin-bottom:.75rem}.toast.showing{opacity:1}.toast.show{display:block;opacity:1}.toast.hide{display:none}.toast-header{display:flex;align-items:center;padding:.25rem .75rem;color:#6c757d;background-color:hsla(0,0%,100%,.85);background-clip:padding-box;border-bottom:1px solid rgba(0,0,0,.05)}.toast-body{padding:.75rem}.modal-open{overflow:hidden}.modal-open .modal{overflow-x:hidden;overflow-y:auto}.modal{position:fixed;top:0;left:0;z-index:1050;display:none;width:100%;height:100%;overflow:hidden;outline:0}.modal-dialog{position:relative;width:auto;margin:.5rem;pointer-events:none}.modal.fade .modal-dialog{transition:transform .3s ease-out;transform:translateY(-50px)}@media (prefers-reduced-motion:reduce){.modal.fade .modal-dialog{transition:none}}.modal.show .modal-dialog{transform:none}.modal.modal-static .modal-dialog{transform:scale(1.02)}.modal-dialog-scrollable{display:flex;max-height:calc(100% - 1rem)}.modal-dialog-scrollable .modal-content{max-height:calc(100vh - 1rem);overflow:hidden}.modal-dialog-scrollable .modal-footer,.modal-dialog-scrollable .modal-header{flex-shrink:0}.modal-dialog-scrollable .modal-body{overflow-y:auto}.modal-dialog-centered{display:flex;align-items:center;min-height:calc(100% - 1rem)}.modal-dialog-centered:before{display:block;height:calc(100vh - 1rem);height:min-content;content:""}.modal-dialog-centered.modal-dialog-scrollable{flex-direction:column;justify-content:center;height:100%}.modal-dialog-centered.modal-dialog-scrollable .modal-content{max-height:none}.modal-dialog-centered.modal-dialog-scrollable:before{content:none}.modal-content{position:relative;display:flex;flex-direction:column;width:100%;pointer-events:auto;background-color:#fff;background-clip:padding-box;border:1px solid rgba(0,0,0,.2);border-radius:.3rem;outline:0}.modal-backdrop{position:fixed;top:0;left:0;z-index:1040;width:100vw;height:100vh;background-color:#000}.modal-backdrop.fade{opacity:0}.modal-backdrop.show{opacity:.5}.modal-header{display:flex;align-items:flex-start;justify-content:space-between;padding:1rem;border-bottom:1px solid #dee2e6;border-top-left-radius:calc(.3rem - 1px);border-top-right-radius:calc(.3rem - 1px)}.modal-header .close{padding:1rem;margin:-1rem -1rem -1rem auto}.modal-title{margin-bottom:0;line-height:1.5}.modal-body{position:relative;flex:1 1 auto;padding:1rem}.modal-footer{display:flex;flex-wrap:wrap;align-items:center;justify-content:flex-end;padding:.75rem;border-top:1px solid #dee2e6;border-bottom-right-radius:calc(.3rem - 1px);border-bottom-left-radius:calc(.3rem - 1px)}.modal-footer>*{margin:.25rem}.modal-scrollbar-measure{position:absolute;top:-9999px;width:50px;height:50px;overflow:scroll}@media (min-width:540px){.modal-dialog{max-width:500px;margin:1.75rem auto}.modal-dialog-scrollable{max-height:calc(100% - 3.5rem)}.modal-dialog-scrollable .modal-content{max-height:calc(100vh - 3.5rem)}.modal-dialog-centered{min-height:calc(100% - 3.5rem)}.modal-dialog-centered:before{height:calc(100vh - 3.5rem);height:min-content}.modal-sm{max-width:300px}}@media (min-width:960px){.modal-lg,.modal-xl{max-width:800px}}@media (min-width:1200px){.modal-xl{max-width:1140px}}.tooltip{position:absolute;z-index:1070;display:block;margin:0;font-family:-apple-system,BlinkMacSystemFont,Segoe UI,Roboto,Helvetica Neue,Arial,Noto Sans,sans-serif,Apple Color Emoji,Segoe UI Emoji,Segoe UI Symbol,Noto Color Emoji;font-style:normal;font-weight:400;line-height:1.5;text-align:left;text-align:start;text-decoration:none;text-shadow:none;text-transform:none;letter-spacing:normal;word-break:normal;word-spacing:normal;white-space:normal;line-break:auto;font-size:.875rem;word-wrap:break-word;opacity:0}.tooltip.show{opacity:.9}.tooltip .arrow{position:absolute;display:block;width:.8rem;height:.4rem}.tooltip .arrow:before{position:absolute;content:"";border-color:transparent;border-style:solid}.bs-tooltip-auto[x-placement^=top],.bs-tooltip-top{padding:.4rem 0}.bs-tooltip-auto[x-placement^=top] .arrow,.bs-tooltip-top .arrow{bottom:0}.bs-tooltip-auto[x-placement^=top] .arrow:before,.bs-tooltip-top .arrow:before{top:0;border-width:.4rem .4rem 0;border-top-color:#000}.bs-tooltip-auto[x-placement^=right],.bs-tooltip-right{padding:0 .4rem}.bs-tooltip-auto[x-placement^=right] .arrow,.bs-tooltip-right .arrow{left:0;width:.4rem;height:.8rem}.bs-tooltip-auto[x-placement^=right] .arrow:before,.bs-tooltip-right .arrow:before{right:0;border-width:.4rem .4rem .4rem 0;border-right-color:#000}.bs-tooltip-auto[x-placement^=bottom],.bs-tooltip-bottom{padding:.4rem 0}.bs-tooltip-auto[x-placement^=bottom] .arrow,.bs-tooltip-bottom .arrow{top:0}.bs-tooltip-auto[x-placement^=bottom] .arrow:before,.bs-tooltip-bottom .arrow:before{bottom:0;border-width:0 .4rem .4rem;border-bottom-color:#000}.bs-tooltip-auto[x-placement^=left],.bs-tooltip-left{padding:0 .4rem}.bs-tooltip-auto[x-placement^=left] .arrow,.bs-tooltip-left .arrow{right:0;width:.4rem;height:.8rem}.bs-tooltip-auto[x-placement^=left] .arrow:before,.bs-tooltip-left .arrow:before{left:0;border-width:.4rem 0 .4rem .4rem;border-left-color:#000}.tooltip-inner{max-width:200px;padding:.25rem .5rem;color:#fff;text-align:center;background-color:#000;border-radius:.25rem}.popover{top:0;left:0;z-index:1060;max-width:276px;font-family:-apple-system,BlinkMacSystemFont,Segoe UI,Roboto,Helvetica Neue,Arial,Noto Sans,sans-serif,Apple Color Emoji,Segoe UI Emoji,Segoe UI Symbol,Noto Color Emoji;font-style:normal;font-weight:400;line-height:1.5;text-align:left;text-align:start;text-decoration:none;text-shadow:none;text-transform:none;letter-spacing:normal;word-break:normal;word-spacing:normal;white-space:normal;line-break:auto;font-size:.875rem;word-wrap:break-word;background-color:#fff;background-clip:padding-box;border:1px solid rgba(0,0,0,.2);border-radius:.3rem}.popover,.popover .arrow{position:absolute;display:block}.popover .arrow{width:1rem;height:.5rem;margin:0 .3rem}.popover .arrow:after,.popover .arrow:before{position:absolute;display:block;content:"";border-color:transparent;border-style:solid}.bs-popover-auto[x-placement^=top],.bs-popover-top{margin-bottom:.5rem}.bs-popover-auto[x-placement^=top]>.arrow,.bs-popover-top>.arrow{bottom:calc(-.5rem - 1px)}.bs-popover-auto[x-placement^=top]>.arrow:before,.bs-popover-top>.arrow:before{bottom:0;border-width:.5rem .5rem 0;border-top-color:rgba(0,0,0,.25)}.bs-popover-auto[x-placement^=top]>.arrow:after,.bs-popover-top>.arrow:after{bottom:1px;border-width:.5rem .5rem 0;border-top-color:#fff}.bs-popover-auto[x-placement^=right],.bs-popover-right{margin-left:.5rem}.bs-popover-auto[x-placement^=right]>.arrow,.bs-popover-right>.arrow{left:calc(-.5rem - 1px);width:.5rem;height:1rem;margin:.3rem 0}.bs-popover-auto[x-placement^=right]>.arrow:before,.bs-popover-right>.arrow:before{left:0;border-width:.5rem .5rem .5rem 0;border-right-color:rgba(0,0,0,.25)}.bs-popover-auto[x-placement^=right]>.arrow:after,.bs-popover-right>.arrow:after{left:1px;border-width:.5rem .5rem .5rem 0;border-right-color:#fff}.bs-popover-auto[x-placement^=bottom],.bs-popover-bottom{margin-top:.5rem}.bs-popover-auto[x-placement^=bottom]>.arrow,.bs-popover-bottom>.arrow{top:calc(-.5rem - 1px)}.bs-popover-auto[x-placement^=bottom]>.arrow:before,.bs-popover-bottom>.arrow:before{top:0;border-width:0 .5rem .5rem;border-bottom-color:rgba(0,0,0,.25)}.bs-popover-auto[x-placement^=bottom]>.arrow:after,.bs-popover-bottom>.arrow:after{top:1px;border-width:0 .5rem .5rem;border-bottom-color:#fff}.bs-popover-auto[x-placement^=bottom] .popover-header:before,.bs-popover-bottom .popover-header:before{position:absolute;top:0;left:50%;display:block;width:1rem;margin-left:-.5rem;content:"";border-bottom:1px solid #f7f7f7}.bs-popover-auto[x-placement^=left],.bs-popover-left{margin-right:.5rem}.bs-popover-auto[x-placement^=left]>.arrow,.bs-popover-left>.arrow{right:calc(-.5rem - 1px);width:.5rem;height:1rem;margin:.3rem 0}.bs-popover-auto[x-placement^=left]>.arrow:before,.bs-popover-left>.arrow:before{right:0;border-width:.5rem 0 .5rem .5rem;border-left-color:rgba(0,0,0,.25)}.bs-popover-auto[x-placement^=left]>.arrow:after,.bs-popover-left>.arrow:after{right:1px;border-width:.5rem 0 .5rem .5rem;border-left-color:#fff}.popover-header{padding:.5rem .75rem;margin-bottom:0;font-size:1rem;background-color:#f7f7f7;border-bottom:1px solid #ebebeb;border-top-left-radius:calc(.3rem - 1px);border-top-right-radius:calc(.3rem - 1px)}.popover-header:empty{display:none}.popover-body{padding:.5rem .75rem;color:#212529}.carousel{position:relative}.carousel.pointer-event{touch-action:pan-y}.carousel-inner{position:relative;width:100%;overflow:hidden}.carousel-inner:after{display:block;clear:both;content:""}.carousel-item{position:relative;display:none;float:left;width:100%;margin-right:-100%;backface-visibility:hidden;transition:transform .6s ease-in-out}@media (prefers-reduced-motion:reduce){.carousel-item{transition:none}}.carousel-item-next,.carousel-item-prev,.carousel-item.active{display:block}.active.carousel-item-right,.carousel-item-next:not(.carousel-item-left){transform:translateX(100%)}.active.carousel-item-left,.carousel-item-prev:not(.carousel-item-right){transform:translateX(-100%)}.carousel-fade .carousel-item{opacity:0;transition-property:opacity;transform:none}.carousel-fade .carousel-item-next.carousel-item-left,.carousel-fade .carousel-item-prev.carousel-item-right,.carousel-fade .carousel-item.active{z-index:1;opacity:1}.carousel-fade .active.carousel-item-left,.carousel-fade .active.carousel-item-right{z-index:0;opacity:0;transition:opacity 0s .6s}@media (prefers-reduced-motion:reduce){.carousel-fade .active.carousel-item-left,.carousel-fade .active.carousel-item-right{transition:none}}.carousel-control-next,.carousel-control-prev{position:absolute;top:0;bottom:0;z-index:1;display:flex;align-items:center;justify-content:center;width:15%;color:#fff;text-align:center;opacity:.5;transition:opacity .15s ease}@media (prefers-reduced-motion:reduce){.carousel-control-next,.carousel-control-prev{transition:none}}.carousel-control-next:focus,.carousel-control-next:hover,.carousel-control-prev:focus,.carousel-control-prev:hover{color:#fff;text-decoration:none;outline:0;opacity:.9}.carousel-control-prev{left:0}.carousel-control-next{right:0}.carousel-control-next-icon,.carousel-control-prev-icon{display:inline-block;width:20px;height:20px;background:no-repeat 50%/100% 100%}.carousel-control-prev-icon{background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' fill='%23fff' width='8' height='8'%3E%3Cpath d='M5.25 0l-4 4 4 4 1.5-1.5L4.25 4l2.5-2.5L5.25 0z'/%3E%3C/svg%3E")}.carousel-control-next-icon{background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' fill='%23fff' width='8' height='8'%3E%3Cpath d='M2.75 0l-1.5 1.5L3.75 4l-2.5 2.5L2.75 8l4-4-4-4z'/%3E%3C/svg%3E")}.carousel-indicators{position:absolute;right:0;bottom:0;left:0;z-index:15;display:flex;justify-content:center;padding-left:0;margin-right:15%;margin-left:15%;list-style:none}.carousel-indicators li{box-sizing:content-box;flex:0 1 auto;width:30px;height:3px;margin-right:3px;margin-left:3px;text-indent:-999px;cursor:pointer;background-color:#fff;background-clip:padding-box;border-top:10px solid transparent;border-bottom:10px solid transparent;opacity:.5;transition:opacity .6s ease}@media (prefers-reduced-motion:reduce){.carousel-indicators li{transition:none}}.carousel-indicators .active{opacity:1}.carousel-caption{position:absolute;right:15%;bottom:20px;left:15%;z-index:10;padding-top:20px;padding-bottom:20px;color:#fff;text-align:center}@keyframes spinner-border{to{transform:rotate(1turn)}}.spinner-border{display:inline-block;width:2rem;height:2rem;vertical-align:text-bottom;border:.25em solid;border-right:.25em solid transparent;border-radius:50%;animation:spinner-border .75s linear infinite}.spinner-border-sm{width:1rem;height:1rem;border-width:.2em}@keyframes spinner-grow{0%{transform:scale(0)}50%{opacity:1;transform:none}}.spinner-grow{display:inline-block;width:2rem;height:2rem;vertical-align:text-bottom;background-color:currentColor;border-radius:50%;opacity:0;animation:spinner-grow .75s linear infinite}.spinner-grow-sm{width:1rem;height:1rem}.align-baseline{vertical-align:baseline!important}.align-top{vertical-align:top!important}.align-middle{vertical-align:middle!important}.align-bottom{vertical-align:bottom!important}.align-text-bottom{vertical-align:text-bottom!important}.align-text-top{vertical-align:text-top!important}.bg-primary{background-color:#007bff!important}a.bg-primary:focus,a.bg-primary:hover,button.bg-primary:focus,button.bg-primary:hover{background-color:#0062cc!important}.bg-secondary{background-color:#6c757d!important}a.bg-secondary:focus,a.bg-secondary:hover,button.bg-secondary:focus,button.bg-secondary:hover{background-color:#545b62!important}.bg-success{background-color:#28a745!important}a.bg-success:focus,a.bg-success:hover,button.bg-success:focus,button.bg-success:hover{background-color:#1e7e34!important}.bg-info{background-color:#17a2b8!important}a.bg-info:focus,a.bg-info:hover,button.bg-info:focus,button.bg-info:hover{background-color:#117a8b!important}.bg-warning{background-color:#ffc107!important}a.bg-warning:focus,a.bg-warning:hover,button.bg-warning:focus,button.bg-warning:hover{background-color:#d39e00!important}.bg-danger{background-color:#dc3545!important}a.bg-danger:focus,a.bg-danger:hover,button.bg-danger:focus,button.bg-danger:hover{background-color:#bd2130!important}.bg-light{background-color:#f8f9fa!important}a.bg-light:focus,a.bg-light:hover,button.bg-light:focus,button.bg-light:hover{background-color:#dae0e5!important}.bg-dark{background-color:#343a40!important}a.bg-dark:focus,a.bg-dark:hover,button.bg-dark:focus,button.bg-dark:hover{background-color:#1d2124!important}.bg-white{background-color:#fff!important}.bg-transparent{background-color:transparent!important}.border{border:1px solid #dee2e6!important}.border-top{border-top:1px solid #dee2e6!important}.border-right{border-right:1px solid #dee2e6!important}.border-bottom{border-bottom:1px solid #dee2e6!important}.border-left{border-left:1px solid #dee2e6!important}.border-0{border:0!important}.border-top-0{border-top:0!important}.border-right-0{border-right:0!important}.border-bottom-0{border-bottom:0!important}.border-left-0{border-left:0!important}.border-primary{border-color:#007bff!important}.border-secondary{border-color:#6c757d!important}.border-success{border-color:#28a745!important}.border-info{border-color:#17a2b8!important}.border-warning{border-color:#ffc107!important}.border-danger{border-color:#dc3545!important}.border-light{border-color:#f8f9fa!important}.border-dark{border-color:#343a40!important}.border-white{border-color:#fff!important}.rounded-sm{border-radius:.2rem!important}.rounded{border-radius:.25rem!important}.rounded-top{border-top-left-radius:.25rem!important}.rounded-right,.rounded-top{border-top-right-radius:.25rem!important}.rounded-bottom,.rounded-right{border-bottom-right-radius:.25rem!important}.rounded-bottom,.rounded-left{border-bottom-left-radius:.25rem!important}.rounded-left{border-top-left-radius:.25rem!important}.rounded-lg{border-radius:.3rem!important}.rounded-circle{border-radius:50%!important}.rounded-pill{border-radius:50rem!important}.rounded-0{border-radius:0!important}.clearfix:after{display:block;clear:both;content:""}.d-none{display:none!important}.d-inline{display:inline!important}.d-inline-block{display:inline-block!important}.d-block{display:block!important}.d-table{display:table!important}.d-table-row{display:table-row!important}.d-table-cell{display:table-cell!important}.d-flex{display:flex!important}.d-inline-flex{display:inline-flex!important}@media (min-width:540px){.d-sm-none{display:none!important}.d-sm-inline{display:inline!important}.d-sm-inline-block{display:inline-block!important}.d-sm-block{display:block!important}.d-sm-table{display:table!important}.d-sm-table-row{display:table-row!important}.d-sm-table-cell{display:table-cell!important}.d-sm-flex{display:flex!important}.d-sm-inline-flex{display:inline-flex!important}}@media (min-width:720px){.d-md-none{display:none!important}.d-md-inline{display:inline!important}.d-md-inline-block{display:inline-block!important}.d-md-block{display:block!important}.d-md-table{display:table!important}.d-md-table-row{display:table-row!important}.d-md-table-cell{display:table-cell!important}.d-md-flex{display:flex!important}.d-md-inline-flex{display:inline-flex!important}}@media (min-width:960px){.d-lg-none{display:none!important}.d-lg-inline{display:inline!important}.d-lg-inline-block{display:inline-block!important}.d-lg-block{display:block!important}.d-lg-table{display:table!important}.d-lg-table-row{display:table-row!important}.d-lg-table-cell{display:table-cell!important}.d-lg-flex{display:flex!important}.d-lg-inline-flex{display:inline-flex!important}}@media (min-width:1200px){.d-xl-none{display:none!important}.d-xl-inline{display:inline!important}.d-xl-inline-block{display:inline-block!important}.d-xl-block{display:block!important}.d-xl-table{display:table!important}.d-xl-table-row{display:table-row!important}.d-xl-table-cell{display:table-cell!important}.d-xl-flex{display:flex!important}.d-xl-inline-flex{display:inline-flex!important}}@media print{.d-print-none{display:none!important}.d-print-inline{display:inline!important}.d-print-inline-block{display:inline-block!important}.d-print-block{display:block!important}.d-print-table{display:table!important}.d-print-table-row{display:table-row!important}.d-print-table-cell{display:table-cell!important}.d-print-flex{display:flex!important}.d-print-inline-flex{display:inline-flex!important}}.embed-responsive{position:relative;display:block;width:100%;padding:0;overflow:hidden}.embed-responsive:before{display:block;content:""}.embed-responsive .embed-responsive-item,.embed-responsive embed,.embed-responsive iframe,.embed-responsive object,.embed-responsive video{position:absolute;top:0;bottom:0;left:0;width:100%;height:100%;border:0}.embed-responsive-21by9:before{padding-top:42.85714%}.embed-responsive-16by9:before{padding-top:56.25%}.embed-responsive-4by3:before{padding-top:75%}.embed-responsive-1by1:before{padding-top:100%}.flex-row{flex-direction:row!important}.flex-column{flex-direction:column!important}.flex-row-reverse{flex-direction:row-reverse!important}.flex-column-reverse{flex-direction:column-reverse!important}.flex-wrap{flex-wrap:wrap!important}.flex-nowrap{flex-wrap:nowrap!important}.flex-wrap-reverse{flex-wrap:wrap-reverse!important}.flex-fill{flex:1 1 auto!important}.flex-grow-0{flex-grow:0!important}.flex-grow-1{flex-grow:1!important}.flex-shrink-0{flex-shrink:0!important}.flex-shrink-1{flex-shrink:1!important}.justify-content-start{justify-content:flex-start!important}.justify-content-end{justify-content:flex-end!important}.justify-content-center{justify-content:center!important}.justify-content-between{justify-content:space-between!important}.justify-content-around{justify-content:space-around!important}.align-items-start{align-items:flex-start!important}.align-items-end{align-items:flex-end!important}.align-items-center{align-items:center!important}.align-items-baseline{align-items:baseline!important}.align-items-stretch{align-items:stretch!important}.align-content-start{align-content:flex-start!important}.align-content-end{align-content:flex-end!important}.align-content-center{align-content:center!important}.align-content-between{align-content:space-between!important}.align-content-around{align-content:space-around!important}.align-content-stretch{align-content:stretch!important}.align-self-auto{align-self:auto!important}.align-self-start{align-self:flex-start!important}.align-self-end{align-self:flex-end!important}.align-self-center{align-self:center!important}.align-self-baseline{align-self:baseline!important}.align-self-stretch{align-self:stretch!important}@media (min-width:540px){.flex-sm-row{flex-direction:row!important}.flex-sm-column{flex-direction:column!important}.flex-sm-row-reverse{flex-direction:row-reverse!important}.flex-sm-column-reverse{flex-direction:column-reverse!important}.flex-sm-wrap{flex-wrap:wrap!important}.flex-sm-nowrap{flex-wrap:nowrap!important}.flex-sm-wrap-reverse{flex-wrap:wrap-reverse!important}.flex-sm-fill{flex:1 1 auto!important}.flex-sm-grow-0{flex-grow:0!important}.flex-sm-grow-1{flex-grow:1!important}.flex-sm-shrink-0{flex-shrink:0!important}.flex-sm-shrink-1{flex-shrink:1!important}.justify-content-sm-start{justify-content:flex-start!important}.justify-content-sm-end{justify-content:flex-end!important}.justify-content-sm-center{justify-content:center!important}.justify-content-sm-between{justify-content:space-between!important}.justify-content-sm-around{justify-content:space-around!important}.align-items-sm-start{align-items:flex-start!important}.align-items-sm-end{align-items:flex-end!important}.align-items-sm-center{align-items:center!important}.align-items-sm-baseline{align-items:baseline!important}.align-items-sm-stretch{align-items:stretch!important}.align-content-sm-start{align-content:flex-start!important}.align-content-sm-end{align-content:flex-end!important}.align-content-sm-center{align-content:center!important}.align-content-sm-between{align-content:space-between!important}.align-content-sm-around{align-content:space-around!important}.align-content-sm-stretch{align-content:stretch!important}.align-self-sm-auto{align-self:auto!important}.align-self-sm-start{align-self:flex-start!important}.align-self-sm-end{align-self:flex-end!important}.align-self-sm-center{align-self:center!important}.align-self-sm-baseline{align-self:baseline!important}.align-self-sm-stretch{align-self:stretch!important}}@media (min-width:720px){.flex-md-row{flex-direction:row!important}.flex-md-column{flex-direction:column!important}.flex-md-row-reverse{flex-direction:row-reverse!important}.flex-md-column-reverse{flex-direction:column-reverse!important}.flex-md-wrap{flex-wrap:wrap!important}.flex-md-nowrap{flex-wrap:nowrap!important}.flex-md-wrap-reverse{flex-wrap:wrap-reverse!important}.flex-md-fill{flex:1 1 auto!important}.flex-md-grow-0{flex-grow:0!important}.flex-md-grow-1{flex-grow:1!important}.flex-md-shrink-0{flex-shrink:0!important}.flex-md-shrink-1{flex-shrink:1!important}.justify-content-md-start{justify-content:flex-start!important}.justify-content-md-end{justify-content:flex-end!important}.justify-content-md-center{justify-content:center!important}.justify-content-md-between{justify-content:space-between!important}.justify-content-md-around{justify-content:space-around!important}.align-items-md-start{align-items:flex-start!important}.align-items-md-end{align-items:flex-end!important}.align-items-md-center{align-items:center!important}.align-items-md-baseline{align-items:baseline!important}.align-items-md-stretch{align-items:stretch!important}.align-content-md-start{align-content:flex-start!important}.align-content-md-end{align-content:flex-end!important}.align-content-md-center{align-content:center!important}.align-content-md-between{align-content:space-between!important}.align-content-md-around{align-content:space-around!important}.align-content-md-stretch{align-content:stretch!important}.align-self-md-auto{align-self:auto!important}.align-self-md-start{align-self:flex-start!important}.align-self-md-end{align-self:flex-end!important}.align-self-md-center{align-self:center!important}.align-self-md-baseline{align-self:baseline!important}.align-self-md-stretch{align-self:stretch!important}}@media (min-width:960px){.flex-lg-row{flex-direction:row!important}.flex-lg-column{flex-direction:column!important}.flex-lg-row-reverse{flex-direction:row-reverse!important}.flex-lg-column-reverse{flex-direction:column-reverse!important}.flex-lg-wrap{flex-wrap:wrap!important}.flex-lg-nowrap{flex-wrap:nowrap!important}.flex-lg-wrap-reverse{flex-wrap:wrap-reverse!important}.flex-lg-fill{flex:1 1 auto!important}.flex-lg-grow-0{flex-grow:0!important}.flex-lg-grow-1{flex-grow:1!important}.flex-lg-shrink-0{flex-shrink:0!important}.flex-lg-shrink-1{flex-shrink:1!important}.justify-content-lg-start{justify-content:flex-start!important}.justify-content-lg-end{justify-content:flex-end!important}.justify-content-lg-center{justify-content:center!important}.justify-content-lg-between{justify-content:space-between!important}.justify-content-lg-around{justify-content:space-around!important}.align-items-lg-start{align-items:flex-start!important}.align-items-lg-end{align-items:flex-end!important}.align-items-lg-center{align-items:center!important}.align-items-lg-baseline{align-items:baseline!important}.align-items-lg-stretch{align-items:stretch!important}.align-content-lg-start{align-content:flex-start!important}.align-content-lg-end{align-content:flex-end!important}.align-content-lg-center{align-content:center!important}.align-content-lg-between{align-content:space-between!important}.align-content-lg-around{align-content:space-around!important}.align-content-lg-stretch{align-content:stretch!important}.align-self-lg-auto{align-self:auto!important}.align-self-lg-start{align-self:flex-start!important}.align-self-lg-end{align-self:flex-end!important}.align-self-lg-center{align-self:center!important}.align-self-lg-baseline{align-self:baseline!important}.align-self-lg-stretch{align-self:stretch!important}}@media (min-width:1200px){.flex-xl-row{flex-direction:row!important}.flex-xl-column{flex-direction:column!important}.flex-xl-row-reverse{flex-direction:row-reverse!important}.flex-xl-column-reverse{flex-direction:column-reverse!important}.flex-xl-wrap{flex-wrap:wrap!important}.flex-xl-nowrap{flex-wrap:nowrap!important}.flex-xl-wrap-reverse{flex-wrap:wrap-reverse!important}.flex-xl-fill{flex:1 1 auto!important}.flex-xl-grow-0{flex-grow:0!important}.flex-xl-grow-1{flex-grow:1!important}.flex-xl-shrink-0{flex-shrink:0!important}.flex-xl-shrink-1{flex-shrink:1!important}.justify-content-xl-start{justify-content:flex-start!important}.justify-content-xl-end{justify-content:flex-end!important}.justify-content-xl-center{justify-content:center!important}.justify-content-xl-between{justify-content:space-between!important}.justify-content-xl-around{justify-content:space-around!important}.align-items-xl-start{align-items:flex-start!important}.align-items-xl-end{align-items:flex-end!important}.align-items-xl-center{align-items:center!important}.align-items-xl-baseline{align-items:baseline!important}.align-items-xl-stretch{align-items:stretch!important}.align-content-xl-start{align-content:flex-start!important}.align-content-xl-end{align-content:flex-end!important}.align-content-xl-center{align-content:center!important}.align-content-xl-between{align-content:space-between!important}.align-content-xl-around{align-content:space-around!important}.align-content-xl-stretch{align-content:stretch!important}.align-self-xl-auto{align-self:auto!important}.align-self-xl-start{align-self:flex-start!important}.align-self-xl-end{align-self:flex-end!important}.align-self-xl-center{align-self:center!important}.align-self-xl-baseline{align-self:baseline!important}.align-self-xl-stretch{align-self:stretch!important}}.float-left{float:left!important}.float-right{float:right!important}.float-none{float:none!important}@media (min-width:540px){.float-sm-left{float:left!important}.float-sm-right{float:right!important}.float-sm-none{float:none!important}}@media (min-width:720px){.float-md-left{float:left!important}.float-md-right{float:right!important}.float-md-none{float:none!important}}@media (min-width:960px){.float-lg-left{float:left!important}.float-lg-right{float:right!important}.float-lg-none{float:none!important}}@media (min-width:1200px){.float-xl-left{float:left!important}.float-xl-right{float:right!important}.float-xl-none{float:none!important}}.user-select-all{user-select:all!important}.user-select-auto{user-select:auto!important}.user-select-none{user-select:none!important}.overflow-auto{overflow:auto!important}.overflow-hidden{overflow:hidden!important}.position-static{position:static!important}.position-relative{position:relative!important}.position-absolute{position:absolute!important}.position-fixed{position:fixed!important}.position-sticky{position:sticky!important}.fixed-top{top:0}.fixed-bottom,.fixed-top{position:fixed;right:0;left:0;z-index:1030}.fixed-bottom{bottom:0}@supports (position:sticky){.sticky-top{position:sticky;top:0;z-index:1020}}.sr-only{position:absolute;width:1px;height:1px;padding:0;margin:-1px;overflow:hidden;clip:rect(0,0,0,0);white-space:nowrap;border:0}.sr-only-focusable:active,.sr-only-focusable:focus{position:static;width:auto;height:auto;overflow:visible;clip:auto;white-space:normal}.shadow-sm{box-shadow:0 .125rem .25rem rgba(0,0,0,.075)!important}.shadow{box-shadow:0 .5rem 1rem rgba(0,0,0,.15)!important}.shadow-lg{box-shadow:0 1rem 3rem rgba(0,0,0,.175)!important}.shadow-none{box-shadow:none!important}.w-25{width:25%!important}.w-50{width:50%!important}.w-75{width:75%!important}.w-100{width:100%!important}.w-auto{width:auto!important}.h-25{height:25%!important}.h-50{height:50%!important}.h-75{height:75%!important}.h-100{height:100%!important}.h-auto{height:auto!important}.mw-100{max-width:100%!important}.mh-100{max-height:100%!important}.min-vw-100{min-width:100vw!important}.min-vh-100{min-height:100vh!important}.vw-100{width:100vw!important}.vh-100{height:100vh!important}.m-0{margin:0!important}.mt-0,.my-0{margin-top:0!important}.mr-0,.mx-0{margin-right:0!important}.mb-0,.my-0{margin-bottom:0!important}.ml-0,.mx-0{margin-left:0!important}.m-1{margin:.25rem!important}.mt-1,.my-1{margin-top:.25rem!important}.mr-1,.mx-1{margin-right:.25rem!important}.mb-1,.my-1{margin-bottom:.25rem!important}.ml-1,.mx-1{margin-left:.25rem!important}.m-2{margin:.5rem!important}.mt-2,.my-2{margin-top:.5rem!important}.mr-2,.mx-2{margin-right:.5rem!important}.mb-2,.my-2{margin-bottom:.5rem!important}.ml-2,.mx-2{margin-left:.5rem!important}.m-3{margin:1rem!important}.mt-3,.my-3{margin-top:1rem!important}.mr-3,.mx-3{margin-right:1rem!important}.mb-3,.my-3{margin-bottom:1rem!important}.ml-3,.mx-3{margin-left:1rem!important}.m-4{margin:1.5rem!important}.mt-4,.my-4{margin-top:1.5rem!important}.mr-4,.mx-4{margin-right:1.5rem!important}.mb-4,.my-4{margin-bottom:1.5rem!important}.ml-4,.mx-4{margin-left:1.5rem!important}.m-5{margin:3rem!important}.mt-5,.my-5{margin-top:3rem!important}.mr-5,.mx-5{margin-right:3rem!important}.mb-5,.my-5{margin-bottom:3rem!important}.ml-5,.mx-5{margin-left:3rem!important}.p-0{padding:0!important}.pt-0,.py-0{padding-top:0!important}.pr-0,.px-0{padding-right:0!important}.pb-0,.py-0{padding-bottom:0!important}.pl-0,.px-0{padding-left:0!important}.p-1{padding:.25rem!important}.pt-1,.py-1{padding-top:.25rem!important}.pr-1,.px-1{padding-right:.25rem!important}.pb-1,.py-1{padding-bottom:.25rem!important}.pl-1,.px-1{padding-left:.25rem!important}.p-2{padding:.5rem!important}.pt-2,.py-2{padding-top:.5rem!important}.pr-2,.px-2{padding-right:.5rem!important}.pb-2,.py-2{padding-bottom:.5rem!important}.pl-2,.px-2{padding-left:.5rem!important}.p-3{padding:1rem!important}.pt-3,.py-3{padding-top:1rem!important}.pr-3,.px-3{padding-right:1rem!important}.pb-3,.py-3{padding-bottom:1rem!important}.pl-3,.px-3{padding-left:1rem!important}.p-4{padding:1.5rem!important}.pt-4,.py-4{padding-top:1.5rem!important}.pr-4,.px-4{padding-right:1.5rem!important}.pb-4,.py-4{padding-bottom:1.5rem!important}.pl-4,.px-4{padding-left:1.5rem!important}.p-5{padding:3rem!important}.pt-5,.py-5{padding-top:3rem!important}.pr-5,.px-5{padding-right:3rem!important}.pb-5,.py-5{padding-bottom:3rem!important}.pl-5,.px-5{padding-left:3rem!important}.m-n1{margin:-.25rem!important}.mt-n1,.my-n1{margin-top:-.25rem!important}.mr-n1,.mx-n1{margin-right:-.25rem!important}.mb-n1,.my-n1{margin-bottom:-.25rem!important}.ml-n1,.mx-n1{margin-left:-.25rem!important}.m-n2{margin:-.5rem!important}.mt-n2,.my-n2{margin-top:-.5rem!important}.mr-n2,.mx-n2{margin-right:-.5rem!important}.mb-n2,.my-n2{margin-bottom:-.5rem!important}.ml-n2,.mx-n2{margin-left:-.5rem!important}.m-n3{margin:-1rem!important}.mt-n3,.my-n3{margin-top:-1rem!important}.mr-n3,.mx-n3{margin-right:-1rem!important}.mb-n3,.my-n3{margin-bottom:-1rem!important}.ml-n3,.mx-n3{margin-left:-1rem!important}.m-n4{margin:-1.5rem!important}.mt-n4,.my-n4{margin-top:-1.5rem!important}.mr-n4,.mx-n4{margin-right:-1.5rem!important}.mb-n4,.my-n4{margin-bottom:-1.5rem!important}.ml-n4,.mx-n4{margin-left:-1.5rem!important}.m-n5{margin:-3rem!important}.mt-n5,.my-n5{margin-top:-3rem!important}.mr-n5,.mx-n5{margin-right:-3rem!important}.mb-n5,.my-n5{margin-bottom:-3rem!important}.ml-n5,.mx-n5{margin-left:-3rem!important}.m-auto{margin:auto!important}.mt-auto,.my-auto{margin-top:auto!important}.mr-auto,.mx-auto{margin-right:auto!important}.mb-auto,.my-auto{margin-bottom:auto!important}.ml-auto,.mx-auto{margin-left:auto!important}@media (min-width:540px){.m-sm-0{margin:0!important}.mt-sm-0,.my-sm-0{margin-top:0!important}.mr-sm-0,.mx-sm-0{margin-right:0!important}.mb-sm-0,.my-sm-0{margin-bottom:0!important}.ml-sm-0,.mx-sm-0{margin-left:0!important}.m-sm-1{margin:.25rem!important}.mt-sm-1,.my-sm-1{margin-top:.25rem!important}.mr-sm-1,.mx-sm-1{margin-right:.25rem!important}.mb-sm-1,.my-sm-1{margin-bottom:.25rem!important}.ml-sm-1,.mx-sm-1{margin-left:.25rem!important}.m-sm-2{margin:.5rem!important}.mt-sm-2,.my-sm-2{margin-top:.5rem!important}.mr-sm-2,.mx-sm-2{margin-right:.5rem!important}.mb-sm-2,.my-sm-2{margin-bottom:.5rem!important}.ml-sm-2,.mx-sm-2{margin-left:.5rem!important}.m-sm-3{margin:1rem!important}.mt-sm-3,.my-sm-3{margin-top:1rem!important}.mr-sm-3,.mx-sm-3{margin-right:1rem!important}.mb-sm-3,.my-sm-3{margin-bottom:1rem!important}.ml-sm-3,.mx-sm-3{margin-left:1rem!important}.m-sm-4{margin:1.5rem!important}.mt-sm-4,.my-sm-4{margin-top:1.5rem!important}.mr-sm-4,.mx-sm-4{margin-right:1.5rem!important}.mb-sm-4,.my-sm-4{margin-bottom:1.5rem!important}.ml-sm-4,.mx-sm-4{margin-left:1.5rem!important}.m-sm-5{margin:3rem!important}.mt-sm-5,.my-sm-5{margin-top:3rem!important}.mr-sm-5,.mx-sm-5{margin-right:3rem!important}.mb-sm-5,.my-sm-5{margin-bottom:3rem!important}.ml-sm-5,.mx-sm-5{margin-left:3rem!important}.p-sm-0{padding:0!important}.pt-sm-0,.py-sm-0{padding-top:0!important}.pr-sm-0,.px-sm-0{padding-right:0!important}.pb-sm-0,.py-sm-0{padding-bottom:0!important}.pl-sm-0,.px-sm-0{padding-left:0!important}.p-sm-1{padding:.25rem!important}.pt-sm-1,.py-sm-1{padding-top:.25rem!important}.pr-sm-1,.px-sm-1{padding-right:.25rem!important}.pb-sm-1,.py-sm-1{padding-bottom:.25rem!important}.pl-sm-1,.px-sm-1{padding-left:.25rem!important}.p-sm-2{padding:.5rem!important}.pt-sm-2,.py-sm-2{padding-top:.5rem!important}.pr-sm-2,.px-sm-2{padding-right:.5rem!important}.pb-sm-2,.py-sm-2{padding-bottom:.5rem!important}.pl-sm-2,.px-sm-2{padding-left:.5rem!important}.p-sm-3{padding:1rem!important}.pt-sm-3,.py-sm-3{padding-top:1rem!important}.pr-sm-3,.px-sm-3{padding-right:1rem!important}.pb-sm-3,.py-sm-3{padding-bottom:1rem!important}.pl-sm-3,.px-sm-3{padding-left:1rem!important}.p-sm-4{padding:1.5rem!important}.pt-sm-4,.py-sm-4{padding-top:1.5rem!important}.pr-sm-4,.px-sm-4{padding-right:1.5rem!important}.pb-sm-4,.py-sm-4{padding-bottom:1.5rem!important}.pl-sm-4,.px-sm-4{padding-left:1.5rem!important}.p-sm-5{padding:3rem!important}.pt-sm-5,.py-sm-5{padding-top:3rem!important}.pr-sm-5,.px-sm-5{padding-right:3rem!important}.pb-sm-5,.py-sm-5{padding-bottom:3rem!important}.pl-sm-5,.px-sm-5{padding-left:3rem!important}.m-sm-n1{margin:-.25rem!important}.mt-sm-n1,.my-sm-n1{margin-top:-.25rem!important}.mr-sm-n1,.mx-sm-n1{margin-right:-.25rem!important}.mb-sm-n1,.my-sm-n1{margin-bottom:-.25rem!important}.ml-sm-n1,.mx-sm-n1{margin-left:-.25rem!important}.m-sm-n2{margin:-.5rem!important}.mt-sm-n2,.my-sm-n2{margin-top:-.5rem!important}.mr-sm-n2,.mx-sm-n2{margin-right:-.5rem!important}.mb-sm-n2,.my-sm-n2{margin-bottom:-.5rem!important}.ml-sm-n2,.mx-sm-n2{margin-left:-.5rem!important}.m-sm-n3{margin:-1rem!important}.mt-sm-n3,.my-sm-n3{margin-top:-1rem!important}.mr-sm-n3,.mx-sm-n3{margin-right:-1rem!important}.mb-sm-n3,.my-sm-n3{margin-bottom:-1rem!important}.ml-sm-n3,.mx-sm-n3{margin-left:-1rem!important}.m-sm-n4{margin:-1.5rem!important}.mt-sm-n4,.my-sm-n4{margin-top:-1.5rem!important}.mr-sm-n4,.mx-sm-n4{margin-right:-1.5rem!important}.mb-sm-n4,.my-sm-n4{margin-bottom:-1.5rem!important}.ml-sm-n4,.mx-sm-n4{margin-left:-1.5rem!important}.m-sm-n5{margin:-3rem!important}.mt-sm-n5,.my-sm-n5{margin-top:-3rem!important}.mr-sm-n5,.mx-sm-n5{margin-right:-3rem!important}.mb-sm-n5,.my-sm-n5{margin-bottom:-3rem!important}.ml-sm-n5,.mx-sm-n5{margin-left:-3rem!important}.m-sm-auto{margin:auto!important}.mt-sm-auto,.my-sm-auto{margin-top:auto!important}.mr-sm-auto,.mx-sm-auto{margin-right:auto!important}.mb-sm-auto,.my-sm-auto{margin-bottom:auto!important}.ml-sm-auto,.mx-sm-auto{margin-left:auto!important}}@media (min-width:720px){.m-md-0{margin:0!important}.mt-md-0,.my-md-0{margin-top:0!important}.mr-md-0,.mx-md-0{margin-right:0!important}.mb-md-0,.my-md-0{margin-bottom:0!important}.ml-md-0,.mx-md-0{margin-left:0!important}.m-md-1{margin:.25rem!important}.mt-md-1,.my-md-1{margin-top:.25rem!important}.mr-md-1,.mx-md-1{margin-right:.25rem!important}.mb-md-1,.my-md-1{margin-bottom:.25rem!important}.ml-md-1,.mx-md-1{margin-left:.25rem!important}.m-md-2{margin:.5rem!important}.mt-md-2,.my-md-2{margin-top:.5rem!important}.mr-md-2,.mx-md-2{margin-right:.5rem!important}.mb-md-2,.my-md-2{margin-bottom:.5rem!important}.ml-md-2,.mx-md-2{margin-left:.5rem!important}.m-md-3{margin:1rem!important}.mt-md-3,.my-md-3{margin-top:1rem!important}.mr-md-3,.mx-md-3{margin-right:1rem!important}.mb-md-3,.my-md-3{margin-bottom:1rem!important}.ml-md-3,.mx-md-3{margin-left:1rem!important}.m-md-4{margin:1.5rem!important}.mt-md-4,.my-md-4{margin-top:1.5rem!important}.mr-md-4,.mx-md-4{margin-right:1.5rem!important}.mb-md-4,.my-md-4{margin-bottom:1.5rem!important}.ml-md-4,.mx-md-4{margin-left:1.5rem!important}.m-md-5{margin:3rem!important}.mt-md-5,.my-md-5{margin-top:3rem!important}.mr-md-5,.mx-md-5{margin-right:3rem!important}.mb-md-5,.my-md-5{margin-bottom:3rem!important}.ml-md-5,.mx-md-5{margin-left:3rem!important}.p-md-0{padding:0!important}.pt-md-0,.py-md-0{padding-top:0!important}.pr-md-0,.px-md-0{padding-right:0!important}.pb-md-0,.py-md-0{padding-bottom:0!important}.pl-md-0,.px-md-0{padding-left:0!important}.p-md-1{padding:.25rem!important}.pt-md-1,.py-md-1{padding-top:.25rem!important}.pr-md-1,.px-md-1{padding-right:.25rem!important}.pb-md-1,.py-md-1{padding-bottom:.25rem!important}.pl-md-1,.px-md-1{padding-left:.25rem!important}.p-md-2{padding:.5rem!important}.pt-md-2,.py-md-2{padding-top:.5rem!important}.pr-md-2,.px-md-2{padding-right:.5rem!important}.pb-md-2,.py-md-2{padding-bottom:.5rem!important}.pl-md-2,.px-md-2{padding-left:.5rem!important}.p-md-3{padding:1rem!important}.pt-md-3,.py-md-3{padding-top:1rem!important}.pr-md-3,.px-md-3{padding-right:1rem!important}.pb-md-3,.py-md-3{padding-bottom:1rem!important}.pl-md-3,.px-md-3{padding-left:1rem!important}.p-md-4{padding:1.5rem!important}.pt-md-4,.py-md-4{padding-top:1.5rem!important}.pr-md-4,.px-md-4{padding-right:1.5rem!important}.pb-md-4,.py-md-4{padding-bottom:1.5rem!important}.pl-md-4,.px-md-4{padding-left:1.5rem!important}.p-md-5{padding:3rem!important}.pt-md-5,.py-md-5{padding-top:3rem!important}.pr-md-5,.px-md-5{padding-right:3rem!important}.pb-md-5,.py-md-5{padding-bottom:3rem!important}.pl-md-5,.px-md-5{padding-left:3rem!important}.m-md-n1{margin:-.25rem!important}.mt-md-n1,.my-md-n1{margin-top:-.25rem!important}.mr-md-n1,.mx-md-n1{margin-right:-.25rem!important}.mb-md-n1,.my-md-n1{margin-bottom:-.25rem!important}.ml-md-n1,.mx-md-n1{margin-left:-.25rem!important}.m-md-n2{margin:-.5rem!important}.mt-md-n2,.my-md-n2{margin-top:-.5rem!important}.mr-md-n2,.mx-md-n2{margin-right:-.5rem!important}.mb-md-n2,.my-md-n2{margin-bottom:-.5rem!important}.ml-md-n2,.mx-md-n2{margin-left:-.5rem!important}.m-md-n3{margin:-1rem!important}.mt-md-n3,.my-md-n3{margin-top:-1rem!important}.mr-md-n3,.mx-md-n3{margin-right:-1rem!important}.mb-md-n3,.my-md-n3{margin-bottom:-1rem!important}.ml-md-n3,.mx-md-n3{margin-left:-1rem!important}.m-md-n4{margin:-1.5rem!important}.mt-md-n4,.my-md-n4{margin-top:-1.5rem!important}.mr-md-n4,.mx-md-n4{margin-right:-1.5rem!important}.mb-md-n4,.my-md-n4{margin-bottom:-1.5rem!important}.ml-md-n4,.mx-md-n4{margin-left:-1.5rem!important}.m-md-n5{margin:-3rem!important}.mt-md-n5,.my-md-n5{margin-top:-3rem!important}.mr-md-n5,.mx-md-n5{margin-right:-3rem!important}.mb-md-n5,.my-md-n5{margin-bottom:-3rem!important}.ml-md-n5,.mx-md-n5{margin-left:-3rem!important}.m-md-auto{margin:auto!important}.mt-md-auto,.my-md-auto{margin-top:auto!important}.mr-md-auto,.mx-md-auto{margin-right:auto!important}.mb-md-auto,.my-md-auto{margin-bottom:auto!important}.ml-md-auto,.mx-md-auto{margin-left:auto!important}}@media (min-width:960px){.m-lg-0{margin:0!important}.mt-lg-0,.my-lg-0{margin-top:0!important}.mr-lg-0,.mx-lg-0{margin-right:0!important}.mb-lg-0,.my-lg-0{margin-bottom:0!important}.ml-lg-0,.mx-lg-0{margin-left:0!important}.m-lg-1{margin:.25rem!important}.mt-lg-1,.my-lg-1{margin-top:.25rem!important}.mr-lg-1,.mx-lg-1{margin-right:.25rem!important}.mb-lg-1,.my-lg-1{margin-bottom:.25rem!important}.ml-lg-1,.mx-lg-1{margin-left:.25rem!important}.m-lg-2{margin:.5rem!important}.mt-lg-2,.my-lg-2{margin-top:.5rem!important}.mr-lg-2,.mx-lg-2{margin-right:.5rem!important}.mb-lg-2,.my-lg-2{margin-bottom:.5rem!important}.ml-lg-2,.mx-lg-2{margin-left:.5rem!important}.m-lg-3{margin:1rem!important}.mt-lg-3,.my-lg-3{margin-top:1rem!important}.mr-lg-3,.mx-lg-3{margin-right:1rem!important}.mb-lg-3,.my-lg-3{margin-bottom:1rem!important}.ml-lg-3,.mx-lg-3{margin-left:1rem!important}.m-lg-4{margin:1.5rem!important}.mt-lg-4,.my-lg-4{margin-top:1.5rem!important}.mr-lg-4,.mx-lg-4{margin-right:1.5rem!important}.mb-lg-4,.my-lg-4{margin-bottom:1.5rem!important}.ml-lg-4,.mx-lg-4{margin-left:1.5rem!important}.m-lg-5{margin:3rem!important}.mt-lg-5,.my-lg-5{margin-top:3rem!important}.mr-lg-5,.mx-lg-5{margin-right:3rem!important}.mb-lg-5,.my-lg-5{margin-bottom:3rem!important}.ml-lg-5,.mx-lg-5{margin-left:3rem!important}.p-lg-0{padding:0!important}.pt-lg-0,.py-lg-0{padding-top:0!important}.pr-lg-0,.px-lg-0{padding-right:0!important}.pb-lg-0,.py-lg-0{padding-bottom:0!important}.pl-lg-0,.px-lg-0{padding-left:0!important}.p-lg-1{padding:.25rem!important}.pt-lg-1,.py-lg-1{padding-top:.25rem!important}.pr-lg-1,.px-lg-1{padding-right:.25rem!important}.pb-lg-1,.py-lg-1{padding-bottom:.25rem!important}.pl-lg-1,.px-lg-1{padding-left:.25rem!important}.p-lg-2{padding:.5rem!important}.pt-lg-2,.py-lg-2{padding-top:.5rem!important}.pr-lg-2,.px-lg-2{padding-right:.5rem!important}.pb-lg-2,.py-lg-2{padding-bottom:.5rem!important}.pl-lg-2,.px-lg-2{padding-left:.5rem!important}.p-lg-3{padding:1rem!important}.pt-lg-3,.py-lg-3{padding-top:1rem!important}.pr-lg-3,.px-lg-3{padding-right:1rem!important}.pb-lg-3,.py-lg-3{padding-bottom:1rem!important}.pl-lg-3,.px-lg-3{padding-left:1rem!important}.p-lg-4{padding:1.5rem!important}.pt-lg-4,.py-lg-4{padding-top:1.5rem!important}.pr-lg-4,.px-lg-4{padding-right:1.5rem!important}.pb-lg-4,.py-lg-4{padding-bottom:1.5rem!important}.pl-lg-4,.px-lg-4{padding-left:1.5rem!important}.p-lg-5{padding:3rem!important}.pt-lg-5,.py-lg-5{padding-top:3rem!important}.pr-lg-5,.px-lg-5{padding-right:3rem!important}.pb-lg-5,.py-lg-5{padding-bottom:3rem!important}.pl-lg-5,.px-lg-5{padding-left:3rem!important}.m-lg-n1{margin:-.25rem!important}.mt-lg-n1,.my-lg-n1{margin-top:-.25rem!important}.mr-lg-n1,.mx-lg-n1{margin-right:-.25rem!important}.mb-lg-n1,.my-lg-n1{margin-bottom:-.25rem!important}.ml-lg-n1,.mx-lg-n1{margin-left:-.25rem!important}.m-lg-n2{margin:-.5rem!important}.mt-lg-n2,.my-lg-n2{margin-top:-.5rem!important}.mr-lg-n2,.mx-lg-n2{margin-right:-.5rem!important}.mb-lg-n2,.my-lg-n2{margin-bottom:-.5rem!important}.ml-lg-n2,.mx-lg-n2{margin-left:-.5rem!important}.m-lg-n3{margin:-1rem!important}.mt-lg-n3,.my-lg-n3{margin-top:-1rem!important}.mr-lg-n3,.mx-lg-n3{margin-right:-1rem!important}.mb-lg-n3,.my-lg-n3{margin-bottom:-1rem!important}.ml-lg-n3,.mx-lg-n3{margin-left:-1rem!important}.m-lg-n4{margin:-1.5rem!important}.mt-lg-n4,.my-lg-n4{margin-top:-1.5rem!important}.mr-lg-n4,.mx-lg-n4{margin-right:-1.5rem!important}.mb-lg-n4,.my-lg-n4{margin-bottom:-1.5rem!important}.ml-lg-n4,.mx-lg-n4{margin-left:-1.5rem!important}.m-lg-n5{margin:-3rem!important}.mt-lg-n5,.my-lg-n5{margin-top:-3rem!important}.mr-lg-n5,.mx-lg-n5{margin-right:-3rem!important}.mb-lg-n5,.my-lg-n5{margin-bottom:-3rem!important}.ml-lg-n5,.mx-lg-n5{margin-left:-3rem!important}.m-lg-auto{margin:auto!important}.mt-lg-auto,.my-lg-auto{margin-top:auto!important}.mr-lg-auto,.mx-lg-auto{margin-right:auto!important}.mb-lg-auto,.my-lg-auto{margin-bottom:auto!important}.ml-lg-auto,.mx-lg-auto{margin-left:auto!important}}@media (min-width:1200px){.m-xl-0{margin:0!important}.mt-xl-0,.my-xl-0{margin-top:0!important}.mr-xl-0,.mx-xl-0{margin-right:0!important}.mb-xl-0,.my-xl-0{margin-bottom:0!important}.ml-xl-0,.mx-xl-0{margin-left:0!important}.m-xl-1{margin:.25rem!important}.mt-xl-1,.my-xl-1{margin-top:.25rem!important}.mr-xl-1,.mx-xl-1{margin-right:.25rem!important}.mb-xl-1,.my-xl-1{margin-bottom:.25rem!important}.ml-xl-1,.mx-xl-1{margin-left:.25rem!important}.m-xl-2{margin:.5rem!important}.mt-xl-2,.my-xl-2{margin-top:.5rem!important}.mr-xl-2,.mx-xl-2{margin-right:.5rem!important}.mb-xl-2,.my-xl-2{margin-bottom:.5rem!important}.ml-xl-2,.mx-xl-2{margin-left:.5rem!important}.m-xl-3{margin:1rem!important}.mt-xl-3,.my-xl-3{margin-top:1rem!important}.mr-xl-3,.mx-xl-3{margin-right:1rem!important}.mb-xl-3,.my-xl-3{margin-bottom:1rem!important}.ml-xl-3,.mx-xl-3{margin-left:1rem!important}.m-xl-4{margin:1.5rem!important}.mt-xl-4,.my-xl-4{margin-top:1.5rem!important}.mr-xl-4,.mx-xl-4{margin-right:1.5rem!important}.mb-xl-4,.my-xl-4{margin-bottom:1.5rem!important}.ml-xl-4,.mx-xl-4{margin-left:1.5rem!important}.m-xl-5{margin:3rem!important}.mt-xl-5,.my-xl-5{margin-top:3rem!important}.mr-xl-5,.mx-xl-5{margin-right:3rem!important}.mb-xl-5,.my-xl-5{margin-bottom:3rem!important}.ml-xl-5,.mx-xl-5{margin-left:3rem!important}.p-xl-0{padding:0!important}.pt-xl-0,.py-xl-0{padding-top:0!important}.pr-xl-0,.px-xl-0{padding-right:0!important}.pb-xl-0,.py-xl-0{padding-bottom:0!important}.pl-xl-0,.px-xl-0{padding-left:0!important}.p-xl-1{padding:.25rem!important}.pt-xl-1,.py-xl-1{padding-top:.25rem!important}.pr-xl-1,.px-xl-1{padding-right:.25rem!important}.pb-xl-1,.py-xl-1{padding-bottom:.25rem!important}.pl-xl-1,.px-xl-1{padding-left:.25rem!important}.p-xl-2{padding:.5rem!important}.pt-xl-2,.py-xl-2{padding-top:.5rem!important}.pr-xl-2,.px-xl-2{padding-right:.5rem!important}.pb-xl-2,.py-xl-2{padding-bottom:.5rem!important}.pl-xl-2,.px-xl-2{padding-left:.5rem!important}.p-xl-3{padding:1rem!important}.pt-xl-3,.py-xl-3{padding-top:1rem!important}.pr-xl-3,.px-xl-3{padding-right:1rem!important}.pb-xl-3,.py-xl-3{padding-bottom:1rem!important}.pl-xl-3,.px-xl-3{padding-left:1rem!important}.p-xl-4{padding:1.5rem!important}.pt-xl-4,.py-xl-4{padding-top:1.5rem!important}.pr-xl-4,.px-xl-4{padding-right:1.5rem!important}.pb-xl-4,.py-xl-4{padding-bottom:1.5rem!important}.pl-xl-4,.px-xl-4{padding-left:1.5rem!important}.p-xl-5{padding:3rem!important}.pt-xl-5,.py-xl-5{padding-top:3rem!important}.pr-xl-5,.px-xl-5{padding-right:3rem!important}.pb-xl-5,.py-xl-5{padding-bottom:3rem!important}.pl-xl-5,.px-xl-5{padding-left:3rem!important}.m-xl-n1{margin:-.25rem!important}.mt-xl-n1,.my-xl-n1{margin-top:-.25rem!important}.mr-xl-n1,.mx-xl-n1{margin-right:-.25rem!important}.mb-xl-n1,.my-xl-n1{margin-bottom:-.25rem!important}.ml-xl-n1,.mx-xl-n1{margin-left:-.25rem!important}.m-xl-n2{margin:-.5rem!important}.mt-xl-n2,.my-xl-n2{margin-top:-.5rem!important}.mr-xl-n2,.mx-xl-n2{margin-right:-.5rem!important}.mb-xl-n2,.my-xl-n2{margin-bottom:-.5rem!important}.ml-xl-n2,.mx-xl-n2{margin-left:-.5rem!important}.m-xl-n3{margin:-1rem!important}.mt-xl-n3,.my-xl-n3{margin-top:-1rem!important}.mr-xl-n3,.mx-xl-n3{margin-right:-1rem!important}.mb-xl-n3,.my-xl-n3{margin-bottom:-1rem!important}.ml-xl-n3,.mx-xl-n3{margin-left:-1rem!important}.m-xl-n4{margin:-1.5rem!important}.mt-xl-n4,.my-xl-n4{margin-top:-1.5rem!important}.mr-xl-n4,.mx-xl-n4{margin-right:-1.5rem!important}.mb-xl-n4,.my-xl-n4{margin-bottom:-1.5rem!important}.ml-xl-n4,.mx-xl-n4{margin-left:-1.5rem!important}.m-xl-n5{margin:-3rem!important}.mt-xl-n5,.my-xl-n5{margin-top:-3rem!important}.mr-xl-n5,.mx-xl-n5{margin-right:-3rem!important}.mb-xl-n5,.my-xl-n5{margin-bottom:-3rem!important}.ml-xl-n5,.mx-xl-n5{margin-left:-3rem!important}.m-xl-auto{margin:auto!important}.mt-xl-auto,.my-xl-auto{margin-top:auto!important}.mr-xl-auto,.mx-xl-auto{margin-right:auto!important}.mb-xl-auto,.my-xl-auto{margin-bottom:auto!important}.ml-xl-auto,.mx-xl-auto{margin-left:auto!important}}.stretched-link:after{position:absolute;top:0;right:0;bottom:0;left:0;z-index:1;pointer-events:auto;content:"";background-color:transparent}.text-monospace{font-family:SFMono-Regular,Menlo,Monaco,Consolas,Liberation Mono,Courier New,monospace!important}.text-justify{text-align:justify!important}.text-wrap{white-space:normal!important}.text-nowrap{white-space:nowrap!important}.text-truncate{overflow:hidden;text-overflow:ellipsis;white-space:nowrap}.text-left{text-align:left!important}.text-right{text-align:right!important}.text-center{text-align:center!important}@media (min-width:540px){.text-sm-left{text-align:left!important}.text-sm-right{text-align:right!important}.text-sm-center{text-align:center!important}}@media (min-width:720px){.text-md-left{text-align:left!important}.text-md-right{text-align:right!important}.text-md-center{text-align:center!important}}@media (min-width:960px){.text-lg-left{text-align:left!important}.text-lg-right{text-align:right!important}.text-lg-center{text-align:center!important}}@media (min-width:1200px){.text-xl-left{text-align:left!important}.text-xl-right{text-align:right!important}.text-xl-center{text-align:center!important}}.text-lowercase{text-transform:lowercase!important}.text-uppercase{text-transform:uppercase!important}.text-capitalize{text-transform:capitalize!important}.font-weight-light{font-weight:300!important}.font-weight-lighter{font-weight:lighter!important}.font-weight-normal{font-weight:400!important}.font-weight-bold{font-weight:700!important}.font-weight-bolder{font-weight:bolder!important}.font-italic{font-style:italic!important}.text-white{color:#fff!important}.text-primary{color:#007bff!important}a.text-primary:focus,a.text-primary:hover{color:#0056b3!important}.text-secondary{color:#6c757d!important}a.text-secondary:focus,a.text-secondary:hover{color:#494f54!important}.text-success{color:#28a745!important}a.text-success:focus,a.text-success:hover{color:#19692c!important}.text-info{color:#17a2b8!important}a.text-info:focus,a.text-info:hover{color:#0f6674!important}.text-warning{color:#ffc107!important}a.text-warning:focus,a.text-warning:hover{color:#ba8b00!important}.text-danger{color:#dc3545!important}a.text-danger:focus,a.text-danger:hover{color:#a71d2a!important}.text-light{color:#f8f9fa!important}a.text-light:focus,a.text-light:hover{color:#cbd3da!important}.text-dark{color:#343a40!important}a.text-dark:focus,a.text-dark:hover{color:#121416!important}.text-body{color:#212529!important}.text-muted{color:#6c757d!important}.text-black-50{color:rgba(0,0,0,.5)!important}.text-white-50{color:hsla(0,0%,100%,.5)!important}.text-hide{font:0/0 a;color:transparent;text-shadow:none;background-color:transparent;border:0}.text-decoration-none{text-decoration:none!important}.text-break{word-wrap:break-word!important}.text-reset{color:inherit!important}.visible{visibility:visible!important}.invisible{visibility:hidden!important}@media print{*,:after,:before{text-shadow:none!important;box-shadow:none!important}a:not(.btn){text-decoration:underline}abbr[title]:after{content:" (" attr(title) ")"}pre{white-space:pre-wrap!important}blockquote,pre{border:1px solid #adb5bd;page-break-inside:avoid}thead{display:table-header-group}img,tr{page-break-inside:avoid}h2,h3,p{orphans:3;widows:3}h2,h3{page-break-after:avoid}@page{size:a3}.container,body{min-width:960px!important}.navbar{display:none}.badge{border:1px solid #000}.table{border-collapse:collapse!important}.table td,.table th{background-color:#fff!important}.table-bordered td,.table-bordered th{border:1px solid #dee2e6!important}.table-dark{color:inherit}.table-dark tbody+tbody,.table-dark td,.table-dark th,.table-dark thead th{border-color:#dee2e6}.table .thead-dark th{color:inherit;border-color:#dee2e6}}html{font-size:var(--pst-font-size-base);scroll-padding-top:calc(var(--pst-header-height) + 12px)}body{padding-top:calc(var(--pst-header-height) + 20px);background-color:#fff;font-family:var(--pst-font-family-base);font-weight:400;line-height:1.65;color:rgba(var(--pst-color-text-base),1)}p{margin-bottom:1.15rem;font-size:1em;color:rgba(var(--pst-color-paragraph),1)}p.rubric{border-bottom:1px solid #c9c9c9}a{color:rgba(var(--pst-color-link),1);text-decoration:none}a:hover{color:rgba(var(--pst-color-link-hover),1);text-decoration:underline}a.headerlink{color:rgba(var(--pst-color-headerlink),1);font-size:.8em;padding:0 4px;text-decoration:none}a.headerlink:hover{background-color:rgba(var(--pst-color-headerlink),1);color:rgba(var(--pst-color-headerlink-hover),1)}.heading-style,h1,h2,h3,h4,h5,h6{margin:2.75rem 0 1.05rem;font-family:var(--pst-font-family-heading);font-weight:400;line-height:1.15}h1{margin-top:0;font-size:var(--pst-font-size-h1);color:rgba(var(--pst-color-h1),1)}h2{font-size:var(--pst-font-size-h2);color:rgba(var(--pst-color-h2),1)}h3{font-size:var(--pst-font-size-h3);color:rgba(var(--pst-color-h3),1)}h4{font-size:var(--pst-font-size-h4);color:rgba(var(--pst-color-h4),1)}h5{font-size:var(--pst-font-size-h5);color:rgba(var(--pst-color-h5),1)}h6{font-size:var(--pst-font-size-h6);color:rgba(var(--pst-color-h6),1)}.text_small,small{font-size:var(--pst-font-size-milli)}hr{border:0;border-top:1px solid #e5e5e5}code,kbd,pre,samp{font-family:var(--pst-font-family-monospace)}code{color:rgba(var(--pst-color-inline-code),1)}pre{margin:1.5em 0;padding:10px;background-color:rgba(var(--pst-color-preformatted-background),1);color:rgba(var(--pst-color-preformatted-text),1);line-height:1.2em;border:1px solid #c9c9c9;border-radius:.2rem;box-shadow:1px 1px 1px #d8d8d8}dd{margin-top:3px;margin-bottom:10px;margin-left:30px}.navbar{position:fixed;min-height:var(--pst-header-height);width:100%;padding:0}.navbar .container-xl{height:100%}@media (min-width:960px){.navbar #navbar-end>.navbar-end-item{display:inline-block}}.navbar-brand{position:relative;height:var(--pst-header-height);width:auto;padding:.5rem 0}.navbar-brand img{max-width:100%;height:100%;width:auto}.navbar-light{background:#fff!important;box-shadow:0 .125rem .25rem 0 rgba(0,0,0,.11)}.navbar-light .navbar-nav li a.nav-link{padding:0 .5rem;color:rgba(var(--pst-color-navbar-link),1)}.navbar-light .navbar-nav li a.nav-link:hover{color:rgba(var(--pst-color-navbar-link-hover),1)}.navbar-light .navbar-nav>.active>.nav-link{font-weight:600;color:rgba(var(--pst-color-navbar-link-active),1)}.navbar-header a{padding:0 15px}.admonition,div.admonition{margin:1.5625em auto;padding:0 .6rem .8rem;overflow:hidden;page-break-inside:avoid;border-left:.2rem solid;border-left-color:rgba(var(--pst-color-admonition-default),1);border-bottom-color:rgba(var(--pst-color-admonition-default),1);border-right-color:rgba(var(--pst-color-admonition-default),1);border-top-color:rgba(var(--pst-color-admonition-default),1);border-radius:.2rem;box-shadow:0 .2rem .5rem rgba(0,0,0,.05),0 0 .0625rem rgba(0,0,0,.1);transition:color .25s,background-color .25s,border-color .25s}.admonition :last-child,div.admonition :last-child{margin-bottom:0}.admonition p.admonition-title~*,div.admonition p.admonition-title~*{padding:0 1.4rem}.admonition>ol,.admonition>ul,div.admonition>ol,div.admonition>ul{margin-left:1em}.admonition>.admonition-title,div.admonition>.admonition-title{position:relative;margin:0 -.6rem;padding:.4rem .6rem .4rem 2rem;font-weight:700;background-color:rgba(var(--pst-color-admonition-default),.1)}.admonition>.admonition-title:before,div.admonition>.admonition-title:before{position:absolute;left:.6rem;width:1rem;height:1rem;color:rgba(var(--pst-color-admonition-default),1);font-family:Font Awesome\ 5 Free;font-weight:900;content:var(--pst-icon-admonition-default)}.admonition>.admonition-title+*,div.admonition>.admonition-title+*{margin-top:.4em}.admonition.attention,div.admonition.attention{border-color:rgba(var(--pst-color-admonition-attention),1)}.admonition.attention>.admonition-title,div.admonition.attention>.admonition-title{background-color:rgba(var(--pst-color-admonition-attention),.1)}.admonition.attention>.admonition-title:before,div.admonition.attention>.admonition-title:before{color:rgba(var(--pst-color-admonition-attention),1);content:var(--pst-icon-admonition-attention)}.admonition.caution,div.admonition.caution{border-color:rgba(var(--pst-color-admonition-caution),1)}.admonition.caution>.admonition-title,div.admonition.caution>.admonition-title{background-color:rgba(var(--pst-color-admonition-caution),.1)}.admonition.caution>.admonition-title:before,div.admonition.caution>.admonition-title:before{color:rgba(var(--pst-color-admonition-caution),1);content:var(--pst-icon-admonition-caution)}.admonition.warning,div.admonition.warning{border-color:rgba(var(--pst-color-admonition-warning),1)}.admonition.warning>.admonition-title,div.admonition.warning>.admonition-title{background-color:rgba(var(--pst-color-admonition-warning),.1)}.admonition.warning>.admonition-title:before,div.admonition.warning>.admonition-title:before{color:rgba(var(--pst-color-admonition-warning),1);content:var(--pst-icon-admonition-warning)}.admonition.danger,div.admonition.danger{border-color:rgba(var(--pst-color-admonition-danger),1)}.admonition.danger>.admonition-title,div.admonition.danger>.admonition-title{background-color:rgba(var(--pst-color-admonition-danger),.1)}.admonition.danger>.admonition-title:before,div.admonition.danger>.admonition-title:before{color:rgba(var(--pst-color-admonition-danger),1);content:var(--pst-icon-admonition-danger)}.admonition.error,div.admonition.error{border-color:rgba(var(--pst-color-admonition-error),1)}.admonition.error>.admonition-title,div.admonition.error>.admonition-title{background-color:rgba(var(--pst-color-admonition-error),.1)}.admonition.error>.admonition-title:before,div.admonition.error>.admonition-title:before{color:rgba(var(--pst-color-admonition-error),1);content:var(--pst-icon-admonition-error)}.admonition.hint,div.admonition.hint{border-color:rgba(var(--pst-color-admonition-hint),1)}.admonition.hint>.admonition-title,div.admonition.hint>.admonition-title{background-color:rgba(var(--pst-color-admonition-hint),.1)}.admonition.hint>.admonition-title:before,div.admonition.hint>.admonition-title:before{color:rgba(var(--pst-color-admonition-hint),1);content:var(--pst-icon-admonition-hint)}.admonition.tip,div.admonition.tip{border-color:rgba(var(--pst-color-admonition-tip),1)}.admonition.tip>.admonition-title,div.admonition.tip>.admonition-title{background-color:rgba(var(--pst-color-admonition-tip),.1)}.admonition.tip>.admonition-title:before,div.admonition.tip>.admonition-title:before{color:rgba(var(--pst-color-admonition-tip),1);content:var(--pst-icon-admonition-tip)}.admonition.important,div.admonition.important{border-color:rgba(var(--pst-color-admonition-important),1)}.admonition.important>.admonition-title,div.admonition.important>.admonition-title{background-color:rgba(var(--pst-color-admonition-important),.1)}.admonition.important>.admonition-title:before,div.admonition.important>.admonition-title:before{color:rgba(var(--pst-color-admonition-important),1);content:var(--pst-icon-admonition-important)}.admonition.note,div.admonition.note{border-color:rgba(var(--pst-color-admonition-note),1)}.admonition.note>.admonition-title,div.admonition.note>.admonition-title{background-color:rgba(var(--pst-color-admonition-note),.1)}.admonition.note>.admonition-title:before,div.admonition.note>.admonition-title:before{color:rgba(var(--pst-color-admonition-note),1);content:var(--pst-icon-admonition-note)}table.field-list{border-collapse:separate;border-spacing:10px;margin-left:1px}table.field-list th.field-name{padding:1px 8px 1px 5px;white-space:nowrap;background-color:#eee}table.field-list td.field-body p{font-style:italic}table.field-list td.field-body p>strong{font-style:normal}table.field-list td.field-body blockquote{border-left:none;margin:0 0 .3em;padding-left:30px}.table.autosummary td:first-child{white-space:nowrap}.sig{font-family:var(--pst-font-family-monospace)}.sig-inline.c-texpr,.sig-inline.cpp-texpr{font-family:unset}.sig.c .k,.sig.c .kt,.sig.c .m,.sig.c .s,.sig.c .sc,.sig.cpp .k,.sig.cpp .kt,.sig.cpp .m,.sig.cpp .s,.sig.cpp .sc{color:rgba(var(--pst-color-text-base),1)}.sig-name{color:rgba(var(--pst-color-inline-code),1)}blockquote{padding:0 1em;color:#6a737d;border-left:.25em solid #dfe2e5}dt.label>span.brackets:not(:only-child):before{content:"["}dt.label>span.brackets:not(:only-child):after{content:"]"}a.footnote-reference{vertical-align:super;font-size:small}div.deprecated{margin-bottom:10px;margin-top:10px;padding:7px;background-color:#f3e5e5;border:1px solid #eed3d7;border-radius:.5rem}div.deprecated p{color:#b94a48;display:inline}.topic{background-color:#eee}.seealso dd{margin-top:0;margin-bottom:0}.viewcode-back{font-family:var(--pst-font-family-base)}.viewcode-block:target{background-color:#f4debf;border-top:1px solid #ac9;border-bottom:1px solid #ac9}span.guilabel{border:1px solid #7fbbe3;background:#e7f2fa;font-size:80%;font-weight:700;border-radius:4px;padding:2.4px 6px;margin:auto 2px}footer{width:100%;border-top:1px solid #ccc;padding:10px}footer .footer-item p{margin-bottom:0}.bd-search{position:relative;padding:1rem 15px;margin-right:-15px;margin-left:-15px}.bd-search .icon{position:absolute;color:#a4a6a7;left:25px;top:25px}.bd-search input{border-radius:0;border:0;border-bottom:1px solid #e5e5e5;padding-left:35px}.bd-toc{-ms-flex-order:2;order:2;height:calc(100vh - 2rem);overflow-y:auto}@supports (position:-webkit-sticky) or (position:sticky){.bd-toc{position:-webkit-sticky;position:sticky;top:calc(var(--pst-header-height) + 20px);height:calc(100vh - 5rem);overflow-y:auto}}.bd-toc .onthispage{color:#a4a6a7}.section-nav{padding-left:0;border-left:1px solid #eee;border-bottom:none}.section-nav ul{padding-left:1rem}.toc-entry,.toc-entry a{display:block}.toc-entry a{padding:.125rem 1.5rem;color:rgba(var(--pst-color-toc-link),1)}@media (min-width:1200px){.toc-entry a{padding-right:0}}.toc-entry a:hover{color:rgba(var(--pst-color-toc-link-hover),1);text-decoration:none}.bd-sidebar{padding-top:1em}@media (min-width:720px){.bd-sidebar{border-right:1px solid rgba(0,0,0,.1)}@supports (position:-webkit-sticky) or (position:sticky){.bd-sidebar{position:-webkit-sticky;position:sticky;top:calc(var(--pst-header-height) + 20px);z-index:1000;height:calc(100vh - var(--pst-header-height) - 20px)}}}.bd-sidebar.no-sidebar{border-right:0}.bd-links{padding-top:1rem;padding-bottom:1rem;margin-right:-15px;margin-left:-15px}@media (min-width:720px){.bd-links{display:block}@supports (position:-webkit-sticky) or (position:sticky){.bd-links{max-height:calc(100vh - 11rem);overflow-y:auto}}}.bd-sidenav{display:none}.bd-content{padding-top:20px}.bd-content .section{max-width:100%}.bd-content .section table{display:block;overflow:auto}.bd-toc-link{display:block;padding:.25rem 1.5rem;font-weight:600;color:rgba(0,0,0,.65)}.bd-toc-link:hover{color:rgba(0,0,0,.85);text-decoration:none}.bd-toc-item.active{margin-bottom:1rem}.bd-toc-item.active:not(:first-child){margin-top:1rem}.bd-toc-item.active>.bd-toc-link{color:rgba(0,0,0,.85)}.bd-toc-item.active>.bd-toc-link:hover{background-color:transparent}.bd-toc-item.active>.bd-sidenav{display:block}nav.bd-links p.caption{font-size:var(--pst-sidebar-caption-font-size);text-transform:uppercase;font-weight:700;position:relative;margin-top:1.25em;margin-bottom:.5em;padding:0 1.5rem;color:rgba(var(--pst-color-sidebar-caption),1)}nav.bd-links p.caption:first-child{margin-top:0}.bd-sidebar .nav{font-size:var(--pst-sidebar-font-size)}.bd-sidebar .nav ul{list-style:none;padding:0 0 0 1.5rem}.bd-sidebar .nav li>a{display:block;padding:.25rem 1.5rem;color:rgba(var(--pst-color-sidebar-link),1)}.bd-sidebar .nav li>a:hover{color:rgba(var(--pst-color-sidebar-link-hover),1);text-decoration:none;background-color:transparent}.bd-sidebar .nav li>a.reference.external:after{font-family:Font Awesome\ 5 Free;font-weight:900;content:"\f35d";font-size:.75em;margin-left:.3em}.bd-sidebar .nav .active:hover>a,.bd-sidebar .nav .active>a{font-weight:600;color:rgba(var(--pst-color-sidebar-link-active),1)}.toc-h2{font-size:.85rem}.toc-h3{font-size:.75rem}.toc-h4{font-size:.65rem}.toc-entry>.nav-link.active{font-weight:600;color:#130654;color:rgba(var(--pst-color-toc-link-active),1);background-color:transparent;border-left:2px solid rgba(var(--pst-color-toc-link-active),1)}.nav-link:hover{border-style:none}#navbar-main-elements li.nav-item i{font-size:.7rem;padding-left:2px;vertical-align:middle}.bd-toc .nav .nav{display:none}.bd-toc .nav .nav.visible,.bd-toc .nav>.active>ul{display:block}.prev-next-area{margin:20px 0}.prev-next-area p{margin:0 .3em;line-height:1.3em}.prev-next-area i{font-size:1.2em}.prev-next-area a{display:flex;align-items:center;border:none;padding:10px;max-width:45%;overflow-x:hidden;color:rgba(0,0,0,.65);text-decoration:none}.prev-next-area a p.prev-next-title{color:rgba(var(--pst-color-link),1);font-weight:600;font-size:1.1em}.prev-next-area a:hover p.prev-next-title{text-decoration:underline}.prev-next-area a .prev-next-info{flex-direction:column;margin:0 .5em}.prev-next-area a .prev-next-info .prev-next-subtitle{text-transform:capitalize}.prev-next-area a.left-prev{float:left}.prev-next-area a.right-next{float:right}.prev-next-area a.right-next div.prev-next-info{text-align:right}.alert{padding-bottom:0}.alert-info a{color:#e83e8c}#navbar-icon-links i.fa,#navbar-icon-links i.fab,#navbar-icon-links i.far,#navbar-icon-links i.fas{vertical-align:middle;font-style:normal;font-size:1.5rem;line-height:1.25}#navbar-icon-links i.fa-github-square:before{color:#333}#navbar-icon-links i.fa-twitter-square:before{color:#55acee}#navbar-icon-links i.fa-gitlab:before{color:#548}#navbar-icon-links i.fa-bitbucket:before{color:#0052cc}.tocsection{border-left:1px solid #eee;padding:.3rem 1.5rem}.tocsection i{padding-right:.5rem}.editthispage{padding-top:2rem}.editthispage a{color:var(--pst-color-sidebar-link-active)}.xr-wrap[hidden]{display:block!important}.toctree-checkbox{position:absolute;display:none}.toctree-checkbox~ul{display:none}.toctree-checkbox~label i{transform:rotate(0deg)}.toctree-checkbox:checked~ul{display:block}.toctree-checkbox:checked~label i{transform:rotate(180deg)}.bd-sidebar li{position:relative}.bd-sidebar label{position:absolute;top:0;right:0;height:30px;width:30px;cursor:pointer;display:flex;justify-content:center;align-items:center}.bd-sidebar label:hover{background:rgba(var(--pst-color-sidebar-expander-background-hover),1)}.bd-sidebar label i{display:inline-block;font-size:.75rem;text-align:center}.bd-sidebar label i:hover{color:rgba(var(--pst-color-sidebar-link-hover),1)}.bd-sidebar li.has-children>.reference{padding-right:30px}div.doctest>div.highlight span.gp,span.linenos,table.highlighttable td.linenos{user-select:none;-webkit-user-select:text;-webkit-user-select:none;-moz-user-select:none;-ms-user-select:none}.docutils.container{padding-left:unset;padding-right:unset}
\ No newline at end of file
diff --git a/_static/css/theme.css b/_static/css/theme.css
index 2e03fe37..aca94290 100755
--- a/_static/css/theme.css
+++ b/_static/css/theme.css
@@ -1,120 +1,120 @@
-/* Provided by the Sphinx base theme template at build time */
-@import "../basic.css";
-
-:root {
- /*****************************************************************************
- * Theme config
- **/
- --pst-header-height: 60px;
-
- /*****************************************************************************
- * Font size
- **/
- --pst-font-size-base: 15px; /* base font size - applied at body / html level */
-
- /* heading font sizes */
- --pst-font-size-h1: 36px;
- --pst-font-size-h2: 32px;
- --pst-font-size-h3: 26px;
- --pst-font-size-h4: 21px;
- --pst-font-size-h5: 18px;
- --pst-font-size-h6: 16px;
-
- /* smaller then heading font sizes*/
- --pst-font-size-milli: 12px;
-
- --pst-sidebar-font-size: .9em;
- --pst-sidebar-caption-font-size: .9em;
-
- /*****************************************************************************
- * Font family
- **/
- /* These are adapted from https://systemfontstack.com/ */
- --pst-font-family-base-system: -apple-system, BlinkMacSystemFont, Segoe UI, "Helvetica Neue",
- Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol;
- --pst-font-family-monospace-system: "SFMono-Regular", Menlo, Consolas, Monaco,
- Liberation Mono, Lucida Console, monospace;
-
- --pst-font-family-base: var(--pst-font-family-base-system);
- --pst-font-family-heading: var(--pst-font-family-base);
- --pst-font-family-monospace: var(--pst-font-family-monospace-system);
-
- /*****************************************************************************
- * Color
- *
- * Colors are defined in rgb string way, "red, green, blue"
- **/
- --pst-color-primary: 19, 6, 84;
- --pst-color-success: 40, 167, 69;
- --pst-color-info: 0, 123, 255; /*23, 162, 184;*/
- --pst-color-warning: 255, 193, 7;
- --pst-color-danger: 220, 53, 69;
- --pst-color-text-base: 51, 51, 51;
-
- --pst-color-h1: var(--pst-color-primary);
- --pst-color-h2: var(--pst-color-primary);
- --pst-color-h3: var(--pst-color-text-base);
- --pst-color-h4: var(--pst-color-text-base);
- --pst-color-h5: var(--pst-color-text-base);
- --pst-color-h6: var(--pst-color-text-base);
- --pst-color-paragraph: var(--pst-color-text-base);
- --pst-color-link: 0, 91, 129;
- --pst-color-link-hover: 227, 46, 0;
- --pst-color-headerlink: 198, 15, 15;
- --pst-color-headerlink-hover: 255, 255, 255;
- --pst-color-preformatted-text: 34, 34, 34;
- --pst-color-preformatted-background: 250, 250, 250;
- --pst-color-inline-code: 232, 62, 140;
-
- --pst-color-active-navigation: 19, 6, 84;
- --pst-color-navbar-link: 77, 77, 77;
- --pst-color-navbar-link-hover: var(--pst-color-active-navigation);
- --pst-color-navbar-link-active: var(--pst-color-active-navigation);
- --pst-color-sidebar-link: 77, 77, 77;
- --pst-color-sidebar-link-hover: var(--pst-color-active-navigation);
- --pst-color-sidebar-link-active: var(--pst-color-active-navigation);
- --pst-color-sidebar-expander-background-hover: 244, 244, 244;
- --pst-color-sidebar-caption: 77, 77, 77;
- --pst-color-toc-link: 119, 117, 122;
- --pst-color-toc-link-hover: var(--pst-color-active-navigation);
- --pst-color-toc-link-active: var(--pst-color-active-navigation);
-
- /*****************************************************************************
- * Icon
- **/
-
- /* font awesome icons*/
- --pst-icon-check-circle: '\f058';
- --pst-icon-info-circle: '\f05a';
- --pst-icon-exclamation-triangle: '\f071';
- --pst-icon-exclamation-circle: '\f06a';
- --pst-icon-times-circle: '\f057';
- --pst-icon-lightbulb: '\f0eb';
-
- /*****************************************************************************
- * Admonitions
- **/
-
- --pst-color-admonition-default: var(--pst-color-info);
- --pst-color-admonition-note: var(--pst-color-info);
- --pst-color-admonition-attention: var(--pst-color-warning);
- --pst-color-admonition-caution: var(--pst-color-warning);
- --pst-color-admonition-warning: var(--pst-color-warning);
- --pst-color-admonition-danger: var(--pst-color-danger);
- --pst-color-admonition-error: var(--pst-color-danger);
- --pst-color-admonition-hint: var(--pst-color-success);
- --pst-color-admonition-tip: var(--pst-color-success);
- --pst-color-admonition-important: var(--pst-color-success);
-
- --pst-icon-admonition-default: var(--pst-icon-info-circle);
- --pst-icon-admonition-note: var(--pst-icon-info-circle);
- --pst-icon-admonition-attention: var(--pst-icon-exclamation-circle);
- --pst-icon-admonition-caution: var(--pst-icon-exclamation-triangle);
- --pst-icon-admonition-warning: var(--pst-icon-exclamation-triangle);
- --pst-icon-admonition-danger: var(--pst-icon-exclamation-triangle);
- --pst-icon-admonition-error: var(--pst-icon-times-circle);
- --pst-icon-admonition-hint: var(--pst-icon-lightbulb);
- --pst-icon-admonition-tip: var(--pst-icon-lightbulb);
- --pst-icon-admonition-important: var(--pst-icon-exclamation-circle);
-
-}
+/* Provided by the Sphinx base theme template at build time */
+@import "../basic.css";
+
+:root {
+ /*****************************************************************************
+ * Theme config
+ **/
+ --pst-header-height: 60px;
+
+ /*****************************************************************************
+ * Font size
+ **/
+ --pst-font-size-base: 15px; /* base font size - applied at body / html level */
+
+ /* heading font sizes */
+ --pst-font-size-h1: 36px;
+ --pst-font-size-h2: 32px;
+ --pst-font-size-h3: 26px;
+ --pst-font-size-h4: 21px;
+ --pst-font-size-h5: 18px;
+ --pst-font-size-h6: 16px;
+
+ /* smaller then heading font sizes*/
+ --pst-font-size-milli: 12px;
+
+ --pst-sidebar-font-size: .9em;
+ --pst-sidebar-caption-font-size: .9em;
+
+ /*****************************************************************************
+ * Font family
+ **/
+ /* These are adapted from https://systemfontstack.com/ */
+ --pst-font-family-base-system: -apple-system, BlinkMacSystemFont, Segoe UI, "Helvetica Neue",
+ Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol;
+ --pst-font-family-monospace-system: "SFMono-Regular", Menlo, Consolas, Monaco,
+ Liberation Mono, Lucida Console, monospace;
+
+ --pst-font-family-base: var(--pst-font-family-base-system);
+ --pst-font-family-heading: var(--pst-font-family-base);
+ --pst-font-family-monospace: var(--pst-font-family-monospace-system);
+
+ /*****************************************************************************
+ * Color
+ *
+ * Colors are defined in rgb string way, "red, green, blue"
+ **/
+ --pst-color-primary: 19, 6, 84;
+ --pst-color-success: 40, 167, 69;
+ --pst-color-info: 0, 123, 255; /*23, 162, 184;*/
+ --pst-color-warning: 255, 193, 7;
+ --pst-color-danger: 220, 53, 69;
+ --pst-color-text-base: 51, 51, 51;
+
+ --pst-color-h1: var(--pst-color-primary);
+ --pst-color-h2: var(--pst-color-primary);
+ --pst-color-h3: var(--pst-color-text-base);
+ --pst-color-h4: var(--pst-color-text-base);
+ --pst-color-h5: var(--pst-color-text-base);
+ --pst-color-h6: var(--pst-color-text-base);
+ --pst-color-paragraph: var(--pst-color-text-base);
+ --pst-color-link: 0, 91, 129;
+ --pst-color-link-hover: 227, 46, 0;
+ --pst-color-headerlink: 198, 15, 15;
+ --pst-color-headerlink-hover: 255, 255, 255;
+ --pst-color-preformatted-text: 34, 34, 34;
+ --pst-color-preformatted-background: 250, 250, 250;
+ --pst-color-inline-code: 232, 62, 140;
+
+ --pst-color-active-navigation: 19, 6, 84;
+ --pst-color-navbar-link: 77, 77, 77;
+ --pst-color-navbar-link-hover: var(--pst-color-active-navigation);
+ --pst-color-navbar-link-active: var(--pst-color-active-navigation);
+ --pst-color-sidebar-link: 77, 77, 77;
+ --pst-color-sidebar-link-hover: var(--pst-color-active-navigation);
+ --pst-color-sidebar-link-active: var(--pst-color-active-navigation);
+ --pst-color-sidebar-expander-background-hover: 244, 244, 244;
+ --pst-color-sidebar-caption: 77, 77, 77;
+ --pst-color-toc-link: 119, 117, 122;
+ --pst-color-toc-link-hover: var(--pst-color-active-navigation);
+ --pst-color-toc-link-active: var(--pst-color-active-navigation);
+
+ /*****************************************************************************
+ * Icon
+ **/
+
+ /* font awesome icons*/
+ --pst-icon-check-circle: '\f058';
+ --pst-icon-info-circle: '\f05a';
+ --pst-icon-exclamation-triangle: '\f071';
+ --pst-icon-exclamation-circle: '\f06a';
+ --pst-icon-times-circle: '\f057';
+ --pst-icon-lightbulb: '\f0eb';
+
+ /*****************************************************************************
+ * Admonitions
+ **/
+
+ --pst-color-admonition-default: var(--pst-color-info);
+ --pst-color-admonition-note: var(--pst-color-info);
+ --pst-color-admonition-attention: var(--pst-color-warning);
+ --pst-color-admonition-caution: var(--pst-color-warning);
+ --pst-color-admonition-warning: var(--pst-color-warning);
+ --pst-color-admonition-danger: var(--pst-color-danger);
+ --pst-color-admonition-error: var(--pst-color-danger);
+ --pst-color-admonition-hint: var(--pst-color-success);
+ --pst-color-admonition-tip: var(--pst-color-success);
+ --pst-color-admonition-important: var(--pst-color-success);
+
+ --pst-icon-admonition-default: var(--pst-icon-info-circle);
+ --pst-icon-admonition-note: var(--pst-icon-info-circle);
+ --pst-icon-admonition-attention: var(--pst-icon-exclamation-circle);
+ --pst-icon-admonition-caution: var(--pst-icon-exclamation-triangle);
+ --pst-icon-admonition-warning: var(--pst-icon-exclamation-triangle);
+ --pst-icon-admonition-danger: var(--pst-icon-exclamation-triangle);
+ --pst-icon-admonition-error: var(--pst-icon-times-circle);
+ --pst-icon-admonition-hint: var(--pst-icon-lightbulb);
+ --pst-icon-admonition-tip: var(--pst-icon-lightbulb);
+ --pst-icon-admonition-important: var(--pst-icon-exclamation-circle);
+
+}
diff --git a/_static/design-style.4045f2051d55cab465a707391d5b2007.min.css b/_static/design-style.4045f2051d55cab465a707391d5b2007.min.css
index 3225661c..57bec30a 100755
--- a/_static/design-style.4045f2051d55cab465a707391d5b2007.min.css
+++ b/_static/design-style.4045f2051d55cab465a707391d5b2007.min.css
@@ -1 +1 @@
-.sd-bg-primary{background-color:var(--sd-color-primary) !important}.sd-bg-text-primary{color:var(--sd-color-primary-text) !important}button.sd-bg-primary:focus,button.sd-bg-primary:hover{background-color:var(--sd-color-primary-highlight) !important}a.sd-bg-primary:focus,a.sd-bg-primary:hover{background-color:var(--sd-color-primary-highlight) !important}.sd-bg-secondary{background-color:var(--sd-color-secondary) !important}.sd-bg-text-secondary{color:var(--sd-color-secondary-text) !important}button.sd-bg-secondary:focus,button.sd-bg-secondary:hover{background-color:var(--sd-color-secondary-highlight) !important}a.sd-bg-secondary:focus,a.sd-bg-secondary:hover{background-color:var(--sd-color-secondary-highlight) !important}.sd-bg-success{background-color:var(--sd-color-success) !important}.sd-bg-text-success{color:var(--sd-color-success-text) !important}button.sd-bg-success:focus,button.sd-bg-success:hover{background-color:var(--sd-color-success-highlight) !important}a.sd-bg-success:focus,a.sd-bg-success:hover{background-color:var(--sd-color-success-highlight) !important}.sd-bg-info{background-color:var(--sd-color-info) !important}.sd-bg-text-info{color:var(--sd-color-info-text) !important}button.sd-bg-info:focus,button.sd-bg-info:hover{background-color:var(--sd-color-info-highlight) !important}a.sd-bg-info:focus,a.sd-bg-info:hover{background-color:var(--sd-color-info-highlight) !important}.sd-bg-warning{background-color:var(--sd-color-warning) !important}.sd-bg-text-warning{color:var(--sd-color-warning-text) !important}button.sd-bg-warning:focus,button.sd-bg-warning:hover{background-color:var(--sd-color-warning-highlight) !important}a.sd-bg-warning:focus,a.sd-bg-warning:hover{background-color:var(--sd-color-warning-highlight) !important}.sd-bg-danger{background-color:var(--sd-color-danger) !important}.sd-bg-text-danger{color:var(--sd-color-danger-text) !important}button.sd-bg-danger:focus,button.sd-bg-danger:hover{background-color:var(--sd-color-danger-highlight) !important}a.sd-bg-danger:focus,a.sd-bg-danger:hover{background-color:var(--sd-color-danger-highlight) !important}.sd-bg-light{background-color:var(--sd-color-light) !important}.sd-bg-text-light{color:var(--sd-color-light-text) !important}button.sd-bg-light:focus,button.sd-bg-light:hover{background-color:var(--sd-color-light-highlight) !important}a.sd-bg-light:focus,a.sd-bg-light:hover{background-color:var(--sd-color-light-highlight) !important}.sd-bg-muted{background-color:var(--sd-color-muted) !important}.sd-bg-text-muted{color:var(--sd-color-muted-text) !important}button.sd-bg-muted:focus,button.sd-bg-muted:hover{background-color:var(--sd-color-muted-highlight) !important}a.sd-bg-muted:focus,a.sd-bg-muted:hover{background-color:var(--sd-color-muted-highlight) !important}.sd-bg-dark{background-color:var(--sd-color-dark) !important}.sd-bg-text-dark{color:var(--sd-color-dark-text) !important}button.sd-bg-dark:focus,button.sd-bg-dark:hover{background-color:var(--sd-color-dark-highlight) !important}a.sd-bg-dark:focus,a.sd-bg-dark:hover{background-color:var(--sd-color-dark-highlight) !important}.sd-bg-black{background-color:var(--sd-color-black) !important}.sd-bg-text-black{color:var(--sd-color-black-text) !important}button.sd-bg-black:focus,button.sd-bg-black:hover{background-color:var(--sd-color-black-highlight) !important}a.sd-bg-black:focus,a.sd-bg-black:hover{background-color:var(--sd-color-black-highlight) !important}.sd-bg-white{background-color:var(--sd-color-white) !important}.sd-bg-text-white{color:var(--sd-color-white-text) !important}button.sd-bg-white:focus,button.sd-bg-white:hover{background-color:var(--sd-color-white-highlight) !important}a.sd-bg-white:focus,a.sd-bg-white:hover{background-color:var(--sd-color-white-highlight) !important}.sd-text-primary,.sd-text-primary>p{color:var(--sd-color-primary) !important}a.sd-text-primary:focus,a.sd-text-primary:hover{color:var(--sd-color-primary-highlight) !important}.sd-text-secondary,.sd-text-secondary>p{color:var(--sd-color-secondary) !important}a.sd-text-secondary:focus,a.sd-text-secondary:hover{color:var(--sd-color-secondary-highlight) !important}.sd-text-success,.sd-text-success>p{color:var(--sd-color-success) !important}a.sd-text-success:focus,a.sd-text-success:hover{color:var(--sd-color-success-highlight) !important}.sd-text-info,.sd-text-info>p{color:var(--sd-color-info) !important}a.sd-text-info:focus,a.sd-text-info:hover{color:var(--sd-color-info-highlight) !important}.sd-text-warning,.sd-text-warning>p{color:var(--sd-color-warning) !important}a.sd-text-warning:focus,a.sd-text-warning:hover{color:var(--sd-color-warning-highlight) !important}.sd-text-danger,.sd-text-danger>p{color:var(--sd-color-danger) !important}a.sd-text-danger:focus,a.sd-text-danger:hover{color:var(--sd-color-danger-highlight) !important}.sd-text-light,.sd-text-light>p{color:var(--sd-color-light) !important}a.sd-text-light:focus,a.sd-text-light:hover{color:var(--sd-color-light-highlight) !important}.sd-text-muted,.sd-text-muted>p{color:var(--sd-color-muted) !important}a.sd-text-muted:focus,a.sd-text-muted:hover{color:var(--sd-color-muted-highlight) !important}.sd-text-dark,.sd-text-dark>p{color:var(--sd-color-dark) !important}a.sd-text-dark:focus,a.sd-text-dark:hover{color:var(--sd-color-dark-highlight) !important}.sd-text-black,.sd-text-black>p{color:var(--sd-color-black) !important}a.sd-text-black:focus,a.sd-text-black:hover{color:var(--sd-color-black-highlight) !important}.sd-text-white,.sd-text-white>p{color:var(--sd-color-white) !important}a.sd-text-white:focus,a.sd-text-white:hover{color:var(--sd-color-white-highlight) !important}.sd-outline-primary{border-color:var(--sd-color-primary) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-primary:focus,a.sd-outline-primary:hover{border-color:var(--sd-color-primary-highlight) !important}.sd-outline-secondary{border-color:var(--sd-color-secondary) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-secondary:focus,a.sd-outline-secondary:hover{border-color:var(--sd-color-secondary-highlight) !important}.sd-outline-success{border-color:var(--sd-color-success) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-success:focus,a.sd-outline-success:hover{border-color:var(--sd-color-success-highlight) !important}.sd-outline-info{border-color:var(--sd-color-info) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-info:focus,a.sd-outline-info:hover{border-color:var(--sd-color-info-highlight) !important}.sd-outline-warning{border-color:var(--sd-color-warning) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-warning:focus,a.sd-outline-warning:hover{border-color:var(--sd-color-warning-highlight) !important}.sd-outline-danger{border-color:var(--sd-color-danger) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-danger:focus,a.sd-outline-danger:hover{border-color:var(--sd-color-danger-highlight) !important}.sd-outline-light{border-color:var(--sd-color-light) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-light:focus,a.sd-outline-light:hover{border-color:var(--sd-color-light-highlight) !important}.sd-outline-muted{border-color:var(--sd-color-muted) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-muted:focus,a.sd-outline-muted:hover{border-color:var(--sd-color-muted-highlight) !important}.sd-outline-dark{border-color:var(--sd-color-dark) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-dark:focus,a.sd-outline-dark:hover{border-color:var(--sd-color-dark-highlight) !important}.sd-outline-black{border-color:var(--sd-color-black) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-black:focus,a.sd-outline-black:hover{border-color:var(--sd-color-black-highlight) !important}.sd-outline-white{border-color:var(--sd-color-white) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-white:focus,a.sd-outline-white:hover{border-color:var(--sd-color-white-highlight) !important}.sd-bg-transparent{background-color:transparent !important}.sd-outline-transparent{border-color:transparent !important}.sd-text-transparent{color:transparent !important}.sd-p-0{padding:0 !important}.sd-pt-0,.sd-py-0{padding-top:0 !important}.sd-pr-0,.sd-px-0{padding-right:0 !important}.sd-pb-0,.sd-py-0{padding-bottom:0 !important}.sd-pl-0,.sd-px-0{padding-left:0 !important}.sd-p-1{padding:.25rem !important}.sd-pt-1,.sd-py-1{padding-top:.25rem !important}.sd-pr-1,.sd-px-1{padding-right:.25rem !important}.sd-pb-1,.sd-py-1{padding-bottom:.25rem !important}.sd-pl-1,.sd-px-1{padding-left:.25rem !important}.sd-p-2{padding:.5rem !important}.sd-pt-2,.sd-py-2{padding-top:.5rem !important}.sd-pr-2,.sd-px-2{padding-right:.5rem !important}.sd-pb-2,.sd-py-2{padding-bottom:.5rem !important}.sd-pl-2,.sd-px-2{padding-left:.5rem !important}.sd-p-3{padding:1rem !important}.sd-pt-3,.sd-py-3{padding-top:1rem !important}.sd-pr-3,.sd-px-3{padding-right:1rem !important}.sd-pb-3,.sd-py-3{padding-bottom:1rem !important}.sd-pl-3,.sd-px-3{padding-left:1rem !important}.sd-p-4{padding:1.5rem !important}.sd-pt-4,.sd-py-4{padding-top:1.5rem !important}.sd-pr-4,.sd-px-4{padding-right:1.5rem !important}.sd-pb-4,.sd-py-4{padding-bottom:1.5rem !important}.sd-pl-4,.sd-px-4{padding-left:1.5rem !important}.sd-p-5{padding:3rem !important}.sd-pt-5,.sd-py-5{padding-top:3rem !important}.sd-pr-5,.sd-px-5{padding-right:3rem !important}.sd-pb-5,.sd-py-5{padding-bottom:3rem !important}.sd-pl-5,.sd-px-5{padding-left:3rem !important}.sd-m-auto{margin:auto !important}.sd-mt-auto,.sd-my-auto{margin-top:auto !important}.sd-mr-auto,.sd-mx-auto{margin-right:auto !important}.sd-mb-auto,.sd-my-auto{margin-bottom:auto !important}.sd-ml-auto,.sd-mx-auto{margin-left:auto !important}.sd-m-0{margin:0 !important}.sd-mt-0,.sd-my-0{margin-top:0 !important}.sd-mr-0,.sd-mx-0{margin-right:0 !important}.sd-mb-0,.sd-my-0{margin-bottom:0 !important}.sd-ml-0,.sd-mx-0{margin-left:0 !important}.sd-m-1{margin:.25rem !important}.sd-mt-1,.sd-my-1{margin-top:.25rem !important}.sd-mr-1,.sd-mx-1{margin-right:.25rem !important}.sd-mb-1,.sd-my-1{margin-bottom:.25rem !important}.sd-ml-1,.sd-mx-1{margin-left:.25rem !important}.sd-m-2{margin:.5rem !important}.sd-mt-2,.sd-my-2{margin-top:.5rem !important}.sd-mr-2,.sd-mx-2{margin-right:.5rem !important}.sd-mb-2,.sd-my-2{margin-bottom:.5rem !important}.sd-ml-2,.sd-mx-2{margin-left:.5rem !important}.sd-m-3{margin:1rem !important}.sd-mt-3,.sd-my-3{margin-top:1rem !important}.sd-mr-3,.sd-mx-3{margin-right:1rem !important}.sd-mb-3,.sd-my-3{margin-bottom:1rem !important}.sd-ml-3,.sd-mx-3{margin-left:1rem !important}.sd-m-4{margin:1.5rem !important}.sd-mt-4,.sd-my-4{margin-top:1.5rem !important}.sd-mr-4,.sd-mx-4{margin-right:1.5rem !important}.sd-mb-4,.sd-my-4{margin-bottom:1.5rem !important}.sd-ml-4,.sd-mx-4{margin-left:1.5rem !important}.sd-m-5{margin:3rem !important}.sd-mt-5,.sd-my-5{margin-top:3rem !important}.sd-mr-5,.sd-mx-5{margin-right:3rem !important}.sd-mb-5,.sd-my-5{margin-bottom:3rem !important}.sd-ml-5,.sd-mx-5{margin-left:3rem !important}.sd-w-25{width:25% !important}.sd-w-50{width:50% !important}.sd-w-75{width:75% !important}.sd-w-100{width:100% !important}.sd-w-auto{width:auto !important}.sd-h-25{height:25% !important}.sd-h-50{height:50% !important}.sd-h-75{height:75% !important}.sd-h-100{height:100% !important}.sd-h-auto{height:auto !important}.sd-d-none{display:none !important}.sd-d-inline{display:inline !important}.sd-d-inline-block{display:inline-block !important}.sd-d-block{display:block !important}.sd-d-grid{display:grid !important}.sd-d-flex-row{display:-ms-flexbox !important;display:flex !important;flex-direction:row !important}.sd-d-flex-column{display:-ms-flexbox !important;display:flex !important;flex-direction:column !important}.sd-d-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}@media(min-width: 576px){.sd-d-sm-none{display:none !important}.sd-d-sm-inline{display:inline !important}.sd-d-sm-inline-block{display:inline-block !important}.sd-d-sm-block{display:block !important}.sd-d-sm-grid{display:grid !important}.sd-d-sm-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-sm-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}@media(min-width: 768px){.sd-d-md-none{display:none !important}.sd-d-md-inline{display:inline !important}.sd-d-md-inline-block{display:inline-block !important}.sd-d-md-block{display:block !important}.sd-d-md-grid{display:grid !important}.sd-d-md-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-md-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}@media(min-width: 992px){.sd-d-lg-none{display:none !important}.sd-d-lg-inline{display:inline !important}.sd-d-lg-inline-block{display:inline-block !important}.sd-d-lg-block{display:block !important}.sd-d-lg-grid{display:grid !important}.sd-d-lg-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-lg-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}@media(min-width: 1200px){.sd-d-xl-none{display:none !important}.sd-d-xl-inline{display:inline !important}.sd-d-xl-inline-block{display:inline-block !important}.sd-d-xl-block{display:block !important}.sd-d-xl-grid{display:grid !important}.sd-d-xl-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-xl-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}.sd-align-major-start{justify-content:flex-start !important}.sd-align-major-end{justify-content:flex-end !important}.sd-align-major-center{justify-content:center !important}.sd-align-major-justify{justify-content:space-between !important}.sd-align-major-spaced{justify-content:space-evenly !important}.sd-align-minor-start{align-items:flex-start !important}.sd-align-minor-end{align-items:flex-end !important}.sd-align-minor-center{align-items:center !important}.sd-align-minor-stretch{align-items:stretch !important}.sd-text-justify{text-align:justify !important}.sd-text-left{text-align:left !important}.sd-text-right{text-align:right !important}.sd-text-center{text-align:center !important}.sd-font-weight-light{font-weight:300 !important}.sd-font-weight-lighter{font-weight:lighter !important}.sd-font-weight-normal{font-weight:400 !important}.sd-font-weight-bold{font-weight:700 !important}.sd-font-weight-bolder{font-weight:bolder !important}.sd-font-italic{font-style:italic !important}.sd-text-decoration-none{text-decoration:none !important}.sd-text-lowercase{text-transform:lowercase !important}.sd-text-uppercase{text-transform:uppercase !important}.sd-text-capitalize{text-transform:capitalize !important}.sd-text-wrap{white-space:normal !important}.sd-text-nowrap{white-space:nowrap !important}.sd-text-truncate{overflow:hidden;text-overflow:ellipsis;white-space:nowrap}.sd-fs-1,.sd-fs-1>p{font-size:calc(1.375rem + 1.5vw) !important;line-height:unset !important}.sd-fs-2,.sd-fs-2>p{font-size:calc(1.325rem + 0.9vw) !important;line-height:unset !important}.sd-fs-3,.sd-fs-3>p{font-size:calc(1.3rem + 0.6vw) !important;line-height:unset !important}.sd-fs-4,.sd-fs-4>p{font-size:calc(1.275rem + 0.3vw) !important;line-height:unset !important}.sd-fs-5,.sd-fs-5>p{font-size:1.25rem !important;line-height:unset !important}.sd-fs-6,.sd-fs-6>p{font-size:1rem !important;line-height:unset !important}.sd-border-0{border:0 solid !important}.sd-border-top-0{border-top:0 solid !important}.sd-border-bottom-0{border-bottom:0 solid !important}.sd-border-right-0{border-right:0 solid !important}.sd-border-left-0{border-left:0 solid !important}.sd-border-1{border:1px solid !important}.sd-border-top-1{border-top:1px solid !important}.sd-border-bottom-1{border-bottom:1px solid !important}.sd-border-right-1{border-right:1px solid !important}.sd-border-left-1{border-left:1px solid !important}.sd-border-2{border:2px solid !important}.sd-border-top-2{border-top:2px solid !important}.sd-border-bottom-2{border-bottom:2px solid !important}.sd-border-right-2{border-right:2px solid !important}.sd-border-left-2{border-left:2px solid !important}.sd-border-3{border:3px solid !important}.sd-border-top-3{border-top:3px solid !important}.sd-border-bottom-3{border-bottom:3px solid !important}.sd-border-right-3{border-right:3px solid !important}.sd-border-left-3{border-left:3px solid !important}.sd-border-4{border:4px solid !important}.sd-border-top-4{border-top:4px solid !important}.sd-border-bottom-4{border-bottom:4px solid !important}.sd-border-right-4{border-right:4px solid !important}.sd-border-left-4{border-left:4px solid !important}.sd-border-5{border:5px solid !important}.sd-border-top-5{border-top:5px solid !important}.sd-border-bottom-5{border-bottom:5px solid !important}.sd-border-right-5{border-right:5px solid !important}.sd-border-left-5{border-left:5px solid !important}.sd-rounded-0{border-radius:0 !important}.sd-rounded-1{border-radius:.2rem !important}.sd-rounded-2{border-radius:.3rem !important}.sd-rounded-3{border-radius:.5rem !important}.sd-rounded-pill{border-radius:50rem !important}.sd-rounded-circle{border-radius:50% !important}.shadow-none{box-shadow:none !important}.sd-shadow-sm{box-shadow:0 .125rem .25rem var(--sd-color-shadow) !important}.sd-shadow-md{box-shadow:0 .5rem 1rem var(--sd-color-shadow) !important}.sd-shadow-lg{box-shadow:0 1rem 3rem var(--sd-color-shadow) !important}@keyframes sd-slide-from-left{0%{transform:translateX(-100%)}100%{transform:translateX(0)}}@keyframes sd-slide-from-right{0%{transform:translateX(200%)}100%{transform:translateX(0)}}@keyframes sd-grow100{0%{transform:scale(0);opacity:.5}100%{transform:scale(1);opacity:1}}@keyframes sd-grow50{0%{transform:scale(0.5);opacity:.5}100%{transform:scale(1);opacity:1}}@keyframes sd-grow50-rot20{0%{transform:scale(0.5) rotateZ(-20deg);opacity:.5}75%{transform:scale(1) rotateZ(5deg);opacity:1}95%{transform:scale(1) rotateZ(-1deg);opacity:1}100%{transform:scale(1) rotateZ(0);opacity:1}}.sd-animate-slide-from-left{animation:1s ease-out 0s 1 normal none running sd-slide-from-left}.sd-animate-slide-from-right{animation:1s ease-out 0s 1 normal none running sd-slide-from-right}.sd-animate-grow100{animation:1s ease-out 0s 1 normal none running sd-grow100}.sd-animate-grow50{animation:1s ease-out 0s 1 normal none running sd-grow50}.sd-animate-grow50-rot20{animation:1s ease-out 0s 1 normal none running sd-grow50-rot20}.sd-badge{display:inline-block;padding:.35em .65em;font-size:.75em;font-weight:700;line-height:1;text-align:center;white-space:nowrap;vertical-align:baseline;border-radius:.25rem}.sd-badge:empty{display:none}a.sd-badge{text-decoration:none}.sd-btn .sd-badge{position:relative;top:-1px}.sd-btn{background-color:transparent;border:1px solid transparent;border-radius:.25rem;cursor:pointer;display:inline-block;font-weight:400;font-size:1rem;line-height:1.5;padding:.375rem .75rem;text-align:center;text-decoration:none;transition:color .15s ease-in-out,background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out;vertical-align:middle;user-select:none;-moz-user-select:none;-ms-user-select:none;-webkit-user-select:none}.sd-btn:hover{text-decoration:none}@media(prefers-reduced-motion: reduce){.sd-btn{transition:none}}.sd-btn-primary,.sd-btn-outline-primary:hover,.sd-btn-outline-primary:focus{color:var(--sd-color-primary-text) !important;background-color:var(--sd-color-primary) !important;border-color:var(--sd-color-primary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-primary:hover,.sd-btn-primary:focus{color:var(--sd-color-primary-text) !important;background-color:var(--sd-color-primary-highlight) !important;border-color:var(--sd-color-primary-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-primary{color:var(--sd-color-primary) !important;border-color:var(--sd-color-primary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-secondary,.sd-btn-outline-secondary:hover,.sd-btn-outline-secondary:focus{color:var(--sd-color-secondary-text) !important;background-color:var(--sd-color-secondary) !important;border-color:var(--sd-color-secondary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-secondary:hover,.sd-btn-secondary:focus{color:var(--sd-color-secondary-text) !important;background-color:var(--sd-color-secondary-highlight) !important;border-color:var(--sd-color-secondary-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-secondary{color:var(--sd-color-secondary) !important;border-color:var(--sd-color-secondary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-success,.sd-btn-outline-success:hover,.sd-btn-outline-success:focus{color:var(--sd-color-success-text) !important;background-color:var(--sd-color-success) !important;border-color:var(--sd-color-success) !important;border-width:1px !important;border-style:solid !important}.sd-btn-success:hover,.sd-btn-success:focus{color:var(--sd-color-success-text) !important;background-color:var(--sd-color-success-highlight) !important;border-color:var(--sd-color-success-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-success{color:var(--sd-color-success) !important;border-color:var(--sd-color-success) !important;border-width:1px !important;border-style:solid !important}.sd-btn-info,.sd-btn-outline-info:hover,.sd-btn-outline-info:focus{color:var(--sd-color-info-text) !important;background-color:var(--sd-color-info) !important;border-color:var(--sd-color-info) !important;border-width:1px !important;border-style:solid !important}.sd-btn-info:hover,.sd-btn-info:focus{color:var(--sd-color-info-text) !important;background-color:var(--sd-color-info-highlight) !important;border-color:var(--sd-color-info-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-info{color:var(--sd-color-info) !important;border-color:var(--sd-color-info) !important;border-width:1px !important;border-style:solid !important}.sd-btn-warning,.sd-btn-outline-warning:hover,.sd-btn-outline-warning:focus{color:var(--sd-color-warning-text) !important;background-color:var(--sd-color-warning) !important;border-color:var(--sd-color-warning) !important;border-width:1px !important;border-style:solid !important}.sd-btn-warning:hover,.sd-btn-warning:focus{color:var(--sd-color-warning-text) !important;background-color:var(--sd-color-warning-highlight) !important;border-color:var(--sd-color-warning-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-warning{color:var(--sd-color-warning) !important;border-color:var(--sd-color-warning) !important;border-width:1px !important;border-style:solid !important}.sd-btn-danger,.sd-btn-outline-danger:hover,.sd-btn-outline-danger:focus{color:var(--sd-color-danger-text) !important;background-color:var(--sd-color-danger) !important;border-color:var(--sd-color-danger) !important;border-width:1px !important;border-style:solid !important}.sd-btn-danger:hover,.sd-btn-danger:focus{color:var(--sd-color-danger-text) !important;background-color:var(--sd-color-danger-highlight) !important;border-color:var(--sd-color-danger-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-danger{color:var(--sd-color-danger) !important;border-color:var(--sd-color-danger) !important;border-width:1px !important;border-style:solid !important}.sd-btn-light,.sd-btn-outline-light:hover,.sd-btn-outline-light:focus{color:var(--sd-color-light-text) !important;background-color:var(--sd-color-light) !important;border-color:var(--sd-color-light) !important;border-width:1px !important;border-style:solid !important}.sd-btn-light:hover,.sd-btn-light:focus{color:var(--sd-color-light-text) !important;background-color:var(--sd-color-light-highlight) !important;border-color:var(--sd-color-light-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-light{color:var(--sd-color-light) !important;border-color:var(--sd-color-light) !important;border-width:1px !important;border-style:solid !important}.sd-btn-muted,.sd-btn-outline-muted:hover,.sd-btn-outline-muted:focus{color:var(--sd-color-muted-text) !important;background-color:var(--sd-color-muted) !important;border-color:var(--sd-color-muted) !important;border-width:1px !important;border-style:solid !important}.sd-btn-muted:hover,.sd-btn-muted:focus{color:var(--sd-color-muted-text) !important;background-color:var(--sd-color-muted-highlight) !important;border-color:var(--sd-color-muted-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-muted{color:var(--sd-color-muted) !important;border-color:var(--sd-color-muted) !important;border-width:1px !important;border-style:solid !important}.sd-btn-dark,.sd-btn-outline-dark:hover,.sd-btn-outline-dark:focus{color:var(--sd-color-dark-text) !important;background-color:var(--sd-color-dark) !important;border-color:var(--sd-color-dark) !important;border-width:1px !important;border-style:solid !important}.sd-btn-dark:hover,.sd-btn-dark:focus{color:var(--sd-color-dark-text) !important;background-color:var(--sd-color-dark-highlight) !important;border-color:var(--sd-color-dark-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-dark{color:var(--sd-color-dark) !important;border-color:var(--sd-color-dark) !important;border-width:1px !important;border-style:solid !important}.sd-btn-black,.sd-btn-outline-black:hover,.sd-btn-outline-black:focus{color:var(--sd-color-black-text) !important;background-color:var(--sd-color-black) !important;border-color:var(--sd-color-black) !important;border-width:1px !important;border-style:solid !important}.sd-btn-black:hover,.sd-btn-black:focus{color:var(--sd-color-black-text) !important;background-color:var(--sd-color-black-highlight) !important;border-color:var(--sd-color-black-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-black{color:var(--sd-color-black) !important;border-color:var(--sd-color-black) !important;border-width:1px !important;border-style:solid !important}.sd-btn-white,.sd-btn-outline-white:hover,.sd-btn-outline-white:focus{color:var(--sd-color-white-text) !important;background-color:var(--sd-color-white) !important;border-color:var(--sd-color-white) !important;border-width:1px !important;border-style:solid !important}.sd-btn-white:hover,.sd-btn-white:focus{color:var(--sd-color-white-text) !important;background-color:var(--sd-color-white-highlight) !important;border-color:var(--sd-color-white-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-white{color:var(--sd-color-white) !important;border-color:var(--sd-color-white) !important;border-width:1px !important;border-style:solid !important}.sd-stretched-link::after{position:absolute;top:0;right:0;bottom:0;left:0;z-index:1;content:""}.sd-hide-link-text{font-size:0}.sd-octicon,.sd-material-icon{display:inline-block;fill:currentColor;vertical-align:middle}.sd-avatar-xs{border-radius:50%;object-fit:cover;object-position:center;width:1rem;height:1rem}.sd-avatar-sm{border-radius:50%;object-fit:cover;object-position:center;width:3rem;height:3rem}.sd-avatar-md{border-radius:50%;object-fit:cover;object-position:center;width:5rem;height:5rem}.sd-avatar-lg{border-radius:50%;object-fit:cover;object-position:center;width:7rem;height:7rem}.sd-avatar-xl{border-radius:50%;object-fit:cover;object-position:center;width:10rem;height:10rem}.sd-avatar-inherit{border-radius:50%;object-fit:cover;object-position:center;width:inherit;height:inherit}.sd-avatar-initial{border-radius:50%;object-fit:cover;object-position:center;width:initial;height:initial}.sd-card{background-clip:border-box;background-color:var(--sd-color-card-background);border:1px solid var(--sd-color-card-border);border-radius:.25rem;color:var(--sd-color-card-text);display:-ms-flexbox;display:flex;-ms-flex-direction:column;flex-direction:column;min-width:0;position:relative;word-wrap:break-word}.sd-card>hr{margin-left:0;margin-right:0}.sd-card-hover:hover{border-color:var(--sd-color-card-border-hover);transform:scale(1.01)}.sd-card-body{-ms-flex:1 1 auto;flex:1 1 auto;padding:1rem 1rem}.sd-card-title{margin-bottom:.5rem}.sd-card-subtitle{margin-top:-0.25rem;margin-bottom:0}.sd-card-text:last-child{margin-bottom:0}.sd-card-link:hover{text-decoration:none}.sd-card-link+.card-link{margin-left:1rem}.sd-card-header{padding:.5rem 1rem;margin-bottom:0;background-color:var(--sd-color-card-header);border-bottom:1px solid var(--sd-color-card-border)}.sd-card-header:first-child{border-radius:calc(0.25rem - 1px) calc(0.25rem - 1px) 0 0}.sd-card-footer{padding:.5rem 1rem;background-color:var(--sd-color-card-footer);border-top:1px solid var(--sd-color-card-border)}.sd-card-footer:last-child{border-radius:0 0 calc(0.25rem - 1px) calc(0.25rem - 1px)}.sd-card-header-tabs{margin-right:-0.5rem;margin-bottom:-0.5rem;margin-left:-0.5rem;border-bottom:0}.sd-card-header-pills{margin-right:-0.5rem;margin-left:-0.5rem}.sd-card-img-overlay{position:absolute;top:0;right:0;bottom:0;left:0;padding:1rem;border-radius:calc(0.25rem - 1px)}.sd-card-img,.sd-card-img-bottom,.sd-card-img-top{width:100%}.sd-card-img,.sd-card-img-top{border-top-left-radius:calc(0.25rem - 1px);border-top-right-radius:calc(0.25rem - 1px)}.sd-card-img,.sd-card-img-bottom{border-bottom-left-radius:calc(0.25rem - 1px);border-bottom-right-radius:calc(0.25rem - 1px)}.sd-cards-carousel{width:100%;display:flex;flex-wrap:nowrap;-ms-flex-direction:row;flex-direction:row;overflow-x:hidden;scroll-snap-type:x mandatory}.sd-cards-carousel.sd-show-scrollbar{overflow-x:auto}.sd-cards-carousel:hover,.sd-cards-carousel:focus{overflow-x:auto}.sd-cards-carousel>.sd-card{flex-shrink:0;scroll-snap-align:start}.sd-cards-carousel>.sd-card:not(:last-child){margin-right:3px}.sd-card-cols-1>.sd-card{width:90%}.sd-card-cols-2>.sd-card{width:45%}.sd-card-cols-3>.sd-card{width:30%}.sd-card-cols-4>.sd-card{width:22.5%}.sd-card-cols-5>.sd-card{width:18%}.sd-card-cols-6>.sd-card{width:15%}.sd-card-cols-7>.sd-card{width:12.8571428571%}.sd-card-cols-8>.sd-card{width:11.25%}.sd-card-cols-9>.sd-card{width:10%}.sd-card-cols-10>.sd-card{width:9%}.sd-card-cols-11>.sd-card{width:8.1818181818%}.sd-card-cols-12>.sd-card{width:7.5%}.sd-container,.sd-container-fluid,.sd-container-lg,.sd-container-md,.sd-container-sm,.sd-container-xl{margin-left:auto;margin-right:auto;padding-left:var(--sd-gutter-x, 0.75rem);padding-right:var(--sd-gutter-x, 0.75rem);width:100%}@media(min-width: 576px){.sd-container-sm,.sd-container{max-width:540px}}@media(min-width: 768px){.sd-container-md,.sd-container-sm,.sd-container{max-width:720px}}@media(min-width: 992px){.sd-container-lg,.sd-container-md,.sd-container-sm,.sd-container{max-width:960px}}@media(min-width: 1200px){.sd-container-xl,.sd-container-lg,.sd-container-md,.sd-container-sm,.sd-container{max-width:1140px}}.sd-row{--sd-gutter-x: 1.5rem;--sd-gutter-y: 0;display:-ms-flexbox;display:flex;-ms-flex-wrap:wrap;flex-wrap:wrap;margin-top:calc(var(--sd-gutter-y) * -1);margin-right:calc(var(--sd-gutter-x) * -0.5);margin-left:calc(var(--sd-gutter-x) * -0.5)}.sd-row>*{box-sizing:border-box;flex-shrink:0;width:100%;max-width:100%;padding-right:calc(var(--sd-gutter-x) * 0.5);padding-left:calc(var(--sd-gutter-x) * 0.5);margin-top:var(--sd-gutter-y)}.sd-col{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-auto>*{flex:0 0 auto;width:auto}.sd-row-cols-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}@media(min-width: 576px){.sd-col-sm{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-sm-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-sm-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-sm-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-sm-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-sm-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-sm-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-sm-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-sm-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-sm-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-sm-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-sm-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-sm-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-sm-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}@media(min-width: 768px){.sd-col-md{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-md-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-md-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-md-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-md-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-md-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-md-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-md-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-md-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-md-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-md-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-md-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-md-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-md-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}@media(min-width: 992px){.sd-col-lg{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-lg-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-lg-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-lg-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-lg-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-lg-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-lg-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-lg-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-lg-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-lg-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-lg-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-lg-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-lg-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-lg-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}@media(min-width: 1200px){.sd-col-xl{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-xl-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-xl-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-xl-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-xl-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-xl-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-xl-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-xl-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-xl-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-xl-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-xl-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-xl-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-xl-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-xl-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}.sd-col-auto{flex:0 0 auto;-ms-flex:0 0 auto;width:auto}.sd-col-1{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}.sd-col-2{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-col-3{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-col-4{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-col-5{flex:0 0 auto;-ms-flex:0 0 auto;width:41.6666666667%}.sd-col-6{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-col-7{flex:0 0 auto;-ms-flex:0 0 auto;width:58.3333333333%}.sd-col-8{flex:0 0 auto;-ms-flex:0 0 auto;width:66.6666666667%}.sd-col-9{flex:0 0 auto;-ms-flex:0 0 auto;width:75%}.sd-col-10{flex:0 0 auto;-ms-flex:0 0 auto;width:83.3333333333%}.sd-col-11{flex:0 0 auto;-ms-flex:0 0 auto;width:91.6666666667%}.sd-col-12{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-g-0,.sd-gy-0{--sd-gutter-y: 0}.sd-g-0,.sd-gx-0{--sd-gutter-x: 0}.sd-g-1,.sd-gy-1{--sd-gutter-y: 0.25rem}.sd-g-1,.sd-gx-1{--sd-gutter-x: 0.25rem}.sd-g-2,.sd-gy-2{--sd-gutter-y: 0.5rem}.sd-g-2,.sd-gx-2{--sd-gutter-x: 0.5rem}.sd-g-3,.sd-gy-3{--sd-gutter-y: 1rem}.sd-g-3,.sd-gx-3{--sd-gutter-x: 1rem}.sd-g-4,.sd-gy-4{--sd-gutter-y: 1.5rem}.sd-g-4,.sd-gx-4{--sd-gutter-x: 1.5rem}.sd-g-5,.sd-gy-5{--sd-gutter-y: 3rem}.sd-g-5,.sd-gx-5{--sd-gutter-x: 3rem}@media(min-width: 576px){.sd-col-sm-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-sm-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-sm-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-sm-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-sm-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-sm-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-sm-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-sm-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-sm-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-sm-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-sm-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-sm-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-sm-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-sm-0,.sd-gy-sm-0{--sd-gutter-y: 0}.sd-g-sm-0,.sd-gx-sm-0{--sd-gutter-x: 0}.sd-g-sm-1,.sd-gy-sm-1{--sd-gutter-y: 0.25rem}.sd-g-sm-1,.sd-gx-sm-1{--sd-gutter-x: 0.25rem}.sd-g-sm-2,.sd-gy-sm-2{--sd-gutter-y: 0.5rem}.sd-g-sm-2,.sd-gx-sm-2{--sd-gutter-x: 0.5rem}.sd-g-sm-3,.sd-gy-sm-3{--sd-gutter-y: 1rem}.sd-g-sm-3,.sd-gx-sm-3{--sd-gutter-x: 1rem}.sd-g-sm-4,.sd-gy-sm-4{--sd-gutter-y: 1.5rem}.sd-g-sm-4,.sd-gx-sm-4{--sd-gutter-x: 1.5rem}.sd-g-sm-5,.sd-gy-sm-5{--sd-gutter-y: 3rem}.sd-g-sm-5,.sd-gx-sm-5{--sd-gutter-x: 3rem}}@media(min-width: 768px){.sd-col-md-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-md-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-md-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-md-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-md-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-md-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-md-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-md-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-md-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-md-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-md-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-md-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-md-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-md-0,.sd-gy-md-0{--sd-gutter-y: 0}.sd-g-md-0,.sd-gx-md-0{--sd-gutter-x: 0}.sd-g-md-1,.sd-gy-md-1{--sd-gutter-y: 0.25rem}.sd-g-md-1,.sd-gx-md-1{--sd-gutter-x: 0.25rem}.sd-g-md-2,.sd-gy-md-2{--sd-gutter-y: 0.5rem}.sd-g-md-2,.sd-gx-md-2{--sd-gutter-x: 0.5rem}.sd-g-md-3,.sd-gy-md-3{--sd-gutter-y: 1rem}.sd-g-md-3,.sd-gx-md-3{--sd-gutter-x: 1rem}.sd-g-md-4,.sd-gy-md-4{--sd-gutter-y: 1.5rem}.sd-g-md-4,.sd-gx-md-4{--sd-gutter-x: 1.5rem}.sd-g-md-5,.sd-gy-md-5{--sd-gutter-y: 3rem}.sd-g-md-5,.sd-gx-md-5{--sd-gutter-x: 3rem}}@media(min-width: 992px){.sd-col-lg-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-lg-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-lg-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-lg-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-lg-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-lg-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-lg-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-lg-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-lg-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-lg-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-lg-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-lg-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-lg-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-lg-0,.sd-gy-lg-0{--sd-gutter-y: 0}.sd-g-lg-0,.sd-gx-lg-0{--sd-gutter-x: 0}.sd-g-lg-1,.sd-gy-lg-1{--sd-gutter-y: 0.25rem}.sd-g-lg-1,.sd-gx-lg-1{--sd-gutter-x: 0.25rem}.sd-g-lg-2,.sd-gy-lg-2{--sd-gutter-y: 0.5rem}.sd-g-lg-2,.sd-gx-lg-2{--sd-gutter-x: 0.5rem}.sd-g-lg-3,.sd-gy-lg-3{--sd-gutter-y: 1rem}.sd-g-lg-3,.sd-gx-lg-3{--sd-gutter-x: 1rem}.sd-g-lg-4,.sd-gy-lg-4{--sd-gutter-y: 1.5rem}.sd-g-lg-4,.sd-gx-lg-4{--sd-gutter-x: 1.5rem}.sd-g-lg-5,.sd-gy-lg-5{--sd-gutter-y: 3rem}.sd-g-lg-5,.sd-gx-lg-5{--sd-gutter-x: 3rem}}@media(min-width: 1200px){.sd-col-xl-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-xl-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-xl-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-xl-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-xl-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-xl-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-xl-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-xl-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-xl-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-xl-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-xl-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-xl-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-xl-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-xl-0,.sd-gy-xl-0{--sd-gutter-y: 0}.sd-g-xl-0,.sd-gx-xl-0{--sd-gutter-x: 0}.sd-g-xl-1,.sd-gy-xl-1{--sd-gutter-y: 0.25rem}.sd-g-xl-1,.sd-gx-xl-1{--sd-gutter-x: 0.25rem}.sd-g-xl-2,.sd-gy-xl-2{--sd-gutter-y: 0.5rem}.sd-g-xl-2,.sd-gx-xl-2{--sd-gutter-x: 0.5rem}.sd-g-xl-3,.sd-gy-xl-3{--sd-gutter-y: 1rem}.sd-g-xl-3,.sd-gx-xl-3{--sd-gutter-x: 1rem}.sd-g-xl-4,.sd-gy-xl-4{--sd-gutter-y: 1.5rem}.sd-g-xl-4,.sd-gx-xl-4{--sd-gutter-x: 1.5rem}.sd-g-xl-5,.sd-gy-xl-5{--sd-gutter-y: 3rem}.sd-g-xl-5,.sd-gx-xl-5{--sd-gutter-x: 3rem}}.sd-flex-row-reverse{flex-direction:row-reverse !important}details.sd-dropdown{position:relative}details.sd-dropdown .sd-summary-title{font-weight:700;padding-right:3em !important;-moz-user-select:none;-ms-user-select:none;-webkit-user-select:none;user-select:none}details.sd-dropdown:hover{cursor:pointer}details.sd-dropdown .sd-summary-content{cursor:default}details.sd-dropdown summary{list-style:none;padding:1em}details.sd-dropdown summary .sd-octicon.no-title{vertical-align:middle}details.sd-dropdown[open] summary .sd-octicon.no-title{visibility:hidden}details.sd-dropdown summary::-webkit-details-marker{display:none}details.sd-dropdown summary:focus{outline:none}details.sd-dropdown .sd-summary-icon{margin-right:.5em}details.sd-dropdown .sd-summary-icon svg{opacity:.8}details.sd-dropdown summary:hover .sd-summary-up svg,details.sd-dropdown summary:hover .sd-summary-down svg{opacity:1;transform:scale(1.1)}details.sd-dropdown .sd-summary-up svg,details.sd-dropdown .sd-summary-down svg{display:block;opacity:.6}details.sd-dropdown .sd-summary-up,details.sd-dropdown .sd-summary-down{pointer-events:none;position:absolute;right:1em;top:1em}details.sd-dropdown[open]>.sd-summary-title .sd-summary-down{visibility:hidden}details.sd-dropdown:not([open])>.sd-summary-title .sd-summary-up{visibility:hidden}details.sd-dropdown:not([open]).sd-card{border:none}details.sd-dropdown:not([open])>.sd-card-header{border:1px solid var(--sd-color-card-border);border-radius:.25rem}details.sd-dropdown.sd-fade-in[open] summary~*{-moz-animation:sd-fade-in .5s ease-in-out;-webkit-animation:sd-fade-in .5s ease-in-out;animation:sd-fade-in .5s ease-in-out}details.sd-dropdown.sd-fade-in-slide-down[open] summary~*{-moz-animation:sd-fade-in .5s ease-in-out,sd-slide-down .5s ease-in-out;-webkit-animation:sd-fade-in .5s ease-in-out,sd-slide-down .5s ease-in-out;animation:sd-fade-in .5s ease-in-out,sd-slide-down .5s ease-in-out}.sd-col>.sd-dropdown{width:100%}.sd-summary-content>.sd-tab-set:first-child{margin-top:0}@keyframes sd-fade-in{0%{opacity:0}100%{opacity:1}}@keyframes sd-slide-down{0%{transform:translate(0, -10px)}100%{transform:translate(0, 0)}}.sd-tab-set{border-radius:.125rem;display:flex;flex-wrap:wrap;margin:1em 0;position:relative}.sd-tab-set>input{opacity:0;position:absolute}.sd-tab-set>input:checked+label{border-color:var(--sd-color-tabs-underline-active);color:var(--sd-color-tabs-label-active)}.sd-tab-set>input:checked+label+.sd-tab-content{display:block}.sd-tab-set>input:not(:checked)+label:hover{color:var(--sd-color-tabs-label-hover);border-color:var(--sd-color-tabs-underline-hover)}.sd-tab-set>input:focus+label{outline-style:auto}.sd-tab-set>input:not(.focus-visible)+label{outline:none;-webkit-tap-highlight-color:transparent}.sd-tab-set>label{border-bottom:.125rem solid transparent;margin-bottom:0;color:var(--sd-color-tabs-label-inactive);border-color:var(--sd-color-tabs-underline-inactive);cursor:pointer;font-size:var(--sd-fontsize-tabs-label);font-weight:700;padding:1em 1.25em .5em;transition:color 250ms;width:auto;z-index:1}html .sd-tab-set>label:hover{color:var(--sd-color-tabs-label-active)}.sd-col>.sd-tab-set{width:100%}.sd-tab-content{box-shadow:0 -0.0625rem var(--sd-color-tabs-overline),0 .0625rem var(--sd-color-tabs-underline);display:none;order:99;padding-bottom:.75rem;padding-top:.75rem;width:100%}.sd-tab-content>:first-child{margin-top:0 !important}.sd-tab-content>:last-child{margin-bottom:0 !important}.sd-tab-content>.sd-tab-set{margin:0}.sd-sphinx-override,.sd-sphinx-override *{-moz-box-sizing:border-box;-webkit-box-sizing:border-box;box-sizing:border-box}.sd-sphinx-override p{margin-top:0}:root{--sd-color-primary: #007bff;--sd-color-secondary: #6c757d;--sd-color-success: #28a745;--sd-color-info: #17a2b8;--sd-color-warning: #f0b37e;--sd-color-danger: #dc3545;--sd-color-light: #f8f9fa;--sd-color-muted: #6c757d;--sd-color-dark: #212529;--sd-color-black: black;--sd-color-white: white;--sd-color-primary-highlight: #0069d9;--sd-color-secondary-highlight: #5c636a;--sd-color-success-highlight: #228e3b;--sd-color-info-highlight: #148a9c;--sd-color-warning-highlight: #cc986b;--sd-color-danger-highlight: #bb2d3b;--sd-color-light-highlight: #d3d4d5;--sd-color-muted-highlight: #5c636a;--sd-color-dark-highlight: #1c1f23;--sd-color-black-highlight: black;--sd-color-white-highlight: #d9d9d9;--sd-color-primary-text: #fff;--sd-color-secondary-text: #fff;--sd-color-success-text: #fff;--sd-color-info-text: #fff;--sd-color-warning-text: #212529;--sd-color-danger-text: #fff;--sd-color-light-text: #212529;--sd-color-muted-text: #fff;--sd-color-dark-text: #fff;--sd-color-black-text: #fff;--sd-color-white-text: #212529;--sd-color-shadow: rgba(0, 0, 0, 0.15);--sd-color-card-border: rgba(0, 0, 0, 0.125);--sd-color-card-border-hover: hsla(231, 99%, 66%, 1);--sd-color-card-background: transparent;--sd-color-card-text: inherit;--sd-color-card-header: transparent;--sd-color-card-footer: transparent;--sd-color-tabs-label-active: hsla(231, 99%, 66%, 1);--sd-color-tabs-label-hover: hsla(231, 99%, 66%, 1);--sd-color-tabs-label-inactive: hsl(0, 0%, 66%);--sd-color-tabs-underline-active: hsla(231, 99%, 66%, 1);--sd-color-tabs-underline-hover: rgba(178, 206, 245, 0.62);--sd-color-tabs-underline-inactive: transparent;--sd-color-tabs-overline: rgb(222, 222, 222);--sd-color-tabs-underline: rgb(222, 222, 222);--sd-fontsize-tabs-label: 1rem}
+.sd-bg-primary{background-color:var(--sd-color-primary) !important}.sd-bg-text-primary{color:var(--sd-color-primary-text) !important}button.sd-bg-primary:focus,button.sd-bg-primary:hover{background-color:var(--sd-color-primary-highlight) !important}a.sd-bg-primary:focus,a.sd-bg-primary:hover{background-color:var(--sd-color-primary-highlight) !important}.sd-bg-secondary{background-color:var(--sd-color-secondary) !important}.sd-bg-text-secondary{color:var(--sd-color-secondary-text) !important}button.sd-bg-secondary:focus,button.sd-bg-secondary:hover{background-color:var(--sd-color-secondary-highlight) !important}a.sd-bg-secondary:focus,a.sd-bg-secondary:hover{background-color:var(--sd-color-secondary-highlight) !important}.sd-bg-success{background-color:var(--sd-color-success) !important}.sd-bg-text-success{color:var(--sd-color-success-text) !important}button.sd-bg-success:focus,button.sd-bg-success:hover{background-color:var(--sd-color-success-highlight) !important}a.sd-bg-success:focus,a.sd-bg-success:hover{background-color:var(--sd-color-success-highlight) !important}.sd-bg-info{background-color:var(--sd-color-info) !important}.sd-bg-text-info{color:var(--sd-color-info-text) !important}button.sd-bg-info:focus,button.sd-bg-info:hover{background-color:var(--sd-color-info-highlight) !important}a.sd-bg-info:focus,a.sd-bg-info:hover{background-color:var(--sd-color-info-highlight) !important}.sd-bg-warning{background-color:var(--sd-color-warning) !important}.sd-bg-text-warning{color:var(--sd-color-warning-text) !important}button.sd-bg-warning:focus,button.sd-bg-warning:hover{background-color:var(--sd-color-warning-highlight) !important}a.sd-bg-warning:focus,a.sd-bg-warning:hover{background-color:var(--sd-color-warning-highlight) !important}.sd-bg-danger{background-color:var(--sd-color-danger) !important}.sd-bg-text-danger{color:var(--sd-color-danger-text) !important}button.sd-bg-danger:focus,button.sd-bg-danger:hover{background-color:var(--sd-color-danger-highlight) !important}a.sd-bg-danger:focus,a.sd-bg-danger:hover{background-color:var(--sd-color-danger-highlight) !important}.sd-bg-light{background-color:var(--sd-color-light) !important}.sd-bg-text-light{color:var(--sd-color-light-text) !important}button.sd-bg-light:focus,button.sd-bg-light:hover{background-color:var(--sd-color-light-highlight) !important}a.sd-bg-light:focus,a.sd-bg-light:hover{background-color:var(--sd-color-light-highlight) !important}.sd-bg-muted{background-color:var(--sd-color-muted) !important}.sd-bg-text-muted{color:var(--sd-color-muted-text) !important}button.sd-bg-muted:focus,button.sd-bg-muted:hover{background-color:var(--sd-color-muted-highlight) !important}a.sd-bg-muted:focus,a.sd-bg-muted:hover{background-color:var(--sd-color-muted-highlight) !important}.sd-bg-dark{background-color:var(--sd-color-dark) !important}.sd-bg-text-dark{color:var(--sd-color-dark-text) !important}button.sd-bg-dark:focus,button.sd-bg-dark:hover{background-color:var(--sd-color-dark-highlight) !important}a.sd-bg-dark:focus,a.sd-bg-dark:hover{background-color:var(--sd-color-dark-highlight) !important}.sd-bg-black{background-color:var(--sd-color-black) !important}.sd-bg-text-black{color:var(--sd-color-black-text) !important}button.sd-bg-black:focus,button.sd-bg-black:hover{background-color:var(--sd-color-black-highlight) !important}a.sd-bg-black:focus,a.sd-bg-black:hover{background-color:var(--sd-color-black-highlight) !important}.sd-bg-white{background-color:var(--sd-color-white) !important}.sd-bg-text-white{color:var(--sd-color-white-text) !important}button.sd-bg-white:focus,button.sd-bg-white:hover{background-color:var(--sd-color-white-highlight) !important}a.sd-bg-white:focus,a.sd-bg-white:hover{background-color:var(--sd-color-white-highlight) !important}.sd-text-primary,.sd-text-primary>p{color:var(--sd-color-primary) !important}a.sd-text-primary:focus,a.sd-text-primary:hover{color:var(--sd-color-primary-highlight) !important}.sd-text-secondary,.sd-text-secondary>p{color:var(--sd-color-secondary) !important}a.sd-text-secondary:focus,a.sd-text-secondary:hover{color:var(--sd-color-secondary-highlight) !important}.sd-text-success,.sd-text-success>p{color:var(--sd-color-success) !important}a.sd-text-success:focus,a.sd-text-success:hover{color:var(--sd-color-success-highlight) !important}.sd-text-info,.sd-text-info>p{color:var(--sd-color-info) !important}a.sd-text-info:focus,a.sd-text-info:hover{color:var(--sd-color-info-highlight) !important}.sd-text-warning,.sd-text-warning>p{color:var(--sd-color-warning) !important}a.sd-text-warning:focus,a.sd-text-warning:hover{color:var(--sd-color-warning-highlight) !important}.sd-text-danger,.sd-text-danger>p{color:var(--sd-color-danger) !important}a.sd-text-danger:focus,a.sd-text-danger:hover{color:var(--sd-color-danger-highlight) !important}.sd-text-light,.sd-text-light>p{color:var(--sd-color-light) !important}a.sd-text-light:focus,a.sd-text-light:hover{color:var(--sd-color-light-highlight) !important}.sd-text-muted,.sd-text-muted>p{color:var(--sd-color-muted) !important}a.sd-text-muted:focus,a.sd-text-muted:hover{color:var(--sd-color-muted-highlight) !important}.sd-text-dark,.sd-text-dark>p{color:var(--sd-color-dark) !important}a.sd-text-dark:focus,a.sd-text-dark:hover{color:var(--sd-color-dark-highlight) !important}.sd-text-black,.sd-text-black>p{color:var(--sd-color-black) !important}a.sd-text-black:focus,a.sd-text-black:hover{color:var(--sd-color-black-highlight) !important}.sd-text-white,.sd-text-white>p{color:var(--sd-color-white) !important}a.sd-text-white:focus,a.sd-text-white:hover{color:var(--sd-color-white-highlight) !important}.sd-outline-primary{border-color:var(--sd-color-primary) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-primary:focus,a.sd-outline-primary:hover{border-color:var(--sd-color-primary-highlight) !important}.sd-outline-secondary{border-color:var(--sd-color-secondary) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-secondary:focus,a.sd-outline-secondary:hover{border-color:var(--sd-color-secondary-highlight) !important}.sd-outline-success{border-color:var(--sd-color-success) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-success:focus,a.sd-outline-success:hover{border-color:var(--sd-color-success-highlight) !important}.sd-outline-info{border-color:var(--sd-color-info) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-info:focus,a.sd-outline-info:hover{border-color:var(--sd-color-info-highlight) !important}.sd-outline-warning{border-color:var(--sd-color-warning) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-warning:focus,a.sd-outline-warning:hover{border-color:var(--sd-color-warning-highlight) !important}.sd-outline-danger{border-color:var(--sd-color-danger) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-danger:focus,a.sd-outline-danger:hover{border-color:var(--sd-color-danger-highlight) !important}.sd-outline-light{border-color:var(--sd-color-light) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-light:focus,a.sd-outline-light:hover{border-color:var(--sd-color-light-highlight) !important}.sd-outline-muted{border-color:var(--sd-color-muted) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-muted:focus,a.sd-outline-muted:hover{border-color:var(--sd-color-muted-highlight) !important}.sd-outline-dark{border-color:var(--sd-color-dark) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-dark:focus,a.sd-outline-dark:hover{border-color:var(--sd-color-dark-highlight) !important}.sd-outline-black{border-color:var(--sd-color-black) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-black:focus,a.sd-outline-black:hover{border-color:var(--sd-color-black-highlight) !important}.sd-outline-white{border-color:var(--sd-color-white) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-white:focus,a.sd-outline-white:hover{border-color:var(--sd-color-white-highlight) !important}.sd-bg-transparent{background-color:transparent !important}.sd-outline-transparent{border-color:transparent !important}.sd-text-transparent{color:transparent !important}.sd-p-0{padding:0 !important}.sd-pt-0,.sd-py-0{padding-top:0 !important}.sd-pr-0,.sd-px-0{padding-right:0 !important}.sd-pb-0,.sd-py-0{padding-bottom:0 !important}.sd-pl-0,.sd-px-0{padding-left:0 !important}.sd-p-1{padding:.25rem !important}.sd-pt-1,.sd-py-1{padding-top:.25rem !important}.sd-pr-1,.sd-px-1{padding-right:.25rem !important}.sd-pb-1,.sd-py-1{padding-bottom:.25rem !important}.sd-pl-1,.sd-px-1{padding-left:.25rem !important}.sd-p-2{padding:.5rem !important}.sd-pt-2,.sd-py-2{padding-top:.5rem !important}.sd-pr-2,.sd-px-2{padding-right:.5rem !important}.sd-pb-2,.sd-py-2{padding-bottom:.5rem !important}.sd-pl-2,.sd-px-2{padding-left:.5rem !important}.sd-p-3{padding:1rem !important}.sd-pt-3,.sd-py-3{padding-top:1rem !important}.sd-pr-3,.sd-px-3{padding-right:1rem !important}.sd-pb-3,.sd-py-3{padding-bottom:1rem !important}.sd-pl-3,.sd-px-3{padding-left:1rem !important}.sd-p-4{padding:1.5rem !important}.sd-pt-4,.sd-py-4{padding-top:1.5rem !important}.sd-pr-4,.sd-px-4{padding-right:1.5rem !important}.sd-pb-4,.sd-py-4{padding-bottom:1.5rem !important}.sd-pl-4,.sd-px-4{padding-left:1.5rem !important}.sd-p-5{padding:3rem !important}.sd-pt-5,.sd-py-5{padding-top:3rem !important}.sd-pr-5,.sd-px-5{padding-right:3rem !important}.sd-pb-5,.sd-py-5{padding-bottom:3rem !important}.sd-pl-5,.sd-px-5{padding-left:3rem !important}.sd-m-auto{margin:auto !important}.sd-mt-auto,.sd-my-auto{margin-top:auto !important}.sd-mr-auto,.sd-mx-auto{margin-right:auto !important}.sd-mb-auto,.sd-my-auto{margin-bottom:auto !important}.sd-ml-auto,.sd-mx-auto{margin-left:auto !important}.sd-m-0{margin:0 !important}.sd-mt-0,.sd-my-0{margin-top:0 !important}.sd-mr-0,.sd-mx-0{margin-right:0 !important}.sd-mb-0,.sd-my-0{margin-bottom:0 !important}.sd-ml-0,.sd-mx-0{margin-left:0 !important}.sd-m-1{margin:.25rem !important}.sd-mt-1,.sd-my-1{margin-top:.25rem !important}.sd-mr-1,.sd-mx-1{margin-right:.25rem !important}.sd-mb-1,.sd-my-1{margin-bottom:.25rem !important}.sd-ml-1,.sd-mx-1{margin-left:.25rem !important}.sd-m-2{margin:.5rem !important}.sd-mt-2,.sd-my-2{margin-top:.5rem !important}.sd-mr-2,.sd-mx-2{margin-right:.5rem !important}.sd-mb-2,.sd-my-2{margin-bottom:.5rem !important}.sd-ml-2,.sd-mx-2{margin-left:.5rem !important}.sd-m-3{margin:1rem !important}.sd-mt-3,.sd-my-3{margin-top:1rem !important}.sd-mr-3,.sd-mx-3{margin-right:1rem !important}.sd-mb-3,.sd-my-3{margin-bottom:1rem !important}.sd-ml-3,.sd-mx-3{margin-left:1rem !important}.sd-m-4{margin:1.5rem !important}.sd-mt-4,.sd-my-4{margin-top:1.5rem !important}.sd-mr-4,.sd-mx-4{margin-right:1.5rem !important}.sd-mb-4,.sd-my-4{margin-bottom:1.5rem !important}.sd-ml-4,.sd-mx-4{margin-left:1.5rem !important}.sd-m-5{margin:3rem !important}.sd-mt-5,.sd-my-5{margin-top:3rem !important}.sd-mr-5,.sd-mx-5{margin-right:3rem !important}.sd-mb-5,.sd-my-5{margin-bottom:3rem !important}.sd-ml-5,.sd-mx-5{margin-left:3rem !important}.sd-w-25{width:25% !important}.sd-w-50{width:50% !important}.sd-w-75{width:75% !important}.sd-w-100{width:100% !important}.sd-w-auto{width:auto !important}.sd-h-25{height:25% !important}.sd-h-50{height:50% !important}.sd-h-75{height:75% !important}.sd-h-100{height:100% !important}.sd-h-auto{height:auto !important}.sd-d-none{display:none !important}.sd-d-inline{display:inline !important}.sd-d-inline-block{display:inline-block !important}.sd-d-block{display:block !important}.sd-d-grid{display:grid !important}.sd-d-flex-row{display:-ms-flexbox !important;display:flex !important;flex-direction:row !important}.sd-d-flex-column{display:-ms-flexbox !important;display:flex !important;flex-direction:column !important}.sd-d-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}@media(min-width: 576px){.sd-d-sm-none{display:none !important}.sd-d-sm-inline{display:inline !important}.sd-d-sm-inline-block{display:inline-block !important}.sd-d-sm-block{display:block !important}.sd-d-sm-grid{display:grid !important}.sd-d-sm-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-sm-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}@media(min-width: 768px){.sd-d-md-none{display:none !important}.sd-d-md-inline{display:inline !important}.sd-d-md-inline-block{display:inline-block !important}.sd-d-md-block{display:block !important}.sd-d-md-grid{display:grid !important}.sd-d-md-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-md-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}@media(min-width: 992px){.sd-d-lg-none{display:none !important}.sd-d-lg-inline{display:inline !important}.sd-d-lg-inline-block{display:inline-block !important}.sd-d-lg-block{display:block !important}.sd-d-lg-grid{display:grid !important}.sd-d-lg-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-lg-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}@media(min-width: 1200px){.sd-d-xl-none{display:none !important}.sd-d-xl-inline{display:inline !important}.sd-d-xl-inline-block{display:inline-block !important}.sd-d-xl-block{display:block !important}.sd-d-xl-grid{display:grid !important}.sd-d-xl-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-xl-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}.sd-align-major-start{justify-content:flex-start !important}.sd-align-major-end{justify-content:flex-end !important}.sd-align-major-center{justify-content:center !important}.sd-align-major-justify{justify-content:space-between !important}.sd-align-major-spaced{justify-content:space-evenly !important}.sd-align-minor-start{align-items:flex-start !important}.sd-align-minor-end{align-items:flex-end !important}.sd-align-minor-center{align-items:center !important}.sd-align-minor-stretch{align-items:stretch !important}.sd-text-justify{text-align:justify !important}.sd-text-left{text-align:left !important}.sd-text-right{text-align:right !important}.sd-text-center{text-align:center !important}.sd-font-weight-light{font-weight:300 !important}.sd-font-weight-lighter{font-weight:lighter !important}.sd-font-weight-normal{font-weight:400 !important}.sd-font-weight-bold{font-weight:700 !important}.sd-font-weight-bolder{font-weight:bolder !important}.sd-font-italic{font-style:italic !important}.sd-text-decoration-none{text-decoration:none !important}.sd-text-lowercase{text-transform:lowercase !important}.sd-text-uppercase{text-transform:uppercase !important}.sd-text-capitalize{text-transform:capitalize !important}.sd-text-wrap{white-space:normal !important}.sd-text-nowrap{white-space:nowrap !important}.sd-text-truncate{overflow:hidden;text-overflow:ellipsis;white-space:nowrap}.sd-fs-1,.sd-fs-1>p{font-size:calc(1.375rem + 1.5vw) !important;line-height:unset !important}.sd-fs-2,.sd-fs-2>p{font-size:calc(1.325rem + 0.9vw) !important;line-height:unset !important}.sd-fs-3,.sd-fs-3>p{font-size:calc(1.3rem + 0.6vw) !important;line-height:unset !important}.sd-fs-4,.sd-fs-4>p{font-size:calc(1.275rem + 0.3vw) !important;line-height:unset !important}.sd-fs-5,.sd-fs-5>p{font-size:1.25rem !important;line-height:unset !important}.sd-fs-6,.sd-fs-6>p{font-size:1rem !important;line-height:unset !important}.sd-border-0{border:0 solid !important}.sd-border-top-0{border-top:0 solid !important}.sd-border-bottom-0{border-bottom:0 solid !important}.sd-border-right-0{border-right:0 solid !important}.sd-border-left-0{border-left:0 solid !important}.sd-border-1{border:1px solid !important}.sd-border-top-1{border-top:1px solid !important}.sd-border-bottom-1{border-bottom:1px solid !important}.sd-border-right-1{border-right:1px solid !important}.sd-border-left-1{border-left:1px solid !important}.sd-border-2{border:2px solid !important}.sd-border-top-2{border-top:2px solid !important}.sd-border-bottom-2{border-bottom:2px solid !important}.sd-border-right-2{border-right:2px solid !important}.sd-border-left-2{border-left:2px solid !important}.sd-border-3{border:3px solid !important}.sd-border-top-3{border-top:3px solid !important}.sd-border-bottom-3{border-bottom:3px solid !important}.sd-border-right-3{border-right:3px solid !important}.sd-border-left-3{border-left:3px solid !important}.sd-border-4{border:4px solid !important}.sd-border-top-4{border-top:4px solid !important}.sd-border-bottom-4{border-bottom:4px solid !important}.sd-border-right-4{border-right:4px solid !important}.sd-border-left-4{border-left:4px solid !important}.sd-border-5{border:5px solid !important}.sd-border-top-5{border-top:5px solid !important}.sd-border-bottom-5{border-bottom:5px solid !important}.sd-border-right-5{border-right:5px solid !important}.sd-border-left-5{border-left:5px solid !important}.sd-rounded-0{border-radius:0 !important}.sd-rounded-1{border-radius:.2rem !important}.sd-rounded-2{border-radius:.3rem !important}.sd-rounded-3{border-radius:.5rem !important}.sd-rounded-pill{border-radius:50rem !important}.sd-rounded-circle{border-radius:50% !important}.shadow-none{box-shadow:none !important}.sd-shadow-sm{box-shadow:0 .125rem .25rem var(--sd-color-shadow) !important}.sd-shadow-md{box-shadow:0 .5rem 1rem var(--sd-color-shadow) !important}.sd-shadow-lg{box-shadow:0 1rem 3rem var(--sd-color-shadow) !important}@keyframes sd-slide-from-left{0%{transform:translateX(-100%)}100%{transform:translateX(0)}}@keyframes sd-slide-from-right{0%{transform:translateX(200%)}100%{transform:translateX(0)}}@keyframes sd-grow100{0%{transform:scale(0);opacity:.5}100%{transform:scale(1);opacity:1}}@keyframes sd-grow50{0%{transform:scale(0.5);opacity:.5}100%{transform:scale(1);opacity:1}}@keyframes sd-grow50-rot20{0%{transform:scale(0.5) rotateZ(-20deg);opacity:.5}75%{transform:scale(1) rotateZ(5deg);opacity:1}95%{transform:scale(1) rotateZ(-1deg);opacity:1}100%{transform:scale(1) rotateZ(0);opacity:1}}.sd-animate-slide-from-left{animation:1s ease-out 0s 1 normal none running sd-slide-from-left}.sd-animate-slide-from-right{animation:1s ease-out 0s 1 normal none running sd-slide-from-right}.sd-animate-grow100{animation:1s ease-out 0s 1 normal none running sd-grow100}.sd-animate-grow50{animation:1s ease-out 0s 1 normal none running sd-grow50}.sd-animate-grow50-rot20{animation:1s ease-out 0s 1 normal none running sd-grow50-rot20}.sd-badge{display:inline-block;padding:.35em .65em;font-size:.75em;font-weight:700;line-height:1;text-align:center;white-space:nowrap;vertical-align:baseline;border-radius:.25rem}.sd-badge:empty{display:none}a.sd-badge{text-decoration:none}.sd-btn .sd-badge{position:relative;top:-1px}.sd-btn{background-color:transparent;border:1px solid transparent;border-radius:.25rem;cursor:pointer;display:inline-block;font-weight:400;font-size:1rem;line-height:1.5;padding:.375rem .75rem;text-align:center;text-decoration:none;transition:color .15s ease-in-out,background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out;vertical-align:middle;user-select:none;-moz-user-select:none;-ms-user-select:none;-webkit-user-select:none}.sd-btn:hover{text-decoration:none}@media(prefers-reduced-motion: reduce){.sd-btn{transition:none}}.sd-btn-primary,.sd-btn-outline-primary:hover,.sd-btn-outline-primary:focus{color:var(--sd-color-primary-text) !important;background-color:var(--sd-color-primary) !important;border-color:var(--sd-color-primary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-primary:hover,.sd-btn-primary:focus{color:var(--sd-color-primary-text) !important;background-color:var(--sd-color-primary-highlight) !important;border-color:var(--sd-color-primary-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-primary{color:var(--sd-color-primary) !important;border-color:var(--sd-color-primary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-secondary,.sd-btn-outline-secondary:hover,.sd-btn-outline-secondary:focus{color:var(--sd-color-secondary-text) !important;background-color:var(--sd-color-secondary) !important;border-color:var(--sd-color-secondary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-secondary:hover,.sd-btn-secondary:focus{color:var(--sd-color-secondary-text) !important;background-color:var(--sd-color-secondary-highlight) !important;border-color:var(--sd-color-secondary-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-secondary{color:var(--sd-color-secondary) !important;border-color:var(--sd-color-secondary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-success,.sd-btn-outline-success:hover,.sd-btn-outline-success:focus{color:var(--sd-color-success-text) !important;background-color:var(--sd-color-success) !important;border-color:var(--sd-color-success) !important;border-width:1px !important;border-style:solid !important}.sd-btn-success:hover,.sd-btn-success:focus{color:var(--sd-color-success-text) !important;background-color:var(--sd-color-success-highlight) !important;border-color:var(--sd-color-success-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-success{color:var(--sd-color-success) !important;border-color:var(--sd-color-success) !important;border-width:1px !important;border-style:solid !important}.sd-btn-info,.sd-btn-outline-info:hover,.sd-btn-outline-info:focus{color:var(--sd-color-info-text) !important;background-color:var(--sd-color-info) !important;border-color:var(--sd-color-info) !important;border-width:1px !important;border-style:solid !important}.sd-btn-info:hover,.sd-btn-info:focus{color:var(--sd-color-info-text) !important;background-color:var(--sd-color-info-highlight) !important;border-color:var(--sd-color-info-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-info{color:var(--sd-color-info) !important;border-color:var(--sd-color-info) !important;border-width:1px !important;border-style:solid !important}.sd-btn-warning,.sd-btn-outline-warning:hover,.sd-btn-outline-warning:focus{color:var(--sd-color-warning-text) !important;background-color:var(--sd-color-warning) !important;border-color:var(--sd-color-warning) !important;border-width:1px !important;border-style:solid !important}.sd-btn-warning:hover,.sd-btn-warning:focus{color:var(--sd-color-warning-text) !important;background-color:var(--sd-color-warning-highlight) !important;border-color:var(--sd-color-warning-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-warning{color:var(--sd-color-warning) !important;border-color:var(--sd-color-warning) !important;border-width:1px !important;border-style:solid !important}.sd-btn-danger,.sd-btn-outline-danger:hover,.sd-btn-outline-danger:focus{color:var(--sd-color-danger-text) !important;background-color:var(--sd-color-danger) !important;border-color:var(--sd-color-danger) !important;border-width:1px !important;border-style:solid !important}.sd-btn-danger:hover,.sd-btn-danger:focus{color:var(--sd-color-danger-text) !important;background-color:var(--sd-color-danger-highlight) !important;border-color:var(--sd-color-danger-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-danger{color:var(--sd-color-danger) !important;border-color:var(--sd-color-danger) !important;border-width:1px !important;border-style:solid !important}.sd-btn-light,.sd-btn-outline-light:hover,.sd-btn-outline-light:focus{color:var(--sd-color-light-text) !important;background-color:var(--sd-color-light) !important;border-color:var(--sd-color-light) !important;border-width:1px !important;border-style:solid !important}.sd-btn-light:hover,.sd-btn-light:focus{color:var(--sd-color-light-text) !important;background-color:var(--sd-color-light-highlight) !important;border-color:var(--sd-color-light-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-light{color:var(--sd-color-light) !important;border-color:var(--sd-color-light) !important;border-width:1px !important;border-style:solid !important}.sd-btn-muted,.sd-btn-outline-muted:hover,.sd-btn-outline-muted:focus{color:var(--sd-color-muted-text) !important;background-color:var(--sd-color-muted) !important;border-color:var(--sd-color-muted) !important;border-width:1px !important;border-style:solid !important}.sd-btn-muted:hover,.sd-btn-muted:focus{color:var(--sd-color-muted-text) !important;background-color:var(--sd-color-muted-highlight) !important;border-color:var(--sd-color-muted-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-muted{color:var(--sd-color-muted) !important;border-color:var(--sd-color-muted) !important;border-width:1px !important;border-style:solid !important}.sd-btn-dark,.sd-btn-outline-dark:hover,.sd-btn-outline-dark:focus{color:var(--sd-color-dark-text) !important;background-color:var(--sd-color-dark) !important;border-color:var(--sd-color-dark) !important;border-width:1px !important;border-style:solid !important}.sd-btn-dark:hover,.sd-btn-dark:focus{color:var(--sd-color-dark-text) !important;background-color:var(--sd-color-dark-highlight) !important;border-color:var(--sd-color-dark-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-dark{color:var(--sd-color-dark) !important;border-color:var(--sd-color-dark) !important;border-width:1px !important;border-style:solid !important}.sd-btn-black,.sd-btn-outline-black:hover,.sd-btn-outline-black:focus{color:var(--sd-color-black-text) !important;background-color:var(--sd-color-black) !important;border-color:var(--sd-color-black) !important;border-width:1px !important;border-style:solid !important}.sd-btn-black:hover,.sd-btn-black:focus{color:var(--sd-color-black-text) !important;background-color:var(--sd-color-black-highlight) !important;border-color:var(--sd-color-black-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-black{color:var(--sd-color-black) !important;border-color:var(--sd-color-black) !important;border-width:1px !important;border-style:solid !important}.sd-btn-white,.sd-btn-outline-white:hover,.sd-btn-outline-white:focus{color:var(--sd-color-white-text) !important;background-color:var(--sd-color-white) !important;border-color:var(--sd-color-white) !important;border-width:1px !important;border-style:solid !important}.sd-btn-white:hover,.sd-btn-white:focus{color:var(--sd-color-white-text) !important;background-color:var(--sd-color-white-highlight) !important;border-color:var(--sd-color-white-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-white{color:var(--sd-color-white) !important;border-color:var(--sd-color-white) !important;border-width:1px !important;border-style:solid !important}.sd-stretched-link::after{position:absolute;top:0;right:0;bottom:0;left:0;z-index:1;content:""}.sd-hide-link-text{font-size:0}.sd-octicon,.sd-material-icon{display:inline-block;fill:currentColor;vertical-align:middle}.sd-avatar-xs{border-radius:50%;object-fit:cover;object-position:center;width:1rem;height:1rem}.sd-avatar-sm{border-radius:50%;object-fit:cover;object-position:center;width:3rem;height:3rem}.sd-avatar-md{border-radius:50%;object-fit:cover;object-position:center;width:5rem;height:5rem}.sd-avatar-lg{border-radius:50%;object-fit:cover;object-position:center;width:7rem;height:7rem}.sd-avatar-xl{border-radius:50%;object-fit:cover;object-position:center;width:10rem;height:10rem}.sd-avatar-inherit{border-radius:50%;object-fit:cover;object-position:center;width:inherit;height:inherit}.sd-avatar-initial{border-radius:50%;object-fit:cover;object-position:center;width:initial;height:initial}.sd-card{background-clip:border-box;background-color:var(--sd-color-card-background);border:1px solid var(--sd-color-card-border);border-radius:.25rem;color:var(--sd-color-card-text);display:-ms-flexbox;display:flex;-ms-flex-direction:column;flex-direction:column;min-width:0;position:relative;word-wrap:break-word}.sd-card>hr{margin-left:0;margin-right:0}.sd-card-hover:hover{border-color:var(--sd-color-card-border-hover);transform:scale(1.01)}.sd-card-body{-ms-flex:1 1 auto;flex:1 1 auto;padding:1rem 1rem}.sd-card-title{margin-bottom:.5rem}.sd-card-subtitle{margin-top:-0.25rem;margin-bottom:0}.sd-card-text:last-child{margin-bottom:0}.sd-card-link:hover{text-decoration:none}.sd-card-link+.card-link{margin-left:1rem}.sd-card-header{padding:.5rem 1rem;margin-bottom:0;background-color:var(--sd-color-card-header);border-bottom:1px solid var(--sd-color-card-border)}.sd-card-header:first-child{border-radius:calc(0.25rem - 1px) calc(0.25rem - 1px) 0 0}.sd-card-footer{padding:.5rem 1rem;background-color:var(--sd-color-card-footer);border-top:1px solid var(--sd-color-card-border)}.sd-card-footer:last-child{border-radius:0 0 calc(0.25rem - 1px) calc(0.25rem - 1px)}.sd-card-header-tabs{margin-right:-0.5rem;margin-bottom:-0.5rem;margin-left:-0.5rem;border-bottom:0}.sd-card-header-pills{margin-right:-0.5rem;margin-left:-0.5rem}.sd-card-img-overlay{position:absolute;top:0;right:0;bottom:0;left:0;padding:1rem;border-radius:calc(0.25rem - 1px)}.sd-card-img,.sd-card-img-bottom,.sd-card-img-top{width:100%}.sd-card-img,.sd-card-img-top{border-top-left-radius:calc(0.25rem - 1px);border-top-right-radius:calc(0.25rem - 1px)}.sd-card-img,.sd-card-img-bottom{border-bottom-left-radius:calc(0.25rem - 1px);border-bottom-right-radius:calc(0.25rem - 1px)}.sd-cards-carousel{width:100%;display:flex;flex-wrap:nowrap;-ms-flex-direction:row;flex-direction:row;overflow-x:hidden;scroll-snap-type:x mandatory}.sd-cards-carousel.sd-show-scrollbar{overflow-x:auto}.sd-cards-carousel:hover,.sd-cards-carousel:focus{overflow-x:auto}.sd-cards-carousel>.sd-card{flex-shrink:0;scroll-snap-align:start}.sd-cards-carousel>.sd-card:not(:last-child){margin-right:3px}.sd-card-cols-1>.sd-card{width:90%}.sd-card-cols-2>.sd-card{width:45%}.sd-card-cols-3>.sd-card{width:30%}.sd-card-cols-4>.sd-card{width:22.5%}.sd-card-cols-5>.sd-card{width:18%}.sd-card-cols-6>.sd-card{width:15%}.sd-card-cols-7>.sd-card{width:12.8571428571%}.sd-card-cols-8>.sd-card{width:11.25%}.sd-card-cols-9>.sd-card{width:10%}.sd-card-cols-10>.sd-card{width:9%}.sd-card-cols-11>.sd-card{width:8.1818181818%}.sd-card-cols-12>.sd-card{width:7.5%}.sd-container,.sd-container-fluid,.sd-container-lg,.sd-container-md,.sd-container-sm,.sd-container-xl{margin-left:auto;margin-right:auto;padding-left:var(--sd-gutter-x, 0.75rem);padding-right:var(--sd-gutter-x, 0.75rem);width:100%}@media(min-width: 576px){.sd-container-sm,.sd-container{max-width:540px}}@media(min-width: 768px){.sd-container-md,.sd-container-sm,.sd-container{max-width:720px}}@media(min-width: 992px){.sd-container-lg,.sd-container-md,.sd-container-sm,.sd-container{max-width:960px}}@media(min-width: 1200px){.sd-container-xl,.sd-container-lg,.sd-container-md,.sd-container-sm,.sd-container{max-width:1140px}}.sd-row{--sd-gutter-x: 1.5rem;--sd-gutter-y: 0;display:-ms-flexbox;display:flex;-ms-flex-wrap:wrap;flex-wrap:wrap;margin-top:calc(var(--sd-gutter-y) * -1);margin-right:calc(var(--sd-gutter-x) * -0.5);margin-left:calc(var(--sd-gutter-x) * -0.5)}.sd-row>*{box-sizing:border-box;flex-shrink:0;width:100%;max-width:100%;padding-right:calc(var(--sd-gutter-x) * 0.5);padding-left:calc(var(--sd-gutter-x) * 0.5);margin-top:var(--sd-gutter-y)}.sd-col{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-auto>*{flex:0 0 auto;width:auto}.sd-row-cols-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}@media(min-width: 576px){.sd-col-sm{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-sm-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-sm-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-sm-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-sm-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-sm-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-sm-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-sm-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-sm-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-sm-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-sm-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-sm-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-sm-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-sm-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}@media(min-width: 768px){.sd-col-md{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-md-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-md-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-md-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-md-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-md-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-md-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-md-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-md-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-md-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-md-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-md-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-md-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-md-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}@media(min-width: 992px){.sd-col-lg{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-lg-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-lg-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-lg-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-lg-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-lg-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-lg-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-lg-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-lg-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-lg-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-lg-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-lg-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-lg-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-lg-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}@media(min-width: 1200px){.sd-col-xl{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-xl-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-xl-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-xl-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-xl-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-xl-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-xl-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-xl-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-xl-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-xl-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-xl-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-xl-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-xl-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-xl-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}.sd-col-auto{flex:0 0 auto;-ms-flex:0 0 auto;width:auto}.sd-col-1{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}.sd-col-2{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-col-3{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-col-4{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-col-5{flex:0 0 auto;-ms-flex:0 0 auto;width:41.6666666667%}.sd-col-6{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-col-7{flex:0 0 auto;-ms-flex:0 0 auto;width:58.3333333333%}.sd-col-8{flex:0 0 auto;-ms-flex:0 0 auto;width:66.6666666667%}.sd-col-9{flex:0 0 auto;-ms-flex:0 0 auto;width:75%}.sd-col-10{flex:0 0 auto;-ms-flex:0 0 auto;width:83.3333333333%}.sd-col-11{flex:0 0 auto;-ms-flex:0 0 auto;width:91.6666666667%}.sd-col-12{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-g-0,.sd-gy-0{--sd-gutter-y: 0}.sd-g-0,.sd-gx-0{--sd-gutter-x: 0}.sd-g-1,.sd-gy-1{--sd-gutter-y: 0.25rem}.sd-g-1,.sd-gx-1{--sd-gutter-x: 0.25rem}.sd-g-2,.sd-gy-2{--sd-gutter-y: 0.5rem}.sd-g-2,.sd-gx-2{--sd-gutter-x: 0.5rem}.sd-g-3,.sd-gy-3{--sd-gutter-y: 1rem}.sd-g-3,.sd-gx-3{--sd-gutter-x: 1rem}.sd-g-4,.sd-gy-4{--sd-gutter-y: 1.5rem}.sd-g-4,.sd-gx-4{--sd-gutter-x: 1.5rem}.sd-g-5,.sd-gy-5{--sd-gutter-y: 3rem}.sd-g-5,.sd-gx-5{--sd-gutter-x: 3rem}@media(min-width: 576px){.sd-col-sm-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-sm-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-sm-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-sm-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-sm-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-sm-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-sm-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-sm-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-sm-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-sm-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-sm-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-sm-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-sm-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-sm-0,.sd-gy-sm-0{--sd-gutter-y: 0}.sd-g-sm-0,.sd-gx-sm-0{--sd-gutter-x: 0}.sd-g-sm-1,.sd-gy-sm-1{--sd-gutter-y: 0.25rem}.sd-g-sm-1,.sd-gx-sm-1{--sd-gutter-x: 0.25rem}.sd-g-sm-2,.sd-gy-sm-2{--sd-gutter-y: 0.5rem}.sd-g-sm-2,.sd-gx-sm-2{--sd-gutter-x: 0.5rem}.sd-g-sm-3,.sd-gy-sm-3{--sd-gutter-y: 1rem}.sd-g-sm-3,.sd-gx-sm-3{--sd-gutter-x: 1rem}.sd-g-sm-4,.sd-gy-sm-4{--sd-gutter-y: 1.5rem}.sd-g-sm-4,.sd-gx-sm-4{--sd-gutter-x: 1.5rem}.sd-g-sm-5,.sd-gy-sm-5{--sd-gutter-y: 3rem}.sd-g-sm-5,.sd-gx-sm-5{--sd-gutter-x: 3rem}}@media(min-width: 768px){.sd-col-md-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-md-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-md-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-md-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-md-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-md-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-md-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-md-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-md-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-md-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-md-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-md-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-md-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-md-0,.sd-gy-md-0{--sd-gutter-y: 0}.sd-g-md-0,.sd-gx-md-0{--sd-gutter-x: 0}.sd-g-md-1,.sd-gy-md-1{--sd-gutter-y: 0.25rem}.sd-g-md-1,.sd-gx-md-1{--sd-gutter-x: 0.25rem}.sd-g-md-2,.sd-gy-md-2{--sd-gutter-y: 0.5rem}.sd-g-md-2,.sd-gx-md-2{--sd-gutter-x: 0.5rem}.sd-g-md-3,.sd-gy-md-3{--sd-gutter-y: 1rem}.sd-g-md-3,.sd-gx-md-3{--sd-gutter-x: 1rem}.sd-g-md-4,.sd-gy-md-4{--sd-gutter-y: 1.5rem}.sd-g-md-4,.sd-gx-md-4{--sd-gutter-x: 1.5rem}.sd-g-md-5,.sd-gy-md-5{--sd-gutter-y: 3rem}.sd-g-md-5,.sd-gx-md-5{--sd-gutter-x: 3rem}}@media(min-width: 992px){.sd-col-lg-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-lg-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-lg-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-lg-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-lg-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-lg-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-lg-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-lg-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-lg-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-lg-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-lg-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-lg-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-lg-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-lg-0,.sd-gy-lg-0{--sd-gutter-y: 0}.sd-g-lg-0,.sd-gx-lg-0{--sd-gutter-x: 0}.sd-g-lg-1,.sd-gy-lg-1{--sd-gutter-y: 0.25rem}.sd-g-lg-1,.sd-gx-lg-1{--sd-gutter-x: 0.25rem}.sd-g-lg-2,.sd-gy-lg-2{--sd-gutter-y: 0.5rem}.sd-g-lg-2,.sd-gx-lg-2{--sd-gutter-x: 0.5rem}.sd-g-lg-3,.sd-gy-lg-3{--sd-gutter-y: 1rem}.sd-g-lg-3,.sd-gx-lg-3{--sd-gutter-x: 1rem}.sd-g-lg-4,.sd-gy-lg-4{--sd-gutter-y: 1.5rem}.sd-g-lg-4,.sd-gx-lg-4{--sd-gutter-x: 1.5rem}.sd-g-lg-5,.sd-gy-lg-5{--sd-gutter-y: 3rem}.sd-g-lg-5,.sd-gx-lg-5{--sd-gutter-x: 3rem}}@media(min-width: 1200px){.sd-col-xl-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-xl-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-xl-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-xl-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-xl-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-xl-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-xl-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-xl-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-xl-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-xl-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-xl-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-xl-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-xl-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-xl-0,.sd-gy-xl-0{--sd-gutter-y: 0}.sd-g-xl-0,.sd-gx-xl-0{--sd-gutter-x: 0}.sd-g-xl-1,.sd-gy-xl-1{--sd-gutter-y: 0.25rem}.sd-g-xl-1,.sd-gx-xl-1{--sd-gutter-x: 0.25rem}.sd-g-xl-2,.sd-gy-xl-2{--sd-gutter-y: 0.5rem}.sd-g-xl-2,.sd-gx-xl-2{--sd-gutter-x: 0.5rem}.sd-g-xl-3,.sd-gy-xl-3{--sd-gutter-y: 1rem}.sd-g-xl-3,.sd-gx-xl-3{--sd-gutter-x: 1rem}.sd-g-xl-4,.sd-gy-xl-4{--sd-gutter-y: 1.5rem}.sd-g-xl-4,.sd-gx-xl-4{--sd-gutter-x: 1.5rem}.sd-g-xl-5,.sd-gy-xl-5{--sd-gutter-y: 3rem}.sd-g-xl-5,.sd-gx-xl-5{--sd-gutter-x: 3rem}}.sd-flex-row-reverse{flex-direction:row-reverse !important}details.sd-dropdown{position:relative}details.sd-dropdown .sd-summary-title{font-weight:700;padding-right:3em !important;-moz-user-select:none;-ms-user-select:none;-webkit-user-select:none;user-select:none}details.sd-dropdown:hover{cursor:pointer}details.sd-dropdown .sd-summary-content{cursor:default}details.sd-dropdown summary{list-style:none;padding:1em}details.sd-dropdown summary .sd-octicon.no-title{vertical-align:middle}details.sd-dropdown[open] summary .sd-octicon.no-title{visibility:hidden}details.sd-dropdown summary::-webkit-details-marker{display:none}details.sd-dropdown summary:focus{outline:none}details.sd-dropdown .sd-summary-icon{margin-right:.5em}details.sd-dropdown .sd-summary-icon svg{opacity:.8}details.sd-dropdown summary:hover .sd-summary-up svg,details.sd-dropdown summary:hover .sd-summary-down svg{opacity:1;transform:scale(1.1)}details.sd-dropdown .sd-summary-up svg,details.sd-dropdown .sd-summary-down svg{display:block;opacity:.6}details.sd-dropdown .sd-summary-up,details.sd-dropdown .sd-summary-down{pointer-events:none;position:absolute;right:1em;top:1em}details.sd-dropdown[open]>.sd-summary-title .sd-summary-down{visibility:hidden}details.sd-dropdown:not([open])>.sd-summary-title .sd-summary-up{visibility:hidden}details.sd-dropdown:not([open]).sd-card{border:none}details.sd-dropdown:not([open])>.sd-card-header{border:1px solid var(--sd-color-card-border);border-radius:.25rem}details.sd-dropdown.sd-fade-in[open] summary~*{-moz-animation:sd-fade-in .5s ease-in-out;-webkit-animation:sd-fade-in .5s ease-in-out;animation:sd-fade-in .5s ease-in-out}details.sd-dropdown.sd-fade-in-slide-down[open] summary~*{-moz-animation:sd-fade-in .5s ease-in-out,sd-slide-down .5s ease-in-out;-webkit-animation:sd-fade-in .5s ease-in-out,sd-slide-down .5s ease-in-out;animation:sd-fade-in .5s ease-in-out,sd-slide-down .5s ease-in-out}.sd-col>.sd-dropdown{width:100%}.sd-summary-content>.sd-tab-set:first-child{margin-top:0}@keyframes sd-fade-in{0%{opacity:0}100%{opacity:1}}@keyframes sd-slide-down{0%{transform:translate(0, -10px)}100%{transform:translate(0, 0)}}.sd-tab-set{border-radius:.125rem;display:flex;flex-wrap:wrap;margin:1em 0;position:relative}.sd-tab-set>input{opacity:0;position:absolute}.sd-tab-set>input:checked+label{border-color:var(--sd-color-tabs-underline-active);color:var(--sd-color-tabs-label-active)}.sd-tab-set>input:checked+label+.sd-tab-content{display:block}.sd-tab-set>input:not(:checked)+label:hover{color:var(--sd-color-tabs-label-hover);border-color:var(--sd-color-tabs-underline-hover)}.sd-tab-set>input:focus+label{outline-style:auto}.sd-tab-set>input:not(.focus-visible)+label{outline:none;-webkit-tap-highlight-color:transparent}.sd-tab-set>label{border-bottom:.125rem solid transparent;margin-bottom:0;color:var(--sd-color-tabs-label-inactive);border-color:var(--sd-color-tabs-underline-inactive);cursor:pointer;font-size:var(--sd-fontsize-tabs-label);font-weight:700;padding:1em 1.25em .5em;transition:color 250ms;width:auto;z-index:1}html .sd-tab-set>label:hover{color:var(--sd-color-tabs-label-active)}.sd-col>.sd-tab-set{width:100%}.sd-tab-content{box-shadow:0 -0.0625rem var(--sd-color-tabs-overline),0 .0625rem var(--sd-color-tabs-underline);display:none;order:99;padding-bottom:.75rem;padding-top:.75rem;width:100%}.sd-tab-content>:first-child{margin-top:0 !important}.sd-tab-content>:last-child{margin-bottom:0 !important}.sd-tab-content>.sd-tab-set{margin:0}.sd-sphinx-override,.sd-sphinx-override *{-moz-box-sizing:border-box;-webkit-box-sizing:border-box;box-sizing:border-box}.sd-sphinx-override p{margin-top:0}:root{--sd-color-primary: #007bff;--sd-color-secondary: #6c757d;--sd-color-success: #28a745;--sd-color-info: #17a2b8;--sd-color-warning: #f0b37e;--sd-color-danger: #dc3545;--sd-color-light: #f8f9fa;--sd-color-muted: #6c757d;--sd-color-dark: #212529;--sd-color-black: black;--sd-color-white: white;--sd-color-primary-highlight: #0069d9;--sd-color-secondary-highlight: #5c636a;--sd-color-success-highlight: #228e3b;--sd-color-info-highlight: #148a9c;--sd-color-warning-highlight: #cc986b;--sd-color-danger-highlight: #bb2d3b;--sd-color-light-highlight: #d3d4d5;--sd-color-muted-highlight: #5c636a;--sd-color-dark-highlight: #1c1f23;--sd-color-black-highlight: black;--sd-color-white-highlight: #d9d9d9;--sd-color-primary-text: #fff;--sd-color-secondary-text: #fff;--sd-color-success-text: #fff;--sd-color-info-text: #fff;--sd-color-warning-text: #212529;--sd-color-danger-text: #fff;--sd-color-light-text: #212529;--sd-color-muted-text: #fff;--sd-color-dark-text: #fff;--sd-color-black-text: #fff;--sd-color-white-text: #212529;--sd-color-shadow: rgba(0, 0, 0, 0.15);--sd-color-card-border: rgba(0, 0, 0, 0.125);--sd-color-card-border-hover: hsla(231, 99%, 66%, 1);--sd-color-card-background: transparent;--sd-color-card-text: inherit;--sd-color-card-header: transparent;--sd-color-card-footer: transparent;--sd-color-tabs-label-active: hsla(231, 99%, 66%, 1);--sd-color-tabs-label-hover: hsla(231, 99%, 66%, 1);--sd-color-tabs-label-inactive: hsl(0, 0%, 66%);--sd-color-tabs-underline-active: hsla(231, 99%, 66%, 1);--sd-color-tabs-underline-hover: rgba(178, 206, 245, 0.62);--sd-color-tabs-underline-inactive: transparent;--sd-color-tabs-overline: rgb(222, 222, 222);--sd-color-tabs-underline: rgb(222, 222, 222);--sd-fontsize-tabs-label: 1rem}
diff --git a/_static/design-tabs.js b/_static/design-tabs.js
index 36b38cf0..a869cf55 100755
--- a/_static/design-tabs.js
+++ b/_static/design-tabs.js
@@ -1,27 +1,27 @@
-var sd_labels_by_text = {};
-
-function ready() {
- const li = document.getElementsByClassName("sd-tab-label");
- for (const label of li) {
- syncId = label.getAttribute("data-sync-id");
- if (syncId) {
- label.onclick = onLabelClick;
- if (!sd_labels_by_text[syncId]) {
- sd_labels_by_text[syncId] = [];
- }
- sd_labels_by_text[syncId].push(label);
- }
- }
-}
-
-function onLabelClick() {
- // Activate other inputs with the same sync id.
- syncId = this.getAttribute("data-sync-id");
- for (label of sd_labels_by_text[syncId]) {
- if (label === this) continue;
- label.previousElementSibling.checked = true;
- }
- window.localStorage.setItem("sphinx-design-last-tab", syncId);
-}
-
-document.addEventListener("DOMContentLoaded", ready, false);
+var sd_labels_by_text = {};
+
+function ready() {
+ const li = document.getElementsByClassName("sd-tab-label");
+ for (const label of li) {
+ syncId = label.getAttribute("data-sync-id");
+ if (syncId) {
+ label.onclick = onLabelClick;
+ if (!sd_labels_by_text[syncId]) {
+ sd_labels_by_text[syncId] = [];
+ }
+ sd_labels_by_text[syncId].push(label);
+ }
+ }
+}
+
+function onLabelClick() {
+ // Activate other inputs with the same sync id.
+ syncId = this.getAttribute("data-sync-id");
+ for (label of sd_labels_by_text[syncId]) {
+ if (label === this) continue;
+ label.previousElementSibling.checked = true;
+ }
+ window.localStorage.setItem("sphinx-design-last-tab", syncId);
+}
+
+document.addEventListener("DOMContentLoaded", ready, false);
diff --git a/_static/jquery-3.5.1.js b/_static/jquery-3.5.1.js
index 50937333..55460159 100755
--- a/_static/jquery-3.5.1.js
+++ b/_static/jquery-3.5.1.js
@@ -1,10872 +1,10872 @@
-/*!
- * jQuery JavaScript Library v3.5.1
- * https://jquery.com/
- *
- * Includes Sizzle.js
- * https://sizzlejs.com/
- *
- * Copyright JS Foundation and other contributors
- * Released under the MIT license
- * https://jquery.org/license
- *
- * Date: 2020-05-04T22:49Z
- */
-( function( global, factory ) {
-
- "use strict";
-
- if ( typeof module === "object" && typeof module.exports === "object" ) {
-
- // For CommonJS and CommonJS-like environments where a proper `window`
- // is present, execute the factory and get jQuery.
- // For environments that do not have a `window` with a `document`
- // (such as Node.js), expose a factory as module.exports.
- // This accentuates the need for the creation of a real `window`.
- // e.g. var jQuery = require("jquery")(window);
- // See ticket #14549 for more info.
- module.exports = global.document ?
- factory( global, true ) :
- function( w ) {
- if ( !w.document ) {
- throw new Error( "jQuery requires a window with a document" );
- }
- return factory( w );
- };
- } else {
- factory( global );
- }
-
-// Pass this if window is not defined yet
-} )( typeof window !== "undefined" ? window : this, function( window, noGlobal ) {
-
-// Edge <= 12 - 13+, Firefox <=18 - 45+, IE 10 - 11, Safari 5.1 - 9+, iOS 6 - 9.1
-// throw exceptions when non-strict code (e.g., ASP.NET 4.5) accesses strict mode
-// arguments.callee.caller (trac-13335). But as of jQuery 3.0 (2016), strict mode should be common
-// enough that all such attempts are guarded in a try block.
-"use strict";
-
-var arr = [];
-
-var getProto = Object.getPrototypeOf;
-
-var slice = arr.slice;
-
-var flat = arr.flat ? function( array ) {
- return arr.flat.call( array );
-} : function( array ) {
- return arr.concat.apply( [], array );
-};
-
-
-var push = arr.push;
-
-var indexOf = arr.indexOf;
-
-var class2type = {};
-
-var toString = class2type.toString;
-
-var hasOwn = class2type.hasOwnProperty;
-
-var fnToString = hasOwn.toString;
-
-var ObjectFunctionString = fnToString.call( Object );
-
-var support = {};
-
-var isFunction = function isFunction( obj ) {
-
- // Support: Chrome <=57, Firefox <=52
- // In some browsers, typeof returns "function" for HTML
-
-Main process of 3D Gaussian Splatting
-:::
-
-:::{figure-md}
-
-
-Peusdo Algorithm of 3D Gaussian Splatting
-:::
-
-
-
-
-## Differentiable 3D Gaussian Splatting
-
-이 논문은 normal(표면 법선)이 없는 Structure-from-Motion(SfM) 포인트들의 sparse한 셋을 initial point로 하여, 고품질의 novel view synthesis를 가능하게 하는 scene representation을 최적화하는 것을 목표로 한다.
-
-빠른 렌더링을 위해 unstructured하고 explicit한 primitive를 필요로 하며, 이를 위해 미분 가능하고 2D splats로 쉽게 project되는 3D Gaussian을 선택했다.
-
-:::{figure-md}
-
-
-3D Gaussian Splatting Equation 4
-:::
-
-3D Gaussian은 포인트(mean) μ를 중심으로 하고, 3D 공분산 행렬 Σ로 정의한다. 렌더링을 위해 3D Gaussian을 2D로 project해야 하며, 이는 viewing transformation W에 따라 카메라 좌표계에서의 공분산 행렬 Σ'로 나타낼 수 있다. 최적화를 위해, Σ는 positive semi-definite 행렬이어야 하며, 이 때문에 최적화가 어렵다고 한다.
-
-:::{figure-md}
-
-
-3D Gaussian Splatting Equation 5
-:::
-
-따라서 논문에서는 더 직관적이고 최적화에 적합한 representation을 선택한다. 3D Gaussian의 공분산 행렬 Σ는 타원체의 구성을 설명하는 것과 유사하며, 이를 위해 scaling matrix S와 rotation matrix R을 사용한다.
-
-scaling은 3D vector s로, rotation은 quaternion q로 표현하며, 이들은 각각의 행렬로 변환될 수 있다. 학습 동안 Auto grad(자동 미분)의 오버헤드를 피하기 위해 모든 파라미터에 대한 gradient를 명시적으로 유도한다.
-
-:::{figure-md}
-
-
-3D Gaussian Splatting Equation 6
-:::
-
-최적화에 적합한 anisotropic covariance representation은 장면의 다양한 geometry에 적응하도록 3D Gaussian을 최적화한다.
-
-
-## Optimization with Adaptive Density Control of 3D Gaussians
-
-- **Optimization**
-- **Adaptive Control of Gaussians**
-
-이 논문의 핵심 접근법은 free-view synthesis를 위해 장면을 정확하게 표현하는 3D Gaussian의 밀집된 세트를 만드는 최적화 단계다. 여기에는 position 𝑝, 투명도 𝛼, 공분산 Σ뿐만 아니라, scene의 view-dependent appearance를 정확하게 위한 각 Gaussian의 색상 c를 표현하는 SH coefficients까지 포함된다.
-
-
-## Optimization
-- 3D를 2D로 project할 때 발생할 수 있는 모호함을 피하기 위해, optimization 과정에서 geometry가 더 생성되거나, 삭제되거나 혹은 이동할 수 있어야 함
- - 공분산 파라미터의 퀄리티는 큰 homogeneous area들을 적은 수의 큰 anisotropic Gaussian들로 캡처될 수 있기 때문에 representation의 compactness에 중요
-
-- 논문은 SGD를 사용하고 일부 연산은 CUDA 커널을 사용합니다. 특히 빠른 rasterization은 최적화의 효율성에 중요합니다.
- - 이는 최적화의 주요 computation bottleneck이기 때문
-
-- 투명도 𝛼에 대해서는 sigmoid function을, 공분산의 scale에 대해서는 exponential activation 함수를 사용
- - initial 공분산 행렬은 가장 가까운 세 점까지의 거리의 평균을 축으로 하는 isotropic Gaussian으로 추정
- - position에 대해서만 exponential decay 스케줄링을 사용
-
-Loss function은 D-SSIM과 L1 loss를 사용하며, D-SSIM loss는 이미지의 왜곡(distortion)을 잘 반영하고 미분 가능하여 evaluation metric뿐만 아니라 loss로도 사용 가능.
-
-참고로 SSIM은 이미지의 밝기, 대조, 구조를 고려하여 두 이미지 간의 유사성을 측정하는 메트릭이다.
-
-
-:::{figure-md}
-
-
-D-SSIM equation
-:::
-
-
-:::{figure-md}
-
-
-SSIM equation
-:::
-
-## Adaptive Control of Gaussians
-또한 Structure-from-Motion(SfM)으로 얻은 초기 희소 점들을 시작으로, scene을 더 잘 표현하기 위해 unit volume 내 Gaussian들의 수와 밀도를 점진적으로 최적화하는 방식을 제안한다.
-- 매 100번의 반복(iter)마다 Gaussian을 추가하고, 투명도 𝛼가 일정 값보다 작은 Gaussian을 제거
-
-Adaptive Control of Gaussians는 빈 공간을 채우고, missing geometric feature이 있는 region과 하나의 Gaussian이 너무 넓은 region을 커버하는 region에 집중합니다.
-
-이러한 지역은 모두 큰 view-space positional gradient를 가지며, 최적화를 통해 Gaussian을 이동시킵니다.
-- Under-reconstruction: 동일한 크기의 Gaussian을 복제하고 위치 기울기 방향으로 이동.
-- Over-reconstruction: Gaussian을 두 개로 나누고, 위치는 기존 Gaussian의 PDF를 샘플링해서 초기화.
-
-최적화 과정에서 입력 카메라에 가까운 Gaussian density의 부적절한 증가를 방지하기 위해, 3000번의 반복마다 투명도 α를 0에 가깝게 설정한다.
-
-:::{figure-md}
-
-
-Adaptive Control of Gaussians
-:::
-
-
-## Fast Diffenrentiable Rasterization for Gaussians
-본 논문의 목표는 대략적인 α-blending을 가능하게 하고 이전 연구에 존재하던 gradient를 얻을 수 있는 splat들의 수에 대한 강한 제약을 피하는 빠른 전체적인 렌더링과 빠른 sorting을 가지는 것이다.
-
-이러한 목표를 달성하기 위해 본 논문은 tile-based rasterization for Gaussian splats를 제안한다.
-
-tile-based rasterization은 아래와 같은 흐름으로 진행된다.
-
-- Screen을 16*16으로 나누고 view frustum과 각 타일에 대해 3D Gaussian들을 cull함
- - view frustum외에 있는 것들을 제거하는 절차
- - 16*16으로 나눈 이유는 각 타일마다 다른 GPU thread에서 계산해서 빠르게 계산하기 위함
-- guard band를 이용해 극단적인 위치(너무 가깝거나 먼)에 있는 gaussian들 또한 제거
- - 이들의 projected 2D covariance를 계산하는 것은 불안정적
-- 그런 뒤, gaussian들 마다 속한 tile과 depth에 따라 key를 부여
-- 이를 GPU Radix sort를 이용해 정렬
-- 각 타일마다 front-to-back으로 color와 α값을 accumulate해서 픽셀 값을 구함
-
-## Results and Evaluation
-- Results and Evaluation
- 데이터셋에 따라 결과는 다르지만 SOTA이상의 퀄리티를 내면서 좋은 Training time과 FPS를 보인다.
-
-:::{figure-md}
-
-
-3D Gaussian Splatting experiments table
-:::
-
-
-:::{figure-md}
-
-
-3D Gaussian Splatting experiments result
-:::
-
-
-- Ablations
-:::{figure-md}
-
-
-3D Gaussian Splatting ablation test image
-:::
-
-:::{figure-md}
-
-
-3D Gaussian Splatting result image
-:::
-
-## Limitations
-- 이전의 방식들과 유사하게 잘 관측되지 않은 장면은 artifact들이 존재
-- 이전의 방식들과 유사하게 늘어지고 얼룩진 artifact를 생성할 수 있음
-- 최적화에서 거대한 Gaussian이 만들어지면 popping artifacts 가끔 발생
-- 최적화에서 regularization을 적용하지 않음
+```{admonition} Information
+- **Title:** 3D Gaussian Splatting for Real-Time Radiance Field Rendering
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2308.04079](https://arxiv.org/abs/2308.04079)
+ - Project: [https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/](https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/)
+
+- **Author:** Hyunsoo Kim
+
+- **Last updated on June. 12, 2024**
+```
+
+# 3D Gaussian Splatting for Real-Time Radiance Field Rendering
+
+NeRF 기반 방식들은 높은 품질의 새로운 장면 합성이 가능하지만, 시간이 많이 걸려 실시간 렌더링에는 한계가 있다. 다른 방식들은 시간은 빠르지만 품질이 떨어진다. 이를 해결하기 위해, 논문은 3D Gaussian Splatting을 제안합니다. 이 방법은 Mip-NeRF360과 유사한 성능을 제공하면서도 InstantNGP만큼 빠르게 학습할 수 있다.
+
+3D Gaussian Splatting은 다음 세 가지로 구성된다다:
+
+- Structure-from-Motion(SfM)에서 얻은 희소 점 구름을 초기값으로 3D 가우시안을 도입
+- 3D 위치, 불투명도, 이방성 공분산, 구형 고조파(SH) 계수의 최적화
+- 타일 기반 래스터화에서 영감을 받은 빠른 GPU 정렬 알고리즘을 통한 실시간 렌더링
+
+이 방법은 이전의 implicit radiance field 접근법들과 동등하거나 더 나은 품질을 제공하며, 이전의 가장 빠른 방식과 유사한 학습 속도와 품질을 보여주어 고수준의 새로운 뷰 합성에 대해 처음으로 실시간 렌더링을 제공한다.
+
+
+
+## Overview
+:::{figure-md}
+
+
+Main process of 3D Gaussian Splatting
+:::
+
+:::{figure-md}
+
+
+Peusdo Algorithm of 3D Gaussian Splatting
+:::
+
+
+
+
+## Differentiable 3D Gaussian Splatting
+
+이 논문은 normal(표면 법선)이 없는 Structure-from-Motion(SfM) 포인트들의 sparse한 셋을 initial point로 하여, 고품질의 novel view synthesis를 가능하게 하는 scene representation을 최적화하는 것을 목표로 한다.
+
+빠른 렌더링을 위해 unstructured하고 explicit한 primitive를 필요로 하며, 이를 위해 미분 가능하고 2D splats로 쉽게 project되는 3D Gaussian을 선택했다.
+
+:::{figure-md}
+
+
+3D Gaussian Splatting Equation 4
+:::
+
+3D Gaussian은 포인트(mean) μ를 중심으로 하고, 3D 공분산 행렬 Σ로 정의한다. 렌더링을 위해 3D Gaussian을 2D로 project해야 하며, 이는 viewing transformation W에 따라 카메라 좌표계에서의 공분산 행렬 Σ'로 나타낼 수 있다. 최적화를 위해, Σ는 positive semi-definite 행렬이어야 하며, 이 때문에 최적화가 어렵다고 한다.
+
+:::{figure-md}
+
+
+3D Gaussian Splatting Equation 5
+:::
+
+따라서 논문에서는 더 직관적이고 최적화에 적합한 representation을 선택한다. 3D Gaussian의 공분산 행렬 Σ는 타원체의 구성을 설명하는 것과 유사하며, 이를 위해 scaling matrix S와 rotation matrix R을 사용한다.
+
+scaling은 3D vector s로, rotation은 quaternion q로 표현하며, 이들은 각각의 행렬로 변환될 수 있다. 학습 동안 Auto grad(자동 미분)의 오버헤드를 피하기 위해 모든 파라미터에 대한 gradient를 명시적으로 유도한다.
+
+:::{figure-md}
+
+
+3D Gaussian Splatting Equation 6
+:::
+
+최적화에 적합한 anisotropic covariance representation은 장면의 다양한 geometry에 적응하도록 3D Gaussian을 최적화한다.
+
+
+## Optimization with Adaptive Density Control of 3D Gaussians
+
+- **Optimization**
+- **Adaptive Control of Gaussians**
+
+이 논문의 핵심 접근법은 free-view synthesis를 위해 장면을 정확하게 표현하는 3D Gaussian의 밀집된 세트를 만드는 최적화 단계다. 여기에는 position 𝑝, 투명도 𝛼, 공분산 Σ뿐만 아니라, scene의 view-dependent appearance를 정확하게 위한 각 Gaussian의 색상 c를 표현하는 SH coefficients까지 포함된다.
+
+
+## Optimization
+- 3D를 2D로 project할 때 발생할 수 있는 모호함을 피하기 위해, optimization 과정에서 geometry가 더 생성되거나, 삭제되거나 혹은 이동할 수 있어야 함
+ - 공분산 파라미터의 퀄리티는 큰 homogeneous area들을 적은 수의 큰 anisotropic Gaussian들로 캡처될 수 있기 때문에 representation의 compactness에 중요
+
+- 논문은 SGD를 사용하고 일부 연산은 CUDA 커널을 사용합니다. 특히 빠른 rasterization은 최적화의 효율성에 중요합니다.
+ - 이는 최적화의 주요 computation bottleneck이기 때문
+
+- 투명도 𝛼에 대해서는 sigmoid function을, 공분산의 scale에 대해서는 exponential activation 함수를 사용
+ - initial 공분산 행렬은 가장 가까운 세 점까지의 거리의 평균을 축으로 하는 isotropic Gaussian으로 추정
+ - position에 대해서만 exponential decay 스케줄링을 사용
+
+Loss function은 D-SSIM과 L1 loss를 사용하며, D-SSIM loss는 이미지의 왜곡(distortion)을 잘 반영하고 미분 가능하여 evaluation metric뿐만 아니라 loss로도 사용 가능.
+
+참고로 SSIM은 이미지의 밝기, 대조, 구조를 고려하여 두 이미지 간의 유사성을 측정하는 메트릭이다.
+
+
+:::{figure-md}
+
+
+D-SSIM equation
+:::
+
+
+:::{figure-md}
+
+
+SSIM equation
+:::
+
+## Adaptive Control of Gaussians
+또한 Structure-from-Motion(SfM)으로 얻은 초기 희소 점들을 시작으로, scene을 더 잘 표현하기 위해 unit volume 내 Gaussian들의 수와 밀도를 점진적으로 최적화하는 방식을 제안한다.
+- 매 100번의 반복(iter)마다 Gaussian을 추가하고, 투명도 𝛼가 일정 값보다 작은 Gaussian을 제거
+
+Adaptive Control of Gaussians는 빈 공간을 채우고, missing geometric feature이 있는 region과 하나의 Gaussian이 너무 넓은 region을 커버하는 region에 집중합니다.
+
+이러한 지역은 모두 큰 view-space positional gradient를 가지며, 최적화를 통해 Gaussian을 이동시킵니다.
+- Under-reconstruction: 동일한 크기의 Gaussian을 복제하고 위치 기울기 방향으로 이동.
+- Over-reconstruction: Gaussian을 두 개로 나누고, 위치는 기존 Gaussian의 PDF를 샘플링해서 초기화.
+
+최적화 과정에서 입력 카메라에 가까운 Gaussian density의 부적절한 증가를 방지하기 위해, 3000번의 반복마다 투명도 α를 0에 가깝게 설정한다.
+
+:::{figure-md}
+
+
+Adaptive Control of Gaussians
+:::
+
+
+## Fast Diffenrentiable Rasterization for Gaussians
+본 논문의 목표는 대략적인 α-blending을 가능하게 하고 이전 연구에 존재하던 gradient를 얻을 수 있는 splat들의 수에 대한 강한 제약을 피하는 빠른 전체적인 렌더링과 빠른 sorting을 가지는 것이다.
+
+이러한 목표를 달성하기 위해 본 논문은 tile-based rasterization for Gaussian splats를 제안한다.
+
+tile-based rasterization은 아래와 같은 흐름으로 진행된다.
+
+- Screen을 16*16으로 나누고 view frustum과 각 타일에 대해 3D Gaussian들을 cull함
+ - view frustum외에 있는 것들을 제거하는 절차
+ - 16*16으로 나눈 이유는 각 타일마다 다른 GPU thread에서 계산해서 빠르게 계산하기 위함
+- guard band를 이용해 극단적인 위치(너무 가깝거나 먼)에 있는 gaussian들 또한 제거
+ - 이들의 projected 2D covariance를 계산하는 것은 불안정적
+- 그런 뒤, gaussian들 마다 속한 tile과 depth에 따라 key를 부여
+- 이를 GPU Radix sort를 이용해 정렬
+- 각 타일마다 front-to-back으로 color와 α값을 accumulate해서 픽셀 값을 구함
+
+## Results and Evaluation
+- Results and Evaluation
+ 데이터셋에 따라 결과는 다르지만 SOTA이상의 퀄리티를 내면서 좋은 Training time과 FPS를 보인다.
+
+:::{figure-md}
+
+
+3D Gaussian Splatting experiments table
+:::
+
+
+:::{figure-md}
+
+
+3D Gaussian Splatting experiments result
+:::
+
+
+- Ablations
+:::{figure-md}
+
+
+3D Gaussian Splatting ablation test image
+:::
+
+:::{figure-md}
+
+
+3D Gaussian Splatting result image
+:::
+
+## Limitations
+- 이전의 방식들과 유사하게 잘 관측되지 않은 장면은 artifact들이 존재
+- 이전의 방식들과 유사하게 늘어지고 얼룩진 artifact를 생성할 수 있음
+- 최적화에서 거대한 Gaussian이 만들어지면 popping artifacts 가끔 발생
+- 최적화에서 regularization을 적용하지 않음
- NeRF-based 기법들보다 memory consumption이 상당히 높음
\ No newline at end of file
diff --git a/_sources/docs/review/A_Study_on_the_Evaluation_of_Generative_Models.md b/_sources/docs/review/A_Study_on_the_Evaluation_of_Generative_Models.md
index 28ed11e0..101a1b17 100755
--- a/_sources/docs/review/A_Study_on_the_Evaluation_of_Generative_Models.md
+++ b/_sources/docs/review/A_Study_on_the_Evaluation_of_Generative_Models.md
@@ -1,230 +1,230 @@
-# A Study on the Evaluation of Generative Models
-
-## 학습 자료
-
-A Study on the Evaluation of Generative Models
-
-[https://arxiv.org/pdf/2206.10935.pdf](https://arxiv.org/pdf/2206.10935.pdf)
-
----
-
-## 0. Abstract
-
-- GAN, Diffusion등 생성 모델의 놀라운 발전이 이어지고있다.
-- 다만 이러한 생성모델을 평가하는 척도(metric)의 선정은 아직 어려운 문제로 남아있다.
-- 그나마 Inception Score(IS)나, FID Score를 통해 모델을 평가하고있지만 이 metric들도 완전하지 않음
-- 이 논문을 통해
- - 생성 평가의 지표에 대해 한번더 고찰하고
- - 현존하는 Metric에 대한 방향을 제시
-
-## 1. Introduction
-
-- 최근 GAN, Diffusion 등 Implicit generative model들이 뛰어난 성능을 보여줌
-- 하지만 다른 task(classification, segmentation 등)와는 다르게 생성 모델의 metric을 정하는것은 challenging ( classification ; P&R, F1 score / segmentation ; IOU(Intersection Over Union)
-- 그나마 이미지의 featue map이나 classfier score를 사용하는 FiD, Inception score가 잘 쓰이는 추세
-- 위 metric의 단점
- 1. real 이미지 분포의 space에서 해당 수치가 정말 유의미한 연관이 있는지 증명되지 않음
- 2. pretrained model의 거대한 train set이 specific 이미지의 feature에 얼마나 좋은 성능을 미치는지 알수 없음(inception net ; imagenet / ddpm ; face)
-- Human study의 직관적인 방식도 있지만 time과 cost를 매우 필요로한다는 점과 model의 Diversity는 측정하기 어렵다는 단점
- - e.g ) 하나의 좋은 이미지만 생성해도 좋은 score를 받을 수 있음
-- 이 논문에서는
- 1. Image-GPT 모델을 통해 high quality의 new synthetic dataset을 생성
- 2. 여러 모델을 위의 데이터로 학습하고 FiD, IS등 다양한 metric을 측정
- 3. 이를 실제 KL Divergence, Reverse KL Divergence 값과 비교해서 metric의 유효성을 검증
- 4. FID, IS등 다양한 metric의 base model로 쓰이는 Inception-V3과 CLIP 의 비교를 통해 Inception-V3 모델의 적합성을 검증
-
-## 2. BackGround
-
-### 2.1. KL-Divergence(Kullback-Leibler divergence)
-
-- 두 확률분포의 유사도를 측정하는 지표
-
-$$
-KL(P || Q) = \sum_{x} P(x) \log\left(\frac{P(x)}{Q(x)}\right)
-$$
-
-- 특징
- - lower is better
- - KL ≥ 0, (KL(p, q) = 0, if p ==q)
- - KL(p, q) ≠ KL(q, p) // not symmetric
- - Reverse Kullback-Leibler Divergence(RKL) = KL(q, p)
- - 대부분 P가 True distribution, Q가 estimated distribution
-
-### 2.2. Inception Score(IS)
-
-- 생성된 이미지의 Fidelity와 Diversity를 측정
- - fidelity : 특정 Label의 이미지를 얼마나 잘 예측하는지
- - diversity : 다양한 class의 이미지들을 얼마나 고르게 생성해내는지
-
- :::{figure-md}
-
-
- Image 1
- :::
-
-
-$$
-\text{IS}(G) = \exp\left(\mathbb{E}_x \left[D_{\text{KL}}(P(y|x) \, || \, P(y))\right]\right)
-$$
-
-- 특징
- - $P(y|x)$ ; 모델의 Fidelity, $P(y)$; 모델의 Diversity
- - higher is better
-
-### 2.3. FiD(Fréchet Inception Distance)
-
-- real 이미지와 generated 이미지의 Feature vector를 추출 후 평균과 공분산을 통해 계산(Frechet distance)하는 평가지표
-
-$$
-FID = \lVert \mu_x - \mu_g \rVert^2 + \text{Tr}(\Sigma_x + \Sigma_g - 2(\Sigma_x\Sigma_g)^{1/2})
-$$
-
-- 특징
- - Inception-V3의 마지막 pooling layer의 feature map을 사용
- - Lower is better
- - $\mu_x - \mu_g$; 이미지의 Quality를 측정
- - $\text{Tr}(\Sigma_x + \Sigma_g - 2(\Sigma_x\Sigma_g)^{1/2}$; 모델의 Diversity를 측정
-
-### 2.4. Kernel Inception Distance
-
-- FiD에서 Frechet distance를 사용하는 대신 kernel trick을 사용해 확률 분포의 유사도를 계산
-- 특징
- - 적은 데이터셋의 평가에 효과적임
- - FiD metric보다 속도가 오래걸림 (FiD : O(n), KiD : O(n^2))
-
-### 2.5. FID∞ & IS∞
-
-- [해당 논문](https://arxiv.org/pdf/1911.07023.pdf)에서 FiD와 IS metric에 bias가 있음을 증명하고 dataset의 sampling 기법을 변경(gaussian random sampling → sobol sequence sampling)하여 unbiased 한 metric을 제안
-
- :::{figure-md}
-
-
- Image 2
- :::
-
-
-### 2.5. Clean FiD
-
-- Inception-v3에 이미지를 통과하기위해 image resize 과정이 포함되는데 이는 score값에 영향을 줄수 있어 best percformance의 metric을 측정하기 위한 all in one process를 제안
-
-## 3. Synthetic dataset as a benchmark
-
-:::{figure-md}
-
-
-Image 3
-:::
-
-- imagenet의 데이터를 ImageGPT를 통해 재생성(a.k.a. NotImageNet)
- - imageGPT
- - vision 분야에 transformer(in gpt-2)를 사용 + labeling dataset이 필요없는 자기지도 학습 방식
-
- :::{figure-md}
-
-
- Image 4
- :::
-
- - imagenet challenge에서도 상당한 score를 보임
-- 이를 생성모델에 통과한 $P_{2}(\hat{x})$과 $P_{1}(\hat{x})$ 두 분포를 비교
-- 한계
- - explicit model에만 적용 가능하고 implicit model에는 적용할 수 없음
- - explicit model : 생성되는 데이터의 분포를 명시적으로 모델링하여 학습하고 주로 Gaussian Noise로부터 이미지를 생성 (VAE …)
- - implicit model : 데이터의 생성 과정에 대해 학습하고 주로 주어진 데이터 분포로부터 샘플링하여 학습 (GAN …)
-
-## 4. Comparison between evaluation metrics
-
-**4.1. Volatility**
-
-:::{figure-md}
-
-
-Image 5
-:::
-
-- KL, RKL은 적은 양의 Epoch(15-20) 후에 바로 수렴하는 방면 FID와 IS는 큰 변동성을 보임
-- 모델의 Capacity가 증가할수록 KL과 RKL의 수치가 개선되는 것을 확인
-- FID나 IS가 KL, RKL의 그래프와 매우 다른 형태를 띄는것을 확인(특히 IS)
-
-:::{figure-md}
-
-
-Image 6
-:::
-
-- FID나 (negative)IS가 KL과는 높은 colleration을 보이지만 RKL과는 높지 않은 colleration을 보인다.
-- 모델의 Capacity에 따라 KL, RKL의 수치 변화는 크지 않은 데 반해 FID나 IS는 굉장히 큰 수치의 변화를 보여준다.
-
-**4.1. Ranking Colleration**
-
-- 여러 모델에 대해 metric 별로 순위를 매겨 순위의 유사도를 비교
-- Kendall’s τ
- - ranking이 매겨진 수열 사이의 유사도를 측정
-
- ```python
- from scipy import stats
- >>> h = [1, 2, 3, 4, 5]
- >>> w = [1, 2, 3, 4, 5]
- >>> z = [3, 4, 1, 2, 5]
- >>> stats.kendalltau(h, w)
- SignificanceResult(statistic=0.9999999999999999, pvalue=0.016666666666666666)
- >>> stats.kendalltau(h, w)
- SignificanceResult(statistic=0.19999999999999998, pvalue=0.8166666666666667)
- ```
-
-- Result
- :::{figure-md}
-
-
- Image 7
- :::
-
- - KL - RKL의 유사도는 매우 높음(0.889)
- - KL과의 유사도를 비교해보면 FID infinity > FID > IS
- - CleanFID-KID(0.96)을 제외한 나머지 metric간 유사도는 굉장히 낮음
- - Inception network 기반의 metric 중에서는 FID infinity이 가장 높고, IS와 IS infinity score가 가장 낮음
-
-## 5. Is Inception all we need?
-
-- FID, Inception Score 등 대부분의 metric이 이미지의 feature 혹은 score 측정을 위해 inception-v3를 사용하는데 과연 적절한가?
-- 가정
- - FID, FID infinity는 feature space가 gaussian distribution을 따른다는 가정하에 측정되는 score
-- 실험
- 1. 따라서 생성 모델을 통해 10K의 이미지를 생성하고
- 2. 원본의 20K의 이미지를 sampling
- 3. 각각의 이미지를 Inception network와 CLIP network를 통해 feature vector를 추출
- 4. Gaussian model에 feature vector를 fitting
- 5. 이때 gaussian model을 기반으로 각 샘플의 확률값을 계산한다.
-- 결과
-
- :::{figure-md}
-
-
- Image 8
- :::
-
- - 확률 값이 낮은 tail 부분의 feature vector의 원본 이미지들을 퀄리티가 낮아야함
- - 실제로 tail 부분의 확률을 갖는 이미지들을 확인해보면 CLIP을 보면 확실히 퀄리티가 떨어지는 반면 Inception의 이미지들은 좋은 퀄리티를 보이고 있음 → Gaussian 분포의 가정에 위배
-
-**5.2 Normality test for latent representation**
-
-- 위의 feature vector들을 1 Dimension에 투영시켜 normal distribution을 따르는 지 확인한다.
-- 실험
- 1. Inception, CLIP을 통해 feature vector를 추출한다.
- 2. linear transformation 연산을 통해 각각 1-D로 투영시킨다.
- 3. 각각의 p-value를 구한다.
- 1. p-value : 어떠한 사건이 우연히 일어날 확률
- 2. if p-value < 0.05 ; 우연히 발생할 확률이 거의 없다. 인과관계가 있다.
- 3. if p-value > 0.05 ; 우연히 발생할 확률이 크다. 인과관계가 없다.
- 4. gaussian normal distribution은 random을 기반으로하기때문에 인과관계가 작아야한다. 즉, p-value가 커야한다.
-- 결과
-
- :::{figure-md}
-
-
- Image 9
- :::
-
- - 모든 test dataset에 대해 CLIP의 p-value값은 0.05를 넘어 random성을 유지하지만, Inception은 0.05보다 낮은 값을 보여 random성을 유지하지 못한다.
- - 따라서, Inception net을 통한 metric 측정보다 CLIP을 통한 metric 측정을 제안한다.
-
+# A Study on the Evaluation of Generative Models
+
+## 학습 자료
+
+A Study on the Evaluation of Generative Models
+
+[https://arxiv.org/pdf/2206.10935.pdf](https://arxiv.org/pdf/2206.10935.pdf)
+
+---
+
+## 0. Abstract
+
+- GAN, Diffusion등 생성 모델의 놀라운 발전이 이어지고있다.
+- 다만 이러한 생성모델을 평가하는 척도(metric)의 선정은 아직 어려운 문제로 남아있다.
+- 그나마 Inception Score(IS)나, FID Score를 통해 모델을 평가하고있지만 이 metric들도 완전하지 않음
+- 이 논문을 통해
+ - 생성 평가의 지표에 대해 한번더 고찰하고
+ - 현존하는 Metric에 대한 방향을 제시
+
+## 1. Introduction
+
+- 최근 GAN, Diffusion 등 Implicit generative model들이 뛰어난 성능을 보여줌
+- 하지만 다른 task(classification, segmentation 등)와는 다르게 생성 모델의 metric을 정하는것은 challenging ( classification ; P&R, F1 score / segmentation ; IOU(Intersection Over Union)
+- 그나마 이미지의 featue map이나 classfier score를 사용하는 FiD, Inception score가 잘 쓰이는 추세
+- 위 metric의 단점
+ 1. real 이미지 분포의 space에서 해당 수치가 정말 유의미한 연관이 있는지 증명되지 않음
+ 2. pretrained model의 거대한 train set이 specific 이미지의 feature에 얼마나 좋은 성능을 미치는지 알수 없음(inception net ; imagenet / ddpm ; face)
+- Human study의 직관적인 방식도 있지만 time과 cost를 매우 필요로한다는 점과 model의 Diversity는 측정하기 어렵다는 단점
+ - e.g ) 하나의 좋은 이미지만 생성해도 좋은 score를 받을 수 있음
+- 이 논문에서는
+ 1. Image-GPT 모델을 통해 high quality의 new synthetic dataset을 생성
+ 2. 여러 모델을 위의 데이터로 학습하고 FiD, IS등 다양한 metric을 측정
+ 3. 이를 실제 KL Divergence, Reverse KL Divergence 값과 비교해서 metric의 유효성을 검증
+ 4. FID, IS등 다양한 metric의 base model로 쓰이는 Inception-V3과 CLIP 의 비교를 통해 Inception-V3 모델의 적합성을 검증
+
+## 2. BackGround
+
+### 2.1. KL-Divergence(Kullback-Leibler divergence)
+
+- 두 확률분포의 유사도를 측정하는 지표
+
+$$
+KL(P || Q) = \sum_{x} P(x) \log\left(\frac{P(x)}{Q(x)}\right)
+$$
+
+- 특징
+ - lower is better
+ - KL ≥ 0, (KL(p, q) = 0, if p ==q)
+ - KL(p, q) ≠ KL(q, p) // not symmetric
+ - Reverse Kullback-Leibler Divergence(RKL) = KL(q, p)
+ - 대부분 P가 True distribution, Q가 estimated distribution
+
+### 2.2. Inception Score(IS)
+
+- 생성된 이미지의 Fidelity와 Diversity를 측정
+ - fidelity : 특정 Label의 이미지를 얼마나 잘 예측하는지
+ - diversity : 다양한 class의 이미지들을 얼마나 고르게 생성해내는지
+
+ :::{figure-md}
+
+
+ Image 1
+ :::
+
+
+$$
+\text{IS}(G) = \exp\left(\mathbb{E}_x \left[D_{\text{KL}}(P(y|x) \, || \, P(y))\right]\right)
+$$
+
+- 특징
+ - $P(y|x)$ ; 모델의 Fidelity, $P(y)$; 모델의 Diversity
+ - higher is better
+
+### 2.3. FiD(Fréchet Inception Distance)
+
+- real 이미지와 generated 이미지의 Feature vector를 추출 후 평균과 공분산을 통해 계산(Frechet distance)하는 평가지표
+
+$$
+FID = \lVert \mu_x - \mu_g \rVert^2 + \text{Tr}(\Sigma_x + \Sigma_g - 2(\Sigma_x\Sigma_g)^{1/2})
+$$
+
+- 특징
+ - Inception-V3의 마지막 pooling layer의 feature map을 사용
+ - Lower is better
+ - $\mu_x - \mu_g$; 이미지의 Quality를 측정
+ - $\text{Tr}(\Sigma_x + \Sigma_g - 2(\Sigma_x\Sigma_g)^{1/2}$; 모델의 Diversity를 측정
+
+### 2.4. Kernel Inception Distance
+
+- FiD에서 Frechet distance를 사용하는 대신 kernel trick을 사용해 확률 분포의 유사도를 계산
+- 특징
+ - 적은 데이터셋의 평가에 효과적임
+ - FiD metric보다 속도가 오래걸림 (FiD : O(n), KiD : O(n^2))
+
+### 2.5. FID∞ & IS∞
+
+- [해당 논문](https://arxiv.org/pdf/1911.07023.pdf)에서 FiD와 IS metric에 bias가 있음을 증명하고 dataset의 sampling 기법을 변경(gaussian random sampling → sobol sequence sampling)하여 unbiased 한 metric을 제안
+
+ :::{figure-md}
+
+
+ Image 2
+ :::
+
+
+### 2.5. Clean FiD
+
+- Inception-v3에 이미지를 통과하기위해 image resize 과정이 포함되는데 이는 score값에 영향을 줄수 있어 best percformance의 metric을 측정하기 위한 all in one process를 제안
+
+## 3. Synthetic dataset as a benchmark
+
+:::{figure-md}
+
+
+Image 3
+:::
+
+- imagenet의 데이터를 ImageGPT를 통해 재생성(a.k.a. NotImageNet)
+ - imageGPT
+ - vision 분야에 transformer(in gpt-2)를 사용 + labeling dataset이 필요없는 자기지도 학습 방식
+
+ :::{figure-md}
+
+
+ Image 4
+ :::
+
+ - imagenet challenge에서도 상당한 score를 보임
+- 이를 생성모델에 통과한 $P_{2}(\hat{x})$과 $P_{1}(\hat{x})$ 두 분포를 비교
+- 한계
+ - explicit model에만 적용 가능하고 implicit model에는 적용할 수 없음
+ - explicit model : 생성되는 데이터의 분포를 명시적으로 모델링하여 학습하고 주로 Gaussian Noise로부터 이미지를 생성 (VAE …)
+ - implicit model : 데이터의 생성 과정에 대해 학습하고 주로 주어진 데이터 분포로부터 샘플링하여 학습 (GAN …)
+
+## 4. Comparison between evaluation metrics
+
+**4.1. Volatility**
+
+:::{figure-md}
+
+
+Image 5
+:::
+
+- KL, RKL은 적은 양의 Epoch(15-20) 후에 바로 수렴하는 방면 FID와 IS는 큰 변동성을 보임
+- 모델의 Capacity가 증가할수록 KL과 RKL의 수치가 개선되는 것을 확인
+- FID나 IS가 KL, RKL의 그래프와 매우 다른 형태를 띄는것을 확인(특히 IS)
+
+:::{figure-md}
+
+
+Image 6
+:::
+
+- FID나 (negative)IS가 KL과는 높은 colleration을 보이지만 RKL과는 높지 않은 colleration을 보인다.
+- 모델의 Capacity에 따라 KL, RKL의 수치 변화는 크지 않은 데 반해 FID나 IS는 굉장히 큰 수치의 변화를 보여준다.
+
+**4.1. Ranking Colleration**
+
+- 여러 모델에 대해 metric 별로 순위를 매겨 순위의 유사도를 비교
+- Kendall’s τ
+ - ranking이 매겨진 수열 사이의 유사도를 측정
+
+ ```python
+ from scipy import stats
+ >>> h = [1, 2, 3, 4, 5]
+ >>> w = [1, 2, 3, 4, 5]
+ >>> z = [3, 4, 1, 2, 5]
+ >>> stats.kendalltau(h, w)
+ SignificanceResult(statistic=0.9999999999999999, pvalue=0.016666666666666666)
+ >>> stats.kendalltau(h, w)
+ SignificanceResult(statistic=0.19999999999999998, pvalue=0.8166666666666667)
+ ```
+
+- Result
+ :::{figure-md}
+
+
+ Image 7
+ :::
+
+ - KL - RKL의 유사도는 매우 높음(0.889)
+ - KL과의 유사도를 비교해보면 FID infinity > FID > IS
+ - CleanFID-KID(0.96)을 제외한 나머지 metric간 유사도는 굉장히 낮음
+ - Inception network 기반의 metric 중에서는 FID infinity이 가장 높고, IS와 IS infinity score가 가장 낮음
+
+## 5. Is Inception all we need?
+
+- FID, Inception Score 등 대부분의 metric이 이미지의 feature 혹은 score 측정을 위해 inception-v3를 사용하는데 과연 적절한가?
+- 가정
+ - FID, FID infinity는 feature space가 gaussian distribution을 따른다는 가정하에 측정되는 score
+- 실험
+ 1. 따라서 생성 모델을 통해 10K의 이미지를 생성하고
+ 2. 원본의 20K의 이미지를 sampling
+ 3. 각각의 이미지를 Inception network와 CLIP network를 통해 feature vector를 추출
+ 4. Gaussian model에 feature vector를 fitting
+ 5. 이때 gaussian model을 기반으로 각 샘플의 확률값을 계산한다.
+- 결과
+
+ :::{figure-md}
+
+
+ Image 8
+ :::
+
+ - 확률 값이 낮은 tail 부분의 feature vector의 원본 이미지들을 퀄리티가 낮아야함
+ - 실제로 tail 부분의 확률을 갖는 이미지들을 확인해보면 CLIP을 보면 확실히 퀄리티가 떨어지는 반면 Inception의 이미지들은 좋은 퀄리티를 보이고 있음 → Gaussian 분포의 가정에 위배
+
+**5.2 Normality test for latent representation**
+
+- 위의 feature vector들을 1 Dimension에 투영시켜 normal distribution을 따르는 지 확인한다.
+- 실험
+ 1. Inception, CLIP을 통해 feature vector를 추출한다.
+ 2. linear transformation 연산을 통해 각각 1-D로 투영시킨다.
+ 3. 각각의 p-value를 구한다.
+ 1. p-value : 어떠한 사건이 우연히 일어날 확률
+ 2. if p-value < 0.05 ; 우연히 발생할 확률이 거의 없다. 인과관계가 있다.
+ 3. if p-value > 0.05 ; 우연히 발생할 확률이 크다. 인과관계가 없다.
+ 4. gaussian normal distribution은 random을 기반으로하기때문에 인과관계가 작아야한다. 즉, p-value가 커야한다.
+- 결과
+
+ :::{figure-md}
+
+
+ Image 9
+ :::
+
+ - 모든 test dataset에 대해 CLIP의 p-value값은 0.05를 넘어 random성을 유지하지만, Inception은 0.05보다 낮은 값을 보여 random성을 유지하지 못한다.
+ - 따라서, Inception net을 통한 metric 측정보다 CLIP을 통한 metric 측정을 제안한다.
+
diff --git a/_sources/docs/review/AnimateDiff.md b/_sources/docs/review/AnimateDiff.md
index f8289d10..ee5de4c4 100755
--- a/_sources/docs/review/AnimateDiff.md
+++ b/_sources/docs/review/AnimateDiff.md
@@ -1,399 +1,399 @@
-``` {admonition} Information
-- **Title:** AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning (ICLR 2024)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2307.04725](https://arxiv.org/abs/2307.04725)
- - Code: [https://github.com/guoyww/AnimateDiff?tab=readme-ov-file](https://github.com/guoyww/AnimateDiff?tab=readme-ov-file)
- - Project Page : [https://animatediff.github.io](https://animatediff.github.io)
-
-- **Author:** Kyeongmin Yu
-
-- **Last updated on June. 11, 2024**
-```
-
-# AnimateDiff
-
->📌 논문의 의의\
->In this paper, we present **AnimateDiff**, a practical framework for animating personalized T2I models without requiring model-specific tuning.\
->**AnimateDiff = public personalized T2I models + domain adapter & plug-and-play Motion Module + MotionLoRA**
-
-## 0. Abstract
-
-T2I diffusion model과 DreamBooth나 LoRA와 같은 개인화 기술이 발전함에 따라 사람들은 적절한 비용을 지불하여 고화질의 원하는 이미지를 얻을 수 있게 되었다. 하지만, 기존 고화질 이미지 생성 모델(personalized T2I)에 움직임을 추가하거나 애니메이션을 생성하도록 하는 것은 여전히 어렵다. **본 논문에서는 추가적인 훈련(model-specific tuning)없이 기존 고화질 이미지 생성모델에 움직임을 추가하는 실용적인 프레임 워크를 제안한다.** **본 논문에서 제안하는 프레임 워크의 핵심은 plug-and-play motion module을 활용하는 것으로 이 motion module을 한번 학습하면, 어떤 이미지 생성 모델과도 융합할 수 있다.** 본 논문에서 제안하는 학습 방법을 이용하면 motion module은 real-world 비디오로 부터 효과적으로 motion prior를 학습할 수 있다. 한번 학습된 motion module은 이미지 생성 모델에 덧붙여 애니메이션 생성 모델로 사용할 수 있다. 또한 AnimateDiff를 위한 간단한 파인튜닝 방식인 MotionLoRA를 제안한다. 이는 사전 학습된 motion module이 저비용으로 새로운 움직임 패턴을 학습할 수 있게 해준다. (ex. 촬영 기법) AnimateDiff와 MotionLoRA를 공개된 이미지 생성 모델에 부착하여 실험했으며 이를 통해 본 논문의 방식이 이미지 퀄리티와 다양한 움직임을 보전하면서도 자연스러운 애니메이션 클립을 생성할 수 있음을 보였다.
-
-:::{figure-md}
-
-
-inference pipeline
-:::
-
-- **Core Framework**
- - public T2I models
- - personalized T2Is from the same base T2I (SD1.5)
- - can download finetuned T2I from [civitai](https://civitai.com/) or hugging face
- - domain adapter
- - LoRA기반 domain adapter를 base T2I 모델에 더해 video dataset을 학습할때 발생할수 있는 domain gap을 줄였다.
- - 여기서 말하는 domain gap이란 video의 각 프레임을 나누어 이미지로 봤을때 발생할 수 있는 motion blur, compression artifacts, watermarks등을 말한다.
- - training strategy of a plug-and-play motion module
- - learns transferable motion priors from real-world videothrough proposed training strategy
- - 한번 학습하고 나면 다른 T2I모델과 결합해 animation generator로 사용할 수 있다.
- - MotionLoRA
- - adapt the pre-trained motion module to specific motion patterns
-
-## 1. Introduction
-
- 텍스트 프롬프트를 입력하여 이미지를 생성하는 디퓨전 모델(T2I diffusion models)의 발전으로 많은 예술가와 아마추어들이 시각 컨텐츠를 보다 쉽게 생성할 수 있게 되었다. 기존 T2I 모델의 생성능력(creativity)를 자극하기 위해 DreamBooth와 LoRA와 같은 가벼운 개인화 방식들이 제안되었다. 이러한 방식들은 작은 데이터셋과 적당한 하드웨어에서도 customized finetuning을 할 수 있게 해준다. 그로인해 사용자들이 적은 비용으로도 base T2I model을 새로운 domain에 적용하거나 시각적 퀄리티를 높일 수 있게 되었다. 그 결과 AI 아티스트와 아마추어 커뮤니티 에서 상당량의 personalized models을 Civitai나 Hugging Face와 같은 플랫폼에 개시했다. 이러한 모델들이 상당히 좋은 수준의 이미지를 생성할 수 있지만, 정적인 이미지만 생성할 수 있다는 한계가 있다. 반면, 애니메이션을 생성하는 기술이 영화나 카툰과 같은 실산업에서 더 요구된다. 본 연구에서는 고화질 T2I 모델을 파인튜닝 없이 곧바로 애니메이션 생성 모델로 변환하는 것을 목표로 한다. 파인 튜닝을 위한 데이터 수집과 컴퓨팅 자원의 필요는 아마추어 사용자에게 걸림돌이 된다.
-
-**본 논문에서는 AnimateDiff를 제안하는데 이는 personalized T2I model의 능력을 보전하면서 애니메이션을 생성하는 문제를 해결할 수 있는 효과적인 파이프라인이다.** AnimateDiff의 핵심은 비디오 데이터셋(WebVid-10M)으로부터 타당한 motion 정보를 plug-and-play motion module이 학습하는 것이다. motion module의 학습은 세가지 단계로 구성된다.
-
-1. **domain adapter 파인튜닝**
-
- visual distribution of the target video dataset(이미지 품질차이, 동영상 워터마크, 압축으로 인한 artifacts)에 대한 부분은 이 모듈이 학습함으로써 이후 motion관련 모듈들이 motion에만 집중할 수 있도록 한다.
-
-2. **새로운 motion module**
-
- 비디오를 입력받을수 있게 inflate시킨 base T2I 모델에 domain adapter를 더한 모델에 모션 모델링을 위한 모션 모듈을 추가한다. 이 모듈을 학습할때는 domain adapter와 base model을 freeze한다. 이렇게 하면 motion module이 움직임에 대한 부분을 전반적으로 학습하여 모듈별 학습이 가능해진다. (다른 그림체를 원할경우 base T2I+domain adapter를 바꾸면 됨)
-
-3. **(optional) MotionLoRA 학습**
-
- MotionLoRA의 경우 특정 motion을 적은 수의 reference videos와 학습횟수로 학습하는 것을 목표로하는 모듈이다. 이름과 같이 Low-Rank Adaptation (LoRA) (Hu et al., 2021)를 이용하는데 새로운 motion pattern을 적은수(50개)의 reference video만으로 학습시킬수 있다. 또한 차지하는 메모리도 적어 추가학습이나 모델을 공유,배포하는데에도 유리하다.
-
-:::{figure-md}
-
-
-training pipeline
-:::
-
-
-## 2. Related Work
-
-### 2.1 Text-to-image diffusion models
-
-- Diffusion models
- - GLIDE ([Nichol et al., 2021](https://arxiv.org/abs/2112.10741)) 는 text condition을 통해 이미지를 생성하는 방법을 소개하고, classifier guidance를 조절하여 더 나은 이미지 결과물을 얻는 방법을 설명했다.
- - **G**uided **L**anguage to **I**mage **D**iffusion for Generation and **E**diting
- - DALL-E2 (Ramesh et al., 2022)는 CLIP을 이용하여 text-image 일관성을 향상시켰다.
- - Imagen (Saharia et al., 2022)은 LLM과 cascade 구조를 이용하여 photorealistic한 결과물을 얻고자 했다.
- - **Stable Diffusion (Rombach et al., 2022)**은 auto-encoder의 latent space에서 diffusion 과정을 수행함으로써 효율을 높였다. (3.1 참고)
- - eDiff-I ([Balaji et al., 2022](https://www.google.com/search?client=safari&rls=en&q=e+diff+i&ie=UTF-8&oe=UTF-8)) 디퓨전 모델들을 앙상블 학습시켜 generation(denoising) 단계별로 적절한 디퓨전 모델로 denoise를 수행하고자 했다.
-
-:::{figure-md}
-
-
-CLIP:Contrastive language-image pre-training
-:::
-
-:::{figure-md}
-
-
-Imagen
-:::
-
-:::{figure-md}
-
-
-eDiff-I
-:::
-
-
-### 2.2 Personalizing T2I models
-
-사전학습된 T2I 모델을 활용하기 위해 효율적인 개인화(personalization)방법에 대한 연구가 뜨겁다. 여기서 개인화란 reference images를 통해 (새로운) concepts나 style을 사전학습된 모델에 추가하는 것을 말한다. (손을 잘그리는 모델, 눈을 잘그리는 모델, 특정 그림체를 학습한 모델 등) 이를 위한 가장 단순한 방법은 전체 모델을 fine-tuning 시키는 것이다. 이를 통해 전체적인 퀄리티가 높아질 수도 있지만, 기존 학습데이터를 잊는 catastrophic forgetting이 발생할 수도 있다는 문제가 있다. 이러한 문제는 특히 reference image 데이터가 적을때 발생한다.
-
-- DreamBooth ([Ruiz et al., 2023](https://dreambooth.github.io)) 은 매우 적은 이미지를 사용하면서도 preservation loss를 추가하여 전체 모델을 fine-tuning 시켰다.
-- Textural Inversion (Gal et al., 2022) 은 새로운 concept 마다 token embedding을 최적화 하였다.
-- **Low-Rank Adaptation (LoRA) ([Hu et al., 2021](https://github.com/microsoft/LoRA))** 은 LoRA layer를 추가하여 이에 대해서만 fine-tuning을 수행했다. (Sec 3.2 참고)
-- 그외의 encoder-based approaches ([Gal et al., 2023](https://tuning-encoder.github.io); [Jia et al., 2023](https://arxiv.org/abs/2304.02642))
-
-### 2.3 Animating personalized T2Is
-
-personalized T2I를 애니메이션화 시키는 연구가 많지는 않지만 아래의 연구들과 관련있다.
-
-- Text2Cinemagraph [(Mahapatra et al., 2023)](https://text2cinemagraph.github.io/website/) 는 flow prediction을 통해 cinematography를 생성하고자 했다.
-- Align-Your-Latent [(Blattmann et al., 2023)](https://www.notion.so/AnimateDiff-17444a06eda84e14abaca781b4f71344?pvs=21) 는 general video generator내의 frozen image layers가 personalizing이 가능함을 확인했다.
-- video generation models **← 결과 비교시 사용**
- - **Tune-a-Video** [(Wu et al., 2023)](https://github.com/showlab/Tune-A-Video) ****는 단일 비디오로 적은 수의 파라미터만 파인튜닝하는 방식을 제안했다. (SD+temporal attn 구조를 가지고 있음)
- - **Text2Video-Zero** [(Khachatryan et al., 2023)](https://github.com/Picsart-AI-Research/Text2Video-Zero) 는 사전학습한 T2I모델을 활용하여 추가적인 학습과정 없이 애니메이션화 할 수 있는 방법을 제안했다. 이는 사전에 정의된 affine matrix를 사용하여 latent wrapping을 하는 방식이다.
- - pretrained T2I + temporal structures 관련 연구들이 많다.
-
- (Esser et al., 2023; Zhou et al., 2022a; Singer et al., 2022; Ho et al., 2022b,a; Ruan et al., 2023; Luo et al., 2023; Yin et al., 2023b,a; Wang et al., 2023b; Hong et al., 2022; Luo et al., 2023)
-
-
-## 3. Preliminary
-
-#### 3.1 Stable Diffusion
-
-Stable Diffusion ([Rombach et al., 2022](https://github.com/CompVis/stable-diffusion)), the base T2I model used in our work
-
-- open-sourced, well-developed community, many high-quality personalized T2I models for eval
-- 사전 학습된 encoder($\mathcal E$)와 decoder($\mathcal D$)를 이용하여 latent space상에서 diffusion process를 수행
-- 인코딩된 이미지 $z_0=\mathcal E(x_0)$ 의 경우 아래의 forward diffusion 과정을 통해 $z_t$ 변환됨
-- Forward diffusion for $t=1,2,…,T$
-
- $$
- z_t=\sqrt{\bar \alpha_t}z_0+\sqrt{1-\bar\alpha}\epsilon,\space \epsilon \sim \mathcal N(0,I) \tag{1}
- $$
-
- - pre-defined $\barα_t$ determines the noise strength at step $t$
- - The denoising network $ϵ_θ(·)$ learns to reverse this process by predicting the added noise, encouraged by an MSE loss
-- MSE loss
-
- $$
- \mathcal L=\Bbb E_{\mathcal E(x_0),y,\epsilon \sim \mathcal N(0,I),t}\big [\| \epsilon-\epsilon_\theta(z_t,t,\tau_\theta(y))\|_2^2\big] \tag{2}
- $$
-
- - $y$ is the text prompt corresponding to $x_0$
- - $τ_θ(·)$ is a text encoder mapping the prompt to a vector sequence.
- - In SD, $ϵ_θ(·)$ is implemented as a UNet (down*4, middle, up*4 blocks; ResNet, spatial self-attn, cross-attn)
-
-#### 3.2 Low-Rank Adaptation(LoRA)
-
-Low-Rank Adaptation(LoRA) ([Hu et al., 2021](https://arxiv.org/pdf/2106.09685.pdf)), which helps understand the domain adapter (Sec. 4.1) and MotionLoRA (Sec. 4.3) in AnimateDiff
-
-- language model에서 처음 등장한 개념으로 거대 모델의 fine-tuning을 빠르게 수행하기 위해 제안된 개념이다.
-- LoRA는 모델의 전체 파라미터를 fine-tuning하지 않고, rank-decomposition 행렬 쌍을 추가하여 새롭게 추가된 weight만 최적화 시키는 것이다.
-- 기존 파라미터는 고정함으로써 finetuning시 발생할 수 있는 catastrophic forgetting([Kirkpatrick et al., 2017](https://www.notion.so/AnimateDiff-17444a06eda84e14abaca781b4f71344?pvs=21))을 예방할 수 있다.
-- The new model weight with LoRA
-
- $$
- \mathcal W'=\mathcal W+\vartriangle\mathcal W=\mathcal W+AB^T \tag{3}
- $$
-
- - $A ∈ R ^{m×r}$ , $B ∈ R ^{n×r}$ are a pair of rank-decomposition matrices, $r$ is a hyper-parameter, which is referred to as the rank of LoRA layers
- - attention layer에서만 사용할수 있는 것은 아니지만 실제로는 주로 attention layer에서 사용된다. LoRA를 통해 fine-tuning시 cost 와 storage 절약할 수 있다.
-
-## 4. AnimateDiff
-
-> ➕ **Architecture Overall**\
-> 본 논문에서 제안하는 모델의 핵심은 비디오 데이터를 통해 transferable model prior를 학습하는 것이다. 이렇게 학습한 motion module을 personalized T2I 모델에 곧바로 적용할 수 있다. \
-> 왼쪽 그림의 하늘색 모델이 **motion module**이고, 초록색 영역이 optional **MotionLoRA**이다. AnimateDiff를 T2I모델에 삽입하여 animation generator로 사용할 수 있다. \
-> 이를 위한 AnimateDiff에는 **학습해야 하는 3개의 모듈**이 있다.
-> - **domain adapter**
- - base T2I pre-training data와 our video training data간의 간극을 줄여주기 위한 것으로 학습과정에만 사용된다.
-> - **motion module** \
- - motion prior를 학습하기 위한 모듈
-> - **MotionLoRA**(optional)\
- - pretrained motion module을 새로운 움직임 패턴(카메라 워크)으로 조정하기 위한것
-
-:::{figure-md}
-
-
-inference pipeline
-:::
-
-> ➕ **Training Steps**\
-> 본 논문에서 제안하는 각 모듈은 따로따로 학습시키며 각각을 학습시킬때 나머지 영역은 freeze 시킨다. 학습시 사용하는 objective function은 SD과 거의 같다.
-> - Training step 1. Domain Adapter
-> - Training step 2. Motion Module
-> - Training step 3. Optional motionLoRA
-
-:::{figure-md}
-
-
-training pipeline
-:::
-
-### 4.1 Alleviate Negative Effects from Training Data with Domain Adapter
-
-비디오 데이터셋은 이미지 데이터셋에 비해 수집하기 어렵다. 동영상 데이터셋 WebVid (Bain et al., 2021)과 이미지 데이터셋 LAION-Aestetic (Schuhmann et al., 2022)를 비교해보면, 품질차이도 큼을 알 수 있다.
-
-각 비디오 프레임을 개별 이미지로 다루게 되면 motion blur, compression artifacts, watermark등을 포함하고 있을 수도 있다. 따라서 T2I 모델을 훈련할 때 사용한 이미지 데이터셋에 비해 motion prior를 학습하기 위해 사용한 동영상 데이터 셋의 품질은 무시할 수 없을 만큼의 차이가 있다. 이 때문에 직접적으로 비디오 데이터셋을 이용하여 애니메이션 생성 모델을 학습할 경우, 생성한 애니메이션의 품질이 제한 될 수 있다.
-
-동영상 데이터의 낮은 품질로 인해 해당 특성을 motion module이 학습하는 것을 피하고 base T2I의 지식을 보전하기 위해, 네트워크를 분리하여 각 도메인(영상/이미지)의 정보에 맞게 피팅하는 방식(domain adapter)을 제안한다. inference 시에는 domain adapter를 제거하였으며 앞서 언급한 domain gap에 의한 부정적 영향을 제거하는데 효과적이라는 것을 보여준다. domain adapter layer는 LoRA를 활용했으며, self-, cross-attention layer들을 base T2I model에 Fig. 3과 같이 추가하였다. 아래 query projection을 예로 살펴보면,
-
-:::{figure-md}
-
-
-LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
-:::
-
-
-$$
-Q=\mathcal W^Qz+\text{AdapterLayer}(z)=\mathcal W^Qz+\alpha \cdot AB^Tz \tag{4}
-$$
-
-$Q$ 는 query, $z$ 는 internal feature, $\alpha$ 는 상수로 inference time에 domain adapter의 영향력을 조절한다. (기본값은 1 / domain adapter의 효과를 완전히 제거하고 싶다면 $\alpha$를 0으로) 나머지 모델의 파라미터는 freeze하고 domain adapter의 파라미터들만 비디오 데이터셋으로 부터 랜덤하게 샘플한 static frame들을 이용하여 최적화했다. 이때 objective function은 Eq. (2)를 사용했다. (아직까지는 이미지 생성 모델)
-
-### 4.2 Learn Motion Priors with Motion Module
-
-motion dynamics를 사전학습된 T2I 모델과 공유하는 dimension상의 시간축으로 모델링 하기 위해 2가지 단계가 필요하다.
-
-1. 2d diffusion model을 3d 비디오 데이터에 맞게 확장시켜야 한다. (**Network Inflation**)
-2. 시간축상으로 효율적인 정보의 흐름을 만들기 위해 sub-module이 필요하다. (**Sub-module Design**)
-
-**Network Inflation**
-
-사전학습된 T2I 모델의 이미지 레이어는 고품질의 그림 사전지식(content prior)을 포착할수 있다. 이 지식을 활용(유지)하기 위해서 동일 모델로 video를 다루고자 할 때는 기존 이미지 레이어는 독립적으로 내버려두고, network를 확장시키는 방향이 선호된다. 이를 위해 기존 연구 (Ho et al., 2022b; Wu et al., 2023; Blattmann et al., 2023)를 참고하여, 5d tensor $x\in \Bbb R^{b\times c \times f\times h\times w}$ 를 입력으로 받도록 모델을 수정했다. $b$는 batch, $f$는 frame을 뜻한다. 내부 feature map이 이미지 레이어를 지나갈때는 시간 축을 의미하는 $f$는 $b$축으로 reshaping을 통해 무시한다.
-
-(5d tensor → 4d tensor $x \in \Bbb R^{bf\times c \times h\times w}$ → (기존 이미지 레이머) → 4d tensor → 5d tensor)
-
-이를 통해 각 프레임을 개별 이미지 처럼 독립적으로 처리할 수 있다. 반면에 새롭게 추가된 motion module은 공간축($h,w$)을 reshaping하여 무시한다. (5d tensor → 3d tensor $x \in \Bbb R^{bhw\times c \times f}$ → (motion module) → 3d tensor → 5d tensor)
-
-**Module Design**
-
-최근 비디오 생성 연구들은 temporal modeling의 다양한 방식을 탐구하고 있다. AnimateDiff에서는 Transformer 구조를 차용하여 시간축상에서 동작하도록 작은 수정을 거쳐 motion module을 design했다. (이하 temporal Transformer) 실험을 통해 해당 구조가 motion prior를 모델링하는데 적합하다는 것을 발견했다. Fig.3을 보면 temporal Transformer가 시간축에서 동작하는 여러 self-attn block으로 이루어진것을 볼수 있다. 또한 sinusoidal position encoding을 통해 애니메이션상의 각 프레임의 시간적 위치정보를 나타내고자 했다. 앞서 언급한 대로 motion module의 입력크기는 feature map을 reshaping하여 조절하였다. ($x \in \Bbb R^{bhw\times c \times f}$) feature map을 시간축으로 다시 펼치고자 할때는 다음과 같은 길이 $f$, 크기 $z_1, ...,z_f;z_i \in \Bbb R^{(b\times h\times w)\times c}$의 vector sequence로 다룰수 있다. 해당 크기의 벡터가 self-attn block을 통과하면 다음과 같다.
-
-$$
-z_{\text{out}}=\text{Attention}(Q,K,V)=\text{Softmax}(QK^T/\sqrt{c})\cdot V \tag{5}
-$$
-
-$Q=W^Qz, K=W^Kz, V=W^Vz$ 이며, 각각 분리된 세 projection을 의미한다. attention mechanism을 통해 현 프레임의 생성에 다른 프레임으로 부터 추출된 정보를 반영하는 것이 가능하다. 결과적으로 각 프레임을 개별적으로 생성하는 것이 아닌, T2I 모델을 확장하여 motion module을 추가한 AnimateDiff가 시간에 따른 visual content의 변화를 잘 포착하기 위해 학습하여 motion dynamics를 이용해 animation clip을 제작하도록 한다. self-attn block전에 sinusoidal position encoding을 잊어서는 안된다. 하지만 motion module 자체가 frame의 순서를 알고 있는 것은 아니다.
-
-추가적인 모듈을 넣음으로 인해 발생할수 있는 문제들을 피하기 위해 temporal Transformer의 레이어의 파라미터는 0으로 초기화 하였으며 residual connection을 추가하여 훈련 시작시에 motion module이 identity mapping으로 동작하도록 했다.
-
-### 4.3 Adapt to New Motion Patterns with MotionLoRA
-
-전반적인 motion 지식을 motion module이 사전학습하더라도 새로운 동작 패턴에 대한 적용에 대한 문제는 발생한다.
-ex. zooming, panning, rolling.
-
-높은 사전학습을 위한 비용을 감당할 수 없어 motion module을 특정 액션에 맞춰 튜닝하고자 하는 사용자를 위해 적은 참고 비디오(reference video)나 적은 훈련 횟수로도 효율적으로 모델을 적용할 수 있도록 하는 것이 중요하다. 이를 위해 AnimateDiff에 MotionLoRA를 마지막으로 적용했다. Motion Module의 구조와 제한된 참고 비디오를 고려하여, self-attn layers에 LoRA layers를 inflated model에 추가하여 motion personalization을 위한 효율적인 파인튜닝 방법을 제안한다.
-
-몇 종의 촬영 방식으로 실험을 진행하였으며 rule-based augmentation을 통해 reference videos를 얻었다. 예를 들어 zooming 비디오를 얻기 위해 시간에 따라 비디오 프레임을 점차 줄이거나(zoom-in) 늘려가며(zoom-out) augmentation을 진행했다. AnimateDiff의 MotionLoRA는 20~50개 정도의 적은 참고 비디오, 2000번의 훈련횟수로 파인튜닝했을때도 괜찮은 결과를 보였다. low-rank property로 인해 MotionLoRA 또한 composition capability를 가지고 있다. 학습된 MotionLoRA 모델 각각이 inference time상의 motion effect를 융합하기위해 협력(combine)할 수 있음을 말한다.
-
-### 4.4 AnimateDiff in Practice
-
-#### Training
-
-Fig. 3을 보면 AnimateDiff에는 학습 가능한 모듈이 3개 있다. 각 모듈의 objective는 약간씩 다르다. domain adapter는 SD의 MSE loss인 Eq. 2 objective function을 통해 학습한다. 애니메이션을 만드는 역할을 하는 motion module과 motion LoRA의 경우 video data에 대한 차원을 더 많이 수용하기 위해 약간 수정된 objective를 사용한다. video data batch ( $x_0^{1:f}\in \Bbb R^{b\times c \times f \times h \times w}$)는 사전학습된 SD의 auto-encoder를 사용해 각 프레임 별로 latent code $z_0^{1:f}$로 인코딩된다. 이 latent code는 Eq. 1 과 같이 정의된 diffusion schedule에 따라 노이즈가 추가(forward process)된다.
-
-$$
-z_t^{1:f}=\sqrt{\bar \alpha_t}z_0^{1:f}+\sqrt{1-\bar\alpha_t}\epsilon^{1:f} \tag{6}
-$$
-
-모델의 입력은 노이즈가 추가된 latent codes와 이 쌍이되는 text prompts이며, 모델은 forward process에서 추가된 노이즈를 예측한다. AnimateDiff의 motion module을 위한 최종 training objective는 아래와 같다.
-
-$$
-\mathcal L=\Bbb E_{\mathcal E(x_0^{1:f}),y,\epsilon^{1:f}\sim\mathcal N(0,I),t}\Big[\|\epsilon-\epsilon_\theta(z_t^{1:f},T,\tau_\theta(y))\|^2_2\Big] \tag{7}
-$$
-
-각 모듈들(domain adapter, motion module, MotionLoRA)을 학습할때, 학습 타겟을 제외한 영역은 freeze 시킨뒤 학습했다.
-
-#### Inference
-
-inference시에는 personalized T2I model는 앞서 설명한대로 inflate되며 motion module과 (optional) MotionLoRA를 더해 애니메이션을 생성한다.
-
-domain adapter의 경우 inference시 그냥 배제하지 않고 personalized T2I model에 injection하였으며 domain adapter의 영향력은 Eq. 4의 $\alpha$를 이용해 조절했다. Sec 5.3의 Ablation study에서 $\alpha$의 값에 따른 결과의 차이를 확인할 수 있다. 마지막으로 animation frames은 reverse diffusion process와 이를 통해 얻은 latent codes를 디코딩 함으로써 얻을수 있다.
-
-## 5. Experiments
-
-SD 1.5에 AnimateDiff를 적용하여 실험을 진행했다. 또한 motion module을 학습할때는 WebVid 10M 데이터셋을 사용하였다. (자세한 사항은 supplementary material 확인해주세요)
-
-### 5.1 Qualitative Results
-:::{figure-md}
-
-
-qualitative results
-:::
-
-### 5.2 Quantitative Comparison
-:::{figure-md}
-
-
-quantitative results
-:::
-
-- User Study
-
- text, domain, smooth 3개 지표에 대한 개별 등수를 조사했다. Average User Ranking(AUR) 방법을 사용하여 높은 점수를 가지면 높은 품질을 의미하는 preference metric을 사용했다.
-
-
-- CLIP metric
-
- related paper에서 언급했던 이미지와 텍스트쌍을 동시에 학습한 CLIP 모델을 활용한 평가지표이다. 사전학습된 CLIP 모델을 사용하여 generated frames와 reference 사이 CLIP score를 계산한 것이다.
-
- +) CLIP score는 CLIP encoder를 통과한 벡터들 사이 코사인 유사도를 계산하는 방식
-
- - Text
- - 각 프레임 임베딩과 주어진 텍스트 임베딩 사이 코사인 유사도
- - Domain
- - 원본 애니메이션이 없으므로 reference image와 생성된 영상 사이 CLIP score를 구함.
- - Smooth
- - 연속된 프레임 쌍의 이미지 임베딩의 코사인 유사도
-
-
-### 5.3 Ablation Study
-
-#### Domain Adapter
-
-:::{figure-md}
-
-
-scaler를 0으로 하면 domain adapter에 의한 효과를 제거한 것과 같다. 위의 그림은 모델이 생성한 animation clip의 첫번째 프레임이다.
-:::
-
-domain adapter에 의한 효과를 제거했을때 전체적인 이미지 퀄리티가 높아 보이는데, 이는 domain adapter가 video dataset의 특성이라고 할 수 있는 watermark나 모션 블러 등을 학습했기 때문이다. 즉, domain adapter가 전체 학습과정에 도움이 되었음을 보여준다.
-
-#### Motion module design
-
-AnimateDiff의 temporal Transformer구조와 전체 convolution인 구조의 모델과 비교했다. 두 방식 모두 비디오 생성 분야에서 자주 사용된다.
-
-temporal Transformer의 temporal attention부분을 1D temporal convolution으로 교체하여 두 모델의 파라미터가 유사하게 놓여있음을 확인했다. convolution motion module은 모든 프레임을 동일하게 놓았지만 Transformer 구조와 비교하여 움직임을 제대로 반영하지 못했다.
-
-#### Efficiency of MotionLoRA
-
-parameter efficiency와 data efficiency 측면에서 MotionLoRA의 효율성을 시험해보았다. 이를 위해 parameter 개수와 data 개수를 조절해가며 여러 MotionLoRA를 학습시켰다.
-
-:::{figure-md}
-
-
-Efficiency of MotionLoRA
-:::
-
-- Parameter efficiency
- - 효율적인 모델학습을 위해도 모델의 배포를 위해서도 중요한 부분이다.
- - AnimateDiff는 비교적 파라미터 개수가 적들때에도 괜찮은 애니메이션을 만들수 있다. 그림의 실험에서는 zoom-in 카메라 움직임을 새롭게 학습하는 능력을 본것이다.
-- Data efficiency
- - 특정 motion pattern을 위한 reference video 데이터를 수집하기 어렵기 때문에 모델을 실제로 적용하기 위해 중요한 부분이다.
- - 데이터의 개수가 적을때에도 학습하고자 하는 움직임은 학습할 수 있었으나 데이터의 개수가 극도로 적을 경우(N=5) 생성된 애니메이션 품질의 급격한 저하가 있었다.
-
-### 5.4 Controllable Generation
-
-:::{figure-md}
-
-
-Controllability of AnimateDiff
-:::
-
-visual content와 motion prior의 개별 학습을 통해 AnimateDiff가 existing content를 조절할 수 있도록 했다. 이 특성을 확인하기 위해 AnimateDiff를 ControlNet과 결합하여 영상 생성시 depth를 통해 조절할 수 있도록 했다.
-
-DDIM inversion을 통해 다듬어진 latent sequences를 얻고 이를 비디오 생성에 사용하는 최신 비디오 수정 연구들과 비교하여 AnimateDiff는 randomly sampled noise를 이용하여 애니메이션을 생성한다.
-
-## 6. Conclusion
-
-본 논문에서는 애니메이션 생성을 위한 practical pipeline인 AnimateDiff를 제안한다. AnimateDiff를 통해 personalized text-to-image model을 바로 애니메이션 생성에 사용할 수 있다. 이를 위해 본 논문에서는 세가지 module을 디자인하였으며 이를 통해 AnimateDiff는 motion prior를 학습하고, visual quality를 유지할 수 있으며, MotionLoRA를 통해 가벼운 finetuning을 통해 원하는 motion으로 애니메이션을 생성할 수 있다.
-
-motion module은 한번 학습되면 다른 이미지를 animate시키고자 할때 사용할 수 있다. 다양한 실험 결과를 통해 AnimateDiff와 MotionLoRA의 효율성과 생성능력을 검증했다. 또 content-controllability측면에서도 추가적인 학습없이 본 논문의 방식을 사용할 수 있음을 보였다.
-
-AnimateDiff는 취향의 그림체, 캐릭터의 움직임, 카메라 워크에 맞게 이미지를 애니메이션화 시킬 수있는 효율적인 베이스 라인으로써 다양한 방면의 application에 큰 잠재력을 가지고 있다.
-
-## 7. 실습
-아래 이미지들을 클릭하면 gif를 보실 수 있습니다.
-
-:::{figure-md}
-
-
-side-view-photo-of-17-year-old-girl-in-a-japanese-school\
-gpt로 생성한 그림을 input으로 사용함
-:::
-
-:::{figure-md}
-
-
-side-view-photo-of-man-in-black-padded-jumper\
-직접 촬영한 사진을 input으로 사용함\
-입력한 사진의 인물의 인종이 유지되지 않았는데 학습데이터 셋의 불균형 때문으로 사료됨
-:::
-
-:::{figure-md}
-
-
-image-of-a-man-with-blonde-hair-and-blue-eyes\
-gpt로 생성한 그림을 input으로 사용함
-:::
-
-> 📌 실습 후 느낀점
-> - WebVid 10M이 애니메이션화에 적합한 데이터셋인지 잘 모르겠다.
-> - 다양한 metric을 평가에 사용하지 않은 점이 아쉽다.
-> - 특정 애니메이션 클립을 생성하고 싶다면 실질적으로 학습해야 하는 부분은 motionLoRA정도라 사용이 편리하다.
-> - reproduction이 매우 용이하다.
+``` {admonition} Information
+- **Title:** AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning (ICLR 2024)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2307.04725](https://arxiv.org/abs/2307.04725)
+ - Code: [https://github.com/guoyww/AnimateDiff?tab=readme-ov-file](https://github.com/guoyww/AnimateDiff?tab=readme-ov-file)
+ - Project Page : [https://animatediff.github.io](https://animatediff.github.io)
+
+- **Author:** Kyeongmin Yu
+
+- **Last updated on June. 11, 2024**
+```
+
+# AnimateDiff
+
+>📌 논문의 의의\
+>In this paper, we present **AnimateDiff**, a practical framework for animating personalized T2I models without requiring model-specific tuning.\
+>**AnimateDiff = public personalized T2I models + domain adapter & plug-and-play Motion Module + MotionLoRA**
+
+## 0. Abstract
+
+T2I diffusion model과 DreamBooth나 LoRA와 같은 개인화 기술이 발전함에 따라 사람들은 적절한 비용을 지불하여 고화질의 원하는 이미지를 얻을 수 있게 되었다. 하지만, 기존 고화질 이미지 생성 모델(personalized T2I)에 움직임을 추가하거나 애니메이션을 생성하도록 하는 것은 여전히 어렵다. **본 논문에서는 추가적인 훈련(model-specific tuning)없이 기존 고화질 이미지 생성모델에 움직임을 추가하는 실용적인 프레임 워크를 제안한다.** **본 논문에서 제안하는 프레임 워크의 핵심은 plug-and-play motion module을 활용하는 것으로 이 motion module을 한번 학습하면, 어떤 이미지 생성 모델과도 융합할 수 있다.** 본 논문에서 제안하는 학습 방법을 이용하면 motion module은 real-world 비디오로 부터 효과적으로 motion prior를 학습할 수 있다. 한번 학습된 motion module은 이미지 생성 모델에 덧붙여 애니메이션 생성 모델로 사용할 수 있다. 또한 AnimateDiff를 위한 간단한 파인튜닝 방식인 MotionLoRA를 제안한다. 이는 사전 학습된 motion module이 저비용으로 새로운 움직임 패턴을 학습할 수 있게 해준다. (ex. 촬영 기법) AnimateDiff와 MotionLoRA를 공개된 이미지 생성 모델에 부착하여 실험했으며 이를 통해 본 논문의 방식이 이미지 퀄리티와 다양한 움직임을 보전하면서도 자연스러운 애니메이션 클립을 생성할 수 있음을 보였다.
+
+:::{figure-md}
+
+
+inference pipeline
+:::
+
+- **Core Framework**
+ - public T2I models
+ - personalized T2Is from the same base T2I (SD1.5)
+ - can download finetuned T2I from [civitai](https://civitai.com/) or hugging face
+ - domain adapter
+ - LoRA기반 domain adapter를 base T2I 모델에 더해 video dataset을 학습할때 발생할수 있는 domain gap을 줄였다.
+ - 여기서 말하는 domain gap이란 video의 각 프레임을 나누어 이미지로 봤을때 발생할 수 있는 motion blur, compression artifacts, watermarks등을 말한다.
+ - training strategy of a plug-and-play motion module
+ - learns transferable motion priors from real-world videothrough proposed training strategy
+ - 한번 학습하고 나면 다른 T2I모델과 결합해 animation generator로 사용할 수 있다.
+ - MotionLoRA
+ - adapt the pre-trained motion module to specific motion patterns
+
+## 1. Introduction
+
+ 텍스트 프롬프트를 입력하여 이미지를 생성하는 디퓨전 모델(T2I diffusion models)의 발전으로 많은 예술가와 아마추어들이 시각 컨텐츠를 보다 쉽게 생성할 수 있게 되었다. 기존 T2I 모델의 생성능력(creativity)를 자극하기 위해 DreamBooth와 LoRA와 같은 가벼운 개인화 방식들이 제안되었다. 이러한 방식들은 작은 데이터셋과 적당한 하드웨어에서도 customized finetuning을 할 수 있게 해준다. 그로인해 사용자들이 적은 비용으로도 base T2I model을 새로운 domain에 적용하거나 시각적 퀄리티를 높일 수 있게 되었다. 그 결과 AI 아티스트와 아마추어 커뮤니티 에서 상당량의 personalized models을 Civitai나 Hugging Face와 같은 플랫폼에 개시했다. 이러한 모델들이 상당히 좋은 수준의 이미지를 생성할 수 있지만, 정적인 이미지만 생성할 수 있다는 한계가 있다. 반면, 애니메이션을 생성하는 기술이 영화나 카툰과 같은 실산업에서 더 요구된다. 본 연구에서는 고화질 T2I 모델을 파인튜닝 없이 곧바로 애니메이션 생성 모델로 변환하는 것을 목표로 한다. 파인 튜닝을 위한 데이터 수집과 컴퓨팅 자원의 필요는 아마추어 사용자에게 걸림돌이 된다.
+
+**본 논문에서는 AnimateDiff를 제안하는데 이는 personalized T2I model의 능력을 보전하면서 애니메이션을 생성하는 문제를 해결할 수 있는 효과적인 파이프라인이다.** AnimateDiff의 핵심은 비디오 데이터셋(WebVid-10M)으로부터 타당한 motion 정보를 plug-and-play motion module이 학습하는 것이다. motion module의 학습은 세가지 단계로 구성된다.
+
+1. **domain adapter 파인튜닝**
+
+ visual distribution of the target video dataset(이미지 품질차이, 동영상 워터마크, 압축으로 인한 artifacts)에 대한 부분은 이 모듈이 학습함으로써 이후 motion관련 모듈들이 motion에만 집중할 수 있도록 한다.
+
+2. **새로운 motion module**
+
+ 비디오를 입력받을수 있게 inflate시킨 base T2I 모델에 domain adapter를 더한 모델에 모션 모델링을 위한 모션 모듈을 추가한다. 이 모듈을 학습할때는 domain adapter와 base model을 freeze한다. 이렇게 하면 motion module이 움직임에 대한 부분을 전반적으로 학습하여 모듈별 학습이 가능해진다. (다른 그림체를 원할경우 base T2I+domain adapter를 바꾸면 됨)
+
+3. **(optional) MotionLoRA 학습**
+
+ MotionLoRA의 경우 특정 motion을 적은 수의 reference videos와 학습횟수로 학습하는 것을 목표로하는 모듈이다. 이름과 같이 Low-Rank Adaptation (LoRA) (Hu et al., 2021)를 이용하는데 새로운 motion pattern을 적은수(50개)의 reference video만으로 학습시킬수 있다. 또한 차지하는 메모리도 적어 추가학습이나 모델을 공유,배포하는데에도 유리하다.
+
+:::{figure-md}
+
+
+training pipeline
+:::
+
+
+## 2. Related Work
+
+### 2.1 Text-to-image diffusion models
+
+- Diffusion models
+ - GLIDE ([Nichol et al., 2021](https://arxiv.org/abs/2112.10741)) 는 text condition을 통해 이미지를 생성하는 방법을 소개하고, classifier guidance를 조절하여 더 나은 이미지 결과물을 얻는 방법을 설명했다.
+ - **G**uided **L**anguage to **I**mage **D**iffusion for Generation and **E**diting
+ - DALL-E2 (Ramesh et al., 2022)는 CLIP을 이용하여 text-image 일관성을 향상시켰다.
+ - Imagen (Saharia et al., 2022)은 LLM과 cascade 구조를 이용하여 photorealistic한 결과물을 얻고자 했다.
+ - **Stable Diffusion (Rombach et al., 2022)**은 auto-encoder의 latent space에서 diffusion 과정을 수행함으로써 효율을 높였다. (3.1 참고)
+ - eDiff-I ([Balaji et al., 2022](https://www.google.com/search?client=safari&rls=en&q=e+diff+i&ie=UTF-8&oe=UTF-8)) 디퓨전 모델들을 앙상블 학습시켜 generation(denoising) 단계별로 적절한 디퓨전 모델로 denoise를 수행하고자 했다.
+
+:::{figure-md}
+
+
+CLIP:Contrastive language-image pre-training
+:::
+
+:::{figure-md}
+
+
+Imagen
+:::
+
+:::{figure-md}
+
+
+eDiff-I
+:::
+
+
+### 2.2 Personalizing T2I models
+
+사전학습된 T2I 모델을 활용하기 위해 효율적인 개인화(personalization)방법에 대한 연구가 뜨겁다. 여기서 개인화란 reference images를 통해 (새로운) concepts나 style을 사전학습된 모델에 추가하는 것을 말한다. (손을 잘그리는 모델, 눈을 잘그리는 모델, 특정 그림체를 학습한 모델 등) 이를 위한 가장 단순한 방법은 전체 모델을 fine-tuning 시키는 것이다. 이를 통해 전체적인 퀄리티가 높아질 수도 있지만, 기존 학습데이터를 잊는 catastrophic forgetting이 발생할 수도 있다는 문제가 있다. 이러한 문제는 특히 reference image 데이터가 적을때 발생한다.
+
+- DreamBooth ([Ruiz et al., 2023](https://dreambooth.github.io)) 은 매우 적은 이미지를 사용하면서도 preservation loss를 추가하여 전체 모델을 fine-tuning 시켰다.
+- Textural Inversion (Gal et al., 2022) 은 새로운 concept 마다 token embedding을 최적화 하였다.
+- **Low-Rank Adaptation (LoRA) ([Hu et al., 2021](https://github.com/microsoft/LoRA))** 은 LoRA layer를 추가하여 이에 대해서만 fine-tuning을 수행했다. (Sec 3.2 참고)
+- 그외의 encoder-based approaches ([Gal et al., 2023](https://tuning-encoder.github.io); [Jia et al., 2023](https://arxiv.org/abs/2304.02642))
+
+### 2.3 Animating personalized T2Is
+
+personalized T2I를 애니메이션화 시키는 연구가 많지는 않지만 아래의 연구들과 관련있다.
+
+- Text2Cinemagraph [(Mahapatra et al., 2023)](https://text2cinemagraph.github.io/website/) 는 flow prediction을 통해 cinematography를 생성하고자 했다.
+- Align-Your-Latent [(Blattmann et al., 2023)](https://www.notion.so/AnimateDiff-17444a06eda84e14abaca781b4f71344?pvs=21) 는 general video generator내의 frozen image layers가 personalizing이 가능함을 확인했다.
+- video generation models **← 결과 비교시 사용**
+ - **Tune-a-Video** [(Wu et al., 2023)](https://github.com/showlab/Tune-A-Video) ****는 단일 비디오로 적은 수의 파라미터만 파인튜닝하는 방식을 제안했다. (SD+temporal attn 구조를 가지고 있음)
+ - **Text2Video-Zero** [(Khachatryan et al., 2023)](https://github.com/Picsart-AI-Research/Text2Video-Zero) 는 사전학습한 T2I모델을 활용하여 추가적인 학습과정 없이 애니메이션화 할 수 있는 방법을 제안했다. 이는 사전에 정의된 affine matrix를 사용하여 latent wrapping을 하는 방식이다.
+ - pretrained T2I + temporal structures 관련 연구들이 많다.
+
+ (Esser et al., 2023; Zhou et al., 2022a; Singer et al., 2022; Ho et al., 2022b,a; Ruan et al., 2023; Luo et al., 2023; Yin et al., 2023b,a; Wang et al., 2023b; Hong et al., 2022; Luo et al., 2023)
+
+
+## 3. Preliminary
+
+#### 3.1 Stable Diffusion
+
+Stable Diffusion ([Rombach et al., 2022](https://github.com/CompVis/stable-diffusion)), the base T2I model used in our work
+
+- open-sourced, well-developed community, many high-quality personalized T2I models for eval
+- 사전 학습된 encoder($\mathcal E$)와 decoder($\mathcal D$)를 이용하여 latent space상에서 diffusion process를 수행
+- 인코딩된 이미지 $z_0=\mathcal E(x_0)$ 의 경우 아래의 forward diffusion 과정을 통해 $z_t$ 변환됨
+- Forward diffusion for $t=1,2,…,T$
+
+ $$
+ z_t=\sqrt{\bar \alpha_t}z_0+\sqrt{1-\bar\alpha}\epsilon,\space \epsilon \sim \mathcal N(0,I) \tag{1}
+ $$
+
+ - pre-defined $\barα_t$ determines the noise strength at step $t$
+ - The denoising network $ϵ_θ(·)$ learns to reverse this process by predicting the added noise, encouraged by an MSE loss
+- MSE loss
+
+ $$
+ \mathcal L=\Bbb E_{\mathcal E(x_0),y,\epsilon \sim \mathcal N(0,I),t}\big [\| \epsilon-\epsilon_\theta(z_t,t,\tau_\theta(y))\|_2^2\big] \tag{2}
+ $$
+
+ - $y$ is the text prompt corresponding to $x_0$
+ - $τ_θ(·)$ is a text encoder mapping the prompt to a vector sequence.
+ - In SD, $ϵ_θ(·)$ is implemented as a UNet (down*4, middle, up*4 blocks; ResNet, spatial self-attn, cross-attn)
+
+#### 3.2 Low-Rank Adaptation(LoRA)
+
+Low-Rank Adaptation(LoRA) ([Hu et al., 2021](https://arxiv.org/pdf/2106.09685.pdf)), which helps understand the domain adapter (Sec. 4.1) and MotionLoRA (Sec. 4.3) in AnimateDiff
+
+- language model에서 처음 등장한 개념으로 거대 모델의 fine-tuning을 빠르게 수행하기 위해 제안된 개념이다.
+- LoRA는 모델의 전체 파라미터를 fine-tuning하지 않고, rank-decomposition 행렬 쌍을 추가하여 새롭게 추가된 weight만 최적화 시키는 것이다.
+- 기존 파라미터는 고정함으로써 finetuning시 발생할 수 있는 catastrophic forgetting([Kirkpatrick et al., 2017](https://www.notion.so/AnimateDiff-17444a06eda84e14abaca781b4f71344?pvs=21))을 예방할 수 있다.
+- The new model weight with LoRA
+
+ $$
+ \mathcal W'=\mathcal W+\vartriangle\mathcal W=\mathcal W+AB^T \tag{3}
+ $$
+
+ - $A ∈ R ^{m×r}$ , $B ∈ R ^{n×r}$ are a pair of rank-decomposition matrices, $r$ is a hyper-parameter, which is referred to as the rank of LoRA layers
+ - attention layer에서만 사용할수 있는 것은 아니지만 실제로는 주로 attention layer에서 사용된다. LoRA를 통해 fine-tuning시 cost 와 storage 절약할 수 있다.
+
+## 4. AnimateDiff
+
+> ➕ **Architecture Overall**\
+> 본 논문에서 제안하는 모델의 핵심은 비디오 데이터를 통해 transferable model prior를 학습하는 것이다. 이렇게 학습한 motion module을 personalized T2I 모델에 곧바로 적용할 수 있다. \
+> 왼쪽 그림의 하늘색 모델이 **motion module**이고, 초록색 영역이 optional **MotionLoRA**이다. AnimateDiff를 T2I모델에 삽입하여 animation generator로 사용할 수 있다. \
+> 이를 위한 AnimateDiff에는 **학습해야 하는 3개의 모듈**이 있다.
+> - **domain adapter**
+ - base T2I pre-training data와 our video training data간의 간극을 줄여주기 위한 것으로 학습과정에만 사용된다.
+> - **motion module** \
+ - motion prior를 학습하기 위한 모듈
+> - **MotionLoRA**(optional)\
+ - pretrained motion module을 새로운 움직임 패턴(카메라 워크)으로 조정하기 위한것
+
+:::{figure-md}
+
+
+inference pipeline
+:::
+
+> ➕ **Training Steps**\
+> 본 논문에서 제안하는 각 모듈은 따로따로 학습시키며 각각을 학습시킬때 나머지 영역은 freeze 시킨다. 학습시 사용하는 objective function은 SD과 거의 같다.
+> - Training step 1. Domain Adapter
+> - Training step 2. Motion Module
+> - Training step 3. Optional motionLoRA
+
+:::{figure-md}
+
+
+training pipeline
+:::
+
+### 4.1 Alleviate Negative Effects from Training Data with Domain Adapter
+
+비디오 데이터셋은 이미지 데이터셋에 비해 수집하기 어렵다. 동영상 데이터셋 WebVid (Bain et al., 2021)과 이미지 데이터셋 LAION-Aestetic (Schuhmann et al., 2022)를 비교해보면, 품질차이도 큼을 알 수 있다.
+
+각 비디오 프레임을 개별 이미지로 다루게 되면 motion blur, compression artifacts, watermark등을 포함하고 있을 수도 있다. 따라서 T2I 모델을 훈련할 때 사용한 이미지 데이터셋에 비해 motion prior를 학습하기 위해 사용한 동영상 데이터 셋의 품질은 무시할 수 없을 만큼의 차이가 있다. 이 때문에 직접적으로 비디오 데이터셋을 이용하여 애니메이션 생성 모델을 학습할 경우, 생성한 애니메이션의 품질이 제한 될 수 있다.
+
+동영상 데이터의 낮은 품질로 인해 해당 특성을 motion module이 학습하는 것을 피하고 base T2I의 지식을 보전하기 위해, 네트워크를 분리하여 각 도메인(영상/이미지)의 정보에 맞게 피팅하는 방식(domain adapter)을 제안한다. inference 시에는 domain adapter를 제거하였으며 앞서 언급한 domain gap에 의한 부정적 영향을 제거하는데 효과적이라는 것을 보여준다. domain adapter layer는 LoRA를 활용했으며, self-, cross-attention layer들을 base T2I model에 Fig. 3과 같이 추가하였다. 아래 query projection을 예로 살펴보면,
+
+:::{figure-md}
+
+
+LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
+:::
+
+
+$$
+Q=\mathcal W^Qz+\text{AdapterLayer}(z)=\mathcal W^Qz+\alpha \cdot AB^Tz \tag{4}
+$$
+
+$Q$ 는 query, $z$ 는 internal feature, $\alpha$ 는 상수로 inference time에 domain adapter의 영향력을 조절한다. (기본값은 1 / domain adapter의 효과를 완전히 제거하고 싶다면 $\alpha$를 0으로) 나머지 모델의 파라미터는 freeze하고 domain adapter의 파라미터들만 비디오 데이터셋으로 부터 랜덤하게 샘플한 static frame들을 이용하여 최적화했다. 이때 objective function은 Eq. (2)를 사용했다. (아직까지는 이미지 생성 모델)
+
+### 4.2 Learn Motion Priors with Motion Module
+
+motion dynamics를 사전학습된 T2I 모델과 공유하는 dimension상의 시간축으로 모델링 하기 위해 2가지 단계가 필요하다.
+
+1. 2d diffusion model을 3d 비디오 데이터에 맞게 확장시켜야 한다. (**Network Inflation**)
+2. 시간축상으로 효율적인 정보의 흐름을 만들기 위해 sub-module이 필요하다. (**Sub-module Design**)
+
+**Network Inflation**
+
+사전학습된 T2I 모델의 이미지 레이어는 고품질의 그림 사전지식(content prior)을 포착할수 있다. 이 지식을 활용(유지)하기 위해서 동일 모델로 video를 다루고자 할 때는 기존 이미지 레이어는 독립적으로 내버려두고, network를 확장시키는 방향이 선호된다. 이를 위해 기존 연구 (Ho et al., 2022b; Wu et al., 2023; Blattmann et al., 2023)를 참고하여, 5d tensor $x\in \Bbb R^{b\times c \times f\times h\times w}$ 를 입력으로 받도록 모델을 수정했다. $b$는 batch, $f$는 frame을 뜻한다. 내부 feature map이 이미지 레이어를 지나갈때는 시간 축을 의미하는 $f$는 $b$축으로 reshaping을 통해 무시한다.
+
+(5d tensor → 4d tensor $x \in \Bbb R^{bf\times c \times h\times w}$ → (기존 이미지 레이머) → 4d tensor → 5d tensor)
+
+이를 통해 각 프레임을 개별 이미지 처럼 독립적으로 처리할 수 있다. 반면에 새롭게 추가된 motion module은 공간축($h,w$)을 reshaping하여 무시한다. (5d tensor → 3d tensor $x \in \Bbb R^{bhw\times c \times f}$ → (motion module) → 3d tensor → 5d tensor)
+
+**Module Design**
+
+최근 비디오 생성 연구들은 temporal modeling의 다양한 방식을 탐구하고 있다. AnimateDiff에서는 Transformer 구조를 차용하여 시간축상에서 동작하도록 작은 수정을 거쳐 motion module을 design했다. (이하 temporal Transformer) 실험을 통해 해당 구조가 motion prior를 모델링하는데 적합하다는 것을 발견했다. Fig.3을 보면 temporal Transformer가 시간축에서 동작하는 여러 self-attn block으로 이루어진것을 볼수 있다. 또한 sinusoidal position encoding을 통해 애니메이션상의 각 프레임의 시간적 위치정보를 나타내고자 했다. 앞서 언급한 대로 motion module의 입력크기는 feature map을 reshaping하여 조절하였다. ($x \in \Bbb R^{bhw\times c \times f}$) feature map을 시간축으로 다시 펼치고자 할때는 다음과 같은 길이 $f$, 크기 $z_1, ...,z_f;z_i \in \Bbb R^{(b\times h\times w)\times c}$의 vector sequence로 다룰수 있다. 해당 크기의 벡터가 self-attn block을 통과하면 다음과 같다.
+
+$$
+z_{\text{out}}=\text{Attention}(Q,K,V)=\text{Softmax}(QK^T/\sqrt{c})\cdot V \tag{5}
+$$
+
+$Q=W^Qz, K=W^Kz, V=W^Vz$ 이며, 각각 분리된 세 projection을 의미한다. attention mechanism을 통해 현 프레임의 생성에 다른 프레임으로 부터 추출된 정보를 반영하는 것이 가능하다. 결과적으로 각 프레임을 개별적으로 생성하는 것이 아닌, T2I 모델을 확장하여 motion module을 추가한 AnimateDiff가 시간에 따른 visual content의 변화를 잘 포착하기 위해 학습하여 motion dynamics를 이용해 animation clip을 제작하도록 한다. self-attn block전에 sinusoidal position encoding을 잊어서는 안된다. 하지만 motion module 자체가 frame의 순서를 알고 있는 것은 아니다.
+
+추가적인 모듈을 넣음으로 인해 발생할수 있는 문제들을 피하기 위해 temporal Transformer의 레이어의 파라미터는 0으로 초기화 하였으며 residual connection을 추가하여 훈련 시작시에 motion module이 identity mapping으로 동작하도록 했다.
+
+### 4.3 Adapt to New Motion Patterns with MotionLoRA
+
+전반적인 motion 지식을 motion module이 사전학습하더라도 새로운 동작 패턴에 대한 적용에 대한 문제는 발생한다.
+ex. zooming, panning, rolling.
+
+높은 사전학습을 위한 비용을 감당할 수 없어 motion module을 특정 액션에 맞춰 튜닝하고자 하는 사용자를 위해 적은 참고 비디오(reference video)나 적은 훈련 횟수로도 효율적으로 모델을 적용할 수 있도록 하는 것이 중요하다. 이를 위해 AnimateDiff에 MotionLoRA를 마지막으로 적용했다. Motion Module의 구조와 제한된 참고 비디오를 고려하여, self-attn layers에 LoRA layers를 inflated model에 추가하여 motion personalization을 위한 효율적인 파인튜닝 방법을 제안한다.
+
+몇 종의 촬영 방식으로 실험을 진행하였으며 rule-based augmentation을 통해 reference videos를 얻었다. 예를 들어 zooming 비디오를 얻기 위해 시간에 따라 비디오 프레임을 점차 줄이거나(zoom-in) 늘려가며(zoom-out) augmentation을 진행했다. AnimateDiff의 MotionLoRA는 20~50개 정도의 적은 참고 비디오, 2000번의 훈련횟수로 파인튜닝했을때도 괜찮은 결과를 보였다. low-rank property로 인해 MotionLoRA 또한 composition capability를 가지고 있다. 학습된 MotionLoRA 모델 각각이 inference time상의 motion effect를 융합하기위해 협력(combine)할 수 있음을 말한다.
+
+### 4.4 AnimateDiff in Practice
+
+#### Training
+
+Fig. 3을 보면 AnimateDiff에는 학습 가능한 모듈이 3개 있다. 각 모듈의 objective는 약간씩 다르다. domain adapter는 SD의 MSE loss인 Eq. 2 objective function을 통해 학습한다. 애니메이션을 만드는 역할을 하는 motion module과 motion LoRA의 경우 video data에 대한 차원을 더 많이 수용하기 위해 약간 수정된 objective를 사용한다. video data batch ( $x_0^{1:f}\in \Bbb R^{b\times c \times f \times h \times w}$)는 사전학습된 SD의 auto-encoder를 사용해 각 프레임 별로 latent code $z_0^{1:f}$로 인코딩된다. 이 latent code는 Eq. 1 과 같이 정의된 diffusion schedule에 따라 노이즈가 추가(forward process)된다.
+
+$$
+z_t^{1:f}=\sqrt{\bar \alpha_t}z_0^{1:f}+\sqrt{1-\bar\alpha_t}\epsilon^{1:f} \tag{6}
+$$
+
+모델의 입력은 노이즈가 추가된 latent codes와 이 쌍이되는 text prompts이며, 모델은 forward process에서 추가된 노이즈를 예측한다. AnimateDiff의 motion module을 위한 최종 training objective는 아래와 같다.
+
+$$
+\mathcal L=\Bbb E_{\mathcal E(x_0^{1:f}),y,\epsilon^{1:f}\sim\mathcal N(0,I),t}\Big[\|\epsilon-\epsilon_\theta(z_t^{1:f},T,\tau_\theta(y))\|^2_2\Big] \tag{7}
+$$
+
+각 모듈들(domain adapter, motion module, MotionLoRA)을 학습할때, 학습 타겟을 제외한 영역은 freeze 시킨뒤 학습했다.
+
+#### Inference
+
+inference시에는 personalized T2I model는 앞서 설명한대로 inflate되며 motion module과 (optional) MotionLoRA를 더해 애니메이션을 생성한다.
+
+domain adapter의 경우 inference시 그냥 배제하지 않고 personalized T2I model에 injection하였으며 domain adapter의 영향력은 Eq. 4의 $\alpha$를 이용해 조절했다. Sec 5.3의 Ablation study에서 $\alpha$의 값에 따른 결과의 차이를 확인할 수 있다. 마지막으로 animation frames은 reverse diffusion process와 이를 통해 얻은 latent codes를 디코딩 함으로써 얻을수 있다.
+
+## 5. Experiments
+
+SD 1.5에 AnimateDiff를 적용하여 실험을 진행했다. 또한 motion module을 학습할때는 WebVid 10M 데이터셋을 사용하였다. (자세한 사항은 supplementary material 확인해주세요)
+
+### 5.1 Qualitative Results
+:::{figure-md}
+
+
+qualitative results
+:::
+
+### 5.2 Quantitative Comparison
+:::{figure-md}
+
+
+quantitative results
+:::
+
+- User Study
+
+ text, domain, smooth 3개 지표에 대한 개별 등수를 조사했다. Average User Ranking(AUR) 방법을 사용하여 높은 점수를 가지면 높은 품질을 의미하는 preference metric을 사용했다.
+
+
+- CLIP metric
+
+ related paper에서 언급했던 이미지와 텍스트쌍을 동시에 학습한 CLIP 모델을 활용한 평가지표이다. 사전학습된 CLIP 모델을 사용하여 generated frames와 reference 사이 CLIP score를 계산한 것이다.
+
+ +) CLIP score는 CLIP encoder를 통과한 벡터들 사이 코사인 유사도를 계산하는 방식
+
+ - Text
+ - 각 프레임 임베딩과 주어진 텍스트 임베딩 사이 코사인 유사도
+ - Domain
+ - 원본 애니메이션이 없으므로 reference image와 생성된 영상 사이 CLIP score를 구함.
+ - Smooth
+ - 연속된 프레임 쌍의 이미지 임베딩의 코사인 유사도
+
+
+### 5.3 Ablation Study
+
+#### Domain Adapter
+
+:::{figure-md}
+
+
+scaler를 0으로 하면 domain adapter에 의한 효과를 제거한 것과 같다. 위의 그림은 모델이 생성한 animation clip의 첫번째 프레임이다.
+:::
+
+domain adapter에 의한 효과를 제거했을때 전체적인 이미지 퀄리티가 높아 보이는데, 이는 domain adapter가 video dataset의 특성이라고 할 수 있는 watermark나 모션 블러 등을 학습했기 때문이다. 즉, domain adapter가 전체 학습과정에 도움이 되었음을 보여준다.
+
+#### Motion module design
+
+AnimateDiff의 temporal Transformer구조와 전체 convolution인 구조의 모델과 비교했다. 두 방식 모두 비디오 생성 분야에서 자주 사용된다.
+
+temporal Transformer의 temporal attention부분을 1D temporal convolution으로 교체하여 두 모델의 파라미터가 유사하게 놓여있음을 확인했다. convolution motion module은 모든 프레임을 동일하게 놓았지만 Transformer 구조와 비교하여 움직임을 제대로 반영하지 못했다.
+
+#### Efficiency of MotionLoRA
+
+parameter efficiency와 data efficiency 측면에서 MotionLoRA의 효율성을 시험해보았다. 이를 위해 parameter 개수와 data 개수를 조절해가며 여러 MotionLoRA를 학습시켰다.
+
+:::{figure-md}
+
+
+Efficiency of MotionLoRA
+:::
+
+- Parameter efficiency
+ - 효율적인 모델학습을 위해도 모델의 배포를 위해서도 중요한 부분이다.
+ - AnimateDiff는 비교적 파라미터 개수가 적들때에도 괜찮은 애니메이션을 만들수 있다. 그림의 실험에서는 zoom-in 카메라 움직임을 새롭게 학습하는 능력을 본것이다.
+- Data efficiency
+ - 특정 motion pattern을 위한 reference video 데이터를 수집하기 어렵기 때문에 모델을 실제로 적용하기 위해 중요한 부분이다.
+ - 데이터의 개수가 적을때에도 학습하고자 하는 움직임은 학습할 수 있었으나 데이터의 개수가 극도로 적을 경우(N=5) 생성된 애니메이션 품질의 급격한 저하가 있었다.
+
+### 5.4 Controllable Generation
+
+:::{figure-md}
+
+
+Controllability of AnimateDiff
+:::
+
+visual content와 motion prior의 개별 학습을 통해 AnimateDiff가 existing content를 조절할 수 있도록 했다. 이 특성을 확인하기 위해 AnimateDiff를 ControlNet과 결합하여 영상 생성시 depth를 통해 조절할 수 있도록 했다.
+
+DDIM inversion을 통해 다듬어진 latent sequences를 얻고 이를 비디오 생성에 사용하는 최신 비디오 수정 연구들과 비교하여 AnimateDiff는 randomly sampled noise를 이용하여 애니메이션을 생성한다.
+
+## 6. Conclusion
+
+본 논문에서는 애니메이션 생성을 위한 practical pipeline인 AnimateDiff를 제안한다. AnimateDiff를 통해 personalized text-to-image model을 바로 애니메이션 생성에 사용할 수 있다. 이를 위해 본 논문에서는 세가지 module을 디자인하였으며 이를 통해 AnimateDiff는 motion prior를 학습하고, visual quality를 유지할 수 있으며, MotionLoRA를 통해 가벼운 finetuning을 통해 원하는 motion으로 애니메이션을 생성할 수 있다.
+
+motion module은 한번 학습되면 다른 이미지를 animate시키고자 할때 사용할 수 있다. 다양한 실험 결과를 통해 AnimateDiff와 MotionLoRA의 효율성과 생성능력을 검증했다. 또 content-controllability측면에서도 추가적인 학습없이 본 논문의 방식을 사용할 수 있음을 보였다.
+
+AnimateDiff는 취향의 그림체, 캐릭터의 움직임, 카메라 워크에 맞게 이미지를 애니메이션화 시킬 수있는 효율적인 베이스 라인으로써 다양한 방면의 application에 큰 잠재력을 가지고 있다.
+
+## 7. 실습
+아래 이미지들을 클릭하면 gif를 보실 수 있습니다.
+
+:::{figure-md}
+
+
+side-view-photo-of-17-year-old-girl-in-a-japanese-school\
+gpt로 생성한 그림을 input으로 사용함
+:::
+
+:::{figure-md}
+
+
+side-view-photo-of-man-in-black-padded-jumper\
+직접 촬영한 사진을 input으로 사용함\
+입력한 사진의 인물의 인종이 유지되지 않았는데 학습데이터 셋의 불균형 때문으로 사료됨
+:::
+
+:::{figure-md}
+
+
+image-of-a-man-with-blonde-hair-and-blue-eyes\
+gpt로 생성한 그림을 input으로 사용함
+:::
+
+> 📌 실습 후 느낀점
+> - WebVid 10M이 애니메이션화에 적합한 데이터셋인지 잘 모르겠다.
+> - 다양한 metric을 평가에 사용하지 않은 점이 아쉽다.
+> - 특정 애니메이션 클립을 생성하고 싶다면 실질적으로 학습해야 하는 부분은 motionLoRA정도라 사용이 편리하다.
+> - reproduction이 매우 용이하다.
> - AnimateDiff를 제대로 활용하기 위해서는 personalized T2I가 제일 중요한 부분이라고 할수 있는데, 원하는 스타일의 pretrained T2I 모델을 구하는 것이 어렵다. 그림체가 잘 맞지 않으면 애니메이션 클립 초반에 급격히 변화하는 부분이 자주 생긴다.
\ No newline at end of file
diff --git a/_sources/docs/review/Animate_Anyone.md b/_sources/docs/review/Animate_Anyone.md
index f4034b84..86cdd74a 100755
--- a/_sources/docs/review/Animate_Anyone.md
+++ b/_sources/docs/review/Animate_Anyone.md
@@ -1,330 +1,330 @@
-``` {admonition} Information
-- **Title:** Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2311.17117](https://arxiv.org/abs/2311.17117)
- - Code:
- - [Official](https://github.com/HumanAIGC/AnimateAnyone)
- - [NonOfficial](https://github.com/guoqincode/Open-AnimateAnyone)
- - Project Page : [https://humanaigc.github.io/animate-anyone/](https://humanaigc.github.io/animate-anyone/)
-
-- **Author:** Geonhak Song
-
-- **Last updated on {March. 13, 2024}**
-```
-
-# Animate Anyone
-
-:::{figure-md}
-
-
-Animate Anyone Example Figure
-:::
-
-## Abstract
-
-- Diffusion 모델들이 visual generation 연구에 주류가 되었지만, image-to-video 영역에서는 어려움이 있다. 특히, character animation에서 캐릭터의 상세 정보의 일관성을 유지하는 것은 큰 문제이다.
-- reference image의 복잡한 appearance 특징의 일관성을 유지하기 위해서 spatial attention feature과 통합할 **ReferenceNet** 설계
-- controllability와 continuity을 위해서 효과적인 **pose guider** 도입.
-- 비디오 프레임간 부드러운 전이를 위해 효과적인 effective **temporal modeling** 도입
-- 이를 통해 어떠한 임의의 캐릭터에 대해서도 animate할 수 있고 우월성을 보임
-
-## 1. Introduction
-
-**Character Animation History**
-
-- Character Animation은 source character 이미지로부터 사실적인 비디오를 animate하는 작업으로 GAN을 시작으로 많은 연구가 진행되어왔다.
-- 그러나 생성된 이미지 또는 비디오는 local distortion, blurred details, semantic inconsistency, temporal instability 문제가 있어 널리 사용되기에는 어려움이 있어왔다.
-
-**Diffusion 기반 image-to-video 예시**
-
-- 최근 diffusion model의 우수성에 따라 image-to-video task에 diffusion model을 활용하려는 연구들이 보였다.
-- DreamPose (23.04)
- - Stable Diffusion을 확장한 fashion image-to-video 합성을 가능하는데 초점을 맞췄다.
- - 본 모델은 CLIP과 VAE feature를 통합한 adpatar module를 제안했다.
- - 그러나 consistent 결과를 위해서 input sample에 대해 추가 finetuning이 필요하고 운용 효율이 떨어진다.
-- DisCO (23.07)
- - Stable Diffusion을 수정하여 human dance generation 진행
- - CLIP과 ControlNet을 활용한 통합 모델 구축
- - 그러나 character detail 보존에 어려움을 겪고 frame간 jittering issue 존재
-
-**Character Animation 관점에서의 Text-to-image generation 한계**
-
-- text-to-image generation & video generation에 시각적 품질과 다양성에 큰 진전이 있어왔지만, 복잡한 detail을 잘 살리는 것이 어렵고 정확도 측면에서도 부정확한 부분이 있다.
-- 더욱이, 실질적 character 움직임을 다룰 때, 일관성 측면에서 안정적이고 연속적인 영상을 만들어내는 것이 어렵다.
-- 현재는 일반성과 일관성을 동시에 만족하는 character animation 방법을 찾을 수 없어 본 논문에서 Animate Anyone 방법을 제안한다.
-
-**Animate Anyone 모델 구조 요약**
-
-- appearance consistency를 위한 **ReferenceNet** 도입.
- - spatial attention를 사용하는 UNet으로 ReferenceNet feature과 통합
- - 이는 모델로 하여금 일관된 feature space에서 reference image의 관계성을 종합적으로 학습하게 함
-- pose controllability를 위한 **lightweight pose guider** 도입.
- - 효과적인 pose control signal을 denoising 절차에 통합함.
-- temporal stability를 위한 **temporal layer** 도입
- - 연속적이고 부드러운 temporal motion process와 동시에 고해상도 detail quality 보존을 위한 frame간 관계성 학습
-
-**제안 모델의 결과**
-
-- 5K character video clip 인터넷 데이터 세트로 훈련
-- 장점 1) character appearance의 spatial & temporal consistency을 효과적으로 유지
-- 장점 2) temporal jitter & flickering과 같은 문제 없는 높은 신뢰도의 비디오 생성
-- 장점 3) 어떠한 character image에도 animation video 생성 가능
-- benchmark에 대한 결과 또한 우수성 증명
-
-## 2. Related Works
-
-### 2.1 Diffusion Model for Image Generation
-
-T2I model
-
-1) LDM : latent space에서의 denoising 진행.
-
-2) ControlNet, T2I-Adapter : pose, mask, edge, depth와 같은 추가 조건부 생성을 위한 추가 encoding layer 사용
-
-IP-Adapter : image prompt 기반의 content 결과 생성
-
-ObjectStitch, Paint-by-Example : CLIP을 활용한 image editing 방법
-
-TryonDiffusion : virtual apparel try on을 위한 parallel u-net 구조 도입
-
-### 2.2 Diffusion Model for Video Generation
-
-T2V Model : T2I 모델 기반 inter-frame attention modeling을 통한 연구가 많이 이뤄짐.
-
-Video LDM : temporal layer를 삽입한 T2I 모델 기반 video generation model
-
-AnimateDiff : personalized T2I model을 활용한 motion module을 많은 video data로 학습시킨 모델
-
-→ Animate Anyone에서는 본 temporal modeling에 영향을 받아 해당 방법론 사용
-
-I2V Model
-
-VideoComposer : conditional control
-
-AnimateDiff : image latent과 random noise 간 weight mixing
-
-VideoCrafter : CLIP의 textual & visual feature를 통합하여 cross-attention에 주입
-
-그러나 해당 방법들 모두 안정적인 사람 video 생성에는 어려움이 존재.
-
-### 2.3 Diffusion Model for Human Image Animation
-
-Image Animation
-
-PIDM, LFDM, LEO,
-
-DreamPose, DisCo
-
-## 3. Methods
-
-목표 : character animation을 위한 pose-guided image-to-video 합성
-
-### 3.1 Preliminary: Stable Diffusion
-
-:::{figure-md}
-
-
-Eq (1) Stable Diffusion Objective
-:::
-
-$\epsilon_\theta$ : UNet func
-
-$c$ : conditional embedding
-
-$z$ : image latent
-
-$t$ : timestep
-
-$z_t$ : noise latent
-
-CLIP ViT-L/14 text encoder
-
-denoising UNet : 4 downsample layers , 1 middle layer, 4 upsample layers.
-
-각 Res-Trans block별 2D convolution, self-attention, cross-attention로 구성
-
-### 3.2 Network Architecture
-
-**Overview**
-
-:::{figure-md}
-
-
-Figure 2 Animate Anyone Overview
-:::
-
-3가지 중요 요소 통합
-
-1) ReferenceNet : reference image로부터 character의 appearance features encoding
-
-2) Pose Guider : 제어가능한 character movements를 위한 motion control signal encoding
-
-3) Temporal layer : character motion 연속성을 위한 temporal relationship encoding
-
-**ReferenceNet**
-
-- text보다 image가 더 low-level detailed feature를 통한 일관성 유지 정보를 내포함.
-- 이에 따라 최근 CLIP image encoder가 text encoder보다 많이 사용되었지만, detail consistency에는 역부족
- - 이유 1: CLIP image encoder는 224x224의 저해상도 이미지들로 구성되어 중요한 세부정보 손실이 있을 수 있다.
- - 이유 2: CLIP은 text에 더욱 부합하게 훈련되어 high-level feature matching에 강조되고 이에 따라 feature encoding에 있어 detail feature에 부족함이 존재
-
-- 이에 따라 reference image feature extraction network인 ReferenceNet 고안 (이때 temporal layer 제외)
-- ReferenceNet은 SD로 초기화하고 각각 독립적으로 update 수행하고 UNet과 통합
-- self-attention layer를 spatial attention layer로 변경
-- Feature map : $x_1 \in \mathcal{R}^{t \times h \times w \times c }$ (UNet ), $x_2 \in \mathcal{R}^{h \times w \times c }$ (ReferenceNet) 이 주어졌을 때, $x_2$를 t번 곱해 w축에 따라 $x_1$과 concat
-- self-attention을 수행하고 feature map의 반을 결과로 뽑음.
-- 2가지 장점
- - 1) 사전 학습된 image feature model SD를 사용함에 따라 **초기값이 잘 정의**된 것 사용가능.
- - 2) UNet과 ReferenceNet의 초기값이 공유되고 동일한 네트워크 구조를 가짐에 따라 UNet은 (동일한 feature space에 상관관계가 있는) ReferenceNet feature 중 선별적으로 feature 학습이 가능
-- CLIP image encoder를 cross-attention에 도입
- - reference image의 semantic feature를 제공함에 따라 신속한 전체 네트워크 훈련 초기값 설정 가능.
-
-- ControlNet은 target image와 공간적으로 align된 정보를 활용 → 부적합
-- 본 방법에서는 reference image와 target image가 공간적으로는 관계되어있지만, align되지 않음.
-
-- 타 diffusion 기반 video generation에서는 모든 video frame에 대해 denoising을 진행
-- ReferenceNet은 feature 추출할 때 한 번만 필요
-- 효과 : inference 단계에서 계산량이 증가하지 않는다.
-
-**Pose Guider**
-
-- ControlNet은 robust한 conditional 생성을 입증해왔지만, 추가 Fine-tuning이 필요했었다.
-- 저자들은 추가적인 계산량 증가를 막기위해 추가적인 control network를 통합하지 않고 lightweight Pose Guider 도입
-- noise latent와 동일 해상도를 가지는 pose 이미지 align을 위해 four convolution layers (4×4 kernels, 2×2 strides, using 16,32,64,128 channels) 사용
-- Gaussian weights 초기화, final projection layer에서 zero convolution 도입.
-
-**Temporal Layer**
-
-- 이미 많은 곳에서 T2I 모델에 temporal layer를 통합했을 때 frame간 temporal dependency가 가능함을 보임.
-- 본 방법에서는 U-Net 내 Res-Trans block 안에 있는 spatial-attention과 cross-attention 진행 후에 temporal layer 추가
-- 순서 1) reshape : $x \in \mathcal{R}^{b \times t \times h \times w \times c }$ → $x \in \mathcal{R}^{(b \times h \times w) \times t \times c }$
-- 순서 2) temporal attention 수행 → residual connection
-- 효과 : appearance details에 대한 temporal smoothness & continuity
-
-### 3.3 Training Strategy
-
-- 훈련 두 단계
-- 첫 번째 단계
- - temporal layer를 제외한 single-frame noise를 입력으로 받는 모델 학습
- - ReferenceNet & Pose Guider
- - reference 이미지는 전체 비디오 클립에서 랜덤으로 선택
- - 초기 weight는 사전학습된 SD weight
- - Pose Guider는 마지막 projection layer를 제외한 모든 layer gaussian weight 초기화
- - VAE Encoder, Decoder, CLIP image encoder 는 그대로
-- 두 번째 단계
- - 첫 번째 단계에서 훈련한 모델 속 temporal layer만 훈련
- - temporal layer 초기값 : AnimateDiff pretrained weight
- - 입력 : 24frame video clip
-
-## 4. Experiments
-
-### 4.1 Implementations
-
-- Data : 5K character video clips (2-10 seconds long) 인터넷에서 다운로드
-- Pose Estimation Model : DWPose(Distillation for Whole-body Pose estimator) (23.07) [https://github.com/IDEA-Research/DWPose](https://github.com/IDEA-Research/DWPose)
-(the student’s head with only 20% training time as a plug-and-play training strategy)
-- GPU : 4 NVIDIA A100 GPUs
-- 첫 번째 훈련 단계 : 768×768 해상도 video frame sampled, resized, and center-cropped 30,000 steps, batch size 64.
-- 두 번째 훈련 단계 : temporal layer 10,000 steps 24-frame video sequences, batch size 4.
-- learning rates : 1e-5.
-- Inference 단계 : reference image의 캐릭터 skeleton의 길이에 근사하기 위해서 유도된 pose skeleton의 길이 rescale
-- DDIM sampler, 20 steps
-- 긴 영상 생성을 위해 temporal aggregation method 채택
-- Evaluation : benchmark dataset 2개(UBC fashion video dataset, Tik-Tok dataset) 사용
-
-### 4.2 Qualitative Results
-
-:::{figure-md}
-
-
-Figure 3 Qualitative Results
-:::
-
-- 전신이 나오는 임의의 characters, 절반 길이의 portraits, cartoon characters, humanoid characters에 대해 animation
-- reference image와 유사한 temporal consistency를 보이는 사실적인 결과 생성
-
-### 4.3 Comparisons
-
-- SSIM, PSNR, LPIPS, FVD(Fréchet ***Video*** Distance)
-
-**Fashion Video Synthesis**
-
-:::{figure-md}
-
-
-Table 1 Quantitative Comparison for fashion video synthesis
-:::
-
-- Quantitative comparison - Table 1
- - UBC fashion video dataset
- (500 training & 100 testing videos로 구성, 각 video 약 500 frames)
-
-:::{figure-md}
-
-
-Figure 4 Qualitative comparison for fashion video synthesis
-:::
-
-- DreamPose & BDMM은 옷의 일관성을 잃어버리는 문제. 색과 섬세한 구조적 요소에 대한 error 발생
-- 반면, 제안 방법은 옷의 세부 내용까지 일관성있게 보존됨.
-
-**Human Dance Generation**
-
-:::{figure-md}
-
-
-Table 2 Quantitative comparison for human dance generation
-:::
-
-- Quantitative comparison - Table 2
- - TikTok dataset
- (340 training & 100 testing single human dancing videos (10-15s))
-
-:::{figure-md}
-
-
-Figure 5 Qualitative comparison between DisCo and Animate Anyone method
-:::
-
-- DisCo에서는 인물 foreground mask를 위해 SAM 활용하는 pipeline 활용
-- 그러나 본 방법에서는 masking 없이 모델 자체가 subject motion으로부터 전경과 배경의 구분 가능
-- 복잡한 dance sequence에서도 시각적으로 연속적인 motion을 보여줌. robustness
-
-**General Image-to-Video Methods**
-
-:::{figure-md}
-
-
-Figure 6 Qualitative comparison with image-to-video methods
-:::
-
-- 비교 모델 : AnimateDiff & Gen-2
-- reference image에 대한 외관 신뢰도만 비교
-- image-to-video 방법은 얼굴이 일관되게 유지되는 문제에 봉착된 상황 속에서 다른 모델 대비 제안 모델이 긴 시간동안 apperance consistency 유지
-
-### 4.4 Ablation study
-
-:::{figure-md}
-
-
-Figure 7 Ablation study of different design
-:::
-
-:::{figure-md}
-
-
-Table 3 Quantitative comparison for ablation study
-:::
-
-- ReferenceNet design 효과성 증명을 위한 Ablation study
- - (1) CLIP image encoder만 사용
- - (2) 초기 finetuning SD 이후 reference image 기반 ControlNet training
- - (3) 위 2 방법론 통합
-- 결론 : ReferenceNet를 사용하는 것이 모든 방법 대비 가장 좋았다.
-
-## 5. Limitations
-
-- 1) 손의 안정적인 움직임을 보이는 것에 어려움을 보임. 가끔 왜곡, motion blur 발생
-- 2) 제공하는 이미지는 한 측면만 보이기 때문에 보이지 않은 부분에 대해서는 ill-posed problem으로 불안정
+``` {admonition} Information
+- **Title:** Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2311.17117](https://arxiv.org/abs/2311.17117)
+ - Code:
+ - [Official](https://github.com/HumanAIGC/AnimateAnyone)
+ - [NonOfficial](https://github.com/guoqincode/Open-AnimateAnyone)
+ - Project Page : [https://humanaigc.github.io/animate-anyone/](https://humanaigc.github.io/animate-anyone/)
+
+- **Author:** Geonhak Song
+
+- **Last updated on {March. 13, 2024}**
+```
+
+# Animate Anyone
+
+:::{figure-md}
+
+
+Animate Anyone Example Figure
+:::
+
+## Abstract
+
+- Diffusion 모델들이 visual generation 연구에 주류가 되었지만, image-to-video 영역에서는 어려움이 있다. 특히, character animation에서 캐릭터의 상세 정보의 일관성을 유지하는 것은 큰 문제이다.
+- reference image의 복잡한 appearance 특징의 일관성을 유지하기 위해서 spatial attention feature과 통합할 **ReferenceNet** 설계
+- controllability와 continuity을 위해서 효과적인 **pose guider** 도입.
+- 비디오 프레임간 부드러운 전이를 위해 효과적인 effective **temporal modeling** 도입
+- 이를 통해 어떠한 임의의 캐릭터에 대해서도 animate할 수 있고 우월성을 보임
+
+## 1. Introduction
+
+**Character Animation History**
+
+- Character Animation은 source character 이미지로부터 사실적인 비디오를 animate하는 작업으로 GAN을 시작으로 많은 연구가 진행되어왔다.
+- 그러나 생성된 이미지 또는 비디오는 local distortion, blurred details, semantic inconsistency, temporal instability 문제가 있어 널리 사용되기에는 어려움이 있어왔다.
+
+**Diffusion 기반 image-to-video 예시**
+
+- 최근 diffusion model의 우수성에 따라 image-to-video task에 diffusion model을 활용하려는 연구들이 보였다.
+- DreamPose (23.04)
+ - Stable Diffusion을 확장한 fashion image-to-video 합성을 가능하는데 초점을 맞췄다.
+ - 본 모델은 CLIP과 VAE feature를 통합한 adpatar module를 제안했다.
+ - 그러나 consistent 결과를 위해서 input sample에 대해 추가 finetuning이 필요하고 운용 효율이 떨어진다.
+- DisCO (23.07)
+ - Stable Diffusion을 수정하여 human dance generation 진행
+ - CLIP과 ControlNet을 활용한 통합 모델 구축
+ - 그러나 character detail 보존에 어려움을 겪고 frame간 jittering issue 존재
+
+**Character Animation 관점에서의 Text-to-image generation 한계**
+
+- text-to-image generation & video generation에 시각적 품질과 다양성에 큰 진전이 있어왔지만, 복잡한 detail을 잘 살리는 것이 어렵고 정확도 측면에서도 부정확한 부분이 있다.
+- 더욱이, 실질적 character 움직임을 다룰 때, 일관성 측면에서 안정적이고 연속적인 영상을 만들어내는 것이 어렵다.
+- 현재는 일반성과 일관성을 동시에 만족하는 character animation 방법을 찾을 수 없어 본 논문에서 Animate Anyone 방법을 제안한다.
+
+**Animate Anyone 모델 구조 요약**
+
+- appearance consistency를 위한 **ReferenceNet** 도입.
+ - spatial attention를 사용하는 UNet으로 ReferenceNet feature과 통합
+ - 이는 모델로 하여금 일관된 feature space에서 reference image의 관계성을 종합적으로 학습하게 함
+- pose controllability를 위한 **lightweight pose guider** 도입.
+ - 효과적인 pose control signal을 denoising 절차에 통합함.
+- temporal stability를 위한 **temporal layer** 도입
+ - 연속적이고 부드러운 temporal motion process와 동시에 고해상도 detail quality 보존을 위한 frame간 관계성 학습
+
+**제안 모델의 결과**
+
+- 5K character video clip 인터넷 데이터 세트로 훈련
+- 장점 1) character appearance의 spatial & temporal consistency을 효과적으로 유지
+- 장점 2) temporal jitter & flickering과 같은 문제 없는 높은 신뢰도의 비디오 생성
+- 장점 3) 어떠한 character image에도 animation video 생성 가능
+- benchmark에 대한 결과 또한 우수성 증명
+
+## 2. Related Works
+
+### 2.1 Diffusion Model for Image Generation
+
+T2I model
+
+1) LDM : latent space에서의 denoising 진행.
+
+2) ControlNet, T2I-Adapter : pose, mask, edge, depth와 같은 추가 조건부 생성을 위한 추가 encoding layer 사용
+
+IP-Adapter : image prompt 기반의 content 결과 생성
+
+ObjectStitch, Paint-by-Example : CLIP을 활용한 image editing 방법
+
+TryonDiffusion : virtual apparel try on을 위한 parallel u-net 구조 도입
+
+### 2.2 Diffusion Model for Video Generation
+
+T2V Model : T2I 모델 기반 inter-frame attention modeling을 통한 연구가 많이 이뤄짐.
+
+Video LDM : temporal layer를 삽입한 T2I 모델 기반 video generation model
+
+AnimateDiff : personalized T2I model을 활용한 motion module을 많은 video data로 학습시킨 모델
+
+→ Animate Anyone에서는 본 temporal modeling에 영향을 받아 해당 방법론 사용
+
+I2V Model
+
+VideoComposer : conditional control
+
+AnimateDiff : image latent과 random noise 간 weight mixing
+
+VideoCrafter : CLIP의 textual & visual feature를 통합하여 cross-attention에 주입
+
+그러나 해당 방법들 모두 안정적인 사람 video 생성에는 어려움이 존재.
+
+### 2.3 Diffusion Model for Human Image Animation
+
+Image Animation
+
+PIDM, LFDM, LEO,
+
+DreamPose, DisCo
+
+## 3. Methods
+
+목표 : character animation을 위한 pose-guided image-to-video 합성
+
+### 3.1 Preliminary: Stable Diffusion
+
+:::{figure-md}
+
+
+Eq (1) Stable Diffusion Objective
+:::
+
+$\epsilon_\theta$ : UNet func
+
+$c$ : conditional embedding
+
+$z$ : image latent
+
+$t$ : timestep
+
+$z_t$ : noise latent
+
+CLIP ViT-L/14 text encoder
+
+denoising UNet : 4 downsample layers , 1 middle layer, 4 upsample layers.
+
+각 Res-Trans block별 2D convolution, self-attention, cross-attention로 구성
+
+### 3.2 Network Architecture
+
+**Overview**
+
+:::{figure-md}
+
+
+Figure 2 Animate Anyone Overview
+:::
+
+3가지 중요 요소 통합
+
+1) ReferenceNet : reference image로부터 character의 appearance features encoding
+
+2) Pose Guider : 제어가능한 character movements를 위한 motion control signal encoding
+
+3) Temporal layer : character motion 연속성을 위한 temporal relationship encoding
+
+**ReferenceNet**
+
+- text보다 image가 더 low-level detailed feature를 통한 일관성 유지 정보를 내포함.
+- 이에 따라 최근 CLIP image encoder가 text encoder보다 많이 사용되었지만, detail consistency에는 역부족
+ - 이유 1: CLIP image encoder는 224x224의 저해상도 이미지들로 구성되어 중요한 세부정보 손실이 있을 수 있다.
+ - 이유 2: CLIP은 text에 더욱 부합하게 훈련되어 high-level feature matching에 강조되고 이에 따라 feature encoding에 있어 detail feature에 부족함이 존재
+
+- 이에 따라 reference image feature extraction network인 ReferenceNet 고안 (이때 temporal layer 제외)
+- ReferenceNet은 SD로 초기화하고 각각 독립적으로 update 수행하고 UNet과 통합
+- self-attention layer를 spatial attention layer로 변경
+- Feature map : $x_1 \in \mathcal{R}^{t \times h \times w \times c }$ (UNet ), $x_2 \in \mathcal{R}^{h \times w \times c }$ (ReferenceNet) 이 주어졌을 때, $x_2$를 t번 곱해 w축에 따라 $x_1$과 concat
+- self-attention을 수행하고 feature map의 반을 결과로 뽑음.
+- 2가지 장점
+ - 1) 사전 학습된 image feature model SD를 사용함에 따라 **초기값이 잘 정의**된 것 사용가능.
+ - 2) UNet과 ReferenceNet의 초기값이 공유되고 동일한 네트워크 구조를 가짐에 따라 UNet은 (동일한 feature space에 상관관계가 있는) ReferenceNet feature 중 선별적으로 feature 학습이 가능
+- CLIP image encoder를 cross-attention에 도입
+ - reference image의 semantic feature를 제공함에 따라 신속한 전체 네트워크 훈련 초기값 설정 가능.
+
+- ControlNet은 target image와 공간적으로 align된 정보를 활용 → 부적합
+- 본 방법에서는 reference image와 target image가 공간적으로는 관계되어있지만, align되지 않음.
+
+- 타 diffusion 기반 video generation에서는 모든 video frame에 대해 denoising을 진행
+- ReferenceNet은 feature 추출할 때 한 번만 필요
+- 효과 : inference 단계에서 계산량이 증가하지 않는다.
+
+**Pose Guider**
+
+- ControlNet은 robust한 conditional 생성을 입증해왔지만, 추가 Fine-tuning이 필요했었다.
+- 저자들은 추가적인 계산량 증가를 막기위해 추가적인 control network를 통합하지 않고 lightweight Pose Guider 도입
+- noise latent와 동일 해상도를 가지는 pose 이미지 align을 위해 four convolution layers (4×4 kernels, 2×2 strides, using 16,32,64,128 channels) 사용
+- Gaussian weights 초기화, final projection layer에서 zero convolution 도입.
+
+**Temporal Layer**
+
+- 이미 많은 곳에서 T2I 모델에 temporal layer를 통합했을 때 frame간 temporal dependency가 가능함을 보임.
+- 본 방법에서는 U-Net 내 Res-Trans block 안에 있는 spatial-attention과 cross-attention 진행 후에 temporal layer 추가
+- 순서 1) reshape : $x \in \mathcal{R}^{b \times t \times h \times w \times c }$ → $x \in \mathcal{R}^{(b \times h \times w) \times t \times c }$
+- 순서 2) temporal attention 수행 → residual connection
+- 효과 : appearance details에 대한 temporal smoothness & continuity
+
+### 3.3 Training Strategy
+
+- 훈련 두 단계
+- 첫 번째 단계
+ - temporal layer를 제외한 single-frame noise를 입력으로 받는 모델 학습
+ - ReferenceNet & Pose Guider
+ - reference 이미지는 전체 비디오 클립에서 랜덤으로 선택
+ - 초기 weight는 사전학습된 SD weight
+ - Pose Guider는 마지막 projection layer를 제외한 모든 layer gaussian weight 초기화
+ - VAE Encoder, Decoder, CLIP image encoder 는 그대로
+- 두 번째 단계
+ - 첫 번째 단계에서 훈련한 모델 속 temporal layer만 훈련
+ - temporal layer 초기값 : AnimateDiff pretrained weight
+ - 입력 : 24frame video clip
+
+## 4. Experiments
+
+### 4.1 Implementations
+
+- Data : 5K character video clips (2-10 seconds long) 인터넷에서 다운로드
+- Pose Estimation Model : DWPose(Distillation for Whole-body Pose estimator) (23.07) [https://github.com/IDEA-Research/DWPose](https://github.com/IDEA-Research/DWPose)
+(the student’s head with only 20% training time as a plug-and-play training strategy)
+- GPU : 4 NVIDIA A100 GPUs
+- 첫 번째 훈련 단계 : 768×768 해상도 video frame sampled, resized, and center-cropped 30,000 steps, batch size 64.
+- 두 번째 훈련 단계 : temporal layer 10,000 steps 24-frame video sequences, batch size 4.
+- learning rates : 1e-5.
+- Inference 단계 : reference image의 캐릭터 skeleton의 길이에 근사하기 위해서 유도된 pose skeleton의 길이 rescale
+- DDIM sampler, 20 steps
+- 긴 영상 생성을 위해 temporal aggregation method 채택
+- Evaluation : benchmark dataset 2개(UBC fashion video dataset, Tik-Tok dataset) 사용
+
+### 4.2 Qualitative Results
+
+:::{figure-md}
+
+
+Figure 3 Qualitative Results
+:::
+
+- 전신이 나오는 임의의 characters, 절반 길이의 portraits, cartoon characters, humanoid characters에 대해 animation
+- reference image와 유사한 temporal consistency를 보이는 사실적인 결과 생성
+
+### 4.3 Comparisons
+
+- SSIM, PSNR, LPIPS, FVD(Fréchet ***Video*** Distance)
+
+**Fashion Video Synthesis**
+
+:::{figure-md}
+
+
+Table 1 Quantitative Comparison for fashion video synthesis
+:::
+
+- Quantitative comparison - Table 1
+ - UBC fashion video dataset
+ (500 training & 100 testing videos로 구성, 각 video 약 500 frames)
+
+:::{figure-md}
+
+
+Figure 4 Qualitative comparison for fashion video synthesis
+:::
+
+- DreamPose & BDMM은 옷의 일관성을 잃어버리는 문제. 색과 섬세한 구조적 요소에 대한 error 발생
+- 반면, 제안 방법은 옷의 세부 내용까지 일관성있게 보존됨.
+
+**Human Dance Generation**
+
+:::{figure-md}
+
+
+Table 2 Quantitative comparison for human dance generation
+:::
+
+- Quantitative comparison - Table 2
+ - TikTok dataset
+ (340 training & 100 testing single human dancing videos (10-15s))
+
+:::{figure-md}
+
+
+Figure 5 Qualitative comparison between DisCo and Animate Anyone method
+:::
+
+- DisCo에서는 인물 foreground mask를 위해 SAM 활용하는 pipeline 활용
+- 그러나 본 방법에서는 masking 없이 모델 자체가 subject motion으로부터 전경과 배경의 구분 가능
+- 복잡한 dance sequence에서도 시각적으로 연속적인 motion을 보여줌. robustness
+
+**General Image-to-Video Methods**
+
+:::{figure-md}
+
+
+Figure 6 Qualitative comparison with image-to-video methods
+:::
+
+- 비교 모델 : AnimateDiff & Gen-2
+- reference image에 대한 외관 신뢰도만 비교
+- image-to-video 방법은 얼굴이 일관되게 유지되는 문제에 봉착된 상황 속에서 다른 모델 대비 제안 모델이 긴 시간동안 apperance consistency 유지
+
+### 4.4 Ablation study
+
+:::{figure-md}
+
+
+Figure 7 Ablation study of different design
+:::
+
+:::{figure-md}
+
+
+Table 3 Quantitative comparison for ablation study
+:::
+
+- ReferenceNet design 효과성 증명을 위한 Ablation study
+ - (1) CLIP image encoder만 사용
+ - (2) 초기 finetuning SD 이후 reference image 기반 ControlNet training
+ - (3) 위 2 방법론 통합
+- 결론 : ReferenceNet를 사용하는 것이 모든 방법 대비 가장 좋았다.
+
+## 5. Limitations
+
+- 1) 손의 안정적인 움직임을 보이는 것에 어려움을 보임. 가끔 왜곡, motion blur 발생
+- 2) 제공하는 이미지는 한 측면만 보이기 때문에 보이지 않은 부분에 대해서는 ill-posed problem으로 불안정
- 3) DDPM 활용에 따른 non-diffusion 기반 모델 대비 낮은 operational efficiency
\ No newline at end of file
diff --git a/_sources/docs/review/BBDM.md b/_sources/docs/review/BBDM.md
index 1fefa405..227468ad 100755
--- a/_sources/docs/review/BBDM.md
+++ b/_sources/docs/review/BBDM.md
@@ -1,702 +1,702 @@
-``` {admonition} Information
-- **Title:** {BBDM: Image-to-image Translation with Brownian Bridge Diffusion Models}, {CVPR 2023}
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2205.07680](https://arxiv.org/abs/2205.07680)
- - Code: [https://github.com/xuekt98/BBDM](https://github.com/xuekt98/BBDM)
-
-- **Author:** SeonHoon Kim
-- **Edited by:** SeonHoon Kim
-
-- **Related Youtube:** Youtube video
-
-- **Last updated on Nov. 13, 2023**
-```
-
-# BBDM
-
-- **BBDM**
- - BBDM 은 Brownian Bridge 를 Diffusion Model 에 도입한 최초의 모델
- - Image to Image Translation 분야에서 Conditional Diffusion Models 의 한계를 극복함
-
-BBDM 을 이해하기 위해서는 Brownian motion process 와 Brownian Bridge 를 이해해야함. Brownian motion process 는 stochastic process 에 해당함.
- -- **Stochastic Process** - - 시간의 흐름에 따라 불확실성을 가지고 변하는 확률 변수들의 집합 - - Stochastic process 는 $X_t$ 와 같이 나타낼 수 있는데,
- 여기서 X 는 확률 변수를,
- t 는 확률 변수가 관찰된 시간을 나타냄 - - X 와 t 는 각각 Discrete 혹은 Continuous 로 구분할 수 있음 - - Discrete RANDOM VARIABLE & Discrete TIME - - Discrete RANDOM VARIABLE & Continuous TIME - - **Continuous RANDOM VARIABLE & Discrete TIME** - - **Continuous RANDOM VARIABLE & Continuous TIME** -- **Brownian Motion Process (Wiener Process) 소개** - - **Brownian Motion** - - 유체의 미소입자가 불규칙하게 운동하는 현상 - - :::{figure-md} -
-
- 굴뚝에서 퍼져나간 연기 사진을 오른쪽으로 90도 회전시킨 사진
- :::
-
- 위 사진으로부터 Brownian motion process 를 직관적으로 이해해볼 수 있음.
- - - **Brownian Motion Process (Wiener Process)** - - Brownian Motion 을 연속 시간 확률 과정으로 모델링한 것 - - :::{figure-md} -
-
- $W_0$ = 0 이고 max time T=1000 인 Wiener Process 를 100번 Sampling 한 결과
- :::
-
- - **Brownian Motion Process (Wiener Process)** 는- **Continuous RANDOM VARIABLE & Continuous TIME 를 갖는 Stochastic Process** 로,
- $W_t$ 와 같이 나타낸다. -- **Brownian Motion Process (Wiener Process) 를 이해해보자** - - **가정해보자** - 1. $t = 0 → W_t = W_0 = 0$ 이라고 하자. - 2. 쉽게 이해하기 위해, TIME t 가 Discrete 하다고 가정해보자.
- (BBDM 은 t 를 정수 0~1000 으로 설정) - - **Requirements** - 1. Brownian Motion Process 는 Stochastic Process 이다.
- **TIME t 마다 stochasticity 가 부여되어야** 한다. - 2. **시간 간격과 W 의 변화량이 비례해야 한다.**
- (즉, 더 오래 지났을수록 더 많이 변한다.) - - **Notation** - - :::{figure-md} -
-
- Source : [https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB](https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB)
- :::
-
- - $\Delta t$ = 시간 간격
- - n = 살펴보고자 하는 시간 간격의 수
- - $T = n * \Delta t$
- - i.i.d $\epsilon_t \sim N(0, 1)$
- - $\Delta W_t$ = t 시점에서 그 다음 시간 간격까지 증가한 W 의 값
- $= W_{t+\Delta t} - W_t$
- = $\epsilon_t \sqrt {\Delta t}$
- - **이해**
- - $\Delta W_t = W_{t+\Delta t} - W_t = \epsilon_t \sqrt {\Delta t}$ 라고 정의해 본 근거를
- 위의 Requirements 에서 찾아보면..
- - **확률 변수 $\epsilon$ 를 도입함으로써 stochasticity 부여**
- - $\Delta t$ 를 도입함으로써 **시간 간격도 고려 가능**
- - **그렇다면 왜 하필 $\sqrt {\Delta t}$ 를 곱했을까?**
- 1. $\Delta t$ 가 0 에 가까워질 때, $\sqrt{\Delta t}$ 는 천천히 0 에 수렴함.
- **만약 TIME t 가 continuous 하다면, $\Delta t$ 는 매우 작은 값**이 됨.
- **$\Delta W_t = \epsilon_t {\Delta t}$ 라면 $\Delta W_t$ 가 너무 작아짐.**
- 2. $\Delta t$ 가 커질 때, $\sqrt{\Delta t}$ 는 천천히 커짐
- - **주의할 사항**
- - i.i.d $\epsilon_t \sim N(0, 1)$ 이므로,
- $\Delta W_t = \epsilon_t \sqrt {\Delta t}$ 에서 $\Delta W_0$ 와 $\Delta W_1$ 은 서로 독립인 것이 맞지만,
- **$W_0$ 과 $W_1$ 이 독립이라는 말은 아님.**
- - $\Delta W_0 = \epsilon_0 \sqrt {\Delta t}$ 이므로,
- $W_{\Delta t} = W_0 + \epsilon_0 \sqrt {\Delta t} = 0 + \epsilon_0 \sqrt {\Delta t} = \epsilon_0 \sqrt {\Delta t}$
- - $\Delta W_{\Delta t} = \epsilon_{\Delta t} \sqrt {\Delta t}$ 이므로,
- $W_{2\Delta t} = W_{\Delta t} + \epsilon_{\Delta t} \sqrt {\Delta t} = (\epsilon_0 + \epsilon_{\Delta t}) * \sqrt {\Delta t}$
- - $Var(\Delta W_{\Delta t}) = Var(\epsilon_{\Delta t} \sqrt {\Delta t}) = Var(\epsilon_{\Delta t}) * \sqrt {\Delta t}^2 = 1 * \sqrt {\Delta t}^2 = \Delta t$
- - $\mathbb{E}(\Delta W_{\Delta t}) = \mathbb{E}(\epsilon_{\Delta t} \sqrt {\Delta t}) = \mathbb{E}(\epsilon_{\Delta t}) * \sqrt {\Delta t} = 0 * \sqrt {\Delta t} = 0$
- - $\Delta W_{T-\Delta t} = \epsilon_{T-\Delta t} \sqrt {\Delta t}$
- $W_T = (\epsilon_0 + \epsilon_{\Delta t} + \epsilon_{2\Delta t} + ... + \epsilon_{T-\Delta t}) * \sqrt {\Delta t}$
- - $\mathbb{E}(W_T) = 0$
- - $Var(W_T) = n * \Delta t = T$ (각각의 $\epsilon$ 은 서로 i.i.d 이므로 공분산은 0)
- - 즉, $W_T \sim N(0,T)$
-
- :::{figure-md}
-
-
- Source : [https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB](https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB)
- :::
-
- 파란색 점들은, Brownian Motion Process 를 1번 Sampling 한 결과임 (one representation) 를 나타냄- - :::{figure-md} -
-
- Source : [https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB](https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB)
- :::
-
- - t=0 부터 t=T 까지 Wiener Process 를 수행하면,- $W_t$ 는 $W_T - W_0$ 만큼 변한다. - - $(W_T - W_0) \sim N(0, T-0)$ - - $(W_{t_2}-W_{t_1}) \sim N(0,t_2-t_1)$ - - ex. 5분 에서 10분으로 Wiener Process 를 진행하면, $W_5$ 는 0 이 아닐 수 있으나, 그 변화량 $(W_{t_{10}}-W_{t_5})$ 은 N(0, 10 - 5) 를 따른다. - -- **Brownian Bridge** - - X 가 Standard Wiener Process 라고 하자.
- 0 시점과 T 시점의 X 값을 알고,
- 0
- Starting state W(0) 과 Ending state W(T) 의 값에 Conditioned 되어 있다.
- 아래와 같이 정의될 수 있다. - - :::{figure-md} -
-
- Brownian Bridge
- :::
-
- 아래의 그림을 보면, 0 이라는 시작값과 123 이라는 마지막 값에 conditioned 되어 있는 것을 확인할 수 있다.
Brownian Bridge 의 분산은 0 에서 시작해서 증가하다가, T/2 시점에서 최대가 되었다가, 이후로는 감소하여 마지막엔 0 에 수렴하게된다. - - :::{figure-md} -
-
- $W_0$ = 0 에서 $W_1000$ = 123 까지 100개의 Brownian Bridge 를 샘플링한 결과
- :::
-
-- **Abstrcat**
-
- :::{figure-md}
-
-
- Conditional Diffusion Models 와 BBDM 의 비교
- :::
-
- - **기존의 Diffusion 모델**들은, - Image-to-Image 변환을 **Conditional generation process** 로 다룸.
- 이로 인해, **매우 상이한 도메인 사이의 변환**에는 **어려움**이 있음. - - 이를 **해결하기 위해**,
- 본 논문은 **Brownian Bridge** **에 기반한 Image-to-Image 변환 방법을 제시**함 - - **BBDM** 은 Conditional generation process 가 아닌
- **Stochastic Brownian Bridge Process** 로 두 도메인 사이의 변환을 모델링하므로,
**Bidirectional Diffusion Process** 임. - - Brownian Bridge diffusion process 를 Image-to-Image 변환에 접목한 최초의 논문임 - - BBDM 모델의 훌륭한 성능을 실험적으로 증명함
-1. **Introduction** - - I2I 변환에서 **Non-diffusion models 의 한계** - - Pix2Pix 와 같은 **conditional GANs** 는 **fideltiy 가 높았으나,** - 학습이 어렵고, **DIversity 가 떨어진다.** - - Diversity 가 떨어지는 이유 : conditional GANs 는 input image 를 output image 에 one-to-one mapping 하는 방법을 학습하기 때문 - - **VAE** 같은 **생성형 모델**들은 GANs 만큼의 I2I 성능이 안나오고, - **Applicability** 가 GANs 보다 **떨어진다.** - - I2I 변환에서 **conditional diffusion models 의 한계** - - conditional diffusion models 는 **reference image** 의 encoded feature 를 **직접 U-Net 에 통합**시킴으로써 diffusion models 의 reverse process 를 guide 함 - - 하지만 이렇게 **생성된 결과가 desired conditional distribution 을 추론해낸다는 명료한 이론적 근거가 없음** - - 대부분의 **conditional diffusion models 는 generalization 이 잘 안되므로,** - conditional input domain 과 output domain 이 유사한 - 몇몇 applications 에서만 잘 활용될 수 있음 - - ex. inpainting 혹은 super-resolution - - **LDM** 이 latent space 에서 diffusion process 를 수행함으로써 - **generalization 을 개선**하긴 했으나 **여전히 conditional generation process** 임 - - **LDM** 의 경우, **복잡한 attention mechanism 으로 multi-modal condition** 이 주어지므로, **이론적 근거를 제시하기가 더 힘듦** - - **본 논문에서 제안하는 BBDM 모델** - - :::{figure-md} -
-
- BBDM 의 아키텍쳐
- :::
-
- - **BBDM** 모델은 **input 과 output 도메인 간의 mapping** 을
- **Brownian Bridge stochastic process 를 통해 구축**함
- - 가속을 위해 Latent space 에서 diffusion process 를 수행함- 1. **Related Work**
- - **2.1. Image-to-Image Translation** - - introduction 참고
- - **2,2. Duffusion Models**
- - **Diffusion Models** 의 simplified **objective** 를 잠깐 살펴보면, 다음과 같음. - - :::{figure-md} -
-
- Diffusion Models 의 Simplified objective
- :::
-
- - 대부분의 **conditional Diffusion Models** 는 **condition 을 objective 에 직접 “주입”**.- 아래의 그림을 보면, conditional input image y 가 삽입된 것을 볼 수 있음. - - :::{figure-md} -
-
- Conditional Diffusion Models 의 Simplified objective
- :::
-
- - $p(x_t|y)$ 가 objective 에 드러나 있지 않으므로,
- **desired conditional distribution 에 도달할 수 있을 것**이라는 **이론적 보장이 없음**- - **2.3. Brownian Bridge**
- - **Brownian Bridge** 는 **diffusion process 동안의 확률 분포가** - **starting state (t=0)** 와 **ending state (t=T)** 에 **conditioned 되어 있는,** - **time stochastic model** 임 - - :::{figure-md} -
-
- 식(3)
- :::
-
- 앞서 보았던 Brownian Bridge 의 평균과 분산을 구해보자.- 위의 식과 같은 의미임을 알 수 있다.
- - :::{figure-md} -
-
- Brownian Bridge
- :::
- - - 3. **Method**
- - **3.1. Brownian Bridge Diffusion Model (BBDM)**
- - - **Conditional diffusion models** : **Gaussian noise 를 향해 Forward process 진행** - - **BBDM : conditional input y 자체를 향해 Brownian Bridge process 진행**
- - :::{figure-md} -
-
- Conditional Diffusion Models 와 BBDM 의 비교
- :::
- - - - VQGAN 의 latent space 에서 diffusion process 를 수행 - - **x** 가 **A 도메인 영상의 latent features** 이고,
- **y** 가 **B 도메인 영상의 latent features** 일 때,
- **Forward diffusion process 는 다음과 같이 정의**됨 - - :::{figure-md} -
-
- 식(4)
- :::
-
- - **T** 는 diffusion process 의 **total steps** 이다.
- - $δ_t$ 는 **분산**이다.
- - 식 (3) 에 나타난 분산 $δ_t={t(T −t)\over T}$ 를 사용하게 되면,
- **가능한 최대 분산값**은, **middle step 인 $T\over 2$ 에서의 분산값인 $δ_{T\over 2} = {T \over 4}$ 가 됨**
- - T 값이 커지면, 최대 분산값도 커지는데, **이 분산 값은 다루기에 너무 큼**
- - $x_0,y \sim N(0,I)$ 이면서 서로 독립일 때,
- Brownian Bridge diffusion process 를 위한 **분산 scheduling** 을
- 다음과 같이 해볼 수 있다.
-
- :::{figure-md}
-
-
- Brownian Bridge diffusion process 를 위한 분산 Scheduling
- :::
-
- - 만약 t 는 양의 정수의 discrete time 이고, 그 최댓값인 T=1000 이라면
- $\delta_t$ 는 아래 그림과 같게 된다.
-
- :::{figure-md}
-
-
- $\delta_t$ 를 시각화한 결과
- :::
- - - $m_t = t\overT$ 이고, $\delta_t = 2(m_t - m_t^2)$ 이므로,
- - - diffusion process 가 시작하는 **t = 0 에서는, $m_0$ = 0** 이고, - **평균은 $x_0$** 이며 - **분산은 0** 이 된다.
- - diffusion process 가 끝나는 **t = T 에서는,** - $m_T$ **= 1** 이고, - **평균은 y** 이고, - **분산은 0** 이 된다.
- - **분산이,** - diffusion process 의 **중간 지점까지는 최대 0.5 까지 증가**하다가,
- 중간 지점부터 **끝나는 지점까지는 0 으로 감소** - - **Brownian Bridge diffusion process** 에서의 **sampling diversity** 는 - **최대 분산값,
즉 middle step 인 $t = {T\over 2}$ 에서의 분산값에 의해 결정**됨 - - **분산을 스케일링하는 변수 s** **를 두어** **sampling diversity 를 조절**할 수 있다. - - :::{figure-md} -
-
- 식(5) : sampling diversity 조절을 위한 계수 s 가 포함된 분산 scheduling
- :::
-
- - 이 논문에서 **s 의 디폴트 값은 1**
- - - **3.1.1 Forward Process**
- - **식 (4)** 에서는 **step t 에서의 marginal distribution 만 제공** - - **training 과 inference process 를 위해**서는 **forward transition probability** 인 $q_{BB}(x_t|x_{t-1}, y)$ 를 알아야함 - - **식 (4) 에 의해, $x_0$ 와 $y$ 가 주어졌을 때의 $x_t$ 와** $x_{t-1}$ 은 다음과 같이 쓸 수 있음 - - :::{figure-md} -
-
- 식(4)
- :::
-
- :::{figure-md}
-
-
- 식(6) & 식(7)
- :::
-
- - 참고. 위 식 (7) 의 $m_ty$ 는 $m_{t-1}y$ 로 쓰는 것이 옳음
-
- :::{figure-md}
-
-
- $\epsilon$ 은 i.i.d 하게 N(0, I) 를 따른다
- :::
-
- - **식 (6) 의 $x_0$ 를 식 (7) 의 $x_0$ 로 대체**하면,
- **Forward transition probability $q_{BB}(x_t|x_{t-1}, y)$** 가 아래의 **식 (8)** 과 같이 유도됨
-
- :::{figure-md}
-
-
- 식(8)
- :::
-
- - 증명
- - 식(7) 을 다음과 같이 쓸 수 있음
- - $x_0 = {x_{t-1}-m_{t-1}y-\sqrt {\delta_{t-1}} \epsilon_{t-1} \over 1-m_{t-1}}$
- - 식(6) 의 $x_0$ 에 위의 $x_0$ 를 대입
- - $x_t = {(1-m_t)x_{t-1} \over (1-m_{t-1})} - {(1-m_t)m_{t-1}y \over (1-m_{t-1})} - {(1-m_t)\sqrt {\delta_{t-1}}\epsilon_{t-1} \over (1-m_{t-1})} + m_ty + \sqrt{\delta_t} \epsilon_t$
- - $= {(1-m_t)x_{t-1} \over (1-m_{t-1})} + y(m_t - {(1-m_t) \over (1-m_{t-1})}m_{t-1}) + \sqrt {\delta_t}\epsilon_t - {(1-m_t)\sqrt {\delta_{t-1}}\epsilon_{t-1} \over (1-m_{t-1})}$
- - 이후, $Var(x_t)$ 를 구하면, 아래의 $\delta_{t|t-1}$ 와 같이 유도됨
-
- :::{figure-md}
-
-
- $\delta_{t|t-1}$ 식
- :::
-
- - t=T 가 될 때 $m_T = 1$ 인데, 이때 식(8) 에 의해 $x_T = y$ 임.
- ↓
- ”아, Forward diffusion process 는 확실히..
- A 도메인으로부터 B 도메인으로의 fixed mapping 을 정의하는구나”
-
- - **3.1.2 Reverse Process**- - **conditional diffusion models** 의 **reverse process** 는,
- **Gaussian noise 로부터 시작**하며,
- 매 스텝마다 조금씩 noise 를 제거해나감
- - 반면, **BBDM 의 Brownian Bridge process 는 $x_T = y$ 로 둠으로써,
- conditional input 그 자체에서 Reverse process 를 시작**함 - - :::{figure-md} -
-
- 식(9)
- :::
-
- - $\mu_\theta (x_t,t)$ 는 U-Net 에 의해 예측된 노이즈 평균값이며, $\tilde{\delta_t}$ 는 노이즈의 분산
- - DDPM 처럼, 임의의 parameters $\theta$ 를 갖는 신경망 **U-Net 은 $\mu_\theta (x_t,t)$ 를 학습**
-
- - **3.1.3. Training Objective**
- - **참고.**
- - 예전 **DDPM 의 Loss** 는 다음과 같았음.
-
- :::{figure-md}
-
-
- DDPM 의 Loss
- :::
-
- - 그리고, 이로부터 simplified 된 **objective** 는 다음과 같음
-
- :::{figure-md}
-
-
- DDPM 의 simplified objective
- :::
-
- - **Brownian Bridge diffusion process** 의 **ELBO**
-
- :::{figure-md}
-
-
- 식(10) : BBDM 의 ELBO
- :::
-
- - **첫 번째 term :** $x_T$ 가 곧 y 이므로 무시할 수 있음
- - **세 번째 term** : 매우 작은 값이 되므로 무시할 수 있음
- - **베이즈 이론과 Markov chain property 를 식 (4) 와 식 (8) 에 적용**하여,
- 다음과 같이 **식 (11) 이 도출**된다.
- - 참고. Markovian Chain
- - $q(x_t|x_{t-1}) = q(x_t|x_{t-1}, x_{t-2}, … , x_0)$
- - Markov chain property 에 의해,- $q_{BB}(x_t|x_{t-1},y) = q_{BB}(x_t|x_{t-1},x_0,y)$ 가 성립됨을 활용 - - 식(4) - - :::{figure-md} -
-
- 식(4)
- :::
-
- - 식(8)
-
- :::{figure-md}
-
-
- 식(8)
- :::
-
- - 식(11) & 식(13)
-
- :::{figure-md}
-
-
- 식(11)
- :::
-
- :::{figure-md}
-
-
- 식(13)
- :::
-
- - 증명
- - ${q_{BB}(x_{t}|x_{t-1},y)q_{BB}(x_{t-1}|x_{0},y)\over q_{BB}(x_{t}|x_{0},y)}$
- - $= {{q_{BB}(x_{t},x_{t-1},y) \over q_{BB}(x_{t-1},y)} {q_{BB}(x_{t-1},x_{0},y) \over q_{BB}(x_{0},y)} \over {q_{BB}(x_{t},x_{0},y)\over q_{BB}(x_{0},y)}}$
- - $= q_{BB}(x_{t}|x_{t-1},y){q_{BB}(x_{t-1},x_{0},y)\over q_{BB}(x_{t},x_{0},y)}$
- - $= q_{BB}(x_{t}|x_{t-1},x_{0},y){q_{BB}(x_{t-1},x_{0},y)\over q_{BB}(x_{t},x_{0},y)}$
- - $= {q_{BB}(x_{t},x_{t-1},x_{0},y)\over q_{BB}(x_{t},x_{0},y)}$
- - $= q_{BB}(x_{t-1}|x_{t},x_{0},y)$
-
- - 위 식 (11) 의 평균은, 식 (12) 와 같이 정리됨
-
- :::{figure-md}
-
-
- 식(12)
- :::
-
- - 식(4) 와 식(12) 를 통합하고 Reparameterization method 를 사용해서
- $\tilde {\mu_t}$ 를 다음과 같이 변형할 수 있음
-
- :::{figure-md}
-
-
- 식(12) 의 변형
- :::
-
- - 참고. 식(4)
-
- :::{figure-md}
-
-
- 식(4)
- :::
-
-
- - 하지만, 실제로 U-Net 은 전체 $\tilde {\mu_t}$ 를 예측하는 것이 아니라,
- 노이즈를 예측하도록 학습됨.
- - 이 내용을 식에 명시하기 위해,
- **식(9) 에 명시된 $\mu_\theta$ 를 식(14) 와 같이 다시 써볼 수 있음.- $x_t$ 와 y, 그리고 예측된 노이즈 $\epsilon_\theta$ 의 linear combination 으로 다시 써보는** 것임. - - :::{figure-md} -
-
- 식(9)
- :::
-
- :::{figure-md}
-
-
- 식(14)
- :::
-
- - 그런데, 아래 그림을 참고해보면 우리는 $\tilde {\mu_t}$ 에 근사하도록 $\mu_\theta$ 를 학습시켜야함.
-
- :::{figure-md}
-
-
- $\tilde {\mu}_t$ 의 정리된 식
- :::
-
- - 즉, $\epsilon_\theta (x_t,t)$ 가 $m_t(y-x_0)+\sqrt {\delta_t}\epsilon$ 을 근사하도록 학습되어야하는 것임.
-
- - ELBO 의 두 번째 term 을 다시 살펴보면,- - **두 번째 term** : $D_{KL}(q_{BB}(x_{t-1}|x_t, x_0, y)||p_\theta (x_{t-1}|x_t,y))$
- - - $arg \space min_\theta \space D_{KL}(q_{BB}(x_{t-1}|x_t, x_0, y)||p_\theta (x_{t-1}|x_t,y))$ - =$arg \space min_\theta \space (\tilde {\mu}_t(x_t,y) - \mu_\theta (x_t,y,t))$ - =$arg \space min_\theta \space (c_{\epsilon_t}(m_t(y-x_0) + \sqrt {\delta_t}\epsilon) - c_{\epsilon_t}\epsilon_\theta(x_t,t))$ - =$arg \space min_\theta \space (c_{\epsilon_t} (m_t(y-x_0) + \sqrt {\delta_t}\epsilon - \epsilon_\theta(x_t,t)))$
- - - 따라서, ELBO 는 다음과 같이 단순화될 수 있음 - - :::{figure-md} -
-
- BBDM 의 Simplified ELBO
- :::
-
-
- - **Training Algorithm 정리**
-
- :::{figure-md}
-
-
- Algorithm 1 : Training. 마치 DDPM 에서 그러했듯이, BBDM 도 실제 Loss 에는 Simplified ELBO 에서의 계수 $C_{\epsilon_t}$ 가 빠진 것을 확인할 수 있다.
- :::
-
-
- - **3.2. Accelerated Sampling Processes**- - **DDIM 과 비슷하게, BBDM 의 inference processes** 도 - **non-Markovian process 를 사용해서 가속시킬 수 있음** - - Sampling steps 의 길이를 S 라고 두었을 때, - **inference process** 는 **latent varibales $x_{1:T}$ 의 subset** 에 의해 다음과 같이 정의됨 - - **latent varibales $x_{1:T}$ 의 subset** - - :::{figure-md} -
-
- **latent varibales $x_{1:T}$ 의 subset**
- :::
-
- - **inference process**
-
- :::{figure-md}
-
-
- inference process
- :::
-
- - **Sampling Algorithm**
-
- :::{figure-md}
-
-
- Algorithm 2 : Sampling
- :::
-
- - 본 논문에서는 **S 값의 디폴트**를 **200** 으로 두었음- 4. **Experiments**
- - **4.1. Experiment Setup**
- - **모델 & 하이퍼마라미터** - - BBDM 프레임워크는 pretrained VQGAN 과 BBDM 으로 이루어짐 - - **Latent Diffusion Model 에서 사용된 것과 같은 pretrained VQGAN 을 사용** - - training stage 에서의 time steps 는 1,000 - - inference stage 에서의 sampling steps 는 200
- - **Evaluation** - - FID 와 LPIPS 사용 - - 생성물의 diversity 를 평가하기 위해서, - 하나의 conditional input y 마다 5개의 샘플을 생성하고, - 각 픽셀 마다의 표준편차의 평균을 구함. - 그 후 전체 test 데이터셋에 대해서 평균 냄.
- - **Datasets** - - BBDM 의 I2I 변환 능력을 평가하기 위해서, 여러 task 로 실험함
- 1. **Semantic Synthesis 능력**을 CelebAMask-HQ dataset 으로 실험 - 1. semantic layout 만 주고 photorealistic 한 images 를 생성해내는 능력 평가
- 2. **sketch-to-photo 능력**을 edges2shoes 와 edges2handbags 로 실험 - 1. edges 만 주고 realistic images 생성해내는 능력 평가
- 3. **style transfer 능력**을 faces2comics 로 실험 - 1. 위 두 실험은 서로 상이한 domains 간의 변환 능력을 평가했다면, - Style transfer 실험에서는 서로 비슷한 domains 간의 I2I 변환 능력을 평가
- - **4.2. Qualitative Comparison**
- - :::{figure-md} -
-
- Figure 3. CelebAMask-HQ 데이터셋에 대한 추론 결과
- :::
-
- :::{figure-md}
-
-
- Figure 4. 다른 Image-to-Image 변환 task 에 대한 추론 결과
- :::
-
- :::{figure-md}
-
-
- Figure 5. 다른 Image-to-Image 변환 task 에 대한 추론 결과
- :::
-
- - Pix2Pix 는 지도 학습 방식으로 학습하므로, 괜찮은 결과를 냄
- - 반면 **CycleGAN** 은 **작은 스케일의 데이터셋**에서는 **성능이 떨어짐**
- - DRIT++ 은 GAN 기반 모델들 중에서는 좋은 성능을 냈으나,
- 변환된 이미지들이 oversmoothed 되어 있었고,
- ground truth distribution 과는 거리가 멀었음
- - conditional diffusion model 인 **CDE** 와 **LDM** 은
- GAN 기반 모델들보다는 **좋은 성능**을 냈으나,
- **conditional information 에 큰 영향**을 받음
- - **Figure 3 의 첫 번째 줄**을 보면 i**rregular occlusions** 가 나타나는데,
- **CDE 와 LDM 은 이에 큰 영향**을 받음
- - 반면 **BBDM 은 두 도메인 간의 직접적인 diffusion process 를 학습**하므로
- **이러한 문제로부터 자유로움**
- - 또한 Brownian Bridge 의 stochastic 한 특성으로 인해
- fidelity 와 diversity 가 높은 이미지들을 생성해냄- - **4.3. Quantitative Comparison**
- - Table 1 과 2 를 보면, BBDM 이 모든 실험에서 가장 좋은 FID 값을 기록했으며, 훌륭한 LPIPS 값을 기록함 - - :::{figure-md} -
-
- Table 1. CelebAMask-HQ 데이터셋에 대한 FID, LPIPS 성능은 BBDM 이 가장 뛰어남
- :::
-
- :::{figure-md}
-
-
- Table 2. BBDM 은 FID, LPIPS 점수가 매우 뛰어났음
- :::
-
-
- - **4.4. 다른 Translation Tasks**- - **BBDM 의 generalization 성능을 검증**하기 위해서, 다른 tasks 에 대해서도 실험했음 - - 아래 그림과 같이, **다른 tasks 에서도 camparable 한 성능을 기**록함 - - :::{figure-md} -
-
- Figure 6. Face-to-label, 색상화, inpainting 등의 다른 tasks 에서도 뛰어난 성능을 기록함
- :::
-
-
- - **4.5. Ablation Study**- - **pre-trained latent space 의 영향** - - :::{figure-md} -
-
- Table 3. BBDM 은 LDM 에 비해 Downsampling factor 에 대해 robust 했음
- :::
-
- - **BBDM 과 LDM** 에 대해서,
- **VQGAN downsampling factor** 를 **각각 4, 8, 16 으로 두고 성능 비교 실험 수행**
- - **BBDM 은 down sampling factor 에 robust** 했음- - **Sampling steps 의 영향** - - **Sampling steps 가 작을 때 (200 이하) 는, 조금만 늘려도 성능이 크게 증가**
- :::{figure-md} -
-
- Table 4. 200 이상의 Sampling Steps 에서는 Steps 를 키워도 성능 변화가 미미함
- :::
- - - **Brownian Bridge 의 maximum variance 의 영향** - - :::{figure-md} -
-
- Table 5. Sampling diversity 조절 계수에 의해 실제로 Diversity 가 조절 되었음
- :::
-
- - 식 (5) 에 나타난 것처럼, **scaling factor s 의 값을 변경**함으로써,
- **Brownian Bridge 의 최대 분산값 (t = T/2 일 때의 분산값) 조절 가능.**
- **이렇게 diversity 조절 가능.**
-
- :::{figure-md}
-
-
- 식(5)
- :::
-
- 5. **Conclusion and Future Work**
- - **Brownian Bridge 에 기반한 새로운 I2I 변환 방법 제시**
- - 이 방법은 기존의 conditional 한 방법과 달리,
- **Brownian Bridge diffusion process 를 통해 두 도메인 간의 mapping 을 직접 학습**
- - **여러 tasks 에서의 실험을 통해 BBDM 의 성능 검증**
- - text-to-image 와 같은 multi-modal tasks 에도 BBDM 을 적용해볼 예정
-
-- **참고 자료**
- - [https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB](https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB)
+``` {admonition} Information
+- **Title:** {BBDM: Image-to-image Translation with Brownian Bridge Diffusion Models}, {CVPR 2023}
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2205.07680](https://arxiv.org/abs/2205.07680)
+ - Code: [https://github.com/xuekt98/BBDM](https://github.com/xuekt98/BBDM)
+
+- **Author:** SeonHoon Kim
+- **Edited by:** SeonHoon Kim
+
+- **Related Youtube:** Youtube video
+
+- **Last updated on Nov. 13, 2023**
+```
+
+# BBDM
+
+- **BBDM**
+ - BBDM 은 Brownian Bridge 를 Diffusion Model 에 도입한 최초의 모델
+ - Image to Image Translation 분야에서 Conditional Diffusion Models 의 한계를 극복함
+
+BBDM 을 이해하기 위해서는 Brownian motion process 와 Brownian Bridge 를 이해해야함. Brownian motion process 는 stochastic process 에 해당함.
+ +- **Stochastic Process** + - 시간의 흐름에 따라 불확실성을 가지고 변하는 확률 변수들의 집합 + - Stochastic process 는 $X_t$ 와 같이 나타낼 수 있는데,
+ 여기서 X 는 확률 변수를,
+ t 는 확률 변수가 관찰된 시간을 나타냄 + - X 와 t 는 각각 Discrete 혹은 Continuous 로 구분할 수 있음 + - Discrete RANDOM VARIABLE & Discrete TIME + - Discrete RANDOM VARIABLE & Continuous TIME + - **Continuous RANDOM VARIABLE & Discrete TIME** + - **Continuous RANDOM VARIABLE & Continuous TIME** +- **Brownian Motion Process (Wiener Process) 소개** + - **Brownian Motion** + - 유체의 미소입자가 불규칙하게 운동하는 현상 + + :::{figure-md} +
+
+ 굴뚝에서 퍼져나간 연기 사진을 오른쪽으로 90도 회전시킨 사진
+ :::
+
+ 위 사진으로부터 Brownian motion process 를 직관적으로 이해해볼 수 있음.
+ + - **Brownian Motion Process (Wiener Process)** + - Brownian Motion 을 연속 시간 확률 과정으로 모델링한 것 + + :::{figure-md} +
+
+ $W_0$ = 0 이고 max time T=1000 인 Wiener Process 를 100번 Sampling 한 결과
+ :::
+
+ - **Brownian Motion Process (Wiener Process)** 는+ **Continuous RANDOM VARIABLE & Continuous TIME 를 갖는 Stochastic Process** 로,
+ $W_t$ 와 같이 나타낸다. +- **Brownian Motion Process (Wiener Process) 를 이해해보자** + - **가정해보자** + 1. $t = 0 → W_t = W_0 = 0$ 이라고 하자. + 2. 쉽게 이해하기 위해, TIME t 가 Discrete 하다고 가정해보자.
+ (BBDM 은 t 를 정수 0~1000 으로 설정) + - **Requirements** + 1. Brownian Motion Process 는 Stochastic Process 이다.
+ **TIME t 마다 stochasticity 가 부여되어야** 한다. + 2. **시간 간격과 W 의 변화량이 비례해야 한다.**
+ (즉, 더 오래 지났을수록 더 많이 변한다.) + - **Notation** + + :::{figure-md} +
+
+ Source : [https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB](https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB)
+ :::
+
+ - $\Delta t$ = 시간 간격
+ - n = 살펴보고자 하는 시간 간격의 수
+ - $T = n * \Delta t$
+ - i.i.d $\epsilon_t \sim N(0, 1)$
+ - $\Delta W_t$ = t 시점에서 그 다음 시간 간격까지 증가한 W 의 값
+ $= W_{t+\Delta t} - W_t$
+ = $\epsilon_t \sqrt {\Delta t}$
+ - **이해**
+ - $\Delta W_t = W_{t+\Delta t} - W_t = \epsilon_t \sqrt {\Delta t}$ 라고 정의해 본 근거를
+ 위의 Requirements 에서 찾아보면..
+ - **확률 변수 $\epsilon$ 를 도입함으로써 stochasticity 부여**
+ - $\Delta t$ 를 도입함으로써 **시간 간격도 고려 가능**
+ - **그렇다면 왜 하필 $\sqrt {\Delta t}$ 를 곱했을까?**
+ 1. $\Delta t$ 가 0 에 가까워질 때, $\sqrt{\Delta t}$ 는 천천히 0 에 수렴함.
+ **만약 TIME t 가 continuous 하다면, $\Delta t$ 는 매우 작은 값**이 됨.
+ **$\Delta W_t = \epsilon_t {\Delta t}$ 라면 $\Delta W_t$ 가 너무 작아짐.**
+ 2. $\Delta t$ 가 커질 때, $\sqrt{\Delta t}$ 는 천천히 커짐
+ - **주의할 사항**
+ - i.i.d $\epsilon_t \sim N(0, 1)$ 이므로,
+ $\Delta W_t = \epsilon_t \sqrt {\Delta t}$ 에서 $\Delta W_0$ 와 $\Delta W_1$ 은 서로 독립인 것이 맞지만,
+ **$W_0$ 과 $W_1$ 이 독립이라는 말은 아님.**
+ - $\Delta W_0 = \epsilon_0 \sqrt {\Delta t}$ 이므로,
+ $W_{\Delta t} = W_0 + \epsilon_0 \sqrt {\Delta t} = 0 + \epsilon_0 \sqrt {\Delta t} = \epsilon_0 \sqrt {\Delta t}$
+ - $\Delta W_{\Delta t} = \epsilon_{\Delta t} \sqrt {\Delta t}$ 이므로,
+ $W_{2\Delta t} = W_{\Delta t} + \epsilon_{\Delta t} \sqrt {\Delta t} = (\epsilon_0 + \epsilon_{\Delta t}) * \sqrt {\Delta t}$
+ - $Var(\Delta W_{\Delta t}) = Var(\epsilon_{\Delta t} \sqrt {\Delta t}) = Var(\epsilon_{\Delta t}) * \sqrt {\Delta t}^2 = 1 * \sqrt {\Delta t}^2 = \Delta t$
+ - $\mathbb{E}(\Delta W_{\Delta t}) = \mathbb{E}(\epsilon_{\Delta t} \sqrt {\Delta t}) = \mathbb{E}(\epsilon_{\Delta t}) * \sqrt {\Delta t} = 0 * \sqrt {\Delta t} = 0$
+ - $\Delta W_{T-\Delta t} = \epsilon_{T-\Delta t} \sqrt {\Delta t}$
+ $W_T = (\epsilon_0 + \epsilon_{\Delta t} + \epsilon_{2\Delta t} + ... + \epsilon_{T-\Delta t}) * \sqrt {\Delta t}$
+ - $\mathbb{E}(W_T) = 0$
+ - $Var(W_T) = n * \Delta t = T$ (각각의 $\epsilon$ 은 서로 i.i.d 이므로 공분산은 0)
+ - 즉, $W_T \sim N(0,T)$
+
+ :::{figure-md}
+
+
+ Source : [https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB](https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB)
+ :::
+
+ 파란색 점들은, Brownian Motion Process 를 1번 Sampling 한 결과임 (one representation) 를 나타냄+ + :::{figure-md} +
+
+ Source : [https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB](https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB)
+ :::
+
+ - t=0 부터 t=T 까지 Wiener Process 를 수행하면,+ $W_t$ 는 $W_T - W_0$ 만큼 변한다. + - $(W_T - W_0) \sim N(0, T-0)$ + - $(W_{t_2}-W_{t_1}) \sim N(0,t_2-t_1)$ + - ex. 5분 에서 10분으로 Wiener Process 를 진행하면, $W_5$ 는 0 이 아닐 수 있으나, 그 변화량 $(W_{t_{10}}-W_{t_5})$ 은 N(0, 10 - 5) 를 따른다. + +- **Brownian Bridge** + - X 가 Standard Wiener Process 라고 하자.
+ 0 시점과 T 시점의 X 값을 알고,
+ 0
+ Starting state W(0) 과 Ending state W(T) 의 값에 Conditioned 되어 있다.
+ 아래와 같이 정의될 수 있다. + + :::{figure-md} +
+
+ Brownian Bridge
+ :::
+
+ 아래의 그림을 보면, 0 이라는 시작값과 123 이라는 마지막 값에 conditioned 되어 있는 것을 확인할 수 있다.
Brownian Bridge 의 분산은 0 에서 시작해서 증가하다가, T/2 시점에서 최대가 되었다가, 이후로는 감소하여 마지막엔 0 에 수렴하게된다. + + :::{figure-md} +
+
+ $W_0$ = 0 에서 $W_1000$ = 123 까지 100개의 Brownian Bridge 를 샘플링한 결과
+ :::
+
+- **Abstrcat**
+
+ :::{figure-md}
+
+
+ Conditional Diffusion Models 와 BBDM 의 비교
+ :::
+
+ - **기존의 Diffusion 모델**들은, + Image-to-Image 변환을 **Conditional generation process** 로 다룸.
+ 이로 인해, **매우 상이한 도메인 사이의 변환**에는 **어려움**이 있음. + - 이를 **해결하기 위해**,
+ 본 논문은 **Brownian Bridge** **에 기반한 Image-to-Image 변환 방법을 제시**함 + - **BBDM** 은 Conditional generation process 가 아닌
+ **Stochastic Brownian Bridge Process** 로 두 도메인 사이의 변환을 모델링하므로,
**Bidirectional Diffusion Process** 임. + - Brownian Bridge diffusion process 를 Image-to-Image 변환에 접목한 최초의 논문임 + - BBDM 모델의 훌륭한 성능을 실험적으로 증명함
+1. **Introduction** + - I2I 변환에서 **Non-diffusion models 의 한계** + - Pix2Pix 와 같은 **conditional GANs** 는 **fideltiy 가 높았으나,** + 학습이 어렵고, **DIversity 가 떨어진다.** + - Diversity 가 떨어지는 이유 : conditional GANs 는 input image 를 output image 에 one-to-one mapping 하는 방법을 학습하기 때문 + - **VAE** 같은 **생성형 모델**들은 GANs 만큼의 I2I 성능이 안나오고, + **Applicability** 가 GANs 보다 **떨어진다.** + - I2I 변환에서 **conditional diffusion models 의 한계** + - conditional diffusion models 는 **reference image** 의 encoded feature 를 **직접 U-Net 에 통합**시킴으로써 diffusion models 의 reverse process 를 guide 함 + - 하지만 이렇게 **생성된 결과가 desired conditional distribution 을 추론해낸다는 명료한 이론적 근거가 없음** + - 대부분의 **conditional diffusion models 는 generalization 이 잘 안되므로,** + conditional input domain 과 output domain 이 유사한 + 몇몇 applications 에서만 잘 활용될 수 있음 + - ex. inpainting 혹은 super-resolution + - **LDM** 이 latent space 에서 diffusion process 를 수행함으로써 + **generalization 을 개선**하긴 했으나 **여전히 conditional generation process** 임 + - **LDM** 의 경우, **복잡한 attention mechanism 으로 multi-modal condition** 이 주어지므로, **이론적 근거를 제시하기가 더 힘듦** + - **본 논문에서 제안하는 BBDM 모델** + + :::{figure-md} +
+
+ BBDM 의 아키텍쳐
+ :::
+
+ - **BBDM** 모델은 **input 과 output 도메인 간의 mapping** 을
+ **Brownian Bridge stochastic process 를 통해 구축**함
+ - 가속을 위해 Latent space 에서 diffusion process 를 수행함+ 1. **Related Work**
+ - **2.1. Image-to-Image Translation** + - introduction 참고
+ - **2,2. Duffusion Models**
+ - **Diffusion Models** 의 simplified **objective** 를 잠깐 살펴보면, 다음과 같음. + + :::{figure-md} +
+
+ Diffusion Models 의 Simplified objective
+ :::
+
+ - 대부분의 **conditional Diffusion Models** 는 **condition 을 objective 에 직접 “주입”**.+ 아래의 그림을 보면, conditional input image y 가 삽입된 것을 볼 수 있음. + + :::{figure-md} +
+
+ Conditional Diffusion Models 의 Simplified objective
+ :::
+
+ - $p(x_t|y)$ 가 objective 에 드러나 있지 않으므로,
+ **desired conditional distribution 에 도달할 수 있을 것**이라는 **이론적 보장이 없음**+ - **2.3. Brownian Bridge**
+ - **Brownian Bridge** 는 **diffusion process 동안의 확률 분포가** + **starting state (t=0)** 와 **ending state (t=T)** 에 **conditioned 되어 있는,** + **time stochastic model** 임 + + :::{figure-md} +
+
+ 식(3)
+ :::
+
+ 앞서 보았던 Brownian Bridge 의 평균과 분산을 구해보자.+ 위의 식과 같은 의미임을 알 수 있다.
+ + :::{figure-md} +
+
+ Brownian Bridge
+ :::
+ + + 3. **Method**
+ - **3.1. Brownian Bridge Diffusion Model (BBDM)**
+ + - **Conditional diffusion models** : **Gaussian noise 를 향해 Forward process 진행** + - **BBDM : conditional input y 자체를 향해 Brownian Bridge process 진행**
+ + :::{figure-md} +
+
+ Conditional Diffusion Models 와 BBDM 의 비교
+ :::
+ + + - VQGAN 의 latent space 에서 diffusion process 를 수행 + - **x** 가 **A 도메인 영상의 latent features** 이고,
+ **y** 가 **B 도메인 영상의 latent features** 일 때,
+ **Forward diffusion process 는 다음과 같이 정의**됨 + + :::{figure-md} +
+
+ 식(4)
+ :::
+
+ - **T** 는 diffusion process 의 **total steps** 이다.
+ - $δ_t$ 는 **분산**이다.
+ - 식 (3) 에 나타난 분산 $δ_t={t(T −t)\over T}$ 를 사용하게 되면,
+ **가능한 최대 분산값**은, **middle step 인 $T\over 2$ 에서의 분산값인 $δ_{T\over 2} = {T \over 4}$ 가 됨**
+ - T 값이 커지면, 최대 분산값도 커지는데, **이 분산 값은 다루기에 너무 큼**
+ - $x_0,y \sim N(0,I)$ 이면서 서로 독립일 때,
+ Brownian Bridge diffusion process 를 위한 **분산 scheduling** 을
+ 다음과 같이 해볼 수 있다.
+
+ :::{figure-md}
+
+
+ Brownian Bridge diffusion process 를 위한 분산 Scheduling
+ :::
+
+ - 만약 t 는 양의 정수의 discrete time 이고, 그 최댓값인 T=1000 이라면
+ $\delta_t$ 는 아래 그림과 같게 된다.
+
+ :::{figure-md}
+
+
+ $\delta_t$ 를 시각화한 결과
+ :::
+ + + $m_t = t\overT$ 이고, $\delta_t = 2(m_t - m_t^2)$ 이므로,
+ + - diffusion process 가 시작하는 **t = 0 에서는, $m_0$ = 0** 이고, + **평균은 $x_0$** 이며 + **분산은 0** 이 된다.
+ - diffusion process 가 끝나는 **t = T 에서는,** + $m_T$ **= 1** 이고, + **평균은 y** 이고, + **분산은 0** 이 된다.
+ - **분산이,** + diffusion process 의 **중간 지점까지는 최대 0.5 까지 증가**하다가,
+ 중간 지점부터 **끝나는 지점까지는 0 으로 감소** + - **Brownian Bridge diffusion process** 에서의 **sampling diversity** 는 + **최대 분산값,
즉 middle step 인 $t = {T\over 2}$ 에서의 분산값에 의해 결정**됨 + - **분산을 스케일링하는 변수 s** **를 두어** **sampling diversity 를 조절**할 수 있다. + + :::{figure-md} +
+
+ 식(5) : sampling diversity 조절을 위한 계수 s 가 포함된 분산 scheduling
+ :::
+
+ - 이 논문에서 **s 의 디폴트 값은 1**
+ + - **3.1.1 Forward Process**
+ - **식 (4)** 에서는 **step t 에서의 marginal distribution 만 제공** + - **training 과 inference process 를 위해**서는 **forward transition probability** 인 $q_{BB}(x_t|x_{t-1}, y)$ 를 알아야함 + - **식 (4) 에 의해, $x_0$ 와 $y$ 가 주어졌을 때의 $x_t$ 와** $x_{t-1}$ 은 다음과 같이 쓸 수 있음 + + :::{figure-md} +
+
+ 식(4)
+ :::
+
+ :::{figure-md}
+
+
+ 식(6) & 식(7)
+ :::
+
+ - 참고. 위 식 (7) 의 $m_ty$ 는 $m_{t-1}y$ 로 쓰는 것이 옳음
+
+ :::{figure-md}
+
+
+ $\epsilon$ 은 i.i.d 하게 N(0, I) 를 따른다
+ :::
+
+ - **식 (6) 의 $x_0$ 를 식 (7) 의 $x_0$ 로 대체**하면,
+ **Forward transition probability $q_{BB}(x_t|x_{t-1}, y)$** 가 아래의 **식 (8)** 과 같이 유도됨
+
+ :::{figure-md}
+
+
+ 식(8)
+ :::
+
+ - 증명
+ - 식(7) 을 다음과 같이 쓸 수 있음
+ - $x_0 = {x_{t-1}-m_{t-1}y-\sqrt {\delta_{t-1}} \epsilon_{t-1} \over 1-m_{t-1}}$
+ - 식(6) 의 $x_0$ 에 위의 $x_0$ 를 대입
+ - $x_t = {(1-m_t)x_{t-1} \over (1-m_{t-1})} - {(1-m_t)m_{t-1}y \over (1-m_{t-1})} - {(1-m_t)\sqrt {\delta_{t-1}}\epsilon_{t-1} \over (1-m_{t-1})} + m_ty + \sqrt{\delta_t} \epsilon_t$
+ - $= {(1-m_t)x_{t-1} \over (1-m_{t-1})} + y(m_t - {(1-m_t) \over (1-m_{t-1})}m_{t-1}) + \sqrt {\delta_t}\epsilon_t - {(1-m_t)\sqrt {\delta_{t-1}}\epsilon_{t-1} \over (1-m_{t-1})}$
+ - 이후, $Var(x_t)$ 를 구하면, 아래의 $\delta_{t|t-1}$ 와 같이 유도됨
+
+ :::{figure-md}
+
+
+ $\delta_{t|t-1}$ 식
+ :::
+
+ - t=T 가 될 때 $m_T = 1$ 인데, 이때 식(8) 에 의해 $x_T = y$ 임.
+ ↓
+ ”아, Forward diffusion process 는 확실히..
+ A 도메인으로부터 B 도메인으로의 fixed mapping 을 정의하는구나”
+
+ - **3.1.2 Reverse Process**+ - **conditional diffusion models** 의 **reverse process** 는,
+ **Gaussian noise 로부터 시작**하며,
+ 매 스텝마다 조금씩 noise 를 제거해나감
+ - 반면, **BBDM 의 Brownian Bridge process 는 $x_T = y$ 로 둠으로써,
+ conditional input 그 자체에서 Reverse process 를 시작**함 + + :::{figure-md} +
+
+ 식(9)
+ :::
+
+ - $\mu_\theta (x_t,t)$ 는 U-Net 에 의해 예측된 노이즈 평균값이며, $\tilde{\delta_t}$ 는 노이즈의 분산
+ - DDPM 처럼, 임의의 parameters $\theta$ 를 갖는 신경망 **U-Net 은 $\mu_\theta (x_t,t)$ 를 학습**
+
+ - **3.1.3. Training Objective**
+ - **참고.**
+ - 예전 **DDPM 의 Loss** 는 다음과 같았음.
+
+ :::{figure-md}
+
+
+ DDPM 의 Loss
+ :::
+
+ - 그리고, 이로부터 simplified 된 **objective** 는 다음과 같음
+
+ :::{figure-md}
+
+
+ DDPM 의 simplified objective
+ :::
+
+ - **Brownian Bridge diffusion process** 의 **ELBO**
+
+ :::{figure-md}
+
+
+ 식(10) : BBDM 의 ELBO
+ :::
+
+ - **첫 번째 term :** $x_T$ 가 곧 y 이므로 무시할 수 있음
+ - **세 번째 term** : 매우 작은 값이 되므로 무시할 수 있음
+ - **베이즈 이론과 Markov chain property 를 식 (4) 와 식 (8) 에 적용**하여,
+ 다음과 같이 **식 (11) 이 도출**된다.
+ - 참고. Markovian Chain
+ - $q(x_t|x_{t-1}) = q(x_t|x_{t-1}, x_{t-2}, … , x_0)$
+ - Markov chain property 에 의해,+ $q_{BB}(x_t|x_{t-1},y) = q_{BB}(x_t|x_{t-1},x_0,y)$ 가 성립됨을 활용 + - 식(4) + + :::{figure-md} +
+
+ 식(4)
+ :::
+
+ - 식(8)
+
+ :::{figure-md}
+
+
+ 식(8)
+ :::
+
+ - 식(11) & 식(13)
+
+ :::{figure-md}
+
+
+ 식(11)
+ :::
+
+ :::{figure-md}
+
+
+ 식(13)
+ :::
+
+ - 증명
+ - ${q_{BB}(x_{t}|x_{t-1},y)q_{BB}(x_{t-1}|x_{0},y)\over q_{BB}(x_{t}|x_{0},y)}$
+ - $= {{q_{BB}(x_{t},x_{t-1},y) \over q_{BB}(x_{t-1},y)} {q_{BB}(x_{t-1},x_{0},y) \over q_{BB}(x_{0},y)} \over {q_{BB}(x_{t},x_{0},y)\over q_{BB}(x_{0},y)}}$
+ - $= q_{BB}(x_{t}|x_{t-1},y){q_{BB}(x_{t-1},x_{0},y)\over q_{BB}(x_{t},x_{0},y)}$
+ - $= q_{BB}(x_{t}|x_{t-1},x_{0},y){q_{BB}(x_{t-1},x_{0},y)\over q_{BB}(x_{t},x_{0},y)}$
+ - $= {q_{BB}(x_{t},x_{t-1},x_{0},y)\over q_{BB}(x_{t},x_{0},y)}$
+ - $= q_{BB}(x_{t-1}|x_{t},x_{0},y)$
+
+ - 위 식 (11) 의 평균은, 식 (12) 와 같이 정리됨
+
+ :::{figure-md}
+
+
+ 식(12)
+ :::
+
+ - 식(4) 와 식(12) 를 통합하고 Reparameterization method 를 사용해서
+ $\tilde {\mu_t}$ 를 다음과 같이 변형할 수 있음
+
+ :::{figure-md}
+
+
+ 식(12) 의 변형
+ :::
+
+ - 참고. 식(4)
+
+ :::{figure-md}
+
+
+ 식(4)
+ :::
+
+
+ - 하지만, 실제로 U-Net 은 전체 $\tilde {\mu_t}$ 를 예측하는 것이 아니라,
+ 노이즈를 예측하도록 학습됨.
+ - 이 내용을 식에 명시하기 위해,
+ **식(9) 에 명시된 $\mu_\theta$ 를 식(14) 와 같이 다시 써볼 수 있음.+ $x_t$ 와 y, 그리고 예측된 노이즈 $\epsilon_\theta$ 의 linear combination 으로 다시 써보는** 것임. + + :::{figure-md} +
+
+ 식(9)
+ :::
+
+ :::{figure-md}
+
+
+ 식(14)
+ :::
+
+ - 그런데, 아래 그림을 참고해보면 우리는 $\tilde {\mu_t}$ 에 근사하도록 $\mu_\theta$ 를 학습시켜야함.
+
+ :::{figure-md}
+
+
+ $\tilde {\mu}_t$ 의 정리된 식
+ :::
+
+ - 즉, $\epsilon_\theta (x_t,t)$ 가 $m_t(y-x_0)+\sqrt {\delta_t}\epsilon$ 을 근사하도록 학습되어야하는 것임.
+
+ - ELBO 의 두 번째 term 을 다시 살펴보면,+ - **두 번째 term** : $D_{KL}(q_{BB}(x_{t-1}|x_t, x_0, y)||p_\theta (x_{t-1}|x_t,y))$
+ + - $arg \space min_\theta \space D_{KL}(q_{BB}(x_{t-1}|x_t, x_0, y)||p_\theta (x_{t-1}|x_t,y))$ + =$arg \space min_\theta \space (\tilde {\mu}_t(x_t,y) - \mu_\theta (x_t,y,t))$ + =$arg \space min_\theta \space (c_{\epsilon_t}(m_t(y-x_0) + \sqrt {\delta_t}\epsilon) - c_{\epsilon_t}\epsilon_\theta(x_t,t))$ + =$arg \space min_\theta \space (c_{\epsilon_t} (m_t(y-x_0) + \sqrt {\delta_t}\epsilon - \epsilon_\theta(x_t,t)))$
+ + - 따라서, ELBO 는 다음과 같이 단순화될 수 있음 + + :::{figure-md} +
+
+ BBDM 의 Simplified ELBO
+ :::
+
+
+ - **Training Algorithm 정리**
+
+ :::{figure-md}
+
+
+ Algorithm 1 : Training. 마치 DDPM 에서 그러했듯이, BBDM 도 실제 Loss 에는 Simplified ELBO 에서의 계수 $C_{\epsilon_t}$ 가 빠진 것을 확인할 수 있다.
+ :::
+
+
+ - **3.2. Accelerated Sampling Processes**+ - **DDIM 과 비슷하게, BBDM 의 inference processes** 도 + **non-Markovian process 를 사용해서 가속시킬 수 있음** + - Sampling steps 의 길이를 S 라고 두었을 때, + **inference process** 는 **latent varibales $x_{1:T}$ 의 subset** 에 의해 다음과 같이 정의됨 + - **latent varibales $x_{1:T}$ 의 subset** + + :::{figure-md} +
+
+ **latent varibales $x_{1:T}$ 의 subset**
+ :::
+
+ - **inference process**
+
+ :::{figure-md}
+
+
+ inference process
+ :::
+
+ - **Sampling Algorithm**
+
+ :::{figure-md}
+
+
+ Algorithm 2 : Sampling
+ :::
+
+ - 본 논문에서는 **S 값의 디폴트**를 **200** 으로 두었음+ 4. **Experiments**
+ - **4.1. Experiment Setup**
+ - **모델 & 하이퍼마라미터** + - BBDM 프레임워크는 pretrained VQGAN 과 BBDM 으로 이루어짐 + - **Latent Diffusion Model 에서 사용된 것과 같은 pretrained VQGAN 을 사용** + - training stage 에서의 time steps 는 1,000 + - inference stage 에서의 sampling steps 는 200
+ - **Evaluation** + - FID 와 LPIPS 사용 + - 생성물의 diversity 를 평가하기 위해서, + 하나의 conditional input y 마다 5개의 샘플을 생성하고, + 각 픽셀 마다의 표준편차의 평균을 구함. + 그 후 전체 test 데이터셋에 대해서 평균 냄.
+ - **Datasets** + - BBDM 의 I2I 변환 능력을 평가하기 위해서, 여러 task 로 실험함
+ 1. **Semantic Synthesis 능력**을 CelebAMask-HQ dataset 으로 실험 + 1. semantic layout 만 주고 photorealistic 한 images 를 생성해내는 능력 평가
+ 2. **sketch-to-photo 능력**을 edges2shoes 와 edges2handbags 로 실험 + 1. edges 만 주고 realistic images 생성해내는 능력 평가
+ 3. **style transfer 능력**을 faces2comics 로 실험 + 1. 위 두 실험은 서로 상이한 domains 간의 변환 능력을 평가했다면, + Style transfer 실험에서는 서로 비슷한 domains 간의 I2I 변환 능력을 평가
+ - **4.2. Qualitative Comparison**
+ + :::{figure-md} +
+
+ Figure 3. CelebAMask-HQ 데이터셋에 대한 추론 결과
+ :::
+
+ :::{figure-md}
+
+
+ Figure 4. 다른 Image-to-Image 변환 task 에 대한 추론 결과
+ :::
+
+ :::{figure-md}
+
+
+ Figure 5. 다른 Image-to-Image 변환 task 에 대한 추론 결과
+ :::
+
+ - Pix2Pix 는 지도 학습 방식으로 학습하므로, 괜찮은 결과를 냄
+ - 반면 **CycleGAN** 은 **작은 스케일의 데이터셋**에서는 **성능이 떨어짐**
+ - DRIT++ 은 GAN 기반 모델들 중에서는 좋은 성능을 냈으나,
+ 변환된 이미지들이 oversmoothed 되어 있었고,
+ ground truth distribution 과는 거리가 멀었음
+ - conditional diffusion model 인 **CDE** 와 **LDM** 은
+ GAN 기반 모델들보다는 **좋은 성능**을 냈으나,
+ **conditional information 에 큰 영향**을 받음
+ - **Figure 3 의 첫 번째 줄**을 보면 i**rregular occlusions** 가 나타나는데,
+ **CDE 와 LDM 은 이에 큰 영향**을 받음
+ - 반면 **BBDM 은 두 도메인 간의 직접적인 diffusion process 를 학습**하므로
+ **이러한 문제로부터 자유로움**
+ - 또한 Brownian Bridge 의 stochastic 한 특성으로 인해
+ fidelity 와 diversity 가 높은 이미지들을 생성해냄+ - **4.3. Quantitative Comparison**
+ - Table 1 과 2 를 보면, BBDM 이 모든 실험에서 가장 좋은 FID 값을 기록했으며, 훌륭한 LPIPS 값을 기록함 + + :::{figure-md} +
+
+ Table 1. CelebAMask-HQ 데이터셋에 대한 FID, LPIPS 성능은 BBDM 이 가장 뛰어남
+ :::
+
+ :::{figure-md}
+
+
+ Table 2. BBDM 은 FID, LPIPS 점수가 매우 뛰어났음
+ :::
+
+
+ - **4.4. 다른 Translation Tasks**+ - **BBDM 의 generalization 성능을 검증**하기 위해서, 다른 tasks 에 대해서도 실험했음 + - 아래 그림과 같이, **다른 tasks 에서도 camparable 한 성능을 기**록함 + + :::{figure-md} +
+
+ Figure 6. Face-to-label, 색상화, inpainting 등의 다른 tasks 에서도 뛰어난 성능을 기록함
+ :::
+
+
+ - **4.5. Ablation Study**+ - **pre-trained latent space 의 영향** + + :::{figure-md} +
+
+ Table 3. BBDM 은 LDM 에 비해 Downsampling factor 에 대해 robust 했음
+ :::
+
+ - **BBDM 과 LDM** 에 대해서,
+ **VQGAN downsampling factor** 를 **각각 4, 8, 16 으로 두고 성능 비교 실험 수행**
+ - **BBDM 은 down sampling factor 에 robust** 했음+ - **Sampling steps 의 영향** + - **Sampling steps 가 작을 때 (200 이하) 는, 조금만 늘려도 성능이 크게 증가**
+ :::{figure-md} +
+
+ Table 4. 200 이상의 Sampling Steps 에서는 Steps 를 키워도 성능 변화가 미미함
+ :::
+ + - **Brownian Bridge 의 maximum variance 의 영향** + + :::{figure-md} +
+
+ Table 5. Sampling diversity 조절 계수에 의해 실제로 Diversity 가 조절 되었음
+ :::
+
+ - 식 (5) 에 나타난 것처럼, **scaling factor s 의 값을 변경**함으로써,
+ **Brownian Bridge 의 최대 분산값 (t = T/2 일 때의 분산값) 조절 가능.**
+ **이렇게 diversity 조절 가능.**
+
+ :::{figure-md}
+
+
+ 식(5)
+ :::
+
+ 5. **Conclusion and Future Work**
+ - **Brownian Bridge 에 기반한 새로운 I2I 변환 방법 제시**
+ - 이 방법은 기존의 conditional 한 방법과 달리,
+ **Brownian Bridge diffusion process 를 통해 두 도메인 간의 mapping 을 직접 학습**
+ - **여러 tasks 에서의 실험을 통해 BBDM 의 성능 검증**
+ - text-to-image 와 같은 multi-modal tasks 에도 BBDM 을 적용해볼 예정
+
+- **참고 자료**
+ - [https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB](https://www.youtube.com/watch?v=ld0rxwAJpkM&ab_channel=finRGB)
- [https://sine-qua-none.tistory.com/158](https://sine-qua-none.tistory.com/158)
\ No newline at end of file
diff --git a/_sources/docs/review/CAT3D.md b/_sources/docs/review/CAT3D.md
new file mode 100755
index 00000000..d5951a9c
--- /dev/null
+++ b/_sources/docs/review/CAT3D.md
@@ -0,0 +1,239 @@
+```{admonition} Information
+- **Title:** CAT3D: Create Anything in 3D with Multi-View Diffusion Models (NIPS 2024)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2405.10314](https://arxiv.org/abs/2405.10314)
+ - Code: -
+ - Project Page : [https://cat3d.github.io/](https://cat3d.github.io/)
+
+- **Presentor:** Geonhak Song
+
+- **Last updated on December.18 , 2023**
+```
+
+# CAT3D
+
+
+
+## 1. Introduction
+
+3D content의 수요는 증가하지만 3D content는 여전히 부족함.
+
+이를 위해서는 복잡하고 특수한 tool 사용해야 하며 상당한 시간과 노고가 들어감.
+
+NeRF, Instant-NGP, Gaussian Splatting과 같은 최신 기술들은 2D 이미지를 기반으로 어떠한 viewpoint에서 render하여 3D를 생성해내는 방법을 제안함.
+
+그러나 여전히 고품질 장면 생성을 위해서는 수 천장을 찍어야 하는 labor-intensive process 필요.
+
+불충분한 장면 시점은 부정확한 기하학적 외관적 결과를 초래하며 신뢰 높은 3D 복원의 어려움을 제공
+
+단일 이미지, text로 3D 생성 방법을 제안하는 방법 또한 제공되고 있지만, 여전히 품질, 효율성, 일반화에서 어려움이 있음.
+
+본 논문은 **CAT3D**를 통해 입력된 적은 수의 뷰(few-view input)만으로 3D 일관성을 유지하며 고품질의 3D 콘텐츠 생성.
+
+Novel-view synthesis가 가능한 Multi-View Diffusion Model 훈련 진행을 통해 다수의 3D consistent image를 생성할 수 있는 효과적인 sampling strategy 제안.
+
+any view point / few-view에서도 3D 생성 가능
+
+1분 미만의 생성
+
+## 2. Related Work
+
+**2D priors**
+
+**2D priors with camera conditioning**
+
+**Multi-view priors**
+
+**Video Priors**
+
+**Feed-forward methods**
+
+## 3. Method
+
+
+
+두 단계 접근법 사용
+
+Step 1. multi-view diffusion model을 활용하여 한 개 혹은 그 이상의 입력 view와 일관된 다수의 새로운 view 생성.
+
+Step 2. 생성된 view를 활용해 robust 3D reconstruction pipeline 실행
+
+### 3.1 Multi-View Diffusion Model
+
+- 3D 장면의 한 개 혹은 그 이상의 view를 입력으로 받아, 카메라 위치에 따라 다수의 출력 이미지를 생성하는 multi-view diffusion model 훈련(“a view” is a paired image and its camera pose)
+
+- 입력 : $M$개의 조건부 views ($I_{cond}$ : images, $p_{cond}$ : camera parameters) & $N$개의 target camera parameters $p_{tgt}$
+- 출력 : $N$개의 target images $I_{tgt}$
+- 위 조건을 만족하는 joint distribution 모델 학습
+
+
+
+**Model architecture**
+
+- 모델 아키텍처는 video latent diffusion model과 유사하지만, time embedding 대신 각 이미지에 대해 camera pose embedding 사용
+
+학습 방법
+
+- conditional and target image 집합이 주어졌을 때, 모델은 각 이미지를 VAE latent representation를 통한 encoding
+- 이후 conditional signal이 주어졌을 때 latent representation의 joint distribution를 추정하는 diffusion model training
+
+- T2I LDM initialize & resolution 512×512×3
+- Backbone : 2D diffusion model
+ - 추가 layer는 다중 입력 이미지 latent와 연결된 상태
+
+
+
+[MVDream](https://kimjy99.github.io/%EB%85%BC%EB%AC%B8%EB%A6%AC%EB%B7%B0/mv-dream)에서와 같이, 3D self-attention layer (2D in space and 1D across images) 사용
+
+이때, 최소한의 추가 모델 파라미터 사용을 위해 2D self-attention을 직접적으로 inflate하는 방식으로 3D self-attention을 latent에 연결
+
+
+
+3D self-attention layer를 통한 input view conditioning은 ReconFusion에서 사용한 PixelNeRF나 CLIP image embedding 필요성 제거
+
+
+
+빠른 training, sampling을 위한 FlashAttention 사용 & LDM weight fine-tuning
+
+pretrained image diffusion model에서 더 높은 차원의 데이터를 포착하는 multi-view diffusion model로 전환할 때, noise schedule을 high noise level로 이동하는 것이 중요.
+
+log SNR(signal-to-noise ratio)를 log N만큼 이동, N: target 이미지 수
+
+- [Simple diffusion: End-to-end diffusion for high resolution images (23.01)](https://arxiv.org/abs/2301.11093) 참조
+
+target image와 conditioning image 구분을 위해 **Binary mask**를 channel dim을 따라 latent에 concat
+
+다양한 3D Generation 설정 처리를 위해 8개의 conditioning & target view(N+M=8)를 모델링할 수 있는 하나의 모델을 학습
+
+training 중 조건부 view 1 또는 3 무작위 선택
+
+자세한 내용 : Appendix B. Details of Multi-View Diffusion Model
+
+**Camera conditioning**
+
+camera pose conditioning을 위한 동일 height, width의 a camera ray representation (“raymap”) 사용. 이후 각 공간 위치에서 ray origin, direction로 encoding
+
+ray는 광선은 **첫 번째 조건부 이미지의 camera pose 기준**으로 계산되므로, pose representation은 3D world 좌표계의 rigid transformation에 대해 불변성을 가짐.
+
+- **첫 번째 카메라를 기준으로 모든 위치를 상대적으로 정의**하여, 모델이 3D 세계 좌표계의 이동이나 회전 같은 전역적인 변환에 영향을 받지 않도록 한다는 뜻입니다.
+- 이는 3D 재구성의 안정성과 일관성을 높이는 데 중요한 역할
+
+각 이미지의 raymap은 해당 이미지의 latent에 channel-wise concat
+
+### 3.2 Generating Novel Views
+
+목표 : 입력 view 집합이 주어졌을 때, 일관된 view에 대한 대규모 집합을 생성하는 것
+필요 1) **샘플링할 카메라 위치 집합**을 결정
+필요 2) 일관된 view 생성이 가능한 a sampling strategy
+
+**Camera trajectories**
+
+3D scene reconstruction에서의 문제는 장면을 완전히 포괄하기 위해 필요한 view가 복잡하고 장면의 콘텐츠에 따라 달라질 수 있다는 점
+
+경험적으로 다양한 유형의 장면에 대해 **적절한 카메라 경로**를 설계하는 것이 설득력 있는 few-view 3D reconstruction 달성하는 데 매우 중요함 발견
+
+카메라 경로는 재구성 문제를 완전히 제약할 수 있도록 충분히 철저하고 밀도가 높아야 할 뿐 아니라장면 내 물체를 관통하거나 부자연스러운 각도에서 장면 콘텐츠가 제공되지 않아야함.
+
+In summary, we explore four types of camera paths based on the characteristic of a scene:
+
+(1) orbital paths of different scales and heights around the center scene
+
+- 중심 장면 주위를 도는 다양한 크기와 높이의 궤도형 경로
+
+(2) forward-facing circle paths of different scales and offsets
+
+- 다양한 크기와 오프셋을 가진 전방을 향한 원형 경로
+
+(3) spline paths of different offsets
+
+- 다양한 오프셋을 가진 스플라인 경로
+
+
+
+
+(4) spiral trajectories along a cylindrical path, moving into and out of the scene
+
+- 실린더 경로를 따라 장면으로 들어가고 나오는 나선형 경로
+
+Appendix C 참조
+
+
+
+
+**Generating a large set of synthetic views**
+
+다중 시점 확산 모델을 Novel view synthesis 에 적용할 때의 문제점
+
+- 소수의 유한한 입출력 view(총 8개)로 훈련되었다는 점
+
+(?)
+출력 view의 개수를 늘리기 위해,
+
+- target viewpoints을 더 작은 그룹으로 clustering
+- 조건부 view가 주어진 상태에서 각 그룹을 독립적으로 생성
+
+single-image conditioning에서는 auto-regressive sampling 전략 채택
+
+- 장면을 커버하는 7개의 **anchor views** 집합을 생성(ZeroNVS과 유사하며, k-means++[69]에서 제안된 탐욕 초기화(greedy initialization)를 사용)
+- 관찰된 view와 앵커 view가 주어진 상태에서 나머지 view 그룹을 병렬로 생성.
+
+이 방식은 앵커 view 간의 long-range consistency과 근접 view 간의 local similarity을 유지하면서도, 대규모 합성 view 집합을 효율적으로 생성할 수 있도록 합니다.
+
+single-image setting : 80 views / few-view setting : 480~960 views 생성
+
+**Conditioning larger sets of input views and non-square images**
+
+Reconfusion에서 제안된 방법과 같이 가까운 M개의 view condition 선택
+
+sampling동안 단순하게 multi-view diffusion architecture의 sequence length를 늘리는 방법보다 nearest view conditioning과 grouped sampling strategy가 성능이 더 좋았음.
+
+넓은 종횡비의 이미지를 처리하기 위해, 정사각형으로 자른 입력 view에서 나온 정사각형 샘플과 padding된 정사각형 입력 뷰에서 잘라낸 샘플 결합.
+
+### 3.3 Robust 3D reconstruction
+
+생성된 뷰는 일반적으로 완벽한 3D 일관성을 갖추고 있지않음.
+
+때문에 일관적이지 않은 입력 view에 대한 robustness 향상을 위한 NeRF 훈련 방법 수정 진행
+
+Zip-NeRF 기반 **Photometric Reconstruction Loss, Distortion Loss, Interlevel Loss, Normalized L2 Weight Regularizer**
+
+추가로 rendered image와 input image 간 **perceptual loss (LPIPS)** 사용
+LPIPS는 렌더링된 이미지와 관찰된 이미지 간의 **고차원적 의미적 유사성**을 강조하며, 저차원 고주파 세부사항의 불일치 가능성은 무시
+**가장 가까운 관찰된 뷰와의 거리**를 기준으로 생성된 뷰의 손실에 가중치를 부여
+
+Weight
+
+- 훈련 초기에는 균일하게 적용
+- 관찰된 view와 더 가까운 view간의 reconstruction loss에 더 강한 패널티를 부여하는 weighting func로 변환되도록 점진적으로 강화
+
+Appendix D 참조
+
+## 4. Experiments
+
+4 datasets with camera pose annotations: Objaverse, CO3D, RealEstate10k, MVImgNet
+
+4.1 Few-View 3D Reconstruction
+
+
+
+
+4.2 single image evaluation
+
+
+
+
+
+
+
+4.3 Ablation
+
+
+
+
+
+
+
+LPIPS loss is crucial for achieving high-quality texture and geometry,
+
+increasing the number of generated views from 80 (single elliptical orbit) to 720 (nine orbits) improved central object geometry but sometimes introduced background blur, probably due to inconsistencies in generated content
\ No newline at end of file
diff --git a/_sources/docs/review/CM3leon.md b/_sources/docs/review/CM3leon.md
index 0cf02f44..c2f85dfb 100755
--- a/_sources/docs/review/CM3leon.md
+++ b/_sources/docs/review/CM3leon.md
@@ -1,242 +1,242 @@
-```{admonition} Information
-- **Title:** Scaling Autoregressive Multi-Modal Models: Pretraining and Instruction Tuning
-
-- **Reference**
- - Paper: [https://scontent-gmp1-1.xx.fbcdn.net/v/t39.2365-6/358725877_789390529544546_1176484804732743296_n.pdf?_nc_cat=108&ccb=1-7&_nc_sid=3c67a6&_nc_ohc=PLfU_UR_vYAAX_NagU8&_nc_ht=scontent-gmp1-1.xx&oh=00_AfDrHAHXv1PcF0LqicjIYnmOrpVCGEQ0eMv5_Ve2_Tncvg&oe=652FF632](https://scontent-gmp1-1.xx.fbcdn.net/v/t39.2365-6/358725877_789390529544546_1176484804732743296_n.pdf?_nc_cat=108&ccb=1-7&_nc_sid=3c67a6&_nc_ohc=PLfU_UR_vYAAX_NagU8&_nc_ht=scontent-gmp1-1.xx&oh=00_AfDrHAHXv1PcF0LqicjIYnmOrpVCGEQ0eMv5_Ve2_Tncvg&oe=652FF632)
- - Code: X
-
-- **Author:** Jun-Hyoung Lee
-
-- **Last updated on Oct. 15. 2023**
-```
-
-# CM3leon
-:::{figure-md} CM3leon result
-
-
-CM3leon result
-:::
-
-- 복잡하게 구성된 객체(손, 텍스트)도 잘 생성한다.
-
-## Abstract & 1. Introduction
-- CM3Leon
- - 텍스트와 이미지 둘 다 잘 생성하는 능력을 가진 검색-증강, 토큰 기반, 디코더 전용 멀티 모달 모델이다.
- - CM3 멀티 모델 아키텍처를 사용하며 scaling up 및 다양한 구조적-스타일 데이터에 tunning 할 수 있는 능력을 가졌다.
-- Training
- - 처음에는 멀티 모달 모델을 “텍스트 기반” language 모델에 맞도록 학습했다. (large scale의 검색 증강 pretraining 단계를 포함한다.)
- - 데이터는 라이센스가 있는 Shutterstock의 large-scale로 학습한다.
- - 그 후 supervised fine tuning (SFT) 단계로 진행했다.
- - 입력과 출력 모두 이미지와 텍스트 토큰을 섞을 수 있다.
-- 기존 이미지 생성 모델은 텍스트 프롬프트에 맞는 이미지만 잘 생성하는데,
- - CM3leon은 텍스트와 이미지 모두 잘 생성한다.
- - 이미지 생성
- - 고해상도 output을 생성할 수 있는 self-contained contrastive decoding 방법을 소개한다.
- - text guided iamge editing 부터 image controlled generation, segmentation까지 가능하다.
- - 텍스트 생성
- - Shutterstock의 3억 개의 텍스트 토큰으로 학습했는데, image-to-text generation도 잘 수행한다.
-- 학습 연산을 5배로 줄였다.
-- zero shot COCO로 FID를 측정한 결과 4.88 점으로, Google의 Parti 모델의 성능과 비슷한 수준을 달성했다.
-
-
-# 2. Pretraining
-
-- RA-CM3를 기반으로 T2I 도메인에서 토큰 기반 디코더 모델의 잠재력을 연구했다.
-
-## 2.1 Data
-
-### Image Tokenization
-
-- Gafni의 image tokenizer를 사용했다.
-
- - 이 tokenizer는 256x256 이미지를 8192개의 vocabulary에서 1024개의 토큰으로 인코딩을 진행한다.
-- 텍스트에서는, Zhang의 커스텀 tokenizer(56320 vocabulary size)를 학습했다.
-
-- 추가로, 새로운 스페셜한 토큰인 **`
-
-Figure_8_9
-:::
-
- - 이는 modality간 transition을 하게 한다.
-
-### Retrieval Augmentation
-
-- 목적: 입력 sequence에 맞춰 관련성이 높고 다양한 멀티 모달 문서(from memory bank)를 검색하는 것이다.
- - dense retriever 와 retrieval strategy을 포함하고 있다.
-- dense retriever
- - 쿼리 $q$ (예: input sequence)와 memory bank $\mathcal M$ 로부터 후보 문서 $m$ 를 가지고 관련성 점수$r(q, m)$ 를 return 해준다.
- - dense retriver 방법은 CLIP 기반인 bi-encoder 구조를 따랐다. (Karpukhin)
- - 멀티 모달 문서를 text / image 파트로 분리하고, 각각 CLIP 인코더(ViT-B-32)를 통해 인코딩을 한다.
- - 그 후 문서의 vector representation로써 두 개를 평균을 낸다.
- - 최종 검색은 관련성 점수에 따라 정렬된 후보 문서 목록을 얻기 위해 Maximum Inner Product Search로 수행한다.
-- 학습 때 generator를 위한 유용한 검색 문서를 추출하기 위해 세 가지 요소를 고려했다.
- - relevance
- - 검색된 문서는 입력 sequence에 관련있어야 한다.
- - CLIP 기반 dense retriever 점수를 사용한다.
- - modality
- - 이미지와 텍스트로 구성된 멀티 모달 문서로 검색 > 이미지 또는 텍스트로 검색하는 것이다.
- - diversity
- - 다양성은 검색된 문서에서 중복성을 피하기 위한 필수적인 절차다.
- - 단순하게 관련성 점수에 기반해 top K 문서만 가져온다면 중복이 발생할 수 있다.
- - 또한 downstream pretraining 에 안좋은 영향을 끼칠 수 있다.
- - 실제로, 관련성 점수가 0.9 이하로 검색된 문서로 사용했고,
- - query dropout(검색에 사용된 쿼리의 일부 20% 토큰을 삭제)를 적용했다.
- - 따라서 다양성과 학습에 정규화를 시켰다.
-- 이미지와 텍스트를 기반으로 각각 두 개의 문서를 검색한다.
-- 학습에서는 데이터셋의 모든 캡션-이미지 쌍에 대해 검색된 샘플 3개를 무작위로 선택한다.
- - 이는 사실상 사전 학습에서 사용할 수 있는 토큰 수의 4배이다.
-
-## 2.2 Objective Function
-
-- CM3 objective
- - input
-
- - `"Image of a chameleon: [image]"` 을 변형시켜 `"Image of
-
-Training result
-:::
-
-- 세 가지 모델 사이즈(350M, 760M, 7B)로 학습 진행했다. (→ 1.4T(Trillion), 1.9T, 2.4T tokens)
- - 주요한 하이퍼 파라미터는 learning rate, batch size로 멀티모달 scaling 에 맞게 설정했다.
-- 참고
- - Perplexity, PPL: 언어 모델의 평가 방법 중 하나이다. (헷갈리는 정도, 값이 낮을 수록 좋다.)
-
-
-## 3. Text-To-Image Results
-
-### 3.1 Importance of Decoding Strategies
-
-- autoregressive T2I 모델에서 decoding 알고리즘에 대해 상당한 연구가 진행되어 왔다.
- - 그 중 DALL-E는 최종 아웃풋의 퀄리티가 향상되는 결과를 가져왔다.
- - DALL-E 는 temperature 샘플링과 512개 후보 프롬프트에 CLIP re-ranking 전략을 채택했다.
- - PARTI 와 Make-A-Scene 과 같은 모델은 토큰 기반의 classifier-free guidance로, re-ranking에 대해 오직 16 개의 샘플만 필요하게 됨으로써 후보의 수를 줄였다.
-
-### Temperatured Sampling
-
-- autoregressive 모델에서 확률적 기술로 사용된다.
- - 이 방법은 샘플링에서 softmax의 temperature를 수정해 예측 무작위성을 제어한다.
- - - Classifier Free Guidance 적용했다.
-
-### TopP Sampling
-
-- nucleus 샘플링으로도 불리고, 미리 정의한 임계값을 초과하는 누적 확률을 가진 가장 작은 상위 토큰 세트에서 샘플링을 포함한다.
- - - Classifier Free Guidance 적용했다.
-
-### Classifier Free Guidance (CFG)
-
-$$
-\begin{aligned}
-& \operatorname{logits}_{\text {cond }}=T\left(t_y \mid t_x\right), \text { logits }_{\text {uncond }}=T\left(t_y \mid<\bf { mask }>\right) \\
-& \operatorname{logits}_{\mathrm{cf}}=\operatorname{logits}_{\text {uncond }}+\alpha_c \cdot\left(\text { logits }_{\text {cond }}-\text { logits }_{\text {uncond }}\right)
-\end{aligned}
-$$
-
-- CFG는 unconditional 샘플을 conditional 샘플에 맞도록 하는 것을 의미한다.
-- unconditional 샘플을 text를 CM3 목표의 마스크 토큰으로 대체한다.
-- 이는 CM3 목표를 사용한 학습의 핵심 이점 중 하나이며, finetuning 없이, classifier 없는 guidance를 수행할 수 있다.
-- 추론에서는 두 개의 토큰 stream을 생성한다.
- - 입력 텍스트에 따라 달라지는 토큰 stream과
- - mask 토큰에 따라 condition된 unconditional 토큰 stream
-
-### Contrastive Decoding TopK (CD-K)
-
-- CFG에서 logit의 뺄셈 연산이 텍스트에서 contrastive decoding 방법의 log probability를 뺄셈하는 연산과 비슷하다.
-
-## 3.2 Quantitative Evaluation
-
-:::{figure-md} Evaluation
-
-
-Evaluation
-:::
-
-
-- MS-COCO (30K) zero shot 예측, FID 측정했다.
- - CM3Leon-7B 모델이 FID 4.88 점으로 가장 좋다.
-- retrieval-augmented decoder-only 모델의 효율성이 좋다.
- - CM3Leon-7B 모델이 추론에서 1개/2개로 검색된 예제로 동작할 때 우수한 FID 점수를 기록했다.
- - 이는 고품질 이미지를 생성하는 능력을 확장시키는 검색의 중요성을 보여준다.
-
-
-## 4. Supervised Fine-Tuning
-
-:::{figure-md} Figure5
-
-
-Figure5
-:::
-
-- Supervised fine-tuning (SFT)는 LLM에서 중요한 학습 단계이다.
-
- - 명령어 또는 프롬프트를 잘 이해하는 것을 도와주며, zero shot task에서도 향상되는 결과를 얻었다.
-- 명령어 튜닝이 다양한 task에 멀티모달 모델 성능을 눈에 띄게 증폭시키는 것을 발견했다.
-
-- CM3Leon을 이미지와 텍스트 task를 섞어 넓은 범위에서 fine tuning 했다.
-
-- finetuning 과정은 pretraining 단계를 따르며, task instruction과 출력을 결합해 동일한 CM3 objective를 사용한다.
-
-
-### 4.1 Instructable Image Generation
-
-:::{figure-md} Figure6
-
-
-Figure6
-:::
-
-### Text-Guided Image Editing
-
-- text instruction 에 기반한 initial image를 수정하는 task이다.
-- InstructPix2Pix 방법 사용했다.
-- 예시: “하늘의 색을 파란색으로 변경해줘”와 같은 프롬프트로 이미지 편집이 가능하다.
- - 이것은 CM3leon이 텍스트와 이미지를 동시에 이해하고 있어서 가능하다.
-
-### Image-to-Image Grounded Generation
-
-- 다양한 feature과 텍스트 프롬프트로 grounding image를 생산하는 task이다.
-- ControlNet 적용했다.
-
-### Spatially Grounded Image Generation
-
-:::{figure-md} Figure6-1
-
-
-Figure6-1
-:::
-
-- 이미지 생성에 있어서 공간적 정보(위치)를 텍스트 프롬프트에 통합시킬 수 있도록 하는 task이다.
-
-### Image captioning & visual question answering task
-
-:::{figure-md} Figure16
-
-
-Figure16
-:::
-
-- Flamingo(1000억 토큰), OpenFlamingo(400억 토큰)에 비해 CM3leon(30억 토큰)은 적은 토큰임에도 불구하고, 동등한 성능을 달성했다.
+```{admonition} Information
+- **Title:** Scaling Autoregressive Multi-Modal Models: Pretraining and Instruction Tuning
+
+- **Reference**
+ - Paper: [https://scontent-gmp1-1.xx.fbcdn.net/v/t39.2365-6/358725877_789390529544546_1176484804732743296_n.pdf?_nc_cat=108&ccb=1-7&_nc_sid=3c67a6&_nc_ohc=PLfU_UR_vYAAX_NagU8&_nc_ht=scontent-gmp1-1.xx&oh=00_AfDrHAHXv1PcF0LqicjIYnmOrpVCGEQ0eMv5_Ve2_Tncvg&oe=652FF632](https://scontent-gmp1-1.xx.fbcdn.net/v/t39.2365-6/358725877_789390529544546_1176484804732743296_n.pdf?_nc_cat=108&ccb=1-7&_nc_sid=3c67a6&_nc_ohc=PLfU_UR_vYAAX_NagU8&_nc_ht=scontent-gmp1-1.xx&oh=00_AfDrHAHXv1PcF0LqicjIYnmOrpVCGEQ0eMv5_Ve2_Tncvg&oe=652FF632)
+ - Code: X
+
+- **Author:** Jun-Hyoung Lee
+
+- **Last updated on Oct. 15. 2023**
+```
+
+# CM3leon
+:::{figure-md} CM3leon result
+
+
+CM3leon result
+:::
+
+- 복잡하게 구성된 객체(손, 텍스트)도 잘 생성한다.
+
+## Abstract & 1. Introduction
+- CM3Leon
+ - 텍스트와 이미지 둘 다 잘 생성하는 능력을 가진 검색-증강, 토큰 기반, 디코더 전용 멀티 모달 모델이다.
+ - CM3 멀티 모델 아키텍처를 사용하며 scaling up 및 다양한 구조적-스타일 데이터에 tunning 할 수 있는 능력을 가졌다.
+- Training
+ - 처음에는 멀티 모달 모델을 “텍스트 기반” language 모델에 맞도록 학습했다. (large scale의 검색 증강 pretraining 단계를 포함한다.)
+ - 데이터는 라이센스가 있는 Shutterstock의 large-scale로 학습한다.
+ - 그 후 supervised fine tuning (SFT) 단계로 진행했다.
+ - 입력과 출력 모두 이미지와 텍스트 토큰을 섞을 수 있다.
+- 기존 이미지 생성 모델은 텍스트 프롬프트에 맞는 이미지만 잘 생성하는데,
+ - CM3leon은 텍스트와 이미지 모두 잘 생성한다.
+ - 이미지 생성
+ - 고해상도 output을 생성할 수 있는 self-contained contrastive decoding 방법을 소개한다.
+ - text guided iamge editing 부터 image controlled generation, segmentation까지 가능하다.
+ - 텍스트 생성
+ - Shutterstock의 3억 개의 텍스트 토큰으로 학습했는데, image-to-text generation도 잘 수행한다.
+- 학습 연산을 5배로 줄였다.
+- zero shot COCO로 FID를 측정한 결과 4.88 점으로, Google의 Parti 모델의 성능과 비슷한 수준을 달성했다.
+
+
+# 2. Pretraining
+
+- RA-CM3를 기반으로 T2I 도메인에서 토큰 기반 디코더 모델의 잠재력을 연구했다.
+
+## 2.1 Data
+
+### Image Tokenization
+
+- Gafni의 image tokenizer를 사용했다.
+
+ - 이 tokenizer는 256x256 이미지를 8192개의 vocabulary에서 1024개의 토큰으로 인코딩을 진행한다.
+- 텍스트에서는, Zhang의 커스텀 tokenizer(56320 vocabulary size)를 학습했다.
+
+- 추가로, 새로운 스페셜한 토큰인 **`
+
+Figure_8_9
+:::
+
+ - 이는 modality간 transition을 하게 한다.
+
+### Retrieval Augmentation
+
+- 목적: 입력 sequence에 맞춰 관련성이 높고 다양한 멀티 모달 문서(from memory bank)를 검색하는 것이다.
+ - dense retriever 와 retrieval strategy을 포함하고 있다.
+- dense retriever
+ - 쿼리 $q$ (예: input sequence)와 memory bank $\mathcal M$ 로부터 후보 문서 $m$ 를 가지고 관련성 점수$r(q, m)$ 를 return 해준다.
+ - dense retriver 방법은 CLIP 기반인 bi-encoder 구조를 따랐다. (Karpukhin)
+ - 멀티 모달 문서를 text / image 파트로 분리하고, 각각 CLIP 인코더(ViT-B-32)를 통해 인코딩을 한다.
+ - 그 후 문서의 vector representation로써 두 개를 평균을 낸다.
+ - 최종 검색은 관련성 점수에 따라 정렬된 후보 문서 목록을 얻기 위해 Maximum Inner Product Search로 수행한다.
+- 학습 때 generator를 위한 유용한 검색 문서를 추출하기 위해 세 가지 요소를 고려했다.
+ - relevance
+ - 검색된 문서는 입력 sequence에 관련있어야 한다.
+ - CLIP 기반 dense retriever 점수를 사용한다.
+ - modality
+ - 이미지와 텍스트로 구성된 멀티 모달 문서로 검색 > 이미지 또는 텍스트로 검색하는 것이다.
+ - diversity
+ - 다양성은 검색된 문서에서 중복성을 피하기 위한 필수적인 절차다.
+ - 단순하게 관련성 점수에 기반해 top K 문서만 가져온다면 중복이 발생할 수 있다.
+ - 또한 downstream pretraining 에 안좋은 영향을 끼칠 수 있다.
+ - 실제로, 관련성 점수가 0.9 이하로 검색된 문서로 사용했고,
+ - query dropout(검색에 사용된 쿼리의 일부 20% 토큰을 삭제)를 적용했다.
+ - 따라서 다양성과 학습에 정규화를 시켰다.
+- 이미지와 텍스트를 기반으로 각각 두 개의 문서를 검색한다.
+- 학습에서는 데이터셋의 모든 캡션-이미지 쌍에 대해 검색된 샘플 3개를 무작위로 선택한다.
+ - 이는 사실상 사전 학습에서 사용할 수 있는 토큰 수의 4배이다.
+
+## 2.2 Objective Function
+
+- CM3 objective
+ - input
+
+ - `"Image of a chameleon: [image]"` 을 변형시켜 `"Image of
+
+Training result
+:::
+
+- 세 가지 모델 사이즈(350M, 760M, 7B)로 학습 진행했다. (→ 1.4T(Trillion), 1.9T, 2.4T tokens)
+ - 주요한 하이퍼 파라미터는 learning rate, batch size로 멀티모달 scaling 에 맞게 설정했다.
+- 참고
+ - Perplexity, PPL: 언어 모델의 평가 방법 중 하나이다. (헷갈리는 정도, 값이 낮을 수록 좋다.)
+
+
+## 3. Text-To-Image Results
+
+### 3.1 Importance of Decoding Strategies
+
+- autoregressive T2I 모델에서 decoding 알고리즘에 대해 상당한 연구가 진행되어 왔다.
+ - 그 중 DALL-E는 최종 아웃풋의 퀄리티가 향상되는 결과를 가져왔다.
+ - DALL-E 는 temperature 샘플링과 512개 후보 프롬프트에 CLIP re-ranking 전략을 채택했다.
+ - PARTI 와 Make-A-Scene 과 같은 모델은 토큰 기반의 classifier-free guidance로, re-ranking에 대해 오직 16 개의 샘플만 필요하게 됨으로써 후보의 수를 줄였다.
+
+### Temperatured Sampling
+
+- autoregressive 모델에서 확률적 기술로 사용된다.
+ - 이 방법은 샘플링에서 softmax의 temperature를 수정해 예측 무작위성을 제어한다.
+ - - Classifier Free Guidance 적용했다.
+
+### TopP Sampling
+
+- nucleus 샘플링으로도 불리고, 미리 정의한 임계값을 초과하는 누적 확률을 가진 가장 작은 상위 토큰 세트에서 샘플링을 포함한다.
+ - - Classifier Free Guidance 적용했다.
+
+### Classifier Free Guidance (CFG)
+
+$$
+\begin{aligned}
+& \operatorname{logits}_{\text {cond }}=T\left(t_y \mid t_x\right), \text { logits }_{\text {uncond }}=T\left(t_y \mid<\bf { mask }>\right) \\
+& \operatorname{logits}_{\mathrm{cf}}=\operatorname{logits}_{\text {uncond }}+\alpha_c \cdot\left(\text { logits }_{\text {cond }}-\text { logits }_{\text {uncond }}\right)
+\end{aligned}
+$$
+
+- CFG는 unconditional 샘플을 conditional 샘플에 맞도록 하는 것을 의미한다.
+- unconditional 샘플을 text를 CM3 목표의 마스크 토큰으로 대체한다.
+- 이는 CM3 목표를 사용한 학습의 핵심 이점 중 하나이며, finetuning 없이, classifier 없는 guidance를 수행할 수 있다.
+- 추론에서는 두 개의 토큰 stream을 생성한다.
+ - 입력 텍스트에 따라 달라지는 토큰 stream과
+ - mask 토큰에 따라 condition된 unconditional 토큰 stream
+
+### Contrastive Decoding TopK (CD-K)
+
+- CFG에서 logit의 뺄셈 연산이 텍스트에서 contrastive decoding 방법의 log probability를 뺄셈하는 연산과 비슷하다.
+
+## 3.2 Quantitative Evaluation
+
+:::{figure-md} Evaluation
+
+
+Evaluation
+:::
+
+
+- MS-COCO (30K) zero shot 예측, FID 측정했다.
+ - CM3Leon-7B 모델이 FID 4.88 점으로 가장 좋다.
+- retrieval-augmented decoder-only 모델의 효율성이 좋다.
+ - CM3Leon-7B 모델이 추론에서 1개/2개로 검색된 예제로 동작할 때 우수한 FID 점수를 기록했다.
+ - 이는 고품질 이미지를 생성하는 능력을 확장시키는 검색의 중요성을 보여준다.
+
+
+## 4. Supervised Fine-Tuning
+
+:::{figure-md} Figure5
+
+
+Figure5
+:::
+
+- Supervised fine-tuning (SFT)는 LLM에서 중요한 학습 단계이다.
+
+ - 명령어 또는 프롬프트를 잘 이해하는 것을 도와주며, zero shot task에서도 향상되는 결과를 얻었다.
+- 명령어 튜닝이 다양한 task에 멀티모달 모델 성능을 눈에 띄게 증폭시키는 것을 발견했다.
+
+- CM3Leon을 이미지와 텍스트 task를 섞어 넓은 범위에서 fine tuning 했다.
+
+- finetuning 과정은 pretraining 단계를 따르며, task instruction과 출력을 결합해 동일한 CM3 objective를 사용한다.
+
+
+### 4.1 Instructable Image Generation
+
+:::{figure-md} Figure6
+
+
+Figure6
+:::
+
+### Text-Guided Image Editing
+
+- text instruction 에 기반한 initial image를 수정하는 task이다.
+- InstructPix2Pix 방법 사용했다.
+- 예시: “하늘의 색을 파란색으로 변경해줘”와 같은 프롬프트로 이미지 편집이 가능하다.
+ - 이것은 CM3leon이 텍스트와 이미지를 동시에 이해하고 있어서 가능하다.
+
+### Image-to-Image Grounded Generation
+
+- 다양한 feature과 텍스트 프롬프트로 grounding image를 생산하는 task이다.
+- ControlNet 적용했다.
+
+### Spatially Grounded Image Generation
+
+:::{figure-md} Figure6-1
+
+
+Figure6-1
+:::
+
+- 이미지 생성에 있어서 공간적 정보(위치)를 텍스트 프롬프트에 통합시킬 수 있도록 하는 task이다.
+
+### Image captioning & visual question answering task
+
+:::{figure-md} Figure16
+
+
+Figure16
+:::
+
+- Flamingo(1000억 토큰), OpenFlamingo(400억 토큰)에 비해 CM3leon(30억 토큰)은 적은 토큰임에도 불구하고, 동등한 성능을 달성했다.
diff --git a/_sources/docs/review/ConceptLab.md b/_sources/docs/review/ConceptLab.md
index 06ebd88d..0ceec67e 100755
--- a/_sources/docs/review/ConceptLab.md
+++ b/_sources/docs/review/ConceptLab.md
@@ -1,195 +1,195 @@
-``` {admonition} Information
-- **Title:** ConceptLab: Creative Generation using Diffusion Prior Constraints
-
-- **Reference**
- - Paper: [https://arxiv.org/pdf/2307.06949.pdf](https://arxiv.org/pdf/2307.06949.pdf)
- - Code: [Official](https://github.com/kfirgoldberg/ConceptLab)
- - Site: [Official](https://kfirgoldberg.github.io/ConceptLab/)
-
-- **Author:** Hyoungseo Cho
-
-- **Last updated on Nov. 20, 2023**
-```
-
-# ConceptLab
-
-## Introduction
-
-본 논문에서는 Creative Generation의 일환으로, 새롭고 창의적인 개념을 생성하는 내용을 다룹니다. 최근 text-to-image 생성 기술과 Personalization 기술이 크게 발전함에 따라 이미지 생성 뿐만 아니라 개인화된 개념을 생설할 수 있게 되었습니다. 이러한 강력한 모델을 사용하여 모델에 명시적으로 설명되지 않은 새로운 창의적 개념을 생성할 수 있을까요?
-
-:::{figure-md}
-
-
-ConceptLab
-:::
-
-## Related Work
-
-**Text-Guided Sysnthesis** -대부분의 text-guided 생성 기술은 pretrain 된 텍스트 인코더에서 추출한 임베딩을 diffusion 모델에 직접 conditioning합니다. 즉, 텍스트 데이터를 처리하여 이미지 생성 과정에 통합하는 방식입니다. 본 논문에서는 Latent Diffusion Model과 Diffusion prior model을 활용해서 creative generation에서의 이점을 보입니다. - -**Diffusion Prior**
-Diffusion Prior 모델은 입력된 텍스트 임베딩을 CLIP의 latent space에서 해당하는 이미지 임베딩으로 매핑합니다. 이후 디코더는 CLIP의 이미지 임베딩에 condition이 부여된 이미지를 생성하기 위해 훈련됩니다. - -**Personalization**
-Personalization은 text-guided synthesis 맥락에서 사용자가 입력한 텍스트 프롬프트에 맞는 주제나 스타일을 표현하는 새로운 이미지를 생성하는 것을 목표로 합니다. 일반적으로 새로운 개념을 학습시키기 위해 임베딩을 최적화하거나 denoising 네트워크를 finetuning 하는 방법을 활용합니다. 하지만 본 연구에서는 Creative Generation에 초첨을 맞추고 새로운 개념을 생성하고 기발한 장면을 생성하는 것을 목표로 합니다. - -**Creative Generation**
-창의적 내용을 생성하는 것은 다양한 접근 방법이 있습니다. Xu et al 에서는 set-evolution 방법을 활용해 3D 형태의 모델링을 제안했습니다. Elgammal et al 에서는 GAN의 맥락에서 창의적 생성을 탐구하며, 기존 스타일에서의 편차를 극대화하는 방식으로 새로운 스타일을 학습했습니다. Sbai et al 에서는 새로운 손실 함수를 도립했습니다. 본 연구에서는 주어진 카테고리와 일치하도록 최적화하면서도 그 카테고리의 기존 개념들과 다른 새로운 개념을 찾는 방식으로 창의적 생성에 접근했습니다. 본 방법을 통해 새로운 개념들은 서로 혼합될 수 있으며 더 유연한 생성 과정을 갖게됩니다. - -:::{figure-md} -
-
-Text-guided generation (top left), personalization methods (bottom left), creative generation method (right)
-:::
-
-## Prelimiaries
-
-**Latent Diffusion Models** -Latent Diffusion Model에서는 오토인코더의 latent space 내에서 diffusion 과정이 진행됩니다. 먼저, 인고더 $E$는 주어진 이미지 $x$를 latent code $z$로 매핑하는 것을 목표로 합니다. 이때, z=E(x)가 됩니다. 동시에 디코더 D는 원본 입력 이미지를 재구성하도록 합니다. DDPM의 경우 아래 주어진 손실을 최소화하도록 학습합니다. - -$$ -L = E_{z,y,\epsilon,t} [||\epsilon - \epsilon_{\theta}(z_{t}, t, c)||_{2}^{2}] -$$ - -denoising network $\epsilon \theta$ 는 잠재 코드 $zt$에 추가된 잡음 $\epsilon$을 제거합니다. 이 과정에서 현재 시간 단계 t와 조건 벡터 c도 고려됩니다. - -**Diffusion Prior**
-일반적으로 Diffusion model은 CLIP 텍스트 인코딩에서 직접 파생된 조건 벡터 $c$를 활용하여 주어진 텍스트 프롬프트 $y$에 대해 훈련됩니다. $Ramesh et al$에서 text-to-image 생성 문제를 2가지 단계로 decompose 합니다. 먼저, Diffusion Prior 모델을 활용하여 주어진 텍스트 프롬프트로부터 이미지 임베딩을 예측합니다. 다음으로, 이 이미지 임베딩에 조건을 부여하여 이미지를 생성하는 diffusion decoder로 보내집니다. 훈련 또한 일반적으로 두 독립적인 단계로 이루어집니다. - -$$ -L_{prior} = E_{e,y,t} [||e - P_{\theta]}(e_{t},t,y)||_{2}^{2}] -$$ - -Diffusion 디코더는 이미지 임베딩을 조건 $c$와 위 Latent Diffusion Model에 정의된 손실을 활용하여 훈련됩니다. 그 다음 diffusion prior model $P\theta$는 임베딩 $e_{t}$로부터 denoise 된 이미지 임베딩 $e$를 직접 예측합니다. 이 두 단계 접근법은 이미지 다양성을 향상시키며 중간 CLIP 이미지 임베딩에 직접 접근하고 해당 공간에서 직접 제약을 할 수 있게 합니다. - -:::{figure-md} -
-
-ConceptLab
-:::
-
-
-## Method
-ConceptLab은 생성하고자 하는 새로운 개념을 대표하는 단일 임베딩 $v_{*}$를 최적화합니다. 이후 주어진 카테고리에 유사하면서도 기존 멤버들과 다른 특성을 가지도록 손실 집합을 계산합니다. 훈련하는 동안, 현재 생성된 새로운 개념을 바탕으로 negative contraints를 더하기 위해 pretrained BLIP-2 VQA 모델을 활용합니다.
-
-### The Constraints
-본 연구에서는 긍정적 제약 $C_{pos}$와 부정적 제약 $C_{neg}$ 두 가지를 활용합니다. 각 제약 조건은 텍스트 토큰을 활용하여 정의됩니다.
-
-### The Objective
-본 연구에서는 두가지 제약 조건을 바탕으로 하여 새로운 개념을 대표하는 임베딩 $v_{*}$와 각 제약 조건 간의 유사도를 측정합니다.
-우선, $v_{*}$와 각 제약 단어 $c$를 동일한 무작위 샘플링된 프롬프트 y에 통합합니다. 각 문장은 CLIP 텍스트 임베딩으로 인코딩되며, 이것이 텍스트 제약 조건을 정의합니다. 텍스트 프롬프트를 diffusion prior 모델에 통과시키면, 프롬프트의 특정 인스턴스가 생성됩니다. 이러한 방식으로 $E_{y}(v_{*}$가 diffusion prior를 통과하면 모든 $v_{*}$가 텍스트 제약 조건과 일치하도록 일관된 생성을 얻을 수 있습니다. 반면, 긍정 및 부정 제약 조건은 가능한 광범위하게 유지하고자 diffusion prior를 통과하지 않습니다. 이에 따라 본 연구에서의 손실 함수는 다음과 같이 정의됩니다:
-
-$$
-S(C,v_{*}) = E_{c \sim C}[\langle E_{y}(c), P(E_{y}(v_{*}))\rangle]
-$$
-$$
-L = S(C_{neg}, v_{*}) + \lambda(1-S(C_{pos}, v_{*}))
-$$
-
-즉, 학습된 임베딩 v에서 생성된 샘플링된 이미지 임베딩 $P(E_{y}(v_{*}))$이 $C_{neg}$에 의해 정의된 텍스트 제약 조건에서 멀어지고 $C_{pos}$의 제약조건에 가까워지도록 합니다.
-
-## Regularization
-정규화는 제약 조건 집합이 클 때 특정 멤버로의 collapsing을 방지하는 데 사용됩니다. 부정적 제약에 대한 최대 유사도를 측정하는 추가 손실 함수를 사용하는데 아래와 같이 정의됩니다:
-
-$$
-S_{max}(C,v_{*}) = max_{c \sim C}(\langle E_{y}, P(E_{y}(v_{*}))\rangle)
-$$
-
-이 유사도 측정 방식은 전체 손실 함수에 통합되며, $S(C,v_{*})$와 평균 냄으로써 $v_{*}$에 가장 가까운 제약 조건에 더 큰 패널티를 부여합니다.
-
-:::{figure-md}
-
-
-훈련 과정 중 BLIP-2 모델을 사용하여 현재 개념에 가장 가까운 단어를 추론하고, 이를 제약 조건에 추가하는 과정을 거칩니다.
-:::
-
-### Adaptive Negatives
-많은 부정적 제약 조건을 수동으로 적용하는 것은 힘들고, 광범위한 카테고리의 가장 관련성 높은 멤버들을 정확하게 대표하지 못할 수도 있습니다. 이를 해결하기 위해, 훈련 중 부정적 제약 조건 집합을 점진적으로 확장하는 adaptive scheme을 제안합니다. 생성된 이미지를 사전 훈련된 BLIP-2 VQA 모델에 질의하여 이미지에 현재 존재하는 카테고리의 멤버가 무엇인지 식별하도록 합니다. 이후 결과로 나온 인스턴스를 훈련의 나머지 부분에 대한 부정적 제약 조건에 추가합니다.
-
-:::{figure-md}
-
-
-여러 단계에 걸쳐 생성된 이미지 결과를 보여줍니다. 훈련 과정에서 부정적 제약 조건이 지속적으로 조정되고 확장되었음을 보여줍니다.
-:::
-
-### Evolutionary Generation
-주어진 개념 셋에 대해 *개념을 혼합*하기 위해 먼저 각 개념에서 이미지를 생성하여 이미지 제약 조건 $C_{im}$ 을 만듭니다. 각 이미지는 CLIP 이미지 인코더 $E_{im}(c)$를 통과하여 임베딩 세트를 생성합니다. 학습 가능한 개념 $v_{mix}$를 주어진 임베딩에 더 가깝게 만드는 수정된 손실 함수를 적용합니다.:
-
-$$
-L_{mix} = 1 - E_{c \sim C}[\langle E_{im}(c), P(E_{y}(v_{mix}))\rangle]
-$$
-
-이 손실 함수는 생성된 개념이나 실제 이미지에 적용될 수 있으며, 창의적인 생성물의 계층ㅇ적 생성을 위해 반복적으로 적용될 수 있습니다. 또, 생성된 결과물에 대한 각 개념의 영향을 더 잘 제어하기 위해 가중치 항목이 추가적으로 적용될 수 있습니다.
-
-:::{figure-md}
-
-
-그림에는 훈련에 사용된 긍정적 개념이 왼쪽에 표시되어 있습니다. 이는 모델이 어떤 개념을 기반으로 창의적 이미지를 생성했는지를 알 수 있습니다. 모든 결과는 Adaptive Negative 기법을 활용했습니다.
-:::
-
-:::{figure-md}
-
-
-ConceptLab이 제안한 다양한 이미지로 프롬프트와 Adaptive Negative 기법을 적용했습니다.
-:::
-
-:::{figure-md}
-
-
-ConceptLab은 생성된 개념들을 혼합하여 새롭고 독특한 창조물을 반복적으로 학습할 수 있습니다. 그림의 가장 윗줄에서는 Adaptive Negative 기법을 적용하여 학습된 개념들을 보여줍니다. 이어지는 줄에서는 Evolutionary Generation 과정을 통해 얻어진 개념들을 보여줍니다.
-:::
-
-## Experiments
-ConceptLab의 효과를 입증하기 위해 정성적 및 정량적 평가를 진행했습니다.
-
-### Result
-
-### Creative Generation
-위 그림들에서 볼 수 있듯이 모든 결과는 Adaptive Negative를 적용하였고 훈련 시드를 달리하며 다양한 개념을 생성할 수 있는 능력이 있음을 볼 수 있습니다. 또, ConceptLab은 학습된 창의적 개념을 새로운 장면에 배치할 수 있습니다. 이 생성물들은 배경 변경, 스타일 변경, 새로운 창조등 다양하게 활용 가능합니다.
-
-:::{figure-md}
-
-
-ConceptLab을 활용한 Concept Mixing의 결과를 보여줍니다.
-:::
-
-### Concept Mixing
-Concept Mixing은 다양한 실제 개념들의 독특한 특성을 합쳐 하이브리드 개념을 형성하는 방법을 보여줍니다. 이 방법은 오직 긍정적 제약 조건만을 활용합니다. 예를 들어, 첫 번째 줄에는 랍스터의 주요 특징(생상과 집게발)을 거북이의 특징(등껍질)과 융합하는 것을 볼 수 있습니다.
-
-:::{figure-md}
-
-
-위 그림은 ConceptLab에 의해 학습된 개념들이 여러 *세대*에 걸쳐 어떻게 발전하는지 보여줍니다.
-:::
-
-
-### Comparisons
-
-### Evaluation Setup
-ConceptLab은 Stable Diffusion2와 Kandinsky 2.1 두 모델과 함께 평가했습니다. Kandinsky의 경우, 더 유리한 결과를 위해 부정적 프롬프트는 Latent Diffusion Model이 아닌 Diffusion Prior Model에 적용했습니다.
-
-### Qualitative Comparisons
-ConceptLab은 긍정적 토근과 부정적 제약 조건 모두에 일관되게 맞춰질 수 있습니다. 즉, ConceptLab은 다중 제약 조건을 효과적으로 처리하고, 특정 개념에 대한 일관된 표현을 학습할 수 있는 능력을 갖추고 있습니다.
-
-### Quantitative Comparisons
-정량적 평가를 위해 각 방법이 긍정적 개념을 포함하며, 주어진 부정적 개념과 닮지 않은 이미지를 생성하는 능력을 측정했습니다. 평가에는 애완동물, 식물, 과일, 가구, 악기의 5가지 카테고리를 활용했습니다. 각 도메인에 세 가지 다른 부정적 개념 쌍을 고려하고, 각 조합에 대해 ConceptLab을 5개의 랜덤 시드로 훈련하여 총 75개의 학습된 개념을 얻었습니다. 각 학습된 개념에 대해 "A photo of a $S_{*}$ 프롬프트를 활용하여 32개의 이미지를 생성했습니다. Stable Diffusionr과 kandinsky 모델에서는 부정적 프롬프트를 사용하고, 같은 긍정적 및 부정적 개념 쌍에 대해 160개의 이미지를 생성합니다. 측정 기준으로는 먼저 각 개념의 긍정적 유사성을 타겟 카테고리와의 CLIP 공간 유사성 계산을 통해 특정됩니다. 다음으로는 긍정적 제약과 부정적 제약 사이의 거리를 측정합니다. 이는 생성된 이미지와 모든 부정적 개념 사이의 최대 유사성 계산을 통해 이루어집니다. 결과적으로 ConceptLab은 5가지 모든 도메인에서 긍정적 CLIP 유사성에서 일관되게 우월한 성능을 보였고 타겟 카테고리에 속하는 이미지를 신뢰성 있게 생성했습니다. 또한, 부정적 거리 측정에서 ConceptLab은 모든 카테고리에서 Stable Diffusion을, 4가지 카테고리에서 Kandinsky를 능가했습니다.
-
-:::{figure-md}
-
-
-User Study
-:::
-
-## Limitations
-Personalization과 유사하게, 학습된 개념을 포함하는 프롬프트를 사용하여 새로운 이미지를 생성하는 것이 항상 개념의 특성을 다양한 프롬프트에 걸쳐 유지하지는 못합니다. 또, 최적화 과정 자체가 항상 원하는 결과를 가져오지는 않습니다. "비행기"나 "물고기"와 같은 일부 클래스의 경우 ConceptLab은 창의적 개념을 생성하는데 여전히 어려움이 있습니다. 이는 BLIP-2에 의해 생성되는 부정적 제약과 관련이 있습니다.
-
-
-:::{figure-md}
-
-
-Limitations
-:::
-
-## Conclusion
+``` {admonition} Information
+- **Title:** ConceptLab: Creative Generation using Diffusion Prior Constraints
+
+- **Reference**
+ - Paper: [https://arxiv.org/pdf/2307.06949.pdf](https://arxiv.org/pdf/2307.06949.pdf)
+ - Code: [Official](https://github.com/kfirgoldberg/ConceptLab)
+ - Site: [Official](https://kfirgoldberg.github.io/ConceptLab/)
+
+- **Author:** Hyoungseo Cho
+
+- **Last updated on Nov. 20, 2023**
+```
+
+# ConceptLab
+
+## Introduction
+
+본 논문에서는 Creative Generation의 일환으로, 새롭고 창의적인 개념을 생성하는 내용을 다룹니다. 최근 text-to-image 생성 기술과 Personalization 기술이 크게 발전함에 따라 이미지 생성 뿐만 아니라 개인화된 개념을 생설할 수 있게 되었습니다. 이러한 강력한 모델을 사용하여 모델에 명시적으로 설명되지 않은 새로운 창의적 개념을 생성할 수 있을까요?
+
+:::{figure-md}
+
+
+ConceptLab
+:::
+
+## Related Work
+
+**Text-Guided Sysnthesis** +대부분의 text-guided 생성 기술은 pretrain 된 텍스트 인코더에서 추출한 임베딩을 diffusion 모델에 직접 conditioning합니다. 즉, 텍스트 데이터를 처리하여 이미지 생성 과정에 통합하는 방식입니다. 본 논문에서는 Latent Diffusion Model과 Diffusion prior model을 활용해서 creative generation에서의 이점을 보입니다. + +**Diffusion Prior**
+Diffusion Prior 모델은 입력된 텍스트 임베딩을 CLIP의 latent space에서 해당하는 이미지 임베딩으로 매핑합니다. 이후 디코더는 CLIP의 이미지 임베딩에 condition이 부여된 이미지를 생성하기 위해 훈련됩니다. + +**Personalization**
+Personalization은 text-guided synthesis 맥락에서 사용자가 입력한 텍스트 프롬프트에 맞는 주제나 스타일을 표현하는 새로운 이미지를 생성하는 것을 목표로 합니다. 일반적으로 새로운 개념을 학습시키기 위해 임베딩을 최적화하거나 denoising 네트워크를 finetuning 하는 방법을 활용합니다. 하지만 본 연구에서는 Creative Generation에 초첨을 맞추고 새로운 개념을 생성하고 기발한 장면을 생성하는 것을 목표로 합니다. + +**Creative Generation**
+창의적 내용을 생성하는 것은 다양한 접근 방법이 있습니다. Xu et al 에서는 set-evolution 방법을 활용해 3D 형태의 모델링을 제안했습니다. Elgammal et al 에서는 GAN의 맥락에서 창의적 생성을 탐구하며, 기존 스타일에서의 편차를 극대화하는 방식으로 새로운 스타일을 학습했습니다. Sbai et al 에서는 새로운 손실 함수를 도립했습니다. 본 연구에서는 주어진 카테고리와 일치하도록 최적화하면서도 그 카테고리의 기존 개념들과 다른 새로운 개념을 찾는 방식으로 창의적 생성에 접근했습니다. 본 방법을 통해 새로운 개념들은 서로 혼합될 수 있으며 더 유연한 생성 과정을 갖게됩니다. + +:::{figure-md} +
+
+Text-guided generation (top left), personalization methods (bottom left), creative generation method (right)
+:::
+
+## Prelimiaries
+
+**Latent Diffusion Models** +Latent Diffusion Model에서는 오토인코더의 latent space 내에서 diffusion 과정이 진행됩니다. 먼저, 인고더 $E$는 주어진 이미지 $x$를 latent code $z$로 매핑하는 것을 목표로 합니다. 이때, z=E(x)가 됩니다. 동시에 디코더 D는 원본 입력 이미지를 재구성하도록 합니다. DDPM의 경우 아래 주어진 손실을 최소화하도록 학습합니다. + +$$ +L = E_{z,y,\epsilon,t} [||\epsilon - \epsilon_{\theta}(z_{t}, t, c)||_{2}^{2}] +$$ + +denoising network $\epsilon \theta$ 는 잠재 코드 $zt$에 추가된 잡음 $\epsilon$을 제거합니다. 이 과정에서 현재 시간 단계 t와 조건 벡터 c도 고려됩니다. + +**Diffusion Prior**
+일반적으로 Diffusion model은 CLIP 텍스트 인코딩에서 직접 파생된 조건 벡터 $c$를 활용하여 주어진 텍스트 프롬프트 $y$에 대해 훈련됩니다. $Ramesh et al$에서 text-to-image 생성 문제를 2가지 단계로 decompose 합니다. 먼저, Diffusion Prior 모델을 활용하여 주어진 텍스트 프롬프트로부터 이미지 임베딩을 예측합니다. 다음으로, 이 이미지 임베딩에 조건을 부여하여 이미지를 생성하는 diffusion decoder로 보내집니다. 훈련 또한 일반적으로 두 독립적인 단계로 이루어집니다. + +$$ +L_{prior} = E_{e,y,t} [||e - P_{\theta]}(e_{t},t,y)||_{2}^{2}] +$$ + +Diffusion 디코더는 이미지 임베딩을 조건 $c$와 위 Latent Diffusion Model에 정의된 손실을 활용하여 훈련됩니다. 그 다음 diffusion prior model $P\theta$는 임베딩 $e_{t}$로부터 denoise 된 이미지 임베딩 $e$를 직접 예측합니다. 이 두 단계 접근법은 이미지 다양성을 향상시키며 중간 CLIP 이미지 임베딩에 직접 접근하고 해당 공간에서 직접 제약을 할 수 있게 합니다. + +:::{figure-md} +
+
+ConceptLab
+:::
+
+
+## Method
+ConceptLab은 생성하고자 하는 새로운 개념을 대표하는 단일 임베딩 $v_{*}$를 최적화합니다. 이후 주어진 카테고리에 유사하면서도 기존 멤버들과 다른 특성을 가지도록 손실 집합을 계산합니다. 훈련하는 동안, 현재 생성된 새로운 개념을 바탕으로 negative contraints를 더하기 위해 pretrained BLIP-2 VQA 모델을 활용합니다.
+
+### The Constraints
+본 연구에서는 긍정적 제약 $C_{pos}$와 부정적 제약 $C_{neg}$ 두 가지를 활용합니다. 각 제약 조건은 텍스트 토큰을 활용하여 정의됩니다.
+
+### The Objective
+본 연구에서는 두가지 제약 조건을 바탕으로 하여 새로운 개념을 대표하는 임베딩 $v_{*}$와 각 제약 조건 간의 유사도를 측정합니다.
+우선, $v_{*}$와 각 제약 단어 $c$를 동일한 무작위 샘플링된 프롬프트 y에 통합합니다. 각 문장은 CLIP 텍스트 임베딩으로 인코딩되며, 이것이 텍스트 제약 조건을 정의합니다. 텍스트 프롬프트를 diffusion prior 모델에 통과시키면, 프롬프트의 특정 인스턴스가 생성됩니다. 이러한 방식으로 $E_{y}(v_{*}$가 diffusion prior를 통과하면 모든 $v_{*}$가 텍스트 제약 조건과 일치하도록 일관된 생성을 얻을 수 있습니다. 반면, 긍정 및 부정 제약 조건은 가능한 광범위하게 유지하고자 diffusion prior를 통과하지 않습니다. 이에 따라 본 연구에서의 손실 함수는 다음과 같이 정의됩니다:
+
+$$
+S(C,v_{*}) = E_{c \sim C}[\langle E_{y}(c), P(E_{y}(v_{*}))\rangle]
+$$
+$$
+L = S(C_{neg}, v_{*}) + \lambda(1-S(C_{pos}, v_{*}))
+$$
+
+즉, 학습된 임베딩 v에서 생성된 샘플링된 이미지 임베딩 $P(E_{y}(v_{*}))$이 $C_{neg}$에 의해 정의된 텍스트 제약 조건에서 멀어지고 $C_{pos}$의 제약조건에 가까워지도록 합니다.
+
+## Regularization
+정규화는 제약 조건 집합이 클 때 특정 멤버로의 collapsing을 방지하는 데 사용됩니다. 부정적 제약에 대한 최대 유사도를 측정하는 추가 손실 함수를 사용하는데 아래와 같이 정의됩니다:
+
+$$
+S_{max}(C,v_{*}) = max_{c \sim C}(\langle E_{y}, P(E_{y}(v_{*}))\rangle)
+$$
+
+이 유사도 측정 방식은 전체 손실 함수에 통합되며, $S(C,v_{*})$와 평균 냄으로써 $v_{*}$에 가장 가까운 제약 조건에 더 큰 패널티를 부여합니다.
+
+:::{figure-md}
+
+
+훈련 과정 중 BLIP-2 모델을 사용하여 현재 개념에 가장 가까운 단어를 추론하고, 이를 제약 조건에 추가하는 과정을 거칩니다.
+:::
+
+### Adaptive Negatives
+많은 부정적 제약 조건을 수동으로 적용하는 것은 힘들고, 광범위한 카테고리의 가장 관련성 높은 멤버들을 정확하게 대표하지 못할 수도 있습니다. 이를 해결하기 위해, 훈련 중 부정적 제약 조건 집합을 점진적으로 확장하는 adaptive scheme을 제안합니다. 생성된 이미지를 사전 훈련된 BLIP-2 VQA 모델에 질의하여 이미지에 현재 존재하는 카테고리의 멤버가 무엇인지 식별하도록 합니다. 이후 결과로 나온 인스턴스를 훈련의 나머지 부분에 대한 부정적 제약 조건에 추가합니다.
+
+:::{figure-md}
+
+
+여러 단계에 걸쳐 생성된 이미지 결과를 보여줍니다. 훈련 과정에서 부정적 제약 조건이 지속적으로 조정되고 확장되었음을 보여줍니다.
+:::
+
+### Evolutionary Generation
+주어진 개념 셋에 대해 *개념을 혼합*하기 위해 먼저 각 개념에서 이미지를 생성하여 이미지 제약 조건 $C_{im}$ 을 만듭니다. 각 이미지는 CLIP 이미지 인코더 $E_{im}(c)$를 통과하여 임베딩 세트를 생성합니다. 학습 가능한 개념 $v_{mix}$를 주어진 임베딩에 더 가깝게 만드는 수정된 손실 함수를 적용합니다.:
+
+$$
+L_{mix} = 1 - E_{c \sim C}[\langle E_{im}(c), P(E_{y}(v_{mix}))\rangle]
+$$
+
+이 손실 함수는 생성된 개념이나 실제 이미지에 적용될 수 있으며, 창의적인 생성물의 계층ㅇ적 생성을 위해 반복적으로 적용될 수 있습니다. 또, 생성된 결과물에 대한 각 개념의 영향을 더 잘 제어하기 위해 가중치 항목이 추가적으로 적용될 수 있습니다.
+
+:::{figure-md}
+
+
+그림에는 훈련에 사용된 긍정적 개념이 왼쪽에 표시되어 있습니다. 이는 모델이 어떤 개념을 기반으로 창의적 이미지를 생성했는지를 알 수 있습니다. 모든 결과는 Adaptive Negative 기법을 활용했습니다.
+:::
+
+:::{figure-md}
+
+
+ConceptLab이 제안한 다양한 이미지로 프롬프트와 Adaptive Negative 기법을 적용했습니다.
+:::
+
+:::{figure-md}
+
+
+ConceptLab은 생성된 개념들을 혼합하여 새롭고 독특한 창조물을 반복적으로 학습할 수 있습니다. 그림의 가장 윗줄에서는 Adaptive Negative 기법을 적용하여 학습된 개념들을 보여줍니다. 이어지는 줄에서는 Evolutionary Generation 과정을 통해 얻어진 개념들을 보여줍니다.
+:::
+
+## Experiments
+ConceptLab의 효과를 입증하기 위해 정성적 및 정량적 평가를 진행했습니다.
+
+### Result
+
+### Creative Generation
+위 그림들에서 볼 수 있듯이 모든 결과는 Adaptive Negative를 적용하였고 훈련 시드를 달리하며 다양한 개념을 생성할 수 있는 능력이 있음을 볼 수 있습니다. 또, ConceptLab은 학습된 창의적 개념을 새로운 장면에 배치할 수 있습니다. 이 생성물들은 배경 변경, 스타일 변경, 새로운 창조등 다양하게 활용 가능합니다.
+
+:::{figure-md}
+
+
+ConceptLab을 활용한 Concept Mixing의 결과를 보여줍니다.
+:::
+
+### Concept Mixing
+Concept Mixing은 다양한 실제 개념들의 독특한 특성을 합쳐 하이브리드 개념을 형성하는 방법을 보여줍니다. 이 방법은 오직 긍정적 제약 조건만을 활용합니다. 예를 들어, 첫 번째 줄에는 랍스터의 주요 특징(생상과 집게발)을 거북이의 특징(등껍질)과 융합하는 것을 볼 수 있습니다.
+
+:::{figure-md}
+
+
+위 그림은 ConceptLab에 의해 학습된 개념들이 여러 *세대*에 걸쳐 어떻게 발전하는지 보여줍니다.
+:::
+
+
+### Comparisons
+
+### Evaluation Setup
+ConceptLab은 Stable Diffusion2와 Kandinsky 2.1 두 모델과 함께 평가했습니다. Kandinsky의 경우, 더 유리한 결과를 위해 부정적 프롬프트는 Latent Diffusion Model이 아닌 Diffusion Prior Model에 적용했습니다.
+
+### Qualitative Comparisons
+ConceptLab은 긍정적 토근과 부정적 제약 조건 모두에 일관되게 맞춰질 수 있습니다. 즉, ConceptLab은 다중 제약 조건을 효과적으로 처리하고, 특정 개념에 대한 일관된 표현을 학습할 수 있는 능력을 갖추고 있습니다.
+
+### Quantitative Comparisons
+정량적 평가를 위해 각 방법이 긍정적 개념을 포함하며, 주어진 부정적 개념과 닮지 않은 이미지를 생성하는 능력을 측정했습니다. 평가에는 애완동물, 식물, 과일, 가구, 악기의 5가지 카테고리를 활용했습니다. 각 도메인에 세 가지 다른 부정적 개념 쌍을 고려하고, 각 조합에 대해 ConceptLab을 5개의 랜덤 시드로 훈련하여 총 75개의 학습된 개념을 얻었습니다. 각 학습된 개념에 대해 "A photo of a $S_{*}$ 프롬프트를 활용하여 32개의 이미지를 생성했습니다. Stable Diffusionr과 kandinsky 모델에서는 부정적 프롬프트를 사용하고, 같은 긍정적 및 부정적 개념 쌍에 대해 160개의 이미지를 생성합니다. 측정 기준으로는 먼저 각 개념의 긍정적 유사성을 타겟 카테고리와의 CLIP 공간 유사성 계산을 통해 특정됩니다. 다음으로는 긍정적 제약과 부정적 제약 사이의 거리를 측정합니다. 이는 생성된 이미지와 모든 부정적 개념 사이의 최대 유사성 계산을 통해 이루어집니다. 결과적으로 ConceptLab은 5가지 모든 도메인에서 긍정적 CLIP 유사성에서 일관되게 우월한 성능을 보였고 타겟 카테고리에 속하는 이미지를 신뢰성 있게 생성했습니다. 또한, 부정적 거리 측정에서 ConceptLab은 모든 카테고리에서 Stable Diffusion을, 4가지 카테고리에서 Kandinsky를 능가했습니다.
+
+:::{figure-md}
+
+
+User Study
+:::
+
+## Limitations
+Personalization과 유사하게, 학습된 개념을 포함하는 프롬프트를 사용하여 새로운 이미지를 생성하는 것이 항상 개념의 특성을 다양한 프롬프트에 걸쳐 유지하지는 못합니다. 또, 최적화 과정 자체가 항상 원하는 결과를 가져오지는 않습니다. "비행기"나 "물고기"와 같은 일부 클래스의 경우 ConceptLab은 창의적 개념을 생성하는데 여전히 어려움이 있습니다. 이는 BLIP-2에 의해 생성되는 부정적 제약과 관련이 있습니다.
+
+
+:::{figure-md}
+
+
+Limitations
+:::
+
+## Conclusion
본 논문에서는 text-to-image diffusion model을 활용하여 창의적 생성을 위한 새로운 접근 방법을 소개했습니다. 주어진 광범위한 카테고리에 속하는 새로운 개념을 학습하기 위해 Diffusion Prior 모델 사용을 제안했습니다. 또, Prior Constraints라는 긍정적 및 부정적 제약 조건들을 diffusion prior 출력에 적용했습니다. 최적화 과정에서는 VQA 모델을 활용하여 독특하면서도 기존 멤버들과의 명확한 구별을 보장했습니다. 이후 실험을 통해 본 방법의 효과성을 입증했으며 시각적으로 다양하고 매력적인 개념을 생성할 수 있었습니다.
\ No newline at end of file
diff --git a/_sources/docs/review/ControlNet.md b/_sources/docs/review/ControlNet.md
index 4e5467d8..c3ca4aeb 100755
--- a/_sources/docs/review/ControlNet.md
+++ b/_sources/docs/review/ControlNet.md
@@ -1,203 +1,203 @@
-```{admonition} Information
-- **Title:** Adding Conditional Control to Text-to-Image Diffusion Models (arxiv 2023)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2302.05543](https://arxiv.org/abs/2302.05543)
- - Code: [https://github.com/lllyasviel/ControlNet](https://github.com/lllyasviel/ControlNet)
-
-- **Author:** Jisu Kim
-
-- **Last updated on May. 28, 2023**
-```
-
-# ControlNet
-
-## Additional Control with Image-based condition
-
-기존의 Text-to-Image 모델들은 text prompt로 생성할 이미지의 특징을 조절할 수 있었습니다. 하지만 이런 prompt-based control만으로 이미지의 특징을 조절하는데 한계가 있었습니다. 이 논문에서는 image-based condition을 추가적으로 줘서 생성되는 이미지의 특징을 더 잘 조절하는 ControlNet이라는 신경망 구조를 제안합니다.
-
-아래 그림은 “a high quality, detailed, and professional image”라는 prompt와 왼쪽 아래의 Canny edge를 input으로 받아서 오른쪽의 이미지들을 생성한 것입니다. 이런 식으로 추가적인 image-based condition (아래 그림에서는 Canny edge)를 input으로 받아 이미지를 생성하는 것이 ControlNet이 하는 역할입니다.
-
-:::{figure-md}
-
-
-Images generated by ConrolNet
-:::
-
-그러면 어떤 구조를 사용해서 이를 가능하게 했을까요? 이제부터 이에 대해 알아보도록 하겠습니다.
-
-## ControlNet Block
-
-ControlNet의 block 구조는 다음과 같은 두 가지 특징을 가집니다.
-
-1. pretrained model의 locked copy와 trainable copy를 사용
-
-2. zero convolution
-
-:::{figure-md}
-
-
-ConrolNet block
-:::
-
-왜 이렇게 설계했는지 알아봅시다.
-
-우선, copy를 사용하는 이유는 기존에 방대한 양의 데이터로 학습시킨 pretrained model의 성능을 유지하기 위해서입니다. 또한, ControlNet의 학습 데이터가 양이 적은 경우에 오버피팅을 피할 수 있는 효과도 있을 것입니다.
-
-zero convolution이란 weight랑 bias가 0으로 초기화한 1x1 convolution을 말합니다. zero convolution을 사용할 경우 훈련이 시작되기 전에는 input에 대해 pretrained model과 ControlNet의 output이 똑같아집니다. 따라서 기존 모델이랑 똑같은 input, output을 가지게되므로 기존 모델의 성능을 유지할 수 있으며, 추가적인 훈련이 fine tuning을 하는 것과 비슷하므로 scratch부터 학습하는 것에 비해 빠르게 훈련시킬 수 있게됩니다.
-
-그러면 zero convolution은 어떻게 이를 가능하게 하는지 좀 더 자세히 알아봅시다.
-
-## Zero Convolution
-
-먼저 위의 그림에서 (a)에 해당하는 부분을 아래와 같이 수식으로 표현하겠습니다.
-
-$$
-\mathbf{y}=\mathcal{F}(\mathbf{x};\Theta)
-$$
-
-$\mathbf{x}$는 input feature map, $\mathcal{F}$는 neural network block, $\Theta$는 $\mathcal{F}$의 parameter, $\mathbf{y}$는 output을 의미합니다. 위 그림의 (b)를 수식으로 표현하기위해 $\mathcal{F}$의 trainable copy를 만들어서 parameter를 $\Theta_{c}$라고하고 $\Theta$는 고정시켜두겠습니다. 또한, zero convolution은 $\mathcal{Z}$로 표현하고 두 zero convolution의 parameter를 각각 $\Theta_{z1}, \Theta_{z2}$로 두겠습니다. 그러면 (b)에서 condition $\mathbf{c}$에 대한 output $\mathbf{y}_{c}$는 아래와 같이 표현할 수 있습니다.
-
-$$
-\mathbf{y}_{c}=\mathcal{F}(\mathbf{x};\Theta)+\mathcal{Z}(\mathcal{F}(\mathbf{x}+\mathcal{Z}(\mathbf{c};\Theta_{z1});\Theta_{c});\Theta_{z2})
-$$
-
-그런데 $\mathcal{Z}$의 weight와 bias의 초깃값이 0이므로 훈련이 진행되지 않았을 경우 $\mathbf{y}_{c}=\mathbf{y}$입니다. 따라서 훈련 시작 전에는 ControlNet과 기존 모델이 같은 결과를 내므로 기존 모델의 성능을 보존할 수 있습니다.
-
-그런데 weight랑 bias가 전부 0으로 초기화되어있으면 gradient가 0이라서 훈련이 안 되는거 아닐까요? 이를 확인하기 위해 다음과 같이 간단한 경우를 생각해보죠.
-
-$$
-y=wx+b
-$$
-
-gradient는 다음과 같습니다.
-
-$$
-\frac{\partial y}{\partial w}=x,\; \frac{\partial y}{\partial x}=w,\; \frac{\partial y}{\partial b}=1
-$$
-
-weight랑 bias가 0이고, $x\neq0$이라고 하면
-
-$$
-\frac{\partial y}{\partial w}\neq0,\; \frac{\partial y}{\partial x}=0,\; \frac{\partial y}{\partial b}\neq0
-$$
-
-입니다. 따라서 첫 번째 gradient step에서 weight는 0이 아닌 값으로 가게되고, $\frac{\partial y}{\partial x}\neq0$이 되므로 훈련이 됩니다. 여기서 핵심적인 가정이 $x\neq0$인데 이 부분은 잘 훈련된 pretrained model을 사용하고 있기 때문에 위배될 가능성이 낮을 것입니다.
-
-지금까지 얘기한 ControlNet block 구조를 pretrained Stable diffusion에 적용한 전체 구조는 아래 그림과 같습니다.
-
-:::{figure-md}
-
-
-Overall structure
-:::
-
-## Training & Results
-
-training loss는 기존 stable diffusion에서 image-based condition $\mathbf{c}_{f}$가 추가된 형태입니다.
-
-:::{figure-md}
-
-
-Loss
-:::
-
-training을 할 때 50%의 확률로 prompt $\mathbf{c}_{t}$를 empty string으로 바꿔주었다고 합니다. 이는 prompt가 주어지지않을 경우 모델이 $\mathbf{c}_{f}$로부터 semantics를 더 배우는 경향이 있기 때문에 이미지 생성을 $\mathbf{c}_{f}$로 조절하는 능력을 향상시켜줄 수 있다고 합니다.
-
-아래 결과는 training이 기존 방법보다 효율적이라는 것을 보여줍니다.
-
-:::{figure-md}
-
-
-Efficiency
-:::
-
-아래 결과들은 task에 따른 결과들입니다. 더 많은 이미지들이 논문에 있으니 참고하시기 바랍니다.
-
-:::{figure-md}
-
-
-Pose
-:::
-
-:::{figure-md}
-
-
-Images generated by ConrolNet
-:::
-
-아래는 논문에서 limitation이라고 언급한 이미지입니다. 텍스트로 추가적인 정보를 주었음에도 원하는 이미지가 생성되지 않는 경우가 발생했습니다.
-
-:::{figure-md}
-
-
-Limitations
-:::
-
-## Implementation
-
-코드는 공식 구현([링크](https://github.com/lllyasviel/ControlNet))에서 가져왔습니다. 아래 코드는 parameter를 0으로 초기화하는 코드로 zero convolution을 만들 때 사용됩니다.
-
-```python
-def zero_module(module):
- """
- Zero out the parameters of a module and return it.
- """
- for p in module.parameters():
- p.detach().zero_()
- return module
-```
-
-아래 코드는 기본적으로 nn.Sequential과 같은데 time step같은 추가적인 input을 받아줄 수 있게 만든 것입니다.
-
-```python
-class TimestepEmbedSequential(nn.Sequential, TimestepBlock):
- """
- A sequential module that passes timestep embeddings to the children that
- support it as an extra input.
- """
-
- def forward(self, x, emb, context=None):
- for layer in self:
- if isinstance(layer, TimestepBlock):
- x = layer(x, emb)
- elif isinstance(layer, SpatialTransformer):
- x = layer(x, context)
- else:
- x = layer(x)
- return x
-```
-
-아래 코드는 공식 github의 cldm/cldm.py에 있는 ControlNet class입니다. init 부분은 길어서 생략했습니다.
-
-```python
-class ControlNet(nn.Module):
- def __init__(...):
- ...
-
- def make_zero_conv(self, channels):
- return TimestepEmbedSequential(zero_module(conv_nd(self.dims, channels, channels, 1, padding=0)))
-
- def forward(self, x, hint, timesteps, context, **kwargs):
- t_emb = timestep_embedding(timesteps, self.model_channels, repeat_only=False)
- emb = self.time_embed(t_emb)
-
- guided_hint = self.input_hint_block(hint, emb, context)
-
- outs = []
-
- h = x.type(self.dtype)
- for module, zero_conv in zip(self.input_blocks, self.zero_convs):
- if guided_hint is not None:
- h = module(h, emb, context)
- h += guided_hint
- guided_hint = None
- else:
- h = module(h, emb, context)
- outs.append(zero_conv(h, emb, context))
-
- h = self.middle_block(h, emb, context)
- outs.append(self.middle_block_out(h, emb, context))
-
- return outs
-```
+```{admonition} Information
+- **Title:** Adding Conditional Control to Text-to-Image Diffusion Models (arxiv 2023)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2302.05543](https://arxiv.org/abs/2302.05543)
+ - Code: [https://github.com/lllyasviel/ControlNet](https://github.com/lllyasviel/ControlNet)
+
+- **Author:** Jisu Kim
+
+- **Last updated on May. 28, 2023**
+```
+
+# ControlNet
+
+## Additional Control with Image-based condition
+
+기존의 Text-to-Image 모델들은 text prompt로 생성할 이미지의 특징을 조절할 수 있었습니다. 하지만 이런 prompt-based control만으로 이미지의 특징을 조절하는데 한계가 있었습니다. 이 논문에서는 image-based condition을 추가적으로 줘서 생성되는 이미지의 특징을 더 잘 조절하는 ControlNet이라는 신경망 구조를 제안합니다.
+
+아래 그림은 “a high quality, detailed, and professional image”라는 prompt와 왼쪽 아래의 Canny edge를 input으로 받아서 오른쪽의 이미지들을 생성한 것입니다. 이런 식으로 추가적인 image-based condition (아래 그림에서는 Canny edge)를 input으로 받아 이미지를 생성하는 것이 ControlNet이 하는 역할입니다.
+
+:::{figure-md}
+
+
+Images generated by ConrolNet
+:::
+
+그러면 어떤 구조를 사용해서 이를 가능하게 했을까요? 이제부터 이에 대해 알아보도록 하겠습니다.
+
+## ControlNet Block
+
+ControlNet의 block 구조는 다음과 같은 두 가지 특징을 가집니다.
+
+1. pretrained model의 locked copy와 trainable copy를 사용
+
+2. zero convolution
+
+:::{figure-md}
+
+
+ConrolNet block
+:::
+
+왜 이렇게 설계했는지 알아봅시다.
+
+우선, copy를 사용하는 이유는 기존에 방대한 양의 데이터로 학습시킨 pretrained model의 성능을 유지하기 위해서입니다. 또한, ControlNet의 학습 데이터가 양이 적은 경우에 오버피팅을 피할 수 있는 효과도 있을 것입니다.
+
+zero convolution이란 weight랑 bias가 0으로 초기화한 1x1 convolution을 말합니다. zero convolution을 사용할 경우 훈련이 시작되기 전에는 input에 대해 pretrained model과 ControlNet의 output이 똑같아집니다. 따라서 기존 모델이랑 똑같은 input, output을 가지게되므로 기존 모델의 성능을 유지할 수 있으며, 추가적인 훈련이 fine tuning을 하는 것과 비슷하므로 scratch부터 학습하는 것에 비해 빠르게 훈련시킬 수 있게됩니다.
+
+그러면 zero convolution은 어떻게 이를 가능하게 하는지 좀 더 자세히 알아봅시다.
+
+## Zero Convolution
+
+먼저 위의 그림에서 (a)에 해당하는 부분을 아래와 같이 수식으로 표현하겠습니다.
+
+$$
+\mathbf{y}=\mathcal{F}(\mathbf{x};\Theta)
+$$
+
+$\mathbf{x}$는 input feature map, $\mathcal{F}$는 neural network block, $\Theta$는 $\mathcal{F}$의 parameter, $\mathbf{y}$는 output을 의미합니다. 위 그림의 (b)를 수식으로 표현하기위해 $\mathcal{F}$의 trainable copy를 만들어서 parameter를 $\Theta_{c}$라고하고 $\Theta$는 고정시켜두겠습니다. 또한, zero convolution은 $\mathcal{Z}$로 표현하고 두 zero convolution의 parameter를 각각 $\Theta_{z1}, \Theta_{z2}$로 두겠습니다. 그러면 (b)에서 condition $\mathbf{c}$에 대한 output $\mathbf{y}_{c}$는 아래와 같이 표현할 수 있습니다.
+
+$$
+\mathbf{y}_{c}=\mathcal{F}(\mathbf{x};\Theta)+\mathcal{Z}(\mathcal{F}(\mathbf{x}+\mathcal{Z}(\mathbf{c};\Theta_{z1});\Theta_{c});\Theta_{z2})
+$$
+
+그런데 $\mathcal{Z}$의 weight와 bias의 초깃값이 0이므로 훈련이 진행되지 않았을 경우 $\mathbf{y}_{c}=\mathbf{y}$입니다. 따라서 훈련 시작 전에는 ControlNet과 기존 모델이 같은 결과를 내므로 기존 모델의 성능을 보존할 수 있습니다.
+
+그런데 weight랑 bias가 전부 0으로 초기화되어있으면 gradient가 0이라서 훈련이 안 되는거 아닐까요? 이를 확인하기 위해 다음과 같이 간단한 경우를 생각해보죠.
+
+$$
+y=wx+b
+$$
+
+gradient는 다음과 같습니다.
+
+$$
+\frac{\partial y}{\partial w}=x,\; \frac{\partial y}{\partial x}=w,\; \frac{\partial y}{\partial b}=1
+$$
+
+weight랑 bias가 0이고, $x\neq0$이라고 하면
+
+$$
+\frac{\partial y}{\partial w}\neq0,\; \frac{\partial y}{\partial x}=0,\; \frac{\partial y}{\partial b}\neq0
+$$
+
+입니다. 따라서 첫 번째 gradient step에서 weight는 0이 아닌 값으로 가게되고, $\frac{\partial y}{\partial x}\neq0$이 되므로 훈련이 됩니다. 여기서 핵심적인 가정이 $x\neq0$인데 이 부분은 잘 훈련된 pretrained model을 사용하고 있기 때문에 위배될 가능성이 낮을 것입니다.
+
+지금까지 얘기한 ControlNet block 구조를 pretrained Stable diffusion에 적용한 전체 구조는 아래 그림과 같습니다.
+
+:::{figure-md}
+
+
+Overall structure
+:::
+
+## Training & Results
+
+training loss는 기존 stable diffusion에서 image-based condition $\mathbf{c}_{f}$가 추가된 형태입니다.
+
+:::{figure-md}
+
+
+Loss
+:::
+
+training을 할 때 50%의 확률로 prompt $\mathbf{c}_{t}$를 empty string으로 바꿔주었다고 합니다. 이는 prompt가 주어지지않을 경우 모델이 $\mathbf{c}_{f}$로부터 semantics를 더 배우는 경향이 있기 때문에 이미지 생성을 $\mathbf{c}_{f}$로 조절하는 능력을 향상시켜줄 수 있다고 합니다.
+
+아래 결과는 training이 기존 방법보다 효율적이라는 것을 보여줍니다.
+
+:::{figure-md}
+
+
+Efficiency
+:::
+
+아래 결과들은 task에 따른 결과들입니다. 더 많은 이미지들이 논문에 있으니 참고하시기 바랍니다.
+
+:::{figure-md}
+
+
+Pose
+:::
+
+:::{figure-md}
+
+
+Images generated by ConrolNet
+:::
+
+아래는 논문에서 limitation이라고 언급한 이미지입니다. 텍스트로 추가적인 정보를 주었음에도 원하는 이미지가 생성되지 않는 경우가 발생했습니다.
+
+:::{figure-md}
+
+
+Limitations
+:::
+
+## Implementation
+
+코드는 공식 구현([링크](https://github.com/lllyasviel/ControlNet))에서 가져왔습니다. 아래 코드는 parameter를 0으로 초기화하는 코드로 zero convolution을 만들 때 사용됩니다.
+
+```python
+def zero_module(module):
+ """
+ Zero out the parameters of a module and return it.
+ """
+ for p in module.parameters():
+ p.detach().zero_()
+ return module
+```
+
+아래 코드는 기본적으로 nn.Sequential과 같은데 time step같은 추가적인 input을 받아줄 수 있게 만든 것입니다.
+
+```python
+class TimestepEmbedSequential(nn.Sequential, TimestepBlock):
+ """
+ A sequential module that passes timestep embeddings to the children that
+ support it as an extra input.
+ """
+
+ def forward(self, x, emb, context=None):
+ for layer in self:
+ if isinstance(layer, TimestepBlock):
+ x = layer(x, emb)
+ elif isinstance(layer, SpatialTransformer):
+ x = layer(x, context)
+ else:
+ x = layer(x)
+ return x
+```
+
+아래 코드는 공식 github의 cldm/cldm.py에 있는 ControlNet class입니다. init 부분은 길어서 생략했습니다.
+
+```python
+class ControlNet(nn.Module):
+ def __init__(...):
+ ...
+
+ def make_zero_conv(self, channels):
+ return TimestepEmbedSequential(zero_module(conv_nd(self.dims, channels, channels, 1, padding=0)))
+
+ def forward(self, x, hint, timesteps, context, **kwargs):
+ t_emb = timestep_embedding(timesteps, self.model_channels, repeat_only=False)
+ emb = self.time_embed(t_emb)
+
+ guided_hint = self.input_hint_block(hint, emb, context)
+
+ outs = []
+
+ h = x.type(self.dtype)
+ for module, zero_conv in zip(self.input_blocks, self.zero_convs):
+ if guided_hint is not None:
+ h = module(h, emb, context)
+ h += guided_hint
+ guided_hint = None
+ else:
+ h = module(h, emb, context)
+ outs.append(zero_conv(h, emb, context))
+
+ h = self.middle_block(h, emb, context)
+ outs.append(self.middle_block_out(h, emb, context))
+
+ return outs
+```
diff --git a/_sources/docs/review/CustomDiffusion.md b/_sources/docs/review/CustomDiffusion.md
index c6a135a1..34b3ba5b 100755
--- a/_sources/docs/review/CustomDiffusion.md
+++ b/_sources/docs/review/CustomDiffusion.md
@@ -1,216 +1,216 @@
-```{admonition} Information
-- **Title:** A Multi-Concept Customiziation of Text-To-Image Diffusion (CVPR 2023)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2212.04488](https://arxiv.org/abs/2212.04488)
- - Code: [Official:](https://github.com/adobe-research/custom-diffusion)
-
-- **Author:** Seunghwan Ji
-
-- **Last updated on Aug. 6, 2023**
-```
-# Custom Diffusion
-
-## Abstract
-
-- Large Scale Data를 학습한 Generate 모델이 뛰어난 성능을 보이는 추세
-- User의 Private한 Concept을 생성하고자하는 욕구는 여전히 풀지 못함
-- Custom Diffusion은?
- 1. 기존 Diffusion 모델의 partial한 부분만을 학습시킴으로써 기존보다 더 빠른 finetuning 방식을 제안
- 2. Single Concept 뿐 아니라, Multiple Concept에 대한 학습이 가능
- 3. 다양한 Fine tuned 모델을 하나의 모델로 Compress하는 방식을 제안
-
-## 1. Introduction
-
-- 최근 Text-To-Image 모델들이 활발하게 연구 되어짐
-- 단순한 text prompt 입력만으로 원하는 이미지를 생성해내는 수준까지 이름
-- 하지만 이러한 모델들은 General한 이미지는 잘 생성하지만, User가 원하는 Private한 (=specific) Concept의 이미지는 생성해내지 못함
- - e.g. 행복한 우리 가족 사진, 우리집 강아지 뽀삐가 파리로 여행을 떠나는 사진 등
-- 학습 과정중에 User의 Private한 데이터를 보지 못했기때문에 Model에게는 당연한 결과
-- **Customization**
- - 몇장의 Concept을 포함하는 이미지만으로 Pretrained 모델을 finetuning하는 방식
- - In Dreambooth, Personalization
- - 목표
- 1. 학습하고자하는 Private한 Concept의 이미지를 잘 생성해내야함
- 2. 기존에 학습되었던 General한 이미지를 Finetuning한 후에도 잘 생성해내야함
-- Customization이 어려운 이유
- 1. 학습을 진행하다보면 기존에 학습했던 Concept을 잊어버리거나 왜곡해버림 → Language Draft
- 2. 새로운 Concept에 대해 모델이 Overfit 되어서 결과물의 Variation이 낮아짐
- 3. 좀더 나아가 Single Concept 뿐 아니라 Multiple Concept에 대한 Finetuning 또한 어려움
-- Custom Diffusion은?
- 1. Text로 Condition을 생성해내는 과정 중 특정 부분만을 학습
- 2. General Concept의 성능 유지를 위해 real image와 해당 이미지의 caption을 regularization Data로 사용
- 3. fine tuning동안 새로운 augmentation 기법을 소개
- 4. Multiple concept의 학습 방식을 제안
-
-## 2. Related Work
-
-### Deep Generative Models & Image and model editing
-
-- GAN, VAE, Diffusion 등 다양한 방식의 Generative Model들이 각각 좋은 성능을 보여주고있음
-- 게다가 추가적인 input(=hint)를 통해 Generated 이미지의 control도 가능함
-- 하지만 General하지 않은 새로운 Concept에 대한 생성은 불가능함
-- **Custom Diffusion은 이러한 New Concept에 대한 Finetuning 기법을 제안**
-
-### Transfer learning
-
-- Global한 이미지의 Distribution을 이미 학습한 모델에 특정 concept을 포함한 소량의 이미지를 finetuning하는 기법
-- Transfer Learning은 생각보다 효과적이고 유용함
-- 대부분 transfer learning 시에는 모델의 전체를 학습하거나 혹은 Parameter를 더 추가해 재학습
-
- → 위에서 제시한 Customization의 문제를 일으키기 쉬움 (Language Draft, Overfitting etc.)
-
-- **Custom Diffusion은 모델의 아주 일부만을 대상으로 finetuning**
-
-### Adapting text-to-image models
-
-- 비슷한 컨셉으로 Finetuning을 통한 Personalization 연구들이 있음
- - Dreambooth, Textual Inversion
-- vs Custom Diffusion
- 1. Multiple Concept의 Finetuning 모델들을 하나의 모델로 Compress할 수 있음
- 2. 모델의 특정 부분만을 Finetuning함으로써 다른 모델에 비해 Training Resourse를 절약할 수 있음
-
-## 3. Method
-
-### Single Concept Fine-tuning
-
-- Backbone으로 Latent Diffusion Model을 채택
-- (L)DM의 학습 Concept
- :::{figure-md}
-
-
- Equation 0
- :::
-
- - $x_{t}$ : time t 시점에 Noise가 섞인 이미지
- - $t$ → timestep
- - $c$ → conditioning feature (text, image 등)
- - text나 image를 바로 사용하지않고 latent space로 embedding된 값을 사용 *(using CLIP)*
- - ε → noise
- - $ε_{θ}$ → $x_{t}$에 낀 noise ε를 예측해내는 모델
- - 즉, $x_{t}$에 낀 noise ε를 예측해내는 모델을 학습
-
-- 이러한 LDM 모델을 fine tuning할때는 Model의 모든 Layer에대해 update하는게 기본
-- 하지만 이러한 finetuning 방식은 Resource가 비효율적으로 많이들고, 새로운 Concept 이미지에 overfitting되기 쉬움
-- Finetuning 과정 중 모델의 Weight 변화량을 체크
- :::{figure-md}
-
-
- Delta of Weight while Training
- :::
-- 다른 부분에비해 Cross Attention 연산의 Wegith 변화량이 가장 큼
-- Cross Attention
-:::{figure-md}
-
-
-Fig.4 Cross Attention
-:::
-
-- Cross Attention → Image latent에 text condition을 주입하는 Attention Mechanism
- - *Query* → image latent / *Key, Value* → text condition latent
- - 모델 전체 Parameter에 단 5%부분만을 차지
- - 이 중 new concept을 의미하는 Text $V^{*}$이 포함되는 $W^{k}$와 $W^{v}$만 학습. 나머지는 Freeze
-- Fine Tuning할 때 $V^{*}$은 실제로는 잘 쓰지않는 단어로 사용하고 “*A [$V^{*}$] [Class]”* 형식으로 이미지를 Captioning한 후에 학습
-- 또 Finetuning중에 일반적인 concept을 잊어버리는 Language Draft 현상이 있을수있음
- - Language Draft
- :::{figure-md}
-
-
- Fine tuning 후에 Photo of a moon 이미지를 생성하면 Finetuning했던 Moongate 이미지를 생성해버림
- :::
-
-Fine tuning 후에 Photo of a moon 이미지를 생성하면 Finetuning했던 Moongate 이미지를 생성해버림
-
-- 이러한 현상을 방지하기위해 Real world의 Image에서 target text class prompt와 유사한 200장의 이미지를 Regulalization 이미지로 같이 학습
- - text prompt가 유사하다 = CLIP에서 추출한 text feature space상의 Vector가 Similar하다
-
-### Multiple-Concept Compositional Fine-tuning
-
-- Joint Traning on multiple concept
- - 각각의 Concept을 갖는 이미지에 대해 각각 rare한 key를 부여해 동시에 학습
- - ($V^{i}$*, for $i$ is # of concepts*)
-- Constrained optimization to merge concepts
- - 각각 Single Concept으로 학습된 weight를 merge
- :::{figure-md}
-
-
- Equation 4
- :::
-
- - $W_0$ → pretrained model의 Key, Value embedding Weight
- - ~~*(Appendix A에는 $W$라고 나와있는데 오탈자일 가능성 있음)*~~
- - $C_{reg}$ → regularization 이미지의 Caption의 Embedding 값을 모두 뽑아 Concat
- - ⇒ $C_{reg}$에 Pretrained Weight를 곱한 값과의 norm을 계산했을때 값이 가장 작은 Weight를 return
- - “N개의 Concept에 대해 Cross Attention이 모두 잘 동작하는 W 값을 찾아 하나만 사용하자”
-
-### Training Details
-
-- single concept의 경우 250 steps, two-concept의 경우 500 steps
-- batch : 8, learning rate : $8*10^{-5}$
-- random resize + prompt 추가 (very small, far away, zoom in …) (new augmentation technique)
-
-## 4. Experiments
-
-Single Concept Finetuning
-
-- Qualitative Evaluation
-:::{figure-md}
-
-
-Qualitative Evaluation
-:::
-
-- Quantative Evaluation (Text Alignment, Image Alignment, KID)
- - text alignment : prompt에 얼마나 대응되는 이미지를 생성해냈는가
- - image alignment : training image의 concept을 얼마나 잘 표현해냈는가
-
-:::{figure-md}
-
-
-Table 1
-:::
-⇒ 정성적, 정량적 평가 모두 Custom Diffusion > Dreambooth, Textual Inversion
-
-Multiple Concept Finetuning
-
-:::{figure-md}
-
-
-Multiple Concept Finetuning
-:::
-
-- Joint Training > Optimization by custom diffusion > Dreambooth
-
-Human Preference Study
-:::{figure-md}
-
-
-Table 2
-:::
-
-- Custom Diffusion (partial) vs Baseline(Textual Inversion, Dreambooth, CustomDiffusion(all))
-- Text-Alignment, Image-Alignment 모두 Custom Diffusion (partial)을 선호
-- Textual Inversion은 Image Alignment는 Custom Diffusion 선호도와 비슷하지만 Text Alignment수치를 보면 Custom Diffusion이 매우 높아 Overfitting된 경향이 있음
-
-Ablation Study
-
-1. Regularization Image
- :::{figure-md}
-
-
- Table 3
- :::
-
-- ㅌGen : real image 대신 generate된 이미지를 regularization 이미지로 사용
-- Overfitting 없이 가장 좋은 수치는 Augmentation + Regulatization image as Real world Image
-
-## 5. Discussion & Limitation
-
-- customizing이 가능하고 training resourse가 매우 적은 finetuning 기법 소개
-:::{figure-md}
-
-
-Limitation Of Custom Diffusion
-:::
-
-- 비슷한 category의 object에 대해서는 joint training, merge 모두 잘 동작하지 않음
+```{admonition} Information
+- **Title:** A Multi-Concept Customiziation of Text-To-Image Diffusion (CVPR 2023)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2212.04488](https://arxiv.org/abs/2212.04488)
+ - Code: [Official:](https://github.com/adobe-research/custom-diffusion)
+
+- **Author:** Seunghwan Ji
+
+- **Last updated on Aug. 6, 2023**
+```
+# Custom Diffusion
+
+## Abstract
+
+- Large Scale Data를 학습한 Generate 모델이 뛰어난 성능을 보이는 추세
+- User의 Private한 Concept을 생성하고자하는 욕구는 여전히 풀지 못함
+- Custom Diffusion은?
+ 1. 기존 Diffusion 모델의 partial한 부분만을 학습시킴으로써 기존보다 더 빠른 finetuning 방식을 제안
+ 2. Single Concept 뿐 아니라, Multiple Concept에 대한 학습이 가능
+ 3. 다양한 Fine tuned 모델을 하나의 모델로 Compress하는 방식을 제안
+
+## 1. Introduction
+
+- 최근 Text-To-Image 모델들이 활발하게 연구 되어짐
+- 단순한 text prompt 입력만으로 원하는 이미지를 생성해내는 수준까지 이름
+- 하지만 이러한 모델들은 General한 이미지는 잘 생성하지만, User가 원하는 Private한 (=specific) Concept의 이미지는 생성해내지 못함
+ - e.g. 행복한 우리 가족 사진, 우리집 강아지 뽀삐가 파리로 여행을 떠나는 사진 등
+- 학습 과정중에 User의 Private한 데이터를 보지 못했기때문에 Model에게는 당연한 결과
+- **Customization**
+ - 몇장의 Concept을 포함하는 이미지만으로 Pretrained 모델을 finetuning하는 방식
+ - In Dreambooth, Personalization
+ - 목표
+ 1. 학습하고자하는 Private한 Concept의 이미지를 잘 생성해내야함
+ 2. 기존에 학습되었던 General한 이미지를 Finetuning한 후에도 잘 생성해내야함
+- Customization이 어려운 이유
+ 1. 학습을 진행하다보면 기존에 학습했던 Concept을 잊어버리거나 왜곡해버림 → Language Draft
+ 2. 새로운 Concept에 대해 모델이 Overfit 되어서 결과물의 Variation이 낮아짐
+ 3. 좀더 나아가 Single Concept 뿐 아니라 Multiple Concept에 대한 Finetuning 또한 어려움
+- Custom Diffusion은?
+ 1. Text로 Condition을 생성해내는 과정 중 특정 부분만을 학습
+ 2. General Concept의 성능 유지를 위해 real image와 해당 이미지의 caption을 regularization Data로 사용
+ 3. fine tuning동안 새로운 augmentation 기법을 소개
+ 4. Multiple concept의 학습 방식을 제안
+
+## 2. Related Work
+
+### Deep Generative Models & Image and model editing
+
+- GAN, VAE, Diffusion 등 다양한 방식의 Generative Model들이 각각 좋은 성능을 보여주고있음
+- 게다가 추가적인 input(=hint)를 통해 Generated 이미지의 control도 가능함
+- 하지만 General하지 않은 새로운 Concept에 대한 생성은 불가능함
+- **Custom Diffusion은 이러한 New Concept에 대한 Finetuning 기법을 제안**
+
+### Transfer learning
+
+- Global한 이미지의 Distribution을 이미 학습한 모델에 특정 concept을 포함한 소량의 이미지를 finetuning하는 기법
+- Transfer Learning은 생각보다 효과적이고 유용함
+- 대부분 transfer learning 시에는 모델의 전체를 학습하거나 혹은 Parameter를 더 추가해 재학습
+
+ → 위에서 제시한 Customization의 문제를 일으키기 쉬움 (Language Draft, Overfitting etc.)
+
+- **Custom Diffusion은 모델의 아주 일부만을 대상으로 finetuning**
+
+### Adapting text-to-image models
+
+- 비슷한 컨셉으로 Finetuning을 통한 Personalization 연구들이 있음
+ - Dreambooth, Textual Inversion
+- vs Custom Diffusion
+ 1. Multiple Concept의 Finetuning 모델들을 하나의 모델로 Compress할 수 있음
+ 2. 모델의 특정 부분만을 Finetuning함으로써 다른 모델에 비해 Training Resourse를 절약할 수 있음
+
+## 3. Method
+
+### Single Concept Fine-tuning
+
+- Backbone으로 Latent Diffusion Model을 채택
+- (L)DM의 학습 Concept
+ :::{figure-md}
+
+
+ Equation 0
+ :::
+
+ - $x_{t}$ : time t 시점에 Noise가 섞인 이미지
+ - $t$ → timestep
+ - $c$ → conditioning feature (text, image 등)
+ - text나 image를 바로 사용하지않고 latent space로 embedding된 값을 사용 *(using CLIP)*
+ - ε → noise
+ - $ε_{θ}$ → $x_{t}$에 낀 noise ε를 예측해내는 모델
+ - 즉, $x_{t}$에 낀 noise ε를 예측해내는 모델을 학습
+
+- 이러한 LDM 모델을 fine tuning할때는 Model의 모든 Layer에대해 update하는게 기본
+- 하지만 이러한 finetuning 방식은 Resource가 비효율적으로 많이들고, 새로운 Concept 이미지에 overfitting되기 쉬움
+- Finetuning 과정 중 모델의 Weight 변화량을 체크
+ :::{figure-md}
+
+
+ Delta of Weight while Training
+ :::
+- 다른 부분에비해 Cross Attention 연산의 Wegith 변화량이 가장 큼
+- Cross Attention
+:::{figure-md}
+
+
+Fig.4 Cross Attention
+:::
+
+- Cross Attention → Image latent에 text condition을 주입하는 Attention Mechanism
+ - *Query* → image latent / *Key, Value* → text condition latent
+ - 모델 전체 Parameter에 단 5%부분만을 차지
+ - 이 중 new concept을 의미하는 Text $V^{*}$이 포함되는 $W^{k}$와 $W^{v}$만 학습. 나머지는 Freeze
+- Fine Tuning할 때 $V^{*}$은 실제로는 잘 쓰지않는 단어로 사용하고 “*A [$V^{*}$] [Class]”* 형식으로 이미지를 Captioning한 후에 학습
+- 또 Finetuning중에 일반적인 concept을 잊어버리는 Language Draft 현상이 있을수있음
+ - Language Draft
+ :::{figure-md}
+
+
+ Fine tuning 후에 Photo of a moon 이미지를 생성하면 Finetuning했던 Moongate 이미지를 생성해버림
+ :::
+
+Fine tuning 후에 Photo of a moon 이미지를 생성하면 Finetuning했던 Moongate 이미지를 생성해버림
+
+- 이러한 현상을 방지하기위해 Real world의 Image에서 target text class prompt와 유사한 200장의 이미지를 Regulalization 이미지로 같이 학습
+ - text prompt가 유사하다 = CLIP에서 추출한 text feature space상의 Vector가 Similar하다
+
+### Multiple-Concept Compositional Fine-tuning
+
+- Joint Traning on multiple concept
+ - 각각의 Concept을 갖는 이미지에 대해 각각 rare한 key를 부여해 동시에 학습
+ - ($V^{i}$*, for $i$ is # of concepts*)
+- Constrained optimization to merge concepts
+ - 각각 Single Concept으로 학습된 weight를 merge
+ :::{figure-md}
+
+
+ Equation 4
+ :::
+
+ - $W_0$ → pretrained model의 Key, Value embedding Weight
+ - ~~*(Appendix A에는 $W$라고 나와있는데 오탈자일 가능성 있음)*~~
+ - $C_{reg}$ → regularization 이미지의 Caption의 Embedding 값을 모두 뽑아 Concat
+ - ⇒ $C_{reg}$에 Pretrained Weight를 곱한 값과의 norm을 계산했을때 값이 가장 작은 Weight를 return
+ - “N개의 Concept에 대해 Cross Attention이 모두 잘 동작하는 W 값을 찾아 하나만 사용하자”
+
+### Training Details
+
+- single concept의 경우 250 steps, two-concept의 경우 500 steps
+- batch : 8, learning rate : $8*10^{-5}$
+- random resize + prompt 추가 (very small, far away, zoom in …) (new augmentation technique)
+
+## 4. Experiments
+
+Single Concept Finetuning
+
+- Qualitative Evaluation
+:::{figure-md}
+
+
+Qualitative Evaluation
+:::
+
+- Quantative Evaluation (Text Alignment, Image Alignment, KID)
+ - text alignment : prompt에 얼마나 대응되는 이미지를 생성해냈는가
+ - image alignment : training image의 concept을 얼마나 잘 표현해냈는가
+
+:::{figure-md}
+
+
+Table 1
+:::
+⇒ 정성적, 정량적 평가 모두 Custom Diffusion > Dreambooth, Textual Inversion
+
+Multiple Concept Finetuning
+
+:::{figure-md}
+
+
+Multiple Concept Finetuning
+:::
+
+- Joint Training > Optimization by custom diffusion > Dreambooth
+
+Human Preference Study
+:::{figure-md}
+
+
+Table 2
+:::
+
+- Custom Diffusion (partial) vs Baseline(Textual Inversion, Dreambooth, CustomDiffusion(all))
+- Text-Alignment, Image-Alignment 모두 Custom Diffusion (partial)을 선호
+- Textual Inversion은 Image Alignment는 Custom Diffusion 선호도와 비슷하지만 Text Alignment수치를 보면 Custom Diffusion이 매우 높아 Overfitting된 경향이 있음
+
+Ablation Study
+
+1. Regularization Image
+ :::{figure-md}
+
+
+ Table 3
+ :::
+
+- ㅌGen : real image 대신 generate된 이미지를 regularization 이미지로 사용
+- Overfitting 없이 가장 좋은 수치는 Augmentation + Regulatization image as Real world Image
+
+## 5. Discussion & Limitation
+
+- customizing이 가능하고 training resourse가 매우 적은 finetuning 기법 소개
+:::{figure-md}
+
+
+Limitation Of Custom Diffusion
+:::
+
+- 비슷한 category의 object에 대해서는 joint training, merge 모두 잘 동작하지 않음
diff --git a/_sources/docs/review/DALLE2.md b/_sources/docs/review/DALLE2.md
index e297ee6b..1652dd07 100755
--- a/_sources/docs/review/DALLE2.md
+++ b/_sources/docs/review/DALLE2.md
@@ -1,546 +1,546 @@
-``` {admonition} Information
-- **Title:** Hierarchical Text-Conditional Image Generation with CLIP Latents (arXiv 2022)
-
-- **Reference**
- - Paper: [https://arxiv.org/pdf/2204.06125v1.pdf](https://arxiv.org/pdf/2204.06125v1.pdf)
-
-- **Author:** SeonHoon Kim
-
-- **Last updated on Sep. 18, 2023**
-```
-
-# DALL-E 2
-
-DALLE2 는 2022년에 공개되어 세상을 놀라게 했습니다.-이미지 생성 능력도 뛰어났고, 이미지를 사용자 입맛에 맞게 조작할 수 있게 되었죠. - -DALLE2 의 이름은 왜 DALL-E 일까요?
-DALLE2 의 DALLE 는 초현실주의 화가 Salvador Dali 와 WALL-E 의 합성어입니다.
-DALLE2 로 생성해낸 결과물이 과연 어떻길래 세상을 놀라게 했을까요? - -
- -- **DALL-E 2 결과물** - - :::{figure-md} -
-
- Salvador Dali 의 생전 모습
- :::
-
- :::{figure-md}
-
-
- vibrant portrait of Salvador Dali with a robotic half face from DALLE2
- :::
-
- 위 그림은 DALLE2 가 생성해낸 "vibrant portrait of Salvador Dali with a robotic half face" 이미지입니다.- 실제 Salvador dali 의 모습이 보이네요.
- 게다가 Salvador dali 의 초현실주의적 그림체가 반영된 것 같기도 합니다.
- 놀라운 이미지입니다. - - 아래의 corgi 그림은 어떤가요 ? - :::{figure-md} -
-
- a corgi's head depicted as an explosion of a nebula from DALLE2
- :::
-
- corgi 의 모습을 성운의 폭발로 묘사해달라고 했을 때 생성된 그림입니다.- 아래의 그림은, 실제 NASA 에서 촬영한 초신성 폭발의 잔해입니다. - - 정말 그럴듯하지 않나요? - - :::{figure-md} -
-
- This mosaic image, one of the largest ever taken by NASA's Hubble Space Telescope of the Crab Nebula, is a six-light-year-wide expanding remnant of a star's supernova explosion.
- :::
-
-- -- **학습 목표 및 주의사항** - - 본 포스팅에서는 DALLE2 paper 의 내용을 비선형적으로 살펴봅니다.
- 마치 오픈월드 게임처럼 말이죠.
- 핵심이 되는 질문들을 던지며, DALLE2 의 아키텍쳐를 파헤쳐 볼 겁니다. - - 본 포스팅은 [DALL-E 2 paper](https://cdn.openai.com/papers/dall-e-2.pdf), [OpenAI blog](https://openai.com/dall-e-2), [AssemblyAI Youtube](https://www.youtube.com/watch?v=F1X4fHzF4mQ&t=360s&ab_channel=AssemblyAI), [Eden Meyer Youtube](https://www.youtube.com/watch?v=gmfI3B6pQTo&t=83s&ab_channel=EdanMeyer) 를 참고했습니다. - - 본격적으로 학습하기 전에 알아야할 것은, CLIP 모델입니다. - - CLIP 은, 이미지와 text 를 학습한 multi-modal 모델입니다. - - The fundamental principles of training CLIP are quite simple: - 1. First, all images and their associated captions are passed through their respective encoders, mapping all objects into an m-dimensional space. - 2. Then, the cosine similarity of each *(image, text)* pair is computed. - 3. The training objective is to simultaneously **maximize the cosine similarity** between N **correct** encoded image/caption pairs and **minimize the cosine similarity** between N - N **incorrect** encoded image/caption pairs. - - DALL-E 2 는 CLIP 과 Diffusion Model 을 통합시켰습니다. (최초는 x) - - 하지만 CLIP 을 사용하는 것이 정답은 아닙니다.
- DALL-E 2 는 22년 5월, CLIP 을 사용하지 않은 IMAGEN 에게 SOTA 를 내주었습니다. - -
- -- **아키텍쳐 찍먹하기** - - 특정 이미지 내의 Semantics 와 style 을 모두 포착해낼 수 있는 CLIP 의 이미지 표현 능력을 끌어올리기 위해서,
- 저자들은 CLIP 과 Diffusion 모델을 통합한 Two-stage model 을 제안합니다.
- 이것이 바로 DALLE2 인데요.
- 저자들은 이 모델을 unCLIP 이라고 부릅니다. - - :::{figure-md} -
-
- A high level overview of the architecture.
- :::
-
- DALLE2 paper 의 그림은 좀 복잡해보이니,- Assembly AI 의 Youtube 에서 제공하는 좀 더 단순화된 그림을 살펴볼게요. - - :::{figure-md} -
-
- A high level overview of the architecture from AssemblyAI youtube.
- :::
- [https://www.youtube.com/watch?v=F1X4fHzF4mQ&t=360s&ab_channel=AssemblyAI](https://www.youtube.com/watch?v=F1X4fHzF4mQ&t=360s&ab_channel=AssemblyAI)
-
- Prior 와 Decoder 가 DALLE2 의 핵심이 되는 모델인 것 같네요.
-
- - **Prior** : 텍스트 캡션을 받아서, 상응하는 CLIP image embedding 을 생성합니다.
- - 본 논문에서는 Autogregressive prior 와 Diffusion prior 를 비교하는 실험 수행했습니다.
- - Diffusion prior 가 computationally efficient 하고, 고품질 이미지 생성합니다.- 따라서 후반부에는 Diffusion prior 만 사용해서 실험합니다. - - **Decoder** : CLIP image embedding 을 받아서, 이미지를 생성합니다. - - Diffusion 모델만 사용했습니다. - -
- -- **왜 CLIP 이랑 Diffusion 을 사용했을까요?** - - **CLIP** - - CLIP 이 images representation 을 학습하는데 에 큰 성공을 거두고 있었습니다. - - CLIP embeddings 는 image distribution shift 에 robust 했습니다. - - CLIP embeddings 는 zero-shot capabilities 가 뛰어났습니다. - - 다양한 vision & language tasks 에 fine-tuned 되어 SOTA 를 달성해냈습니다. - - **Diffusion** - - Diffusion 은 image 와 video generation taks 에서 SOTA 를 갱신하는 중이었죠. - - non-deterministic 하게 만들 수 있습니다.
- 이러한 Decoder 덕분에, CLIP image embedding 과 같은
- **image representation 에 존재하지 않는 non-essential 한 details** 는 **변주하면서,**
- **image representation 의 semantics 와 style 은 유지**할 수 있죠. - - :::{figure-md} -
-
- Variations of an input image by encoding with CLIP and then decoding with a diffusion model.
- :::
-
- 위 왼쪽의 그림처럼, Salvador dali 의 그림에서 중요한 objects 들은 보존됩니다.- 하지만 그들이 표현되는 방식이나 전체적인 그림의 style 은 조금씩 바뀝니다.
- 그럼에도, Salvador dali 특유의 초현실주의적 화풍은 유지되는 것 같네요.
- Diffusion Decoder 덕분에, **Non-essential details** 는
- 마치 **변주곡처럼 매번 새롭게 연주**해낼 수 있는겁니다. - - -
- -- **아키텍쳐 파헤치기** - - :::{figure-md} -
-
- A high level overview of the architecture from AssemblyAI youtube.
- :::
- [https://www.youtube.com/watch?v=F1X4fHzF4mQ&t=360s&ab_channel=AssemblyAI](https://www.youtube.com/watch?v=F1X4fHzF4mQ&t=360s&ab_channel=AssemblyAI)
- - - 이번에는 DALLE2 의 아키텍쳐를 좀 더 자세히 살펴보죠. - - - **Prior** - - **input** - - Caption 그 자체의 embedding vector 입니다. - - **CLIP text embedding** 입니다. - - **output** - - **Generated CLIP Image embedding** 입니다. - - **설명** - - 사실 Prior 은 CLIP text embedding 만 조건으로 받는 것이 아니라 Caption 자체도 받습니다.
- (물론 embedding vector 로 받겠죠)
- CLIP text embedding 과, 그 Caption 은 서로 1대1 대응되기 때문에,
- Duel-conditioning 이 문제될 것은 없다고 저자들은 변론합니다. - - 샘플 퀄리티를 높이기 위해서 2개의 CLIP image embeddings 를 생성한 후
- 주어진 CLIP text embedding 과 더 높은 dot product 를 갖는 CLIP image embedding 을 사용했다고 합니다. - - **Decoder** - - **Input** - - CLIP text embedding - - Generated CLIP Image embedding - - **Output** - - Generated Image - - **설명** - - modified GLIDE model 을 Decoder 로 사용했습니다.
- → 따라서, **projected CLIP text embeddings 를 아키텍쳐**에 통합시킬 수 있다고 주장합니다. -
- 어떻게 통합시키냐하면, - - 1. GLIDE timestep embedding 에 추가하고, - 2. 4개의 extra context tokens 을 만들어서 GLIDE text encoder 의 output sequence 에 concat 하는거죠. -
- 이 방법으로 **CLIP image embeddings 를 받아서, 원본 영상을 생성하는 것** 입니다. - - :::{figure-md} -
-
- GLIDE training process
- :::
-
- - GLIDE 를 수정해 사용함으로써 GLIDE 가 가지고 있던- text-conditional photorealistic image generation capabilities 를 활용할 수 있다고 주장합니다. - -
- -- **그렇다면 왜 Prior 가 필요할까요?** - 1. **To obtain a full generative model of images**,
- we combine the CLIP image embedding decoder with a prior model,
- which generates possible CLIP image embeddings from a given text caption
- - 라고 하지만.. 딱히 와닿지는 않습니다.
- 하지만 아직 실망하긴 이릅니다.
- Prior 의 유무에 따라, 생성된 이미지의 품질을 비교하는 실험을 수행했다고 합니다.
- 한번 살펴볼까요? - - 2. **아래 세 가지 아키텍쳐를 비교하는 실험 수행**
- (1) GLIDE 모델처럼, text 의 token embeddings 만 조건으로 주어 실험
- (2) 추가적으로, CLIP text embeddings 를 조건으로 주어 실험
- (3) 추가적으로, CLIP image embeddings 를 생성해내는 Prior 를 갖추고 실험
-
- 실험 결과, (3) 이 가장 훌륭했습니다.
- 특히 image diversity 가 뛰어났습니다. - - :::{figure-md} -
-
- 3가지 경우의 아키텍쳐에 따른 실험 결과 from AssemblyAI youtube.
- :::
-
- :::{figure-md}
-
-
- Samples using different conditioning signals for the same decoder.
- :::
-
- 그렇지만, 의문이 말끔히 해소되지는 않습니다.
- 왜냐하면..
-
- - **95% 의 학습 시간 동안, (3) 방식으로 학습한 Decoder 를,**- **(1) 과 (2) 방식에 그대로 적용해 실험했습니다.**
- 따라서 공정한 실험이라고 보긴 어려울 것 같습니다. - - **Decoder 를, True CLIP Image embeddings 와 Generated CLIP Image embeddings 로**
- **각각 학습시켰을 때의 성능 비교 실험은 없습니다.** -
- 개인적으로 저는 이러한 결과들을 보고,
- Prior 를 반드시 써야하는 근거에 대한 설득력이 떨어진다고 생각했습니다. - -
- -- **왜 CLIP 을 써야할까요?** - 1. CLIP 은 어떤 객체를 묘사한 텍스트와, 그 객체의 시각적 발현 사이의 의미론적 관계를 학습했습니다.
- 따라서 저자들은 이러한 CLIP 의 능력이 Text-to-Image task 에서 매우 중요하다고 주장합니다. - 2. **CLIP 을 활용한 덕분에 이미지를 Manipulation 할 수 있습니다.** - - :::{figure-md} -
-
- Text diffs applied to images by interpolating between their CLIP image embeddings and a normalised difference of the CLIP text embeddings produced from the two descriptions.
- :::
-
- 어떻게 이미지를 Manipulation 하는지는 곧 자세히 살펴보겠습니다.
-
-- -- **그래서 이 모델은 뭐가 좋은가요?** - - **Evaluation 결과, Diversity 가 뛰어났습니다.** - - 모델을 평가하기 위해서,
- 주어진 Caption 에 대한 GLIDE 의 생성물과 unCLIP 의 생성물을 사람들에게 제시하고,
- **Photorealism, Caption Similarity, Diversity** 에 대해서 **점수를 매기도록** 했습니다.
- - - :::{figure-md} -
-
- Samples when increasing guidance scale for both unCLIP and GLIDE.
- :::
-
- :::{figure-md}
-
-
- Comparison of unCLIP and GLIDE for different evaluations.
- :::
-
- :::{figure-md}
-
-
- FID versus guidance scale for unCLIP and GLIDE.
- :::
-
- 결론은 다음과 같습니다.
- 1. GLIDE 에 비해서 **Photorealism, Caption Similarity,** 은 Comparable 했습니다.- (안 좋다.) - 2. 하지만, **Diversity** 는 훨씬 뛰어났습니다. - -
- - - **Image Manipulations 가 가능합니다.** - - Bipartite Representation - - unCLIP 구조 덕분에,
- 주어진 이미지 x 를 (z_i, x_T) 와 같은 bipartite latent representation 로 인코딩 가능합니다. - - 이 latent space 를 활용해서, Image manipulation 을 수행할 수 있습니다. - - x_T 는 DDIM inversion 을 z_i 가 condition 된 x 에 적용해 얻으며,
- Decoder 가 x 를 복원하는데 필요한 잔여 정보들을 지닙니다. - -
- - 1. **Variations** - - :::{figure-md} -
-
- Variations of an input image by encoding with CLIP and then decoding with a diffusion model.
- :::
-
- - Non-essential details 를 변주하기 위해서,- bipartite representation 에 DDIM with η > 0 for sampling decoder 를 적용합니다. - - η = 0 일 때, decoder 는 deterministic 해지고 x 자체를 복원해냅니다. - - η 가 커질수록, sampling steps 에는 stochasticity 가 생기고,
- 원본 이미지 x 근처에서 perceptually “centereed” 된 variations 를 만들어낼 것입니다. - - η 를 키우면, 우리는 CLIP image embedding 에 어떤 정보가 존재하고 어떤 정보가 유실되었는지 탐색 가능합니다.
- **→ 즉, CLIP latent space 를 탐색해낼 수 있는거죠 !** - -
- - 2. **Interpolations** - - :::{figure-md} -
-
- Variations between two images by interpolating their CLIP image embedding and then decoding with a diffusion model.
- :::
-
- - 이런 것도 됩니다.- input image 두 장의 CLIP image embeddings 를 interpolation 해서 Decoder 에 준다면,
- interpolated image 를 생성할 수 있습니다. - -
- - 3. **Text Diffs** - - :::{figure-md} -
-
- Text diffs applied to images by interpolating between their CLIP image embeddings and a normalised difference of the CLIP text embeddings produced from the two descriptions.
- :::
-
- - **어떤 이미지와 그 캡션이 주어져있을 때,- 그 이미지를 우리가 원하는 target text prompt 에 맞게 조작할 수도 있습니다.** - - **Method** - - **z_t0 = current CLIP text embedding** 이고, - - **z_t = target CLIP text embedding** 이라면, - - :::{figure-md} -
-
- text diff method
- :::
-
- - 주어진 이미지의 **CLIP image embdding z_i** 를 - 바로 이 **text diff vector 와 interpolate 해서 Decoding** 하면 이미지가 조작됩니다. - -
- - - **typographic attaks 에 대해서, Robust 합니다.** - - **typographic attacks** : 이미지 내 사물 위에, 글씨가 쓰여 있는 경우입니다. - - Multimodal 로 학습한 CLIP 은 텍스트에 있는 정보를 더 많이 활용해
- 사물을 판단하는 경향이 있습니다. - 1. unCLIP 의 Decoder 모델에 “iPod” 텍스트 종이가 붙은 사과를 보고 분류를 수행해보았습니다. - 2. 역시, “Granny Smith” 의 예측 확률을 거의 0 에 가깝다고 판단했습니다. - 3. 그럼에도 불구하고, 사과의 사진으로 recover 해냅니다. - :::{figure-md} -
-
- Variations of images featuring typographic attacks
- :::
-
- 이처럼 DALLE2 는 typographic attacks 에 더욱 robust 합니다.
-
-- -- **이 모델, 단점은 없나요?** - -
- - 1. **객체(cubes)와 그들의 속성(colors) 을 매칭시키는 능력이 떨어집니다.** - - :::{figure-md} -
-
- Samples from unCLIP and GLIDE for the prompt “a red cube on top of a blue cube”.
- :::
-
- 위 그림처럼, 파란 큐브 위에 빨간 큐브를 그려달라고 했을 때, - DALLE2 는 **아래의 큐브와 위의 큐브에 각각 어떤 색상 (attributes) 를 부여해야할지** 헷갈려합니다. - -
- - 2. **텍스트를 일관성있게 생성하는 능력이 떨어집니다** - - :::{figure-md} -
-
- Samples from unCLIP for the prompt, “A sign that says deep learning.”
- :::
-
- 물론 이것은 DALLE2 만의 문제는 아닙니다.- 많은 text-to-image models 가 어려워하는 문제입니다. - -
- - 3. **복잡한 상황에서 디테일을 묘사하는 능력이 떨어집니다** - - :::{figure-md} -
-
- unCLIP samples show low levels of detail for some complex scenes.
- :::
-
- 복잡한 네온 사인들의 디테일들이 좀 떨어지는 것을 확인하실 수 있습니다.
-
-- -- **Method - Training** - - 본 논문의 Method 에서는, unCLIP 모델의 아키텍쳐에 대한 수학적 justify 를 하고 있습니다. - - Training 데이터셋의 이미지를 x 라 합시다. - - 그에 상응하는 text captions 을 y 라 합시다. - - 각각에 대한 embeddings 인 Z_i, Z_t 를 기존의 CLIP 으로 생성합니다. - - image **x —CLIP Image encoder—> Z_i** image embeddings - - text caption **y —CLIP text encoder—> Z_t** text embeddings - -
- - - 저자의 주장 - - unCLIP 으로, text caption y 로부터 image x 를 샘플링할 수 있다고 합니다. - - :::{figure-md} -
-
- P(x|y) equation.
- :::
-
- - ***The first equality holds because z_i is a deterministic function of x.***
- - ***The second equality holds because of the chain rule.***
-
- - - - **포스팅을 위한 부가 설명** - - z_t 도 y 의 deterministic function 이므로, 다음과 같이 쓸 수 있죠. - - $$ - P(x|y) = P(x, z_i|y, z_t) = P(x|z_i, y, z_t)P(z_i|y, z_t) - $$ - - - 즉 위 공식을 풀어서 해설해보면 다음과 같습니다.
- Prior 를 사용해 Z_t 로부터 Z_i 를 샘플링하고,
- Decoder 를 사용해 x 를 샘플링함으로써
- True conditional distribution 인 P(x|y) 샘플링이 가능해지는 것입니다. - -
- -- **DALL-E 2 Bias** - -
- - 개인적으로 DALLe2 와 같은 모델에 Bias 는 없는지 궁금해서 추가적으로 공부해봤습니다.
- DALLE2 에 Bias 가 있는지,
- Bias 가 있다면 해소하기 위해 어떤 노력을 하고있는지,
- Bias 는 대체 어떻게 정량적으로 평가할 수 있는지 조사해봤습니다.
- - 결과부터 말씀드리면, DALLE2 처럼, 웹크롤링 데이터를 학습한 모델은 Bias 가 존재한다고 합니다.
- 이런 Bias 를 해소하기 위해서 OpenAI 는 어떤 노력을 하고있는지부터 살펴볼까요? - - [https://github.com/openai/dalle-2-preview/blob/main/system-card.md](https://github.com/openai/dalle-2-preview/blob/main/system-card.md) - - - **현재 OpenAI 가 DALL-E 2 의 Safety 를 위해 하고 있는 노력** - 1. 학습 데이터에서 violent, hate, or adult images 를 제거함으로써
- 이러한 이미지들에 DALL-E 2 가 노출되는 시간을 최소화했다고 합니다. - 2. Safety policies 를 위반한 text prompts 혹은 생성된 images 를 자정하는 시스템을 보유하고 있다고 합니다. - 3. 신뢰할 수 있는 전문가들과 DALL-E 2 에 대한 사전 검토를 진행했다고 합니다. - -
- - - **DALL-EVAL : 이미지 생성형 AI 의 Bias 를 평가하는 방법 소개** - - DALLE 와 같은 Text-to-Image 생성형 모델을 정량적으로 평가하는 기법이 있습니다.
- 바로 DALL-EVAL 입니다. - - [https://arxiv.org/pdf/2202.04053.pdf](https://arxiv.org/pdf/2202.04053.pdf) - - [https://github.com/j-min/DallEval](https://github.com/j-min/DallEval) - - - **Contribution** - - Text to Image Generation models 의 시각적 추론 능력 3가지를 평가하기 위한 데이터셋 제공합니다. - - 최근의 모델들이 object recognition skill 은 상대적으로 뛰어나지만,
- object counting 및 spaial relation 이해 능력은 떨어짐을 발견했습니다. - - Text to Image Generation models 에 존재하는
- **gender 및 skin tone biases 를 측정하는 evaluation metrics 와 그 분석 결과를 제시한 최초의 논문** 입니다. - - web 에서 image-text pairs 를 학습한 현재 T2I 생성 모델들은
- 특정한 gender/skin tone biases 를 학습했음을 보여주었습니다. - - :::{figure-md} -
-
- Overview of DALL-EVAL evaluation process.
- :::
-
- - **Social Bias Evaluation 측정 방법 (Sec. 4.2.1 참고)**
-
- :::{figure-md}
-
-
- Overview of DALL-EVAL's social bias evaluation process.
- :::
-
- DALL-EVAL 의 자세한 social bias evaluation process 는 다음과 같습니다.
-
- 1. 우선 **Diagnostic prompts 로 이미지들을 생성합니다.**
- 1. ex) “a person who works as a nurse”
- 2. 총 252개의 Diagnostic prompts 제공
- 2. **Gender, Skin tone, Attributes 를 생성된 이미지로부터 탐지합니다.**
- 1. using automated detection models and verify the reliability of detection models with human evaluation
- 2. **Gender**
- 1. BLIP-2 라는 모델에 생성된 영상을 주면서 영상 내 사람의 성별을 맞추게 합니다.- BLIP-2 의 답변을 기반으로 Gender Bias 측정합니다. - 3. **Skin tone** - 1. 신경망으로 facial landmark 를 추출하고, illumination 을 측정합니다. - 4. **Attributes** - 1. BLIP-2 라는 모델에 생성된 영상을 주면서 영상 내 사람의 복장을 맞추게 합니다.
- BLIP-2 의 답변을 기반으로 Attributes Bias 측정합니다. - 3. 탐지된 Gender, Skin tone, Attributes 가
- unbiased uniform distribution 으로부터 얼마나 skewed 되어있는지 측정합니다. - -
- - - **실험 결과** - - :::{figure-md} -
-
- Gender, skin tone, and attribute detection results with automated and expert human evaluation.
- :::
-
- :::{figure-md}
-
-
- Per-profession examples and average gender bias or average skin tone bias of images.
- :::
-
- :::{figure-md}
-
-
- Comparison of overall gender and skin tone bias of each model.
- :::
-
- 위 실험 결과와 같이, DALL-EVAL 은 Text-to-Image models 를 정량적으로 평가하는데에 성공했습니다.- Satble Diffusion 처럼 웹크롤링을 활용해 데이터를 학습한 모델은 Bias 가 존재했습니다.
- 이처럼 생성형 AI 의 Bias 를 측정하기 위한 다양한 노력이 지속되고 있습니다.
+``` {admonition} Information +- **Title:** Hierarchical Text-Conditional Image Generation with CLIP Latents (arXiv 2022) + +- **Reference** + - Paper: [https://arxiv.org/pdf/2204.06125v1.pdf](https://arxiv.org/pdf/2204.06125v1.pdf) + +- **Author:** SeonHoon Kim + +- **Last updated on Sep. 18, 2023** +``` + +# DALL-E 2 + +DALLE2 는 2022년에 공개되어 세상을 놀라게 했습니다.
+이미지 생성 능력도 뛰어났고, 이미지를 사용자 입맛에 맞게 조작할 수 있게 되었죠. + +DALLE2 의 이름은 왜 DALL-E 일까요?
+DALLE2 의 DALLE 는 초현실주의 화가 Salvador Dali 와 WALL-E 의 합성어입니다.
+DALLE2 로 생성해낸 결과물이 과연 어떻길래 세상을 놀라게 했을까요? + +
+ +- **DALL-E 2 결과물** + + :::{figure-md} +
+
+ Salvador Dali 의 생전 모습
+ :::
+
+ :::{figure-md}
+
+
+ vibrant portrait of Salvador Dali with a robotic half face from DALLE2
+ :::
+
+ 위 그림은 DALLE2 가 생성해낸 "vibrant portrait of Salvador Dali with a robotic half face" 이미지입니다.+ 실제 Salvador dali 의 모습이 보이네요.
+ 게다가 Salvador dali 의 초현실주의적 그림체가 반영된 것 같기도 합니다.
+ 놀라운 이미지입니다. + + 아래의 corgi 그림은 어떤가요 ? + :::{figure-md} +
+
+ a corgi's head depicted as an explosion of a nebula from DALLE2
+ :::
+
+ corgi 의 모습을 성운의 폭발로 묘사해달라고 했을 때 생성된 그림입니다.+ 아래의 그림은, 실제 NASA 에서 촬영한 초신성 폭발의 잔해입니다. + + 정말 그럴듯하지 않나요? + + :::{figure-md} +
+
+ This mosaic image, one of the largest ever taken by NASA's Hubble Space Telescope of the Crab Nebula, is a six-light-year-wide expanding remnant of a star's supernova explosion.
+ :::
+
++ +- **학습 목표 및 주의사항** + - 본 포스팅에서는 DALLE2 paper 의 내용을 비선형적으로 살펴봅니다.
+ 마치 오픈월드 게임처럼 말이죠.
+ 핵심이 되는 질문들을 던지며, DALLE2 의 아키텍쳐를 파헤쳐 볼 겁니다. + - 본 포스팅은 [DALL-E 2 paper](https://cdn.openai.com/papers/dall-e-2.pdf), [OpenAI blog](https://openai.com/dall-e-2), [AssemblyAI Youtube](https://www.youtube.com/watch?v=F1X4fHzF4mQ&t=360s&ab_channel=AssemblyAI), [Eden Meyer Youtube](https://www.youtube.com/watch?v=gmfI3B6pQTo&t=83s&ab_channel=EdanMeyer) 를 참고했습니다. + - 본격적으로 학습하기 전에 알아야할 것은, CLIP 모델입니다. + - CLIP 은, 이미지와 text 를 학습한 multi-modal 모델입니다. + - The fundamental principles of training CLIP are quite simple: + 1. First, all images and their associated captions are passed through their respective encoders, mapping all objects into an m-dimensional space. + 2. Then, the cosine similarity of each *(image, text)* pair is computed. + 3. The training objective is to simultaneously **maximize the cosine similarity** between N **correct** encoded image/caption pairs and **minimize the cosine similarity** between N - N **incorrect** encoded image/caption pairs. + - DALL-E 2 는 CLIP 과 Diffusion Model 을 통합시켰습니다. (최초는 x) + - 하지만 CLIP 을 사용하는 것이 정답은 아닙니다.
+ DALL-E 2 는 22년 5월, CLIP 을 사용하지 않은 IMAGEN 에게 SOTA 를 내주었습니다. + +
+ +- **아키텍쳐 찍먹하기** + + 특정 이미지 내의 Semantics 와 style 을 모두 포착해낼 수 있는 CLIP 의 이미지 표현 능력을 끌어올리기 위해서,
+ 저자들은 CLIP 과 Diffusion 모델을 통합한 Two-stage model 을 제안합니다.
+ 이것이 바로 DALLE2 인데요.
+ 저자들은 이 모델을 unCLIP 이라고 부릅니다. + + :::{figure-md} +
+
+ A high level overview of the architecture.
+ :::
+
+ DALLE2 paper 의 그림은 좀 복잡해보이니,+ Assembly AI 의 Youtube 에서 제공하는 좀 더 단순화된 그림을 살펴볼게요. + + :::{figure-md} +
+
+ A high level overview of the architecture from AssemblyAI youtube.
+ :::
+ [https://www.youtube.com/watch?v=F1X4fHzF4mQ&t=360s&ab_channel=AssemblyAI](https://www.youtube.com/watch?v=F1X4fHzF4mQ&t=360s&ab_channel=AssemblyAI)
+
+ Prior 와 Decoder 가 DALLE2 의 핵심이 되는 모델인 것 같네요.
+
+ - **Prior** : 텍스트 캡션을 받아서, 상응하는 CLIP image embedding 을 생성합니다.
+ - 본 논문에서는 Autogregressive prior 와 Diffusion prior 를 비교하는 실험 수행했습니다.
+ - Diffusion prior 가 computationally efficient 하고, 고품질 이미지 생성합니다.+ 따라서 후반부에는 Diffusion prior 만 사용해서 실험합니다. + - **Decoder** : CLIP image embedding 을 받아서, 이미지를 생성합니다. + - Diffusion 모델만 사용했습니다. + +
+ +- **왜 CLIP 이랑 Diffusion 을 사용했을까요?** + - **CLIP** + - CLIP 이 images representation 을 학습하는데 에 큰 성공을 거두고 있었습니다. + - CLIP embeddings 는 image distribution shift 에 robust 했습니다. + - CLIP embeddings 는 zero-shot capabilities 가 뛰어났습니다. + - 다양한 vision & language tasks 에 fine-tuned 되어 SOTA 를 달성해냈습니다. + - **Diffusion** + - Diffusion 은 image 와 video generation taks 에서 SOTA 를 갱신하는 중이었죠. + - non-deterministic 하게 만들 수 있습니다.
+ 이러한 Decoder 덕분에, CLIP image embedding 과 같은
+ **image representation 에 존재하지 않는 non-essential 한 details** 는 **변주하면서,**
+ **image representation 의 semantics 와 style 은 유지**할 수 있죠. + + :::{figure-md} +
+
+ Variations of an input image by encoding with CLIP and then decoding with a diffusion model.
+ :::
+
+ 위 왼쪽의 그림처럼, Salvador dali 의 그림에서 중요한 objects 들은 보존됩니다.+ 하지만 그들이 표현되는 방식이나 전체적인 그림의 style 은 조금씩 바뀝니다.
+ 그럼에도, Salvador dali 특유의 초현실주의적 화풍은 유지되는 것 같네요.
+ Diffusion Decoder 덕분에, **Non-essential details** 는
+ 마치 **변주곡처럼 매번 새롭게 연주**해낼 수 있는겁니다. + + +
+ +- **아키텍쳐 파헤치기** + + :::{figure-md} +
+
+ A high level overview of the architecture from AssemblyAI youtube.
+ :::
+ [https://www.youtube.com/watch?v=F1X4fHzF4mQ&t=360s&ab_channel=AssemblyAI](https://www.youtube.com/watch?v=F1X4fHzF4mQ&t=360s&ab_channel=AssemblyAI)
+ + + 이번에는 DALLE2 의 아키텍쳐를 좀 더 자세히 살펴보죠. + + - **Prior** + - **input** + - Caption 그 자체의 embedding vector 입니다. + - **CLIP text embedding** 입니다. + - **output** + - **Generated CLIP Image embedding** 입니다. + - **설명** + - 사실 Prior 은 CLIP text embedding 만 조건으로 받는 것이 아니라 Caption 자체도 받습니다.
+ (물론 embedding vector 로 받겠죠)
+ CLIP text embedding 과, 그 Caption 은 서로 1대1 대응되기 때문에,
+ Duel-conditioning 이 문제될 것은 없다고 저자들은 변론합니다. + - 샘플 퀄리티를 높이기 위해서 2개의 CLIP image embeddings 를 생성한 후
+ 주어진 CLIP text embedding 과 더 높은 dot product 를 갖는 CLIP image embedding 을 사용했다고 합니다. + - **Decoder** + - **Input** + - CLIP text embedding + - Generated CLIP Image embedding + - **Output** + - Generated Image + - **설명** + - modified GLIDE model 을 Decoder 로 사용했습니다.
+ → 따라서, **projected CLIP text embeddings 를 아키텍쳐**에 통합시킬 수 있다고 주장합니다. +
+ 어떻게 통합시키냐하면, + + 1. GLIDE timestep embedding 에 추가하고, + 2. 4개의 extra context tokens 을 만들어서 GLIDE text encoder 의 output sequence 에 concat 하는거죠. +
+ 이 방법으로 **CLIP image embeddings 를 받아서, 원본 영상을 생성하는 것** 입니다. + + :::{figure-md} +
+
+ GLIDE training process
+ :::
+
+ - GLIDE 를 수정해 사용함으로써 GLIDE 가 가지고 있던+ text-conditional photorealistic image generation capabilities 를 활용할 수 있다고 주장합니다. + +
+ +- **그렇다면 왜 Prior 가 필요할까요?** + 1. **To obtain a full generative model of images**,
+ we combine the CLIP image embedding decoder with a prior model,
+ which generates possible CLIP image embeddings from a given text caption
+ + 라고 하지만.. 딱히 와닿지는 않습니다.
+ 하지만 아직 실망하긴 이릅니다.
+ Prior 의 유무에 따라, 생성된 이미지의 품질을 비교하는 실험을 수행했다고 합니다.
+ 한번 살펴볼까요? + + 2. **아래 세 가지 아키텍쳐를 비교하는 실험 수행**
+ (1) GLIDE 모델처럼, text 의 token embeddings 만 조건으로 주어 실험
+ (2) 추가적으로, CLIP text embeddings 를 조건으로 주어 실험
+ (3) 추가적으로, CLIP image embeddings 를 생성해내는 Prior 를 갖추고 실험
+
+ 실험 결과, (3) 이 가장 훌륭했습니다.
+ 특히 image diversity 가 뛰어났습니다. + + :::{figure-md} +
+
+ 3가지 경우의 아키텍쳐에 따른 실험 결과 from AssemblyAI youtube.
+ :::
+
+ :::{figure-md}
+
+
+ Samples using different conditioning signals for the same decoder.
+ :::
+
+ 그렇지만, 의문이 말끔히 해소되지는 않습니다.
+ 왜냐하면..
+
+ - **95% 의 학습 시간 동안, (3) 방식으로 학습한 Decoder 를,**+ **(1) 과 (2) 방식에 그대로 적용해 실험했습니다.**
+ 따라서 공정한 실험이라고 보긴 어려울 것 같습니다. + - **Decoder 를, True CLIP Image embeddings 와 Generated CLIP Image embeddings 로**
+ **각각 학습시켰을 때의 성능 비교 실험은 없습니다.** +
+ 개인적으로 저는 이러한 결과들을 보고,
+ Prior 를 반드시 써야하는 근거에 대한 설득력이 떨어진다고 생각했습니다. + +
+ +- **왜 CLIP 을 써야할까요?** + 1. CLIP 은 어떤 객체를 묘사한 텍스트와, 그 객체의 시각적 발현 사이의 의미론적 관계를 학습했습니다.
+ 따라서 저자들은 이러한 CLIP 의 능력이 Text-to-Image task 에서 매우 중요하다고 주장합니다. + 2. **CLIP 을 활용한 덕분에 이미지를 Manipulation 할 수 있습니다.** + + :::{figure-md} +
+
+ Text diffs applied to images by interpolating between their CLIP image embeddings and a normalised difference of the CLIP text embeddings produced from the two descriptions.
+ :::
+
+ 어떻게 이미지를 Manipulation 하는지는 곧 자세히 살펴보겠습니다.
+
++ +- **그래서 이 모델은 뭐가 좋은가요?** + - **Evaluation 결과, Diversity 가 뛰어났습니다.** + - 모델을 평가하기 위해서,
+ 주어진 Caption 에 대한 GLIDE 의 생성물과 unCLIP 의 생성물을 사람들에게 제시하고,
+ **Photorealism, Caption Similarity, Diversity** 에 대해서 **점수를 매기도록** 했습니다.
+ + + :::{figure-md} +
+
+ Samples when increasing guidance scale for both unCLIP and GLIDE.
+ :::
+
+ :::{figure-md}
+
+
+ Comparison of unCLIP and GLIDE for different evaluations.
+ :::
+
+ :::{figure-md}
+
+
+ FID versus guidance scale for unCLIP and GLIDE.
+ :::
+
+ 결론은 다음과 같습니다.
+ 1. GLIDE 에 비해서 **Photorealism, Caption Similarity,** 은 Comparable 했습니다.+ (안 좋다.) + 2. 하지만, **Diversity** 는 훨씬 뛰어났습니다. + +
+ + - **Image Manipulations 가 가능합니다.** + - Bipartite Representation + - unCLIP 구조 덕분에,
+ 주어진 이미지 x 를 (z_i, x_T) 와 같은 bipartite latent representation 로 인코딩 가능합니다. + - 이 latent space 를 활용해서, Image manipulation 을 수행할 수 있습니다. + - x_T 는 DDIM inversion 을 z_i 가 condition 된 x 에 적용해 얻으며,
+ Decoder 가 x 를 복원하는데 필요한 잔여 정보들을 지닙니다. + +
+ + 1. **Variations** + + :::{figure-md} +
+
+ Variations of an input image by encoding with CLIP and then decoding with a diffusion model.
+ :::
+
+ - Non-essential details 를 변주하기 위해서,+ bipartite representation 에 DDIM with η > 0 for sampling decoder 를 적용합니다. + - η = 0 일 때, decoder 는 deterministic 해지고 x 자체를 복원해냅니다. + - η 가 커질수록, sampling steps 에는 stochasticity 가 생기고,
+ 원본 이미지 x 근처에서 perceptually “centereed” 된 variations 를 만들어낼 것입니다. + - η 를 키우면, 우리는 CLIP image embedding 에 어떤 정보가 존재하고 어떤 정보가 유실되었는지 탐색 가능합니다.
+ **→ 즉, CLIP latent space 를 탐색해낼 수 있는거죠 !** + +
+ + 2. **Interpolations** + + :::{figure-md} +
+
+ Variations between two images by interpolating their CLIP image embedding and then decoding with a diffusion model.
+ :::
+
+ - 이런 것도 됩니다.+ input image 두 장의 CLIP image embeddings 를 interpolation 해서 Decoder 에 준다면,
+ interpolated image 를 생성할 수 있습니다. + +
+ + 3. **Text Diffs** + + :::{figure-md} +
+
+ Text diffs applied to images by interpolating between their CLIP image embeddings and a normalised difference of the CLIP text embeddings produced from the two descriptions.
+ :::
+
+ - **어떤 이미지와 그 캡션이 주어져있을 때,+ 그 이미지를 우리가 원하는 target text prompt 에 맞게 조작할 수도 있습니다.** + - **Method** + - **z_t0 = current CLIP text embedding** 이고, + - **z_t = target CLIP text embedding** 이라면, + + :::{figure-md} +
+
+ text diff method
+ :::
+
+ - 주어진 이미지의 **CLIP image embdding z_i** 를 + 바로 이 **text diff vector 와 interpolate 해서 Decoding** 하면 이미지가 조작됩니다. + +
+ + - **typographic attaks 에 대해서, Robust 합니다.** + - **typographic attacks** : 이미지 내 사물 위에, 글씨가 쓰여 있는 경우입니다. + - Multimodal 로 학습한 CLIP 은 텍스트에 있는 정보를 더 많이 활용해
+ 사물을 판단하는 경향이 있습니다. + 1. unCLIP 의 Decoder 모델에 “iPod” 텍스트 종이가 붙은 사과를 보고 분류를 수행해보았습니다. + 2. 역시, “Granny Smith” 의 예측 확률을 거의 0 에 가깝다고 판단했습니다. + 3. 그럼에도 불구하고, 사과의 사진으로 recover 해냅니다. + :::{figure-md} +
+
+ Variations of images featuring typographic attacks
+ :::
+
+ 이처럼 DALLE2 는 typographic attacks 에 더욱 robust 합니다.
+
++ +- **이 모델, 단점은 없나요?** + +
+ + 1. **객체(cubes)와 그들의 속성(colors) 을 매칭시키는 능력이 떨어집니다.** + + :::{figure-md} +
+
+ Samples from unCLIP and GLIDE for the prompt “a red cube on top of a blue cube”.
+ :::
+
+ 위 그림처럼, 파란 큐브 위에 빨간 큐브를 그려달라고 했을 때, + DALLE2 는 **아래의 큐브와 위의 큐브에 각각 어떤 색상 (attributes) 를 부여해야할지** 헷갈려합니다. + +
+ + 2. **텍스트를 일관성있게 생성하는 능력이 떨어집니다** + + :::{figure-md} +
+
+ Samples from unCLIP for the prompt, “A sign that says deep learning.”
+ :::
+
+ 물론 이것은 DALLE2 만의 문제는 아닙니다.+ 많은 text-to-image models 가 어려워하는 문제입니다. + +
+ + 3. **복잡한 상황에서 디테일을 묘사하는 능력이 떨어집니다** + + :::{figure-md} +
+
+ unCLIP samples show low levels of detail for some complex scenes.
+ :::
+
+ 복잡한 네온 사인들의 디테일들이 좀 떨어지는 것을 확인하실 수 있습니다.
+
++ +- **Method - Training** + - 본 논문의 Method 에서는, unCLIP 모델의 아키텍쳐에 대한 수학적 justify 를 하고 있습니다. + - Training 데이터셋의 이미지를 x 라 합시다. + - 그에 상응하는 text captions 을 y 라 합시다. + - 각각에 대한 embeddings 인 Z_i, Z_t 를 기존의 CLIP 으로 생성합니다. + - image **x —CLIP Image encoder—> Z_i** image embeddings + - text caption **y —CLIP text encoder—> Z_t** text embeddings + +
+ + - 저자의 주장 + - unCLIP 으로, text caption y 로부터 image x 를 샘플링할 수 있다고 합니다. + + :::{figure-md} +
+
+ P(x|y) equation.
+ :::
+
+ - ***The first equality holds because z_i is a deterministic function of x.***
+ - ***The second equality holds because of the chain rule.***
+
+ + + - **포스팅을 위한 부가 설명** + - z_t 도 y 의 deterministic function 이므로, 다음과 같이 쓸 수 있죠. + + $$ + P(x|y) = P(x, z_i|y, z_t) = P(x|z_i, y, z_t)P(z_i|y, z_t) + $$ + + - 즉 위 공식을 풀어서 해설해보면 다음과 같습니다.
+ Prior 를 사용해 Z_t 로부터 Z_i 를 샘플링하고,
+ Decoder 를 사용해 x 를 샘플링함으로써
+ True conditional distribution 인 P(x|y) 샘플링이 가능해지는 것입니다. + +
+ +- **DALL-E 2 Bias** + +
+ + 개인적으로 DALLe2 와 같은 모델에 Bias 는 없는지 궁금해서 추가적으로 공부해봤습니다.
+ DALLE2 에 Bias 가 있는지,
+ Bias 가 있다면 해소하기 위해 어떤 노력을 하고있는지,
+ Bias 는 대체 어떻게 정량적으로 평가할 수 있는지 조사해봤습니다.
+ + 결과부터 말씀드리면, DALLE2 처럼, 웹크롤링 데이터를 학습한 모델은 Bias 가 존재한다고 합니다.
+ 이런 Bias 를 해소하기 위해서 OpenAI 는 어떤 노력을 하고있는지부터 살펴볼까요? + + [https://github.com/openai/dalle-2-preview/blob/main/system-card.md](https://github.com/openai/dalle-2-preview/blob/main/system-card.md) + + - **현재 OpenAI 가 DALL-E 2 의 Safety 를 위해 하고 있는 노력** + 1. 학습 데이터에서 violent, hate, or adult images 를 제거함으로써
+ 이러한 이미지들에 DALL-E 2 가 노출되는 시간을 최소화했다고 합니다. + 2. Safety policies 를 위반한 text prompts 혹은 생성된 images 를 자정하는 시스템을 보유하고 있다고 합니다. + 3. 신뢰할 수 있는 전문가들과 DALL-E 2 에 대한 사전 검토를 진행했다고 합니다. + +
+ + - **DALL-EVAL : 이미지 생성형 AI 의 Bias 를 평가하는 방법 소개** + + DALLE 와 같은 Text-to-Image 생성형 모델을 정량적으로 평가하는 기법이 있습니다.
+ 바로 DALL-EVAL 입니다. + + [https://arxiv.org/pdf/2202.04053.pdf](https://arxiv.org/pdf/2202.04053.pdf) + + [https://github.com/j-min/DallEval](https://github.com/j-min/DallEval) + + - **Contribution** + - Text to Image Generation models 의 시각적 추론 능력 3가지를 평가하기 위한 데이터셋 제공합니다. + - 최근의 모델들이 object recognition skill 은 상대적으로 뛰어나지만,
+ object counting 및 spaial relation 이해 능력은 떨어짐을 발견했습니다. + - Text to Image Generation models 에 존재하는
+ **gender 및 skin tone biases 를 측정하는 evaluation metrics 와 그 분석 결과를 제시한 최초의 논문** 입니다. + - web 에서 image-text pairs 를 학습한 현재 T2I 생성 모델들은
+ 특정한 gender/skin tone biases 를 학습했음을 보여주었습니다. + + :::{figure-md} +
+
+ Overview of DALL-EVAL evaluation process.
+ :::
+
+ - **Social Bias Evaluation 측정 방법 (Sec. 4.2.1 참고)**
+
+ :::{figure-md}
+
+
+ Overview of DALL-EVAL's social bias evaluation process.
+ :::
+
+ DALL-EVAL 의 자세한 social bias evaluation process 는 다음과 같습니다.
+
+ 1. 우선 **Diagnostic prompts 로 이미지들을 생성합니다.**
+ 1. ex) “a person who works as a nurse”
+ 2. 총 252개의 Diagnostic prompts 제공
+ 2. **Gender, Skin tone, Attributes 를 생성된 이미지로부터 탐지합니다.**
+ 1. using automated detection models and verify the reliability of detection models with human evaluation
+ 2. **Gender**
+ 1. BLIP-2 라는 모델에 생성된 영상을 주면서 영상 내 사람의 성별을 맞추게 합니다.+ BLIP-2 의 답변을 기반으로 Gender Bias 측정합니다. + 3. **Skin tone** + 1. 신경망으로 facial landmark 를 추출하고, illumination 을 측정합니다. + 4. **Attributes** + 1. BLIP-2 라는 모델에 생성된 영상을 주면서 영상 내 사람의 복장을 맞추게 합니다.
+ BLIP-2 의 답변을 기반으로 Attributes Bias 측정합니다. + 3. 탐지된 Gender, Skin tone, Attributes 가
+ unbiased uniform distribution 으로부터 얼마나 skewed 되어있는지 측정합니다. + +
+ + - **실험 결과** + + :::{figure-md} +
+
+ Gender, skin tone, and attribute detection results with automated and expert human evaluation.
+ :::
+
+ :::{figure-md}
+
+
+ Per-profession examples and average gender bias or average skin tone bias of images.
+ :::
+
+ :::{figure-md}
+
+
+ Comparison of overall gender and skin tone bias of each model.
+ :::
+
+ 위 실험 결과와 같이, DALL-EVAL 은 Text-to-Image models 를 정량적으로 평가하는데에 성공했습니다.+ Satble Diffusion 처럼 웹크롤링을 활용해 데이터를 학습한 모델은 Bias 가 존재했습니다.
+ 이처럼 생성형 AI 의 Bias 를 측정하기 위한 다양한 노력이 지속되고 있습니다.
미래에는 생성형 AI 가 더 안전하게 활용될 수 있기를 기대합니다. \ No newline at end of file diff --git a/_sources/docs/review/DDIM.md b/_sources/docs/review/DDIM.md index 35b7ada6..35c780ee 100755 --- a/_sources/docs/review/DDIM.md +++ b/_sources/docs/review/DDIM.md @@ -1,287 +1,287 @@ -```{admonition} Information -- **Title:** Denoising Diffusion Implicit Models (ICLR 2021) - -- **Reference** - - Paper: [https://arxiv.org/abs/2010.02502](https://arxiv.org/abs/2010.02502) - - Code: [Official:](https://github.com/ermongroup/ddim) - -- **Author:** Seunghwan Ji - -- **Last updated on April. 23, 2023** -``` - -# DDIM -## Abstract - -- DDPM의 단점인 Markov Process를 Non markovian process로 정의함으로서 Time efficient, deterministic한 Sampling이 가능한 모델을 제안 - - Deterministic vs Stochastic - -## 1. Introduction - -- 생성 분야에서 GAN(Generative Adversarial Network)이 뛰어난 성능을 보여주고있다. -- 하지만, GAN은 학습 과정에서 불안정성을 보이는 경우가 많다. - - Generator와 Discriminator의 Imbalanced에 의한 Mode collapse -- 그러던 중, DDPM과 NCSN같은 adversarial training구조가 아닌 model들이 등장하였고 성공의 가능성을 보여주었다. -- 이 중 DDPM은 Forward Process에서 Markov Process를 거치는데 이때문에 GAN에 비해 매우 느린 Performance를 보여준다. - - - | sampling | GAN | DDPM | - | --- | --- | --- | - | 32 x 32 x 50k | Less than 1 min | About 20h | - | 256 x 256 x 50k | - | About 1000h | -- DDIM은, - 1. Markov Chain에 기반한 Process를 Non Markovian Process로 대체하였고 - 2. 결국 좀더 빠르고 비교적 우수한 Quality의 결과를 생성해내고, (with accelate) - 3. DDPM과는 다르게 Consistency한 학습 결과를 보여줌으로써 latent간의 Interpolation이 가능하다. - - Consistency? - - If x, y is equivalent, then f(x) = f(y) - -## 2. Background - -### DDPM - -:::{figure-md} -
-
-DDPM & DDIM Architectures
-:::
-
-- DDPM의 Forward Process는 Markov process로 동작한다.
- - ***Markov process***
- - *미래 시점을 예측하기위해 현재 시점의 값을 이용한다.*
- - *미래 시점은 과거 시점의 값에는 독립적인 값을 갖는다.*
-- time step T는 DDPM에서 성능을 좌지우지하는 중요한 Hyper parameter이다. (대충 T=1000 정도?)
-- 하지만, Sampling 과정에서 DDPM은 결국 T 번의 inference 과정을 모두 Sequential하게 거쳐야하고 이는 다른 Method(GAN 등)보다 현저히 느린 속도를 보이는 요소가 된다.
-
-## 3. Variational Inference For Non-Markovian Forward Process
-
-**3.1. Non-Markovian Forward Processes**
-
-- Inference’s Distribution 정의
-
-:::{figure-md}
-
-
-Equation 1
-:::
-
-:::{figure-md}
-
-
-Equation 2
-:::
-- t 시점의 값을 구하기위해 $X_{t-1}$의 값과 $X_{0}$의 값을 참조
- - DDPM은? $X_{t-1}$의 값만을 참조
- - σ는 Forward process의 stochastic한 정도를 조절하는 hyper parameter (chap 4 참조)
-
-**3.2. Generative Process And Unified Variational Inference Objective (Reverse Process)**
-
-:::{figure-md}
-
-
-Equation 3
-:::
-
-:::{figure-md}
-
-
-Equation 4
-:::
-
-1. $X_{t}$을 통해 $X_{0}$의 값을 예측 (trainable)
-2. 위의 식을 통해 $X_{t}$와, $X_{0}$의 값을 이용해 $X_{t-1}$을 샘플링
-
-실제로는
-
-- noise(ε)와 $X_{0}$, $X_{t}$의 관계
-
- :::{figure-md}
-
-
- Equation 5
- :::
-
-1. $X_{t}$을 통해 $X_{0}$을 예측
- 1. t 시점의 이미지를 통해 t 시점의 noise를 예측
- 2. t 시점의 이미지와 t 시점의 noise를 통해 0 시점의 이미지를 계산 (fixed)
-2. 위의 식을 통해 t시점의 값과 예측한 0 시점의 값을 이용해 t-1 시점의 값을 샘플링
-
-## 4. Sampling From Generalized Generative Process
-
-4.1. Denoising Diffusion Implicit Models
-
-1. If σ → 0
-
-:::{figure-md}
-
-
-Equation 6
-:::
-
-1. σ가 특정 값을 가질 때 DDPM의 generative process의 수식과 동일하다.
-:::{figure-md}
-
-
-Explanation of σ
-:::
-4.2. Accelerated Generation Processes
-:::{figure-md}
-
-
-Explanation of accelated method
-:::
-
-- DDIM은 Deterministic하기때문에 모든 시점의 값을 모두 계산할 필요 없이 subset의 시점만으로 sampling이 가능하다.
-- 이 Accelerating method는 약간의 quality 저하가 있지만 Computational efficiency를 충분히 증가시킬 수 있다.
-- **DDIM 방식의 재학습 없이 DDPM의 training에 DDIM의 sampling이 가능하다.**
-
-4.3. Relevance To Neural ODEs
-
-- DDIM은 Object(e.g. 이미지)의 Encoding이 가능한 식을 유도할 수 있다.
-
-## 5. Experiments
-:::{figure-md}
-
-
-Table1
-:::
-
-:::{figure-md}
-
-
-Euqation 7
-:::
-- η → model을 simple하게 control하기위한 hyperparameter
- - η = 1 → Model is DDPM
- - η = 0 → Model is DDIM
-- 모든 비교 모델이 S(sampling 횟수)의 값이 커질수록 더 낮은 FiD를 보여준다.
-- Fig.3의 DDIM은 다른 모델(η가 0이 아닌 모델)과 다르게 sampling step에 consistency한 결과를 보여준다.
-
-:::{figure-md}
-
-
-Figure 4, 5
-:::
-- Step과 Inference time이 linear한 관계를 갖는다.
-- 적은 sampling step에서도 어느정도의 object를 보여준다.
-:::{figure-md}
-
-
-Figure 6
-:::
-- T 시점의 이미지에 interpolation이 가능하다.
-
-## 6. Code
-
-```python
-# https://keras.io/examples/generative/ddim/
-class DiffusionModel(keras.Model):
- def __init__(self, image_size, widths, block_depth):
- super().__init__()
-
- self.normalizer = layers.Normalization()
- self.network = get_network(image_size, widths, block_depth) # unet 구조
-
- def denormalize(self, images):
- # convert the pixel values back to 0-1 range
- images = self.normalizer.mean + images * self.normalizer.variance**0.5
- return tf.clip_by_value(images, 0.0, 1.0)
-
- def diffusion_schedule(self, diffusion_times):
- # diffusion times -> angles
- start_angle = tf.acos(max_signal_rate)
- end_angle = tf.acos(min_signal_rate)
-
- diffusion_angles = start_angle + diffusion_times * (end_angle - start_angle)
-
- # angles -> signal and noise rates
- signal_rates = tf.cos(diffusion_angles)
- noise_rates = tf.sin(diffusion_angles)
- # note that their squared sum is always: sin^2(x) + cos^2(x) = 1
-
- return noise_rates, signal_rates
-
- def denoise(self, noisy_images, noise_rates, signal_rates, training):
- # the exponential moving average weights are used at evaluation
- if training:
- network = self.network
- else:
- network = self.ema_network
-
- # predict noise component and calculate the image component using it
- pred_noises = network([noisy_images, noise_rates**2], training=training)
- pred_images = (noisy_images - noise_rates * pred_noises) / signal_rates
-
- return pred_noises, pred_images
-
-
-
- def train_step(self, images):
- # normalize images to have standard deviation of 1, like the noises
- images = self.normalizer(images, training=True)
- noises = tf.random.normal(shape=(batch_size, image_size, image_size, 3))
-
- # sample uniform random diffusion times
- diffusion_times = tf.random.uniform(
- shape=(batch_size, 1, 1, 1), minval=0.0, maxval=1.0
- )
- noise_rates, signal_rates = self.diffusion_schedule(diffusion_times)
- # mix the images with noises accordingly
- noisy_images = signal_rates * images + noise_rates * noises
-
- with tf.GradientTape() as tape:
- # train the network to separate noisy images to their components
- pred_noises, pred_images = self.denoise(
- noisy_images, noise_rates, signal_rates, training=True
- )
-
- noise_loss = self.loss(noises, pred_noises) # used for training
- image_loss = self.loss(images, pred_images) # only used as metric
-
- gradients = tape.gradient(noise_loss, self.network.trainable_weights)
- self.optimizer.apply_gradients(zip(gradients, self.network.trainable_weights))
-
- self.noise_loss_tracker.update_state(noise_loss)
- self.image_loss_tracker.update_state(image_loss)
-
- return {m.name: m.result() for m in self.metrics[:-1]}
-
- def reverse_diffusion(self, initial_noise, diffusion_steps):
- # reverse diffusion = sampling
- num_images = initial_noise.shape[0]
- step_size = 1.0 / diffusion_steps
-
- # important line:
- # at the first sampling step, the "noisy image" is pure noise
- # but its signal rate is assumed to be nonzero (min_signal_rate)
- next_noisy_images = initial_noise
- for step in range(diffusion_steps):
- noisy_images = next_noisy_images
-
- # separate the current noisy image to its components
- diffusion_times = tf.ones((num_images, 1, 1, 1)) - step * step_size
- noise_rates, signal_rates = self.diffusion_schedule(diffusion_times)
- pred_noises, pred_images = self.denoise(
- noisy_images, noise_rates, signal_rates, training=False
- )
- # network used in eval mode
-
- # remix the predicted components using the next signal and noise rates
- next_diffusion_times = diffusion_times - step_size
- next_noise_rates, next_signal_rates = self.diffusion_schedule(
- next_diffusion_times
- )
- next_noisy_images = (
- next_signal_rates * pred_images + next_noise_rates * pred_noises
- )
- # this new noisy image will be used in the next step
-
- return pred_images
-
- def generate(self, num_images, diffusion_steps):
- # noise -> images -> denormalized images
- initial_noise = tf.random.normal(shape=(num_images, image_size, image_size, 3))
- generated_images = self.reverse_diffusion(initial_noise, diffusion_steps)
- generated_images = self.denormalize(generated_images)
- return generated_images
-```
+```{admonition} Information
+- **Title:** Denoising Diffusion Implicit Models (ICLR 2021)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2010.02502](https://arxiv.org/abs/2010.02502)
+ - Code: [Official:](https://github.com/ermongroup/ddim)
+
+- **Author:** Seunghwan Ji
+
+- **Last updated on April. 23, 2023**
+```
+
+# DDIM
+## Abstract
+
+- DDPM의 단점인 Markov Process를 Non markovian process로 정의함으로서 Time efficient, deterministic한 Sampling이 가능한 모델을 제안
+ - Deterministic vs Stochastic
+
+## 1. Introduction
+
+- 생성 분야에서 GAN(Generative Adversarial Network)이 뛰어난 성능을 보여주고있다.
+- 하지만, GAN은 학습 과정에서 불안정성을 보이는 경우가 많다.
+ - Generator와 Discriminator의 Imbalanced에 의한 Mode collapse
+- 그러던 중, DDPM과 NCSN같은 adversarial training구조가 아닌 model들이 등장하였고 성공의 가능성을 보여주었다.
+- 이 중 DDPM은 Forward Process에서 Markov Process를 거치는데 이때문에 GAN에 비해 매우 느린 Performance를 보여준다.
+
+
+ | sampling | GAN | DDPM |
+ | --- | --- | --- |
+ | 32 x 32 x 50k | Less than 1 min | About 20h |
+ | 256 x 256 x 50k | - | About 1000h |
+- DDIM은,
+ 1. Markov Chain에 기반한 Process를 Non Markovian Process로 대체하였고
+ 2. 결국 좀더 빠르고 비교적 우수한 Quality의 결과를 생성해내고, (with accelate)
+ 3. DDPM과는 다르게 Consistency한 학습 결과를 보여줌으로써 latent간의 Interpolation이 가능하다.
+ - Consistency?
+ - If x, y is equivalent, then f(x) = f(y)
+
+## 2. Background
+
+### DDPM
+
+:::{figure-md}
+
+
+DDPM & DDIM Architectures
+:::
+
+- DDPM의 Forward Process는 Markov process로 동작한다.
+ - ***Markov process***
+ - *미래 시점을 예측하기위해 현재 시점의 값을 이용한다.*
+ - *미래 시점은 과거 시점의 값에는 독립적인 값을 갖는다.*
+- time step T는 DDPM에서 성능을 좌지우지하는 중요한 Hyper parameter이다. (대충 T=1000 정도?)
+- 하지만, Sampling 과정에서 DDPM은 결국 T 번의 inference 과정을 모두 Sequential하게 거쳐야하고 이는 다른 Method(GAN 등)보다 현저히 느린 속도를 보이는 요소가 된다.
+
+## 3. Variational Inference For Non-Markovian Forward Process
+
+**3.1. Non-Markovian Forward Processes**
+
+- Inference’s Distribution 정의
+
+:::{figure-md}
+
+
+Equation 1
+:::
+
+:::{figure-md}
+
+
+Equation 2
+:::
+- t 시점의 값을 구하기위해 $X_{t-1}$의 값과 $X_{0}$의 값을 참조
+ - DDPM은? $X_{t-1}$의 값만을 참조
+ - σ는 Forward process의 stochastic한 정도를 조절하는 hyper parameter (chap 4 참조)
+
+**3.2. Generative Process And Unified Variational Inference Objective (Reverse Process)**
+
+:::{figure-md}
+
+
+Equation 3
+:::
+
+:::{figure-md}
+
+
+Equation 4
+:::
+
+1. $X_{t}$을 통해 $X_{0}$의 값을 예측 (trainable)
+2. 위의 식을 통해 $X_{t}$와, $X_{0}$의 값을 이용해 $X_{t-1}$을 샘플링
+
+실제로는
+
+- noise(ε)와 $X_{0}$, $X_{t}$의 관계
+
+ :::{figure-md}
+
+
+ Equation 5
+ :::
+
+1. $X_{t}$을 통해 $X_{0}$을 예측
+ 1. t 시점의 이미지를 통해 t 시점의 noise를 예측
+ 2. t 시점의 이미지와 t 시점의 noise를 통해 0 시점의 이미지를 계산 (fixed)
+2. 위의 식을 통해 t시점의 값과 예측한 0 시점의 값을 이용해 t-1 시점의 값을 샘플링
+
+## 4. Sampling From Generalized Generative Process
+
+4.1. Denoising Diffusion Implicit Models
+
+1. If σ → 0
+
+:::{figure-md}
+
+
+Equation 6
+:::
+
+1. σ가 특정 값을 가질 때 DDPM의 generative process의 수식과 동일하다.
+:::{figure-md}
+
+
+Explanation of σ
+:::
+4.2. Accelerated Generation Processes
+:::{figure-md}
+
+
+Explanation of accelated method
+:::
+
+- DDIM은 Deterministic하기때문에 모든 시점의 값을 모두 계산할 필요 없이 subset의 시점만으로 sampling이 가능하다.
+- 이 Accelerating method는 약간의 quality 저하가 있지만 Computational efficiency를 충분히 증가시킬 수 있다.
+- **DDIM 방식의 재학습 없이 DDPM의 training에 DDIM의 sampling이 가능하다.**
+
+4.3. Relevance To Neural ODEs
+
+- DDIM은 Object(e.g. 이미지)의 Encoding이 가능한 식을 유도할 수 있다.
+
+## 5. Experiments
+:::{figure-md}
+
+
+Table1
+:::
+
+:::{figure-md}
+
+
+Euqation 7
+:::
+- η → model을 simple하게 control하기위한 hyperparameter
+ - η = 1 → Model is DDPM
+ - η = 0 → Model is DDIM
+- 모든 비교 모델이 S(sampling 횟수)의 값이 커질수록 더 낮은 FiD를 보여준다.
+- Fig.3의 DDIM은 다른 모델(η가 0이 아닌 모델)과 다르게 sampling step에 consistency한 결과를 보여준다.
+
+:::{figure-md}
+
+
+Figure 4, 5
+:::
+- Step과 Inference time이 linear한 관계를 갖는다.
+- 적은 sampling step에서도 어느정도의 object를 보여준다.
+:::{figure-md}
+
+
+Figure 6
+:::
+- T 시점의 이미지에 interpolation이 가능하다.
+
+## 6. Code
+
+```python
+# https://keras.io/examples/generative/ddim/
+class DiffusionModel(keras.Model):
+ def __init__(self, image_size, widths, block_depth):
+ super().__init__()
+
+ self.normalizer = layers.Normalization()
+ self.network = get_network(image_size, widths, block_depth) # unet 구조
+
+ def denormalize(self, images):
+ # convert the pixel values back to 0-1 range
+ images = self.normalizer.mean + images * self.normalizer.variance**0.5
+ return tf.clip_by_value(images, 0.0, 1.0)
+
+ def diffusion_schedule(self, diffusion_times):
+ # diffusion times -> angles
+ start_angle = tf.acos(max_signal_rate)
+ end_angle = tf.acos(min_signal_rate)
+
+ diffusion_angles = start_angle + diffusion_times * (end_angle - start_angle)
+
+ # angles -> signal and noise rates
+ signal_rates = tf.cos(diffusion_angles)
+ noise_rates = tf.sin(diffusion_angles)
+ # note that their squared sum is always: sin^2(x) + cos^2(x) = 1
+
+ return noise_rates, signal_rates
+
+ def denoise(self, noisy_images, noise_rates, signal_rates, training):
+ # the exponential moving average weights are used at evaluation
+ if training:
+ network = self.network
+ else:
+ network = self.ema_network
+
+ # predict noise component and calculate the image component using it
+ pred_noises = network([noisy_images, noise_rates**2], training=training)
+ pred_images = (noisy_images - noise_rates * pred_noises) / signal_rates
+
+ return pred_noises, pred_images
+
+
+
+ def train_step(self, images):
+ # normalize images to have standard deviation of 1, like the noises
+ images = self.normalizer(images, training=True)
+ noises = tf.random.normal(shape=(batch_size, image_size, image_size, 3))
+
+ # sample uniform random diffusion times
+ diffusion_times = tf.random.uniform(
+ shape=(batch_size, 1, 1, 1), minval=0.0, maxval=1.0
+ )
+ noise_rates, signal_rates = self.diffusion_schedule(diffusion_times)
+ # mix the images with noises accordingly
+ noisy_images = signal_rates * images + noise_rates * noises
+
+ with tf.GradientTape() as tape:
+ # train the network to separate noisy images to their components
+ pred_noises, pred_images = self.denoise(
+ noisy_images, noise_rates, signal_rates, training=True
+ )
+
+ noise_loss = self.loss(noises, pred_noises) # used for training
+ image_loss = self.loss(images, pred_images) # only used as metric
+
+ gradients = tape.gradient(noise_loss, self.network.trainable_weights)
+ self.optimizer.apply_gradients(zip(gradients, self.network.trainable_weights))
+
+ self.noise_loss_tracker.update_state(noise_loss)
+ self.image_loss_tracker.update_state(image_loss)
+
+ return {m.name: m.result() for m in self.metrics[:-1]}
+
+ def reverse_diffusion(self, initial_noise, diffusion_steps):
+ # reverse diffusion = sampling
+ num_images = initial_noise.shape[0]
+ step_size = 1.0 / diffusion_steps
+
+ # important line:
+ # at the first sampling step, the "noisy image" is pure noise
+ # but its signal rate is assumed to be nonzero (min_signal_rate)
+ next_noisy_images = initial_noise
+ for step in range(diffusion_steps):
+ noisy_images = next_noisy_images
+
+ # separate the current noisy image to its components
+ diffusion_times = tf.ones((num_images, 1, 1, 1)) - step * step_size
+ noise_rates, signal_rates = self.diffusion_schedule(diffusion_times)
+ pred_noises, pred_images = self.denoise(
+ noisy_images, noise_rates, signal_rates, training=False
+ )
+ # network used in eval mode
+
+ # remix the predicted components using the next signal and noise rates
+ next_diffusion_times = diffusion_times - step_size
+ next_noise_rates, next_signal_rates = self.diffusion_schedule(
+ next_diffusion_times
+ )
+ next_noisy_images = (
+ next_signal_rates * pred_images + next_noise_rates * pred_noises
+ )
+ # this new noisy image will be used in the next step
+
+ return pred_images
+
+ def generate(self, num_images, diffusion_steps):
+ # noise -> images -> denormalized images
+ initial_noise = tf.random.normal(shape=(num_images, image_size, image_size, 3))
+ generated_images = self.reverse_diffusion(initial_noise, diffusion_steps)
+ generated_images = self.denormalize(generated_images)
+ return generated_images
+```
diff --git a/_sources/docs/review/DDPM.md b/_sources/docs/review/DDPM.md
index 9aa5aeb9..099b7b34 100755
--- a/_sources/docs/review/DDPM.md
+++ b/_sources/docs/review/DDPM.md
@@ -1,519 +1,519 @@
-```{admonition} Information
-- **Title:** Denoising Diffusion Probabilistic Models (NeurIPS 2020)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2006.11239](https://arxiv.org/abs/2006.11239)
- - Code: [PyTorch implementation:](https://github.com/lucidrains/denoising-diffusion-pytorch)
- - Review: [PR-409: Denoising Diffusion Probabilistic Models](https://www.youtube.com/watch?v=1j0W_lu55nc)
-
-- **Author:** Beomsoo Park
-
-- **Last updated on Apr. 19, 2023**
-```
-
-
-# DDPM
-
-
-:::{figure-md}
-
-
-DDPM samples \ (source: https://arxiv.org/abs/2006.11239)
-:::
-
-
----
-# 1. Introduction
-
-:::{figure-md}
-
-
-Diffusion models \ (source: https://velog.io/@yetsyl0705/What-are-Diffusion-Models)
-:::
-
-**Diffusion model**은 **variational inference로 학습시켜 데이터를 생성하는 parameterized Markov chain**. Diffusion model은 Markov가 데이터가 normal distribution의 형태를 할 때까지 **noise를 더해가는 diffusion process**와 **이를 역으로 거치며 학습하는 reverse process**로 구성됨.
-
-Diffusion model은 정의하기 쉽고 학습시키는 것도 편리함. 또한 높은 품질의 sample(output)도 생성이 가능.
-
-> - **Variational inference(변분추론)**: 사후확률(posterior) 분포 $p(z
-|x)$를 다루기 쉬운 확률분포 $q(z)$로 근사(approximation)하는 것
-> - **Parameterize**: 하나의 표현식에 대해 다른 parameter를 사용하여 다시 표현하는 과정. 이 과정에서 보통 parameter의 개수를 표현 식의 차수보다 적은 수로 선택(ex. 3차 표현식 --> 2개 parameter 사용)하므로, 낮은 차수로의 mapping 함수(ex. 3D --> 2D)가 생성
-> - **Markov chain**: 어떤 상태에서 다른 상태로 넘어갈 때, 바로 전 단계의 상태에만 영향을 받는 확률 과정
-
----
-# 2. Background
-
-:::{figure-md}
-
-
-Graphical model of DDPM \ (source: https://arxiv.org/abs/2006.11239)
-:::
-
-## 2-1. Forward(diffusion) process $q(\mathbf{x}_t|\mathbf{x}_{t-1})$
-
-$$
-q\left(\mathbf{x}_{1: T} \mid \mathbf{x}_0\right):=\prod_{t=1}^T q\left(\mathbf{x}_t \mid \mathbf{x}_{t-1}\right), \quad q\left(\mathbf{x}_t \mid \mathbf{x}_{t-1}\right):=\mathcal{N}\left(\mathbf{x}_t ; \sqrt{1-\beta_t} \mathbf{x}_{t-1}, \beta_t \mathbf{I}\right)
-$$
-
-Markov chain으로 **data에 noise를 추가**하는 과정. Noise를 추가할 때 **variance schedule $\beta_1,,,\beta_T$로 scaling**을 한 후 더해준다.
-- $\beta_t = 1$이면 mean인 $\sqrt{1-\beta_t}\mathbf{x}_{t-1} = 0$. 이전 정보를 갖지 못하고 노이즈가 증가함
-- 단순히 noise만을 더해주는게 아니라 $\sqrt{1-\beta_t}$로 scaling하는 이유는 variance가 발산하는 것을 막기 위함
-- $q(x_1|x_0)$: $x_0$에 noise를 추가해 $x_1$을 만드는 과정
-- $x_T$는 완전 destroy된 noise 상태 ~ $N(x_T;0, I)$
-
-## 2-2. Reverse process $p(\mathbf{x}_{t-1}|\mathbf{x}_t)$
-
-$$
-p_\theta\left(\mathbf{x}_{0: T}\right):=p\left(\mathbf{x}_T\right) \prod_{t=1}^T p_\theta\left(\mathbf{x}_{t-1} \mid \mathbf{x}_t\right), \quad p_\theta\left(\mathbf{x}_{t-1} \mid \mathbf{x}_t\right):=\mathcal{N}\left(\mathbf{x}_{t-1} ; \boldsymbol{\mu}_\theta\left(\mathbf{x}_t, t\right), \boldsymbol{\Sigma}_\theta\left(\mathbf{x}_t, t\right)\right)
-$$
-
-Reverse process로 가우시안 노이즈를 사용하는 이유는 1994년 논문에 forward process가 가우시안이면 reverse process도 가우시안으로 쓰면 된다라는 증명이 있다고 함.
-
-여기서 우리가 해야 할 것은 **$\mathbf{x}_t$를 보고 $\mathbf{x}_{t-1}$의 평균 $\mu_\theta$과 분산 $\Sigma_\theta$을 예측해내는 것**.
-- Hierarachical VAE에서의 decoding 과정과 비슷함
-- $\mu_\theta$과 분산 $\Sigma_\theta$는 학습 가능한 parameter
-
-
-## 2-3. Loss Function $L$
-
-Diffusion model의 목적은 **noise를 어떻게 제거할 것인가?**이다. $x_t$가 들어왔을 때 $x_{t-1}$을 예측할 수 있다면 $x_0$ 또한 예측이 가능해짐.
-
-$$
-\mathbb{E}\left[-\log p_\theta\left(\mathbf{x}_0\right)\right] \leq \mathbb{E}_q\left[-\log \frac{p_\theta\left(\mathbf{x}_{0: T}\right)}{q\left(\mathbf{x}_{1: T} \mid \mathbf{x}_0\right)}\right]=\mathbb{E}_q\left[-\log p\left(\mathbf{x}_T\right)-\sum_{t \geq 1} \log \frac{p_\theta\left(\mathbf{x}_{t-1} \mid \mathbf{x}_t\right)}{q\left(\mathbf{x}_t \mid \mathbf{x}_{t-1}\right)}\right]=: L
-$$
-
-본 논문에서는 **negative log likelihood를 최소화**하는 방향으로 진행. 위 수식을 **ELBO**(Evidence of Lower BOund)로 우항과 같이 정리하고 이를 풀어내면
-
-> ELBO의 역할은 우리가 관찰한 P(z|x)가 다루기 힘든 분포를 이루고 있을 때 이를 조금 더 다루기 쉬운 분포인 Q(x)로 대신 표현하려 하는 과정에서 **두 분포 (P(z|x)와 Q(x))의 차이 (KL Divergence)를 최소화** 하기 위해 사용된다.
-
-$$
-\mathbb{E}_q[\underbrace{D_{\mathrm{KL}}\left(q\left(\mathbf{x}_T \mid \mathbf{x}_0\right) \| p\left(\mathbf{x}_T\right)\right)}_{L_T}+\sum_{t>1} \underbrace{D_{\mathrm{KL}}\left(q\left(\mathbf{x}_{t-1} \mid \mathbf{x}_t, \mathbf{x}_0\right) \| p_\theta\left(\mathbf{x}_{t-1} \mid \mathbf{x}_t\right)\right)}_{L_{t-1}} \underbrace{-\log p_\theta\left(\mathbf{x}_0 \mid \mathbf{x}_1\right)}_{L_0}]
-$$
-
-와 같은 결과가 나온다.
-
-- $L_T$: Regularization term으로 $\beta_t$를 학습시킴
-- $L_{t-1}$: Reconstruction term으로 매 단계에서 noise를 지우는 지움
-- $L_0$: Reconstruction term으로 최종 단계에서 image를 생성
-
----
-# 3. Diffusion models and denoising encoders
-
-DDPM에서는 **inductive bias를 늘려** 모델을 더 stable하고 성능도 개선할 수 있었음.
-
-> Inductive bias: 학습 모델이 지금까지 만나보지 못했던 상황에서 정확한 예측을 하기 위해 사용하는 **추가적인 가정**, 즉 우리가 풀려는 문제에 대한 정보를 모델에 적용하는 것
-
-
-## 3-1. Forward process and $L_T$
-
-**$\beta_t$를 고정**했더니 학습이 잘됨. 10^-4 ~ 0.02로 linear하게 image에 가까울수록 noise를 적게 주는 방식으로 설정.
-
-따라서 $q$에는 학습 가능한 parameter가 없어 **$L_T$는 0이 되기 때문에 삭제**할 수 있었음.
-
-## 3-2. Reverse process and $L_{1:T-1}$
-
-
-$$
-L_{t-1}=D_{K L}\left(q\left(x_{t-1} \mid x_t, x_0\right) \| p_\theta\left(x_{t-1} \mid x_t\right)\right)
-$$
-
-- $
-q\left(x_{t-1} \mid x_t, x_0\right)=N\left(x_{t-1} ; \tilde{\mu}\left(x_t, x_0\right), \tilde{\beta}_t \mathrm{I}\right)
-$
-- $
-p_\theta\left(x_{t-1} \mid x_t\right)=\mathcal{N}\left(x_{t-1} ; \mu_\theta\left(x_t, t\right), \sum_\theta\left(x_t, t\right)\right)
-$
-
-
-$L_{1:T-1}$는 forward progress posterior를 예측하는 loss. $\mathbf{x}_{t-1}$에서 noise를 더해 $\mathbf{x}_{t}$를 만들었을때, 그 과정을 복원 $p(\mathbf{x}_{t-1}|\mathbf{x}_t)$ 하는 과정을 학습.
-
-:::{figure-md}
-
-
-Loss Simplication \ (source: https://velog.io/@sjina0722/%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0-Denoising-Diffusion-Probabilistic-Models)
-:::
-
-- $\Sigma_\theta$: $\beta$를 상수로 가정했고 $p(\mathbf{x}_{t-1}|\mathbf{x}_t)$의 variance가 $\beta$에 영향을 받기 때문에 학습시키지 않아도 된다고 생각해 **variance term을 제거**함.
-
-:::{figure-md}
-
-
-Residual Estimation \ (source: https://velog.io/@sjina0722/%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0-Denoising-Diffusion-Probabilistic-Models)
-:::
-
-- $\mu_\theta$: DDPM에서는 $\mu_\theta$를 바로 구하지 않고 **residual $\epsilon_\theta$만 구해 정확도를 높임**.
-
-## 3-3. Data scaling, reverse process decoder and $L_0$
-
-$$
-\begin{aligned}
-p_\theta\left(\mathbf{x}_0 \mid \mathbf{x}_1\right) & =\prod_{i=1}^D \int_{\delta_{-}\left(x_0^i\right)}^{\delta_{+}\left(x_0^i\right)} \mathcal{N}\left(x ; \mu_\theta^i\left(\mathbf{x}_1, 1\right), \sigma_1^2\right) d x \\
-\delta_{+}(x) & =\left\{\begin{array}{ll}
-\infty & \text { if } x=1 \\
-x+\frac{1}{255} & \text { if } x<1
-\end{array} \quad \delta_{-}(x)= \begin{cases}-\infty & \text { if } x=-1 \\
-x-\frac{1}{255} & \text { if } x>-1\end{cases} \right.
-\end{aligned}
-$$
-
-[0, 255]의 image를 [-1,1] 사이로 linearly mapping. Sampling 마지막 단계에는 noise를 추가하지 않음.
-
-
-$L_0$은 두 normal distribution 사이의 KL divergence를 나타냄.
-- $D$: Data dimensionality
-- $i$: 좌표
-
-
-## 3-4. Simplified training objective
-
-:::{figure-md}
-
-
-Simplified training objective \ (source: https://velog.io/@sjina0722/%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0-Denoising-Diffusion-Probabilistic-Models)
-:::
-
-:::{figure-md}
-
-
-Final Loss \ (source: https://velog.io/@sjina0722/%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0-Denoising-Diffusion-Probabilistic-Models)
-:::
-
-최종 loss는 위와 같이 나타난다. Ground truth - estimated output간 MSE loss를 줄이는 과정이 denoising과 비슷해 DDPM이라는 이름이 붙음.
-
-Simplified objective을 통해 diffusion process를 학습하면 매우 작은 t 에서뿐만 아니라 **큰 t에 대해서도 network 학습이 가능하기 때문에 매우 효과적**.
-
-:::{figure-md}
-
-
-Psuedo code of training process \ (source: https://arxiv.org/abs/2006.11239)
-:::
-
-- Algorithm 1: Training
- - Noise를 더해나가는 과정, network($\epsilon_\theta$, $p_\theta$)가 t step에서 noise($\epsilon$)가 얼마만큼 더해졌는지를 학습한다.
- - 학습 시에는 특정 step의 이미지가 얼마나 gaussian noise가 추가되었는지를 예측하도록 학습된다.
- - 코드에서는 랜덤 노이즈와 시간 단계 t로 노이즈가 추가된 이미지를 얻고 해당 이미지를 보고 모델이 노이즈를 예측
-
-```python
-def p_losses(self, x_start, t, noise = None):
- b, c, h, w = x_start.shape
- noise = default(noise, lambda: torch.randn_like(x_start))
-
- # noise sample
-
- x = self.q_sample(x_start = x_start, t = t, noise = noise)
-
- # if doing self-conditioning, 50% of the time, predict x_start from current set of times
- # and condition with unet with that
- # this technique will slow down training by 25%, but seems to lower FID significantly
-
- x_self_cond = None
- if self.self_condition and random() < 0.5:
- with torch.no_grad():
- x_self_cond = self.model_predictions(x, t).pred_x_start
- x_self_cond.detach_()
-
- # predict and take gradient step
-
- model_out = self.model(x, t, x_self_cond)
-
- if self.objective == 'pred_noise':
- target = noise
- elif self.objective == 'pred_x0':
- target = x_start
- elif self.objective == 'pred_v':
- v = self.predict_v(x_start, t, noise)
- target = v
- else:
- raise ValueError(f'unknown objective {self.objective}')
-
- loss = self.loss_fn(model_out, target, reduction = 'none')
- loss = reduce(loss, 'b ... -> b (...)', 'mean')
-
- loss = loss * extract(self.loss_weight, t, loss.shape)
- return loss.mean()
- ```
-
-- Algorithm 2: Sampling
- - Network를 학습하고 나면, gaussian noise에서 시작해서 순차적으로 denoising 하는 것이 가능하다. (by parameterized markovian chain)
- - 코드에서는 noise 제거 후 소량의 noise를 다시 추가하고 있음
-
-```python
-@torch.no_grad()
-def p_sample(self, x, t: int, x_self_cond = None):
- b, *_, device = *x.shape, x.device
- batched_times = torch.full((b,), t, device = x.device, dtype = torch.long)
- model_mean, _, model_log_variance, x_start = self.p_mean_variance(x = x, t = batched_times, x_self_cond = x_self_cond, clip_denoised = True)
- noise = torch.randn_like(x) if t > 0 else 0. # no noise if t == 0
- pred_img = model_mean + (0.5 * model_log_variance).exp() * noise
- return pred_img, x_start
-```
-
-
-
-# 4. Experiments
-
-- T: 1000
-- backbone: U-Net
-각 down/upsampling 단계는 ResNet/ConvNext 블록 2개 + (groupnorm + attention + residual) + down/upsampling으로 구성됨
-
-```python
-block_klass = partial(ResnetBlock, groups = resnet_block_groups)
-
-self.downs.append(nn.ModuleList([
- block_klass(dim_in, dim_in, time_emb_dim = time_dim),
- block_klass(dim_in, dim_in, time_emb_dim = time_dim),
- Residual(PreNorm(dim_in, LinearAttention(dim_in))),
- Downsample(dim_in, dim_out) if not is_last else nn.Conv2d(dim_in, dim_out, 3, padding = 1)
- ]))
-
- self.ups.append(nn.ModuleList([
- block_klass(dim_out + dim_in, dim_out, time_emb_dim = time_dim),
- block_klass(dim_out + dim_in, dim_out, time_emb_dim = time_dim),
- Residual(PreNorm(dim_out, LinearAttention(dim_out))),
- Upsample(dim_out, dim_in) if not is_last else nn.Conv2d(dim_out, dim_in, 3, padding = 1)
- ]))
-
-```
-
-
-```python
-class Unet(nn.Module):
- def __init__(
- self,
- dim,
- init_dim = None,
- out_dim = None,
- dim_mults=(1, 2, 4, 8),
- channels = 3,
- self_condition = False,
- resnet_block_groups = 8,
- learned_variance = False,
- learned_sinusoidal_cond = False,
- random_fourier_features = False,
- learned_sinusoidal_dim = 16
- ):
- super().__init__()
-
- # determine dimensions
-
- self.channels = channels
- self.self_condition = self_condition
- input_channels = channels * (2 if self_condition else 1)
-
- init_dim = default(init_dim, dim)
- self.init_conv = nn.Conv2d(input_channels, init_dim, 7, padding = 3)
-
- dims = [init_dim, *map(lambda m: dim * m, dim_mults)]
- in_out = list(zip(dims[:-1], dims[1:]))
-
- block_klass = partial(ResnetBlock, groups = resnet_block_groups)
-
- # time embeddings
-
- time_dim = dim * 4
-
- self.random_or_learned_sinusoidal_cond = learned_sinusoidal_cond or random_fourier_features
-
- if self.random_or_learned_sinusoidal_cond:
- sinu_pos_emb = RandomOrLearnedSinusoidalPosEmb(learned_sinusoidal_dim, random_fourier_features)
- fourier_dim = learned_sinusoidal_dim + 1
- else:
- sinu_pos_emb = SinusoidalPosEmb(dim)
- fourier_dim = dim
-
- self.time_mlp = nn.Sequential(
- sinu_pos_emb,
- nn.Linear(fourier_dim, time_dim),
- nn.GELU(),
- nn.Linear(time_dim, time_dim)
- )
-
- # layers
-
- self.downs = nn.ModuleList([])
- self.ups = nn.ModuleList([])
- num_resolutions = len(in_out)
-
- for ind, (dim_in, dim_out) in enumerate(in_out):
- is_last = ind >= (num_resolutions - 1)
-
- self.downs.append(nn.ModuleList([
- block_klass(dim_in, dim_in, time_emb_dim = time_dim),
- block_klass(dim_in, dim_in, time_emb_dim = time_dim),
- Residual(PreNorm(dim_in, LinearAttention(dim_in))),
- Downsample(dim_in, dim_out) if not is_last else nn.Conv2d(dim_in, dim_out, 3, padding = 1)
- ]))
-
- mid_dim = dims[-1]
- self.mid_block1 = block_klass(mid_dim, mid_dim, time_emb_dim = time_dim)
- self.mid_attn = Residual(PreNorm(mid_dim, Attention(mid_dim)))
- self.mid_block2 = block_klass(mid_dim, mid_dim, time_emb_dim = time_dim)
-
- for ind, (dim_in, dim_out) in enumerate(reversed(in_out)):
- is_last = ind == (len(in_out) - 1)
-
- self.ups.append(nn.ModuleList([
- block_klass(dim_out + dim_in, dim_out, time_emb_dim = time_dim),
- block_klass(dim_out + dim_in, dim_out, time_emb_dim = time_dim),
- Residual(PreNorm(dim_out, LinearAttention(dim_out))),
- Upsample(dim_out, dim_in) if not is_last else nn.Conv2d(dim_out, dim_in, 3, padding = 1)
- ]))
-
- default_out_dim = channels * (1 if not learned_variance else 2)
- self.out_dim = default(out_dim, default_out_dim)
-
- self.final_res_block = block_klass(dim * 2, dim, time_emb_dim = time_dim)
- self.final_conv = nn.Conv2d(dim, self.out_dim, 1)
-
- def forward(self, x, time, x_self_cond = None):
- if self.self_condition:
- x_self_cond = default(x_self_cond, lambda: torch.zeros_like(x))
- x = torch.cat((x_self_cond, x), dim = 1)
-
- x = self.init_conv(x)
- r = x.clone()
-
- t = self.time_mlp(time)
-
- h = []
-
- for block1, block2, attn, downsample in self.downs:
- x = block1(x, t)
- h.append(x)
-
- x = block2(x, t)
- x = attn(x)
- h.append(x)
-
- x = downsample(x)
-
- x = self.mid_block1(x, t)
- x = self.mid_attn(x)
- x = self.mid_block2(x, t)
-
- for block1, block2, attn, upsample in self.ups:
- x = torch.cat((x, h.pop()), dim = 1)
- x = block1(x, t)
-
- x = torch.cat((x, h.pop()), dim = 1)
- x = block2(x, t)
- x = attn(x)
-
- x = upsample(x)
-
- x = torch.cat((x, r), dim = 1)
-
- x = self.final_res_block(x, t)
- return self.final_conv(x)
-```
-
-
-
-- 16 x 16 feature map resolution에 self-attention. conv에서 차원을 3배로 늘리고 q,k,v로 분해.
-
-```python
-class Attention(nn.Module):
- def __init__(self, dim, heads = 4, dim_head = 32):
- super().__init__()
- self.scale = dim_head ** -0.5
- self.heads = heads
- hidden_dim = dim_head * heads
-
- self.to_qkv = nn.Conv2d(dim, hidden_dim * 3, 1, bias = False)
- self.to_out = nn.Conv2d(hidden_dim, dim, 1)
-
- def forward(self, x):
- b, c, h, w = x.shape
- qkv = self.to_qkv(x).chunk(3, dim = 1)
- q, k, v = map(lambda t: rearrange(t, 'b (h c) x y -> b h c (x y)', h = self.heads), qkv)
-
- q = q * self.scale
-
- sim = einsum('b h d i, b h d j -> b h i j', q, k)
- attn = sim.softmax(dim = -1)
- out = einsum('b h i j, b h d j -> b h i d', attn, v)
-
- out = rearrange(out, 'b h (x y) d -> b (h d) x y', x = h, y = w)
- return self.to_out(out)
-```
-
-- Linear attention
-```python
-class LinearAttention(nn.Module):
- def __init__(self, dim, heads = 4, dim_head = 32):
- super().__init__()
- self.scale = dim_head ** -0.5
- self.heads = heads
- hidden_dim = dim_head * heads
- self.to_qkv = nn.Conv2d(dim, hidden_dim * 3, 1, bias = False)
-
- self.to_out = nn.Sequential(
- nn.Conv2d(hidden_dim, dim, 1),
- LayerNorm(dim)
- )
-
- def forward(self, x):
- b, c, h, w = x.shape
- qkv = self.to_qkv(x).chunk(3, dim = 1)
- q, k, v = map(lambda t: rearrange(t, 'b (h c) x y -> b h c (x y)', h = self.heads), qkv)
-
- q = q.softmax(dim = -2)
- k = k.softmax(dim = -1)
-
- q = q * self.scale
- v = v / (h * w)
-
- context = torch.einsum('b h d n, b h e n -> b h d e', k, v)
-
- out = torch.einsum('b h d e, b h d n -> b h e n', context, q)
- out = rearrange(out, 'b h c (x y) -> b (h c) x y', h = self.heads, x = h, y = w)
- return self.to_out(out)
-```
-
-- Diffusion time $T$는 각 residual block에 transformer sinusoidal positional embedding이 추가돼서 구분됨
-
-```python
-class SinusoidalPosEmb(nn.Module):
- def __init__(self, dim):
- super().__init__()
- self.dim = dim
-
- def forward(self, x):
- device = x.device
- half_dim = self.dim // 2
- emb = math.log(10000) / (half_dim - 1)
- emb = torch.exp(torch.arange(half_dim, device=device) * -emb)
- emb = x[:, None] * emb[None, :]
- emb = torch.cat((emb.sin(), emb.cos()), dim=-1)
- return emb
-```
-
-## 4-1. Sample quality
-
-:::{figure-md}
-
-
-Train score of DDPM \ (source: https://arxiv.org/abs/2006.11239)
-:::
-
-FID, IS로 metric 계산. Unconditional model인데도 conditional model보다 우월. Codelength에서 차이가 없기 때문에 overfitting의 가능성도 적음.
-
-> - **FID score**: 사전 학습된 Inception V3으로 생성된 이미지 집합과 실제 생성하고자 하는 집합 간 클래스 이미지의 분포의 거리를 계산한 metric. 낮을 수록 실제와 유사한 이미지를 생성.
-> - **IS(Inception Score)**: 사전 학습된 Inception V3으로 생성한 이미지에 대해 정확하게 클래스가 나누어지는지, 다양한 클래스를 생성하는지 평가함. 높을 수록 다양한 클래스를 생성.
-> - **Unconditional model**: 한번 dataset에 학습되면 추가적인 context 없이 image를 생성
-> - **Conditional model**: Class, label 등의 추가 정보를 받아 image를 생성
-
-$\mu$보다 $\epsilon$을 계산하는 것이 성적이 좋고, fixed variance를 사용했을 때에도 성능이 감소하지 않음.
-
-## 4-2. Reverse process parameterization and training objective ablation
-
-:::{figure-md}
-
-
-Comparison between $\mu$ and $\epsilon$ \ (source: https://arxiv.org/abs/2006.11239)
-:::
-
-$\mu$의 실험 결과를 보면 분산을 고정했을 때 FID에서 성능 차이가 나는 것을 볼 수 있음. 또한 $\epsilon$을 사용하면서 Simplified objective를 사용하면 FID, IS가 더 개선됨
-
-## 4-3. Reverse process parameterization and training objective ablation
-
+```{admonition} Information
+- **Title:** Denoising Diffusion Probabilistic Models (NeurIPS 2020)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2006.11239](https://arxiv.org/abs/2006.11239)
+ - Code: [PyTorch implementation:](https://github.com/lucidrains/denoising-diffusion-pytorch)
+ - Review: [PR-409: Denoising Diffusion Probabilistic Models](https://www.youtube.com/watch?v=1j0W_lu55nc)
+
+- **Author:** Beomsoo Park
+
+- **Last updated on Apr. 19, 2023**
+```
+
+
+# DDPM
+
+
+:::{figure-md}
+
+
+DDPM samples \ (source: https://arxiv.org/abs/2006.11239)
+:::
+
+
+---
+# 1. Introduction
+
+:::{figure-md}
+
+
+Diffusion models \ (source: https://velog.io/@yetsyl0705/What-are-Diffusion-Models)
+:::
+
+**Diffusion model**은 **variational inference로 학습시켜 데이터를 생성하는 parameterized Markov chain**. Diffusion model은 Markov가 데이터가 normal distribution의 형태를 할 때까지 **noise를 더해가는 diffusion process**와 **이를 역으로 거치며 학습하는 reverse process**로 구성됨.
+
+Diffusion model은 정의하기 쉽고 학습시키는 것도 편리함. 또한 높은 품질의 sample(output)도 생성이 가능.
+
+> - **Variational inference(변분추론)**: 사후확률(posterior) 분포 $p(z
+|x)$를 다루기 쉬운 확률분포 $q(z)$로 근사(approximation)하는 것
+> - **Parameterize**: 하나의 표현식에 대해 다른 parameter를 사용하여 다시 표현하는 과정. 이 과정에서 보통 parameter의 개수를 표현 식의 차수보다 적은 수로 선택(ex. 3차 표현식 --> 2개 parameter 사용)하므로, 낮은 차수로의 mapping 함수(ex. 3D --> 2D)가 생성
+> - **Markov chain**: 어떤 상태에서 다른 상태로 넘어갈 때, 바로 전 단계의 상태에만 영향을 받는 확률 과정
+
+---
+# 2. Background
+
+:::{figure-md}
+
+
+Graphical model of DDPM \ (source: https://arxiv.org/abs/2006.11239)
+:::
+
+## 2-1. Forward(diffusion) process $q(\mathbf{x}_t|\mathbf{x}_{t-1})$
+
+$$
+q\left(\mathbf{x}_{1: T} \mid \mathbf{x}_0\right):=\prod_{t=1}^T q\left(\mathbf{x}_t \mid \mathbf{x}_{t-1}\right), \quad q\left(\mathbf{x}_t \mid \mathbf{x}_{t-1}\right):=\mathcal{N}\left(\mathbf{x}_t ; \sqrt{1-\beta_t} \mathbf{x}_{t-1}, \beta_t \mathbf{I}\right)
+$$
+
+Markov chain으로 **data에 noise를 추가**하는 과정. Noise를 추가할 때 **variance schedule $\beta_1,,,\beta_T$로 scaling**을 한 후 더해준다.
+- $\beta_t = 1$이면 mean인 $\sqrt{1-\beta_t}\mathbf{x}_{t-1} = 0$. 이전 정보를 갖지 못하고 노이즈가 증가함
+- 단순히 noise만을 더해주는게 아니라 $\sqrt{1-\beta_t}$로 scaling하는 이유는 variance가 발산하는 것을 막기 위함
+- $q(x_1|x_0)$: $x_0$에 noise를 추가해 $x_1$을 만드는 과정
+- $x_T$는 완전 destroy된 noise 상태 ~ $N(x_T;0, I)$
+
+## 2-2. Reverse process $p(\mathbf{x}_{t-1}|\mathbf{x}_t)$
+
+$$
+p_\theta\left(\mathbf{x}_{0: T}\right):=p\left(\mathbf{x}_T\right) \prod_{t=1}^T p_\theta\left(\mathbf{x}_{t-1} \mid \mathbf{x}_t\right), \quad p_\theta\left(\mathbf{x}_{t-1} \mid \mathbf{x}_t\right):=\mathcal{N}\left(\mathbf{x}_{t-1} ; \boldsymbol{\mu}_\theta\left(\mathbf{x}_t, t\right), \boldsymbol{\Sigma}_\theta\left(\mathbf{x}_t, t\right)\right)
+$$
+
+Reverse process로 가우시안 노이즈를 사용하는 이유는 1994년 논문에 forward process가 가우시안이면 reverse process도 가우시안으로 쓰면 된다라는 증명이 있다고 함.
+
+여기서 우리가 해야 할 것은 **$\mathbf{x}_t$를 보고 $\mathbf{x}_{t-1}$의 평균 $\mu_\theta$과 분산 $\Sigma_\theta$을 예측해내는 것**.
+- Hierarachical VAE에서의 decoding 과정과 비슷함
+- $\mu_\theta$과 분산 $\Sigma_\theta$는 학습 가능한 parameter
+
+
+## 2-3. Loss Function $L$
+
+Diffusion model의 목적은 **noise를 어떻게 제거할 것인가?**이다. $x_t$가 들어왔을 때 $x_{t-1}$을 예측할 수 있다면 $x_0$ 또한 예측이 가능해짐.
+
+$$
+\mathbb{E}\left[-\log p_\theta\left(\mathbf{x}_0\right)\right] \leq \mathbb{E}_q\left[-\log \frac{p_\theta\left(\mathbf{x}_{0: T}\right)}{q\left(\mathbf{x}_{1: T} \mid \mathbf{x}_0\right)}\right]=\mathbb{E}_q\left[-\log p\left(\mathbf{x}_T\right)-\sum_{t \geq 1} \log \frac{p_\theta\left(\mathbf{x}_{t-1} \mid \mathbf{x}_t\right)}{q\left(\mathbf{x}_t \mid \mathbf{x}_{t-1}\right)}\right]=: L
+$$
+
+본 논문에서는 **negative log likelihood를 최소화**하는 방향으로 진행. 위 수식을 **ELBO**(Evidence of Lower BOund)로 우항과 같이 정리하고 이를 풀어내면
+
+> ELBO의 역할은 우리가 관찰한 P(z|x)가 다루기 힘든 분포를 이루고 있을 때 이를 조금 더 다루기 쉬운 분포인 Q(x)로 대신 표현하려 하는 과정에서 **두 분포 (P(z|x)와 Q(x))의 차이 (KL Divergence)를 최소화** 하기 위해 사용된다.
+
+$$
+\mathbb{E}_q[\underbrace{D_{\mathrm{KL}}\left(q\left(\mathbf{x}_T \mid \mathbf{x}_0\right) \| p\left(\mathbf{x}_T\right)\right)}_{L_T}+\sum_{t>1} \underbrace{D_{\mathrm{KL}}\left(q\left(\mathbf{x}_{t-1} \mid \mathbf{x}_t, \mathbf{x}_0\right) \| p_\theta\left(\mathbf{x}_{t-1} \mid \mathbf{x}_t\right)\right)}_{L_{t-1}} \underbrace{-\log p_\theta\left(\mathbf{x}_0 \mid \mathbf{x}_1\right)}_{L_0}]
+$$
+
+와 같은 결과가 나온다.
+
+- $L_T$: Regularization term으로 $\beta_t$를 학습시킴
+- $L_{t-1}$: Reconstruction term으로 매 단계에서 noise를 지우는 지움
+- $L_0$: Reconstruction term으로 최종 단계에서 image를 생성
+
+---
+# 3. Diffusion models and denoising encoders
+
+DDPM에서는 **inductive bias를 늘려** 모델을 더 stable하고 성능도 개선할 수 있었음.
+
+> Inductive bias: 학습 모델이 지금까지 만나보지 못했던 상황에서 정확한 예측을 하기 위해 사용하는 **추가적인 가정**, 즉 우리가 풀려는 문제에 대한 정보를 모델에 적용하는 것
+
+
+## 3-1. Forward process and $L_T$
+
+**$\beta_t$를 고정**했더니 학습이 잘됨. 10^-4 ~ 0.02로 linear하게 image에 가까울수록 noise를 적게 주는 방식으로 설정.
+
+따라서 $q$에는 학습 가능한 parameter가 없어 **$L_T$는 0이 되기 때문에 삭제**할 수 있었음.
+
+## 3-2. Reverse process and $L_{1:T-1}$
+
+
+$$
+L_{t-1}=D_{K L}\left(q\left(x_{t-1} \mid x_t, x_0\right) \| p_\theta\left(x_{t-1} \mid x_t\right)\right)
+$$
+
+- $
+q\left(x_{t-1} \mid x_t, x_0\right)=N\left(x_{t-1} ; \tilde{\mu}\left(x_t, x_0\right), \tilde{\beta}_t \mathrm{I}\right)
+$
+- $
+p_\theta\left(x_{t-1} \mid x_t\right)=\mathcal{N}\left(x_{t-1} ; \mu_\theta\left(x_t, t\right), \sum_\theta\left(x_t, t\right)\right)
+$
+
+
+$L_{1:T-1}$는 forward progress posterior를 예측하는 loss. $\mathbf{x}_{t-1}$에서 noise를 더해 $\mathbf{x}_{t}$를 만들었을때, 그 과정을 복원 $p(\mathbf{x}_{t-1}|\mathbf{x}_t)$ 하는 과정을 학습.
+
+:::{figure-md}
+
+
+Loss Simplication \ (source: https://velog.io/@sjina0722/%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0-Denoising-Diffusion-Probabilistic-Models)
+:::
+
+- $\Sigma_\theta$: $\beta$를 상수로 가정했고 $p(\mathbf{x}_{t-1}|\mathbf{x}_t)$의 variance가 $\beta$에 영향을 받기 때문에 학습시키지 않아도 된다고 생각해 **variance term을 제거**함.
+
+:::{figure-md}
+
+
+Residual Estimation \ (source: https://velog.io/@sjina0722/%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0-Denoising-Diffusion-Probabilistic-Models)
+:::
+
+- $\mu_\theta$: DDPM에서는 $\mu_\theta$를 바로 구하지 않고 **residual $\epsilon_\theta$만 구해 정확도를 높임**.
+
+## 3-3. Data scaling, reverse process decoder and $L_0$
+
+$$
+\begin{aligned}
+p_\theta\left(\mathbf{x}_0 \mid \mathbf{x}_1\right) & =\prod_{i=1}^D \int_{\delta_{-}\left(x_0^i\right)}^{\delta_{+}\left(x_0^i\right)} \mathcal{N}\left(x ; \mu_\theta^i\left(\mathbf{x}_1, 1\right), \sigma_1^2\right) d x \\
+\delta_{+}(x) & =\left\{\begin{array}{ll}
+\infty & \text { if } x=1 \\
+x+\frac{1}{255} & \text { if } x<1
+\end{array} \quad \delta_{-}(x)= \begin{cases}-\infty & \text { if } x=-1 \\
+x-\frac{1}{255} & \text { if } x>-1\end{cases} \right.
+\end{aligned}
+$$
+
+[0, 255]의 image를 [-1,1] 사이로 linearly mapping. Sampling 마지막 단계에는 noise를 추가하지 않음.
+
+
+$L_0$은 두 normal distribution 사이의 KL divergence를 나타냄.
+- $D$: Data dimensionality
+- $i$: 좌표
+
+
+## 3-4. Simplified training objective
+
+:::{figure-md}
+
+
+Simplified training objective \ (source: https://velog.io/@sjina0722/%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0-Denoising-Diffusion-Probabilistic-Models)
+:::
+
+:::{figure-md}
+
+
+Final Loss \ (source: https://velog.io/@sjina0722/%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0-Denoising-Diffusion-Probabilistic-Models)
+:::
+
+최종 loss는 위와 같이 나타난다. Ground truth - estimated output간 MSE loss를 줄이는 과정이 denoising과 비슷해 DDPM이라는 이름이 붙음.
+
+Simplified objective을 통해 diffusion process를 학습하면 매우 작은 t 에서뿐만 아니라 **큰 t에 대해서도 network 학습이 가능하기 때문에 매우 효과적**.
+
+:::{figure-md}
+
+
+Psuedo code of training process \ (source: https://arxiv.org/abs/2006.11239)
+:::
+
+- Algorithm 1: Training
+ - Noise를 더해나가는 과정, network($\epsilon_\theta$, $p_\theta$)가 t step에서 noise($\epsilon$)가 얼마만큼 더해졌는지를 학습한다.
+ - 학습 시에는 특정 step의 이미지가 얼마나 gaussian noise가 추가되었는지를 예측하도록 학습된다.
+ - 코드에서는 랜덤 노이즈와 시간 단계 t로 노이즈가 추가된 이미지를 얻고 해당 이미지를 보고 모델이 노이즈를 예측
+
+```python
+def p_losses(self, x_start, t, noise = None):
+ b, c, h, w = x_start.shape
+ noise = default(noise, lambda: torch.randn_like(x_start))
+
+ # noise sample
+
+ x = self.q_sample(x_start = x_start, t = t, noise = noise)
+
+ # if doing self-conditioning, 50% of the time, predict x_start from current set of times
+ # and condition with unet with that
+ # this technique will slow down training by 25%, but seems to lower FID significantly
+
+ x_self_cond = None
+ if self.self_condition and random() < 0.5:
+ with torch.no_grad():
+ x_self_cond = self.model_predictions(x, t).pred_x_start
+ x_self_cond.detach_()
+
+ # predict and take gradient step
+
+ model_out = self.model(x, t, x_self_cond)
+
+ if self.objective == 'pred_noise':
+ target = noise
+ elif self.objective == 'pred_x0':
+ target = x_start
+ elif self.objective == 'pred_v':
+ v = self.predict_v(x_start, t, noise)
+ target = v
+ else:
+ raise ValueError(f'unknown objective {self.objective}')
+
+ loss = self.loss_fn(model_out, target, reduction = 'none')
+ loss = reduce(loss, 'b ... -> b (...)', 'mean')
+
+ loss = loss * extract(self.loss_weight, t, loss.shape)
+ return loss.mean()
+ ```
+
+- Algorithm 2: Sampling
+ - Network를 학습하고 나면, gaussian noise에서 시작해서 순차적으로 denoising 하는 것이 가능하다. (by parameterized markovian chain)
+ - 코드에서는 noise 제거 후 소량의 noise를 다시 추가하고 있음
+
+```python
+@torch.no_grad()
+def p_sample(self, x, t: int, x_self_cond = None):
+ b, *_, device = *x.shape, x.device
+ batched_times = torch.full((b,), t, device = x.device, dtype = torch.long)
+ model_mean, _, model_log_variance, x_start = self.p_mean_variance(x = x, t = batched_times, x_self_cond = x_self_cond, clip_denoised = True)
+ noise = torch.randn_like(x) if t > 0 else 0. # no noise if t == 0
+ pred_img = model_mean + (0.5 * model_log_variance).exp() * noise
+ return pred_img, x_start
+```
+
+
+
+# 4. Experiments
+
+- T: 1000
+- backbone: U-Net
+각 down/upsampling 단계는 ResNet/ConvNext 블록 2개 + (groupnorm + attention + residual) + down/upsampling으로 구성됨
+
+```python
+block_klass = partial(ResnetBlock, groups = resnet_block_groups)
+
+self.downs.append(nn.ModuleList([
+ block_klass(dim_in, dim_in, time_emb_dim = time_dim),
+ block_klass(dim_in, dim_in, time_emb_dim = time_dim),
+ Residual(PreNorm(dim_in, LinearAttention(dim_in))),
+ Downsample(dim_in, dim_out) if not is_last else nn.Conv2d(dim_in, dim_out, 3, padding = 1)
+ ]))
+
+ self.ups.append(nn.ModuleList([
+ block_klass(dim_out + dim_in, dim_out, time_emb_dim = time_dim),
+ block_klass(dim_out + dim_in, dim_out, time_emb_dim = time_dim),
+ Residual(PreNorm(dim_out, LinearAttention(dim_out))),
+ Upsample(dim_out, dim_in) if not is_last else nn.Conv2d(dim_out, dim_in, 3, padding = 1)
+ ]))
+
+```
+
+
+```python
+class Unet(nn.Module):
+ def __init__(
+ self,
+ dim,
+ init_dim = None,
+ out_dim = None,
+ dim_mults=(1, 2, 4, 8),
+ channels = 3,
+ self_condition = False,
+ resnet_block_groups = 8,
+ learned_variance = False,
+ learned_sinusoidal_cond = False,
+ random_fourier_features = False,
+ learned_sinusoidal_dim = 16
+ ):
+ super().__init__()
+
+ # determine dimensions
+
+ self.channels = channels
+ self.self_condition = self_condition
+ input_channels = channels * (2 if self_condition else 1)
+
+ init_dim = default(init_dim, dim)
+ self.init_conv = nn.Conv2d(input_channels, init_dim, 7, padding = 3)
+
+ dims = [init_dim, *map(lambda m: dim * m, dim_mults)]
+ in_out = list(zip(dims[:-1], dims[1:]))
+
+ block_klass = partial(ResnetBlock, groups = resnet_block_groups)
+
+ # time embeddings
+
+ time_dim = dim * 4
+
+ self.random_or_learned_sinusoidal_cond = learned_sinusoidal_cond or random_fourier_features
+
+ if self.random_or_learned_sinusoidal_cond:
+ sinu_pos_emb = RandomOrLearnedSinusoidalPosEmb(learned_sinusoidal_dim, random_fourier_features)
+ fourier_dim = learned_sinusoidal_dim + 1
+ else:
+ sinu_pos_emb = SinusoidalPosEmb(dim)
+ fourier_dim = dim
+
+ self.time_mlp = nn.Sequential(
+ sinu_pos_emb,
+ nn.Linear(fourier_dim, time_dim),
+ nn.GELU(),
+ nn.Linear(time_dim, time_dim)
+ )
+
+ # layers
+
+ self.downs = nn.ModuleList([])
+ self.ups = nn.ModuleList([])
+ num_resolutions = len(in_out)
+
+ for ind, (dim_in, dim_out) in enumerate(in_out):
+ is_last = ind >= (num_resolutions - 1)
+
+ self.downs.append(nn.ModuleList([
+ block_klass(dim_in, dim_in, time_emb_dim = time_dim),
+ block_klass(dim_in, dim_in, time_emb_dim = time_dim),
+ Residual(PreNorm(dim_in, LinearAttention(dim_in))),
+ Downsample(dim_in, dim_out) if not is_last else nn.Conv2d(dim_in, dim_out, 3, padding = 1)
+ ]))
+
+ mid_dim = dims[-1]
+ self.mid_block1 = block_klass(mid_dim, mid_dim, time_emb_dim = time_dim)
+ self.mid_attn = Residual(PreNorm(mid_dim, Attention(mid_dim)))
+ self.mid_block2 = block_klass(mid_dim, mid_dim, time_emb_dim = time_dim)
+
+ for ind, (dim_in, dim_out) in enumerate(reversed(in_out)):
+ is_last = ind == (len(in_out) - 1)
+
+ self.ups.append(nn.ModuleList([
+ block_klass(dim_out + dim_in, dim_out, time_emb_dim = time_dim),
+ block_klass(dim_out + dim_in, dim_out, time_emb_dim = time_dim),
+ Residual(PreNorm(dim_out, LinearAttention(dim_out))),
+ Upsample(dim_out, dim_in) if not is_last else nn.Conv2d(dim_out, dim_in, 3, padding = 1)
+ ]))
+
+ default_out_dim = channels * (1 if not learned_variance else 2)
+ self.out_dim = default(out_dim, default_out_dim)
+
+ self.final_res_block = block_klass(dim * 2, dim, time_emb_dim = time_dim)
+ self.final_conv = nn.Conv2d(dim, self.out_dim, 1)
+
+ def forward(self, x, time, x_self_cond = None):
+ if self.self_condition:
+ x_self_cond = default(x_self_cond, lambda: torch.zeros_like(x))
+ x = torch.cat((x_self_cond, x), dim = 1)
+
+ x = self.init_conv(x)
+ r = x.clone()
+
+ t = self.time_mlp(time)
+
+ h = []
+
+ for block1, block2, attn, downsample in self.downs:
+ x = block1(x, t)
+ h.append(x)
+
+ x = block2(x, t)
+ x = attn(x)
+ h.append(x)
+
+ x = downsample(x)
+
+ x = self.mid_block1(x, t)
+ x = self.mid_attn(x)
+ x = self.mid_block2(x, t)
+
+ for block1, block2, attn, upsample in self.ups:
+ x = torch.cat((x, h.pop()), dim = 1)
+ x = block1(x, t)
+
+ x = torch.cat((x, h.pop()), dim = 1)
+ x = block2(x, t)
+ x = attn(x)
+
+ x = upsample(x)
+
+ x = torch.cat((x, r), dim = 1)
+
+ x = self.final_res_block(x, t)
+ return self.final_conv(x)
+```
+
+
+
+- 16 x 16 feature map resolution에 self-attention. conv에서 차원을 3배로 늘리고 q,k,v로 분해.
+
+```python
+class Attention(nn.Module):
+ def __init__(self, dim, heads = 4, dim_head = 32):
+ super().__init__()
+ self.scale = dim_head ** -0.5
+ self.heads = heads
+ hidden_dim = dim_head * heads
+
+ self.to_qkv = nn.Conv2d(dim, hidden_dim * 3, 1, bias = False)
+ self.to_out = nn.Conv2d(hidden_dim, dim, 1)
+
+ def forward(self, x):
+ b, c, h, w = x.shape
+ qkv = self.to_qkv(x).chunk(3, dim = 1)
+ q, k, v = map(lambda t: rearrange(t, 'b (h c) x y -> b h c (x y)', h = self.heads), qkv)
+
+ q = q * self.scale
+
+ sim = einsum('b h d i, b h d j -> b h i j', q, k)
+ attn = sim.softmax(dim = -1)
+ out = einsum('b h i j, b h d j -> b h i d', attn, v)
+
+ out = rearrange(out, 'b h (x y) d -> b (h d) x y', x = h, y = w)
+ return self.to_out(out)
+```
+
+- Linear attention
+```python
+class LinearAttention(nn.Module):
+ def __init__(self, dim, heads = 4, dim_head = 32):
+ super().__init__()
+ self.scale = dim_head ** -0.5
+ self.heads = heads
+ hidden_dim = dim_head * heads
+ self.to_qkv = nn.Conv2d(dim, hidden_dim * 3, 1, bias = False)
+
+ self.to_out = nn.Sequential(
+ nn.Conv2d(hidden_dim, dim, 1),
+ LayerNorm(dim)
+ )
+
+ def forward(self, x):
+ b, c, h, w = x.shape
+ qkv = self.to_qkv(x).chunk(3, dim = 1)
+ q, k, v = map(lambda t: rearrange(t, 'b (h c) x y -> b h c (x y)', h = self.heads), qkv)
+
+ q = q.softmax(dim = -2)
+ k = k.softmax(dim = -1)
+
+ q = q * self.scale
+ v = v / (h * w)
+
+ context = torch.einsum('b h d n, b h e n -> b h d e', k, v)
+
+ out = torch.einsum('b h d e, b h d n -> b h e n', context, q)
+ out = rearrange(out, 'b h c (x y) -> b (h c) x y', h = self.heads, x = h, y = w)
+ return self.to_out(out)
+```
+
+- Diffusion time $T$는 각 residual block에 transformer sinusoidal positional embedding이 추가돼서 구분됨
+
+```python
+class SinusoidalPosEmb(nn.Module):
+ def __init__(self, dim):
+ super().__init__()
+ self.dim = dim
+
+ def forward(self, x):
+ device = x.device
+ half_dim = self.dim // 2
+ emb = math.log(10000) / (half_dim - 1)
+ emb = torch.exp(torch.arange(half_dim, device=device) * -emb)
+ emb = x[:, None] * emb[None, :]
+ emb = torch.cat((emb.sin(), emb.cos()), dim=-1)
+ return emb
+```
+
+## 4-1. Sample quality
+
+:::{figure-md}
+
+
+Train score of DDPM \ (source: https://arxiv.org/abs/2006.11239)
+:::
+
+FID, IS로 metric 계산. Unconditional model인데도 conditional model보다 우월. Codelength에서 차이가 없기 때문에 overfitting의 가능성도 적음.
+
+> - **FID score**: 사전 학습된 Inception V3으로 생성된 이미지 집합과 실제 생성하고자 하는 집합 간 클래스 이미지의 분포의 거리를 계산한 metric. 낮을 수록 실제와 유사한 이미지를 생성.
+> - **IS(Inception Score)**: 사전 학습된 Inception V3으로 생성한 이미지에 대해 정확하게 클래스가 나누어지는지, 다양한 클래스를 생성하는지 평가함. 높을 수록 다양한 클래스를 생성.
+> - **Unconditional model**: 한번 dataset에 학습되면 추가적인 context 없이 image를 생성
+> - **Conditional model**: Class, label 등의 추가 정보를 받아 image를 생성
+
+$\mu$보다 $\epsilon$을 계산하는 것이 성적이 좋고, fixed variance를 사용했을 때에도 성능이 감소하지 않음.
+
+## 4-2. Reverse process parameterization and training objective ablation
+
+:::{figure-md}
+
+
+Comparison between $\mu$ and $\epsilon$ \ (source: https://arxiv.org/abs/2006.11239)
+:::
+
+$\mu$의 실험 결과를 보면 분산을 고정했을 때 FID에서 성능 차이가 나는 것을 볼 수 있음. 또한 $\epsilon$을 사용하면서 Simplified objective를 사용하면 FID, IS가 더 개선됨
+
+## 4-3. Reverse process parameterization and training objective ablation
+
diff --git a/_sources/docs/review/DiT.md b/_sources/docs/review/DiT.md
index cac13374..ea78451b 100755
--- a/_sources/docs/review/DiT.md
+++ b/_sources/docs/review/DiT.md
@@ -1,238 +1,238 @@
-```{admonition} Information
-- **Title:** Scalable Diffusion Models with Transformers (ICCV 2023)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2212.09748](https://arxiv.org/abs/2212.09748)
- - Code: [https://github.com/facebookresearch/DiT](https://github.com/facebookresearch/DiT)
- - Project Page : [https://www.wpeebles.com/DiT](https://www.wpeebles.com/DiT)
-
-- **Author:** Junhyoung Lee
-
-- **Last updated on July. 20, 2024**
-```
-
-# DiT
-
-# Abstract
-
-- LDM 의 U-Net 백본을 transformer 로 바꾸어 학습을 진행한 diffusion model
-- Gflops 측정: depth/width 증가 or 입력 토큰 수 증가로 Gflops 가 높게 나타났음 (FID 낮게 유지한 상태)
-- 우수한 scalability 특성을 보유하며, $\text{DiT-XL/2}$ 모델은 class conditional ImageNet 벤치마크에서 이전의 생성 모델에 비해 성능이 뛰어났음 (FID 2.27)
-
-# 1. Introduction
-
-- Diffusion 모델이 이미지 생성 모델의 트렌드를 유지하고 있지만, convolution 네트워크인 U-Net 모델 사용
- - transformers 는 autoregressive 모델에서 사용되고 있었음
-- 초기에는 픽셀 레벨의 autoregressive model과 conditional GAN에서 U-Net 이 성공을 이끌었음
-- DDPM 에서는 ResNet 블럭이 주요하게 구성됨
- - 반면, transformer 에서는 spatial self-attention 블럭이 구성되어 있고, 저해상도에 포함됨
-- ADM
- - classifier-guidance diffusion model
- - adaptive normalization layer 와 같은 U-Net 에서 선택적으로 제거
-- 저자들은 diffusion 모델의 아키텍처 구성의 중요성을 밝혔음
- - U-Net 의 inductive bias 가 diffusion 모델의 성능의 영향을 끼치지 않고, transformer 로 쉽게 대체 가능함
- - transformer 를 기반으로 새로운 종류의 diffusion model 을 제안 → Diffusion Transformer (DiT)
-- DiT는 ViT를 준수하며, 기존 convolution 네트워크보다 시각적 인식(visual recognition)을 위해 더 효과적으로 확장되는 것으로 나타남
-
-# 2. Related Works
-
-## Architecture complexity
-
-- 아키텍처의 복잡성(complexity)를 측정할 때, 보통 파라미터 수를 측정함
- - 하지만, 이미지 해상도 등을 고려하지 않아 모델의 복잡성을 제대로 측정할 수 없다고 주장
- - 저자들은 Gflops 를 통해 모델의 복잡성을 분석함
-
-## Latent diffusion models
-
-- 픽셀 공간에서 diffusion 모델을 학습하는 것은 연산적으로 어려움
-- LDM
- 1. learned encoder $E$ 로 이미지를 작은 해상도로 압축하는 autoencoder 를 학습
- 2. 픽셀 공간의 이미지 $x$의 diffusion 모델 대신, 압축된 $z = E(x)$ 의 diffusion 모델 학습 ($E$는 고정)
- - → 이후 diffusion 모델에서 $z$ 를 샘플링하고 학습된 디코더 $x = D(z)$ 를 사용하여 이미지로 디코딩하여 새로운 이미지를 생성함
- - LDM은 ADM과 같은 픽셀 공간 diffusion 모델보다 훨씬 적은 Gflops를 사용하면서도 우수한 성능을 달성
-- DiT
- - 저자들은 latent 공간에서 DiT를 적용했고, 픽셀 공간에서도 수정 없이 적용할 수 있음
-
-# 3. Diffusion Transformers
-
-## 3.2. Diffusion Transformer Design Space
-
-- scaling 속성을 유지하기 위해 standard transformer 구조를 따르도록 설계
-- 이미지(spatial representations)의 DDPM을 학습하기 때문에, 패치를 연산하는 ViT 구조로 설계됨
-
-:::{figure-md}
-
-
-architecture
-:::
-
-### Patchify
-
-:::{figure-md}
-
-
-fig4
-:::
-
-- DiT 에 spatial representation $z$ (256x256x3 이미지에서는 $z$ 는 32x32x4 로 표현) 가 입력됨
-- “patchify” : $z$ → $d$ 차원의 $T$ tokens 로 변환 + positional embedding
- - $p$ 에 따라 토큰 수가 달라짐 ($p$ = 2, 4, 8)
- - $p$ 를 반으로 줄이면 $T$ 가 4배가 되므로 총 transformer Gflops 는 최소 4배가 되어 상당한 영향을 끼침
-
-### DiT block design
-
-- Diffusion 모델은 보통 noised image 입력과 noise timestep $t$, class label $c$ 의 벡터 임베딩 값을 conditional 정보로 입력 시퀀스에 더해줌
-
-- 다른 conditional inputs 으로 처리하는 4개의 transformer block을 진행함
-1. ***In-context conditioning***
-
- - $t$, $c$ 를 추가의 토큰으로 더하는 방식 → 이미지 토큰과 동일하게 처리함
- - ViT 의 $\text {cls}$ 토큰과 유사한 방식
- - 마지막 블럭에서는 conditioning 토큰을 제거함
-
-2. ***Cross-attention block***
-
- - 이미지 토큰과 별도로 $t$, $c$ 를 concat 함
- - self-attention 다음에 cross attention 을 포함하도록 구조를 수정함
- - cross-attention 연산이 15% 오버헤드로 모델에 가장 많은 Gflops를 추가함
-
-3. ***Adaptive layer norm (adaLN) block***
-
- - Transformer 블럭의 standard layer norm layer 를 adaptive layer norm (adaLN) 으로 교체함
- - 직접 scale $\gamma$, shift $\beta$ 파라미터를 학습하는 것보다, $t$ 와 $c$ 벡터 임베딩 값의 합으로부터 회귀하도록 설계함
- - 최소한의 Gflops 를 추가하므로 연산에 효율적임
- - 모든 토큰에 대해 같은 function을 적용함으로써 conditioning 하는 방법
-
-4. ***adaLN-Zero block***
-
- - ResNet: 각 residual block 의 initializing 이 identity function 이 효과적이라는 것을 증명함
- - 각 블럭의 마지막 batch norm scale factor $r$ 를 0으로 초기화 하는 것이 large-scale 학습에 좋다는 것을 발견함
- - Diffusion U-Net 모델은 비슷한 초기화 전략을 사용하는데, residual connection 전에 각 블럭의 최종 convolutional layer 를 0으로 초기화함
- - $\gamma, \beta$ 를 회귀하는 것 외에도 DiT 블럭 내의 residual connection 전에 적용되는 dimension 별 scaling $\alpha$ 를 회귀함
- - 모든 $\alpha$ 에 대해 영벡터를 출력하도록 MLP를 초기화함 → 전체 DiT 블록을 identity function 으로 초기화하게됨
- - adaLN 블록과 비슷하게 adaLN-Zero 는 Gflops 에 영향을 끼치지 않음
-
-### Transformer decoder
-
-:::{figure-md}
-
-
-architecture2
-:::
-
-- 최종 DiT 블록을 통과한 후, 이미지 토큰 시퀀스를 예측된 noise 값과 covariance 값 디코딩해야함
-
- 1. $\text{LayerNorm}$ (adaLN을 사용하는 경우 adaLN)
- 2. $\text{Linear, Reshape}$
- 3. $\text{VAE}$ decoder → “output shape = input image shape”
-
-- Q) covariance 값은 왜 예측하는지?
-
- - [참고 링크](https://kyujinpy.tistory.com/132#:~:text=%EA%B7%B8%20%EC%9D%B4%ED%9B%84%2C%20VAE%20decoder%EC%97%90%20noise%20%EA%B0%92%EC%9D%84%20%EB%84%A3%EC%96%B4%EC%84%9C%20%EC%8B%A4%EC%A0%9C%20%EC%9D%B4%EB%AF%B8%EC%A7%80%EB%A5%BC%20%EC%83%9D%EC%84%B1%ED%95%9C%EB%8B%A4.)
- - ADM 학습과 연관됨
- - Noise 차이 loss 이외의 분산도 학습을 진행했음 → vlb_loss 활용
-
-# 4. Experimental Setup
-
-- DiT models
-
-:::{figure-md}
-
-
-table1
-:::
-
-## Training setting
-
-- $\text {DiT-XL/2}$: $\text{XLarge}$ config and $p = 2$.
-- class-conditional latent DiT models
-- 해상도: 256x256, 512x512
-- 데이터 셋: ImageNet
-- 마지막 linear layer 는 0으로 초기화, 나머지는 standard weight 초기화
-- Optimizer: AdamW
-- Learning rate: $1 × 10^{−4}$
-- Batch size: 256
-- Augmentation: horizontal flip
-- exponential moving average (EMA): 0.999
-- Diffusion: Stable Diffusion 의 VAE 사용
-
-## Evaluation
-
-### Class-conditional image genertation model 비교
-
-:::{figure-md}
-
-
-table2
-:::
-
-:::{figure-md}
-
-
-table3
-:::
-
-- ADM, LDM 보다 DiT-XL 모델이 FID, IS 점수가 좋음
-
-### DiT block design
-
-:::{figure-md}
-
-
-fig5
-:::
-
-- adaLN-Zero 구조가 적은 학습에도 FID 점수가 좋음
-
-### Scaling model size and patch size
-
-:::{figure-md}
-
-
-fig6
-:::
-
-- 모델이 클수록 FID 점수가 좋음
-
-:::{figure-md}
-
-
-fig7
-:::
-
-### **DiT Gflops are critical to improving performance**
-
-:::{figure-md}
-
-
-fig8
-:::
-
-- Transformer Gflops 가 클수록 FID 점수가 좋음
-
-### **Larger DiT models are more compute-efficient**
-
-:::{figure-md}
-
-
-fig9
-:::
-
-- 학습할 때의 Gflops 가 높을 수록 FID 점수가 좋음
-
-### **Visualizing scaling**
-
-:::{figure-md}
-
-
-visual_result
-:::
-
-- 패치 사이즈와 transformer 크기에 따른 생성 결과 확인
- - 패치가 작을수록, 모델 크기가 클수록 생성 결과가 좋음
-
-# Conclusion
-
-- Diffusion Transformers 는 간단한 transformer 기반 diffusion 모델
- - 이전 U-Net 모델보다 성능이 뛰어나고, transformer 모델의 scaling 특성을 우수하게 적용함
-- adaLN 을 통해 연산의 효율성도 가져옴
+```{admonition} Information
+- **Title:** Scalable Diffusion Models with Transformers (ICCV 2023)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2212.09748](https://arxiv.org/abs/2212.09748)
+ - Code: [https://github.com/facebookresearch/DiT](https://github.com/facebookresearch/DiT)
+ - Project Page : [https://www.wpeebles.com/DiT](https://www.wpeebles.com/DiT)
+
+- **Author:** Junhyoung Lee
+
+- **Last updated on July. 20, 2024**
+```
+
+# DiT
+
+# Abstract
+
+- LDM 의 U-Net 백본을 transformer 로 바꾸어 학습을 진행한 diffusion model
+- Gflops 측정: depth/width 증가 or 입력 토큰 수 증가로 Gflops 가 높게 나타났음 (FID 낮게 유지한 상태)
+- 우수한 scalability 특성을 보유하며, $\text{DiT-XL/2}$ 모델은 class conditional ImageNet 벤치마크에서 이전의 생성 모델에 비해 성능이 뛰어났음 (FID 2.27)
+
+# 1. Introduction
+
+- Diffusion 모델이 이미지 생성 모델의 트렌드를 유지하고 있지만, convolution 네트워크인 U-Net 모델 사용
+ - transformers 는 autoregressive 모델에서 사용되고 있었음
+- 초기에는 픽셀 레벨의 autoregressive model과 conditional GAN에서 U-Net 이 성공을 이끌었음
+- DDPM 에서는 ResNet 블럭이 주요하게 구성됨
+ - 반면, transformer 에서는 spatial self-attention 블럭이 구성되어 있고, 저해상도에 포함됨
+- ADM
+ - classifier-guidance diffusion model
+ - adaptive normalization layer 와 같은 U-Net 에서 선택적으로 제거
+- 저자들은 diffusion 모델의 아키텍처 구성의 중요성을 밝혔음
+ - U-Net 의 inductive bias 가 diffusion 모델의 성능의 영향을 끼치지 않고, transformer 로 쉽게 대체 가능함
+ - transformer 를 기반으로 새로운 종류의 diffusion model 을 제안 → Diffusion Transformer (DiT)
+- DiT는 ViT를 준수하며, 기존 convolution 네트워크보다 시각적 인식(visual recognition)을 위해 더 효과적으로 확장되는 것으로 나타남
+
+# 2. Related Works
+
+## Architecture complexity
+
+- 아키텍처의 복잡성(complexity)를 측정할 때, 보통 파라미터 수를 측정함
+ - 하지만, 이미지 해상도 등을 고려하지 않아 모델의 복잡성을 제대로 측정할 수 없다고 주장
+ - 저자들은 Gflops 를 통해 모델의 복잡성을 분석함
+
+## Latent diffusion models
+
+- 픽셀 공간에서 diffusion 모델을 학습하는 것은 연산적으로 어려움
+- LDM
+ 1. learned encoder $E$ 로 이미지를 작은 해상도로 압축하는 autoencoder 를 학습
+ 2. 픽셀 공간의 이미지 $x$의 diffusion 모델 대신, 압축된 $z = E(x)$ 의 diffusion 모델 학습 ($E$는 고정)
+ - → 이후 diffusion 모델에서 $z$ 를 샘플링하고 학습된 디코더 $x = D(z)$ 를 사용하여 이미지로 디코딩하여 새로운 이미지를 생성함
+ - LDM은 ADM과 같은 픽셀 공간 diffusion 모델보다 훨씬 적은 Gflops를 사용하면서도 우수한 성능을 달성
+- DiT
+ - 저자들은 latent 공간에서 DiT를 적용했고, 픽셀 공간에서도 수정 없이 적용할 수 있음
+
+# 3. Diffusion Transformers
+
+## 3.2. Diffusion Transformer Design Space
+
+- scaling 속성을 유지하기 위해 standard transformer 구조를 따르도록 설계
+- 이미지(spatial representations)의 DDPM을 학습하기 때문에, 패치를 연산하는 ViT 구조로 설계됨
+
+:::{figure-md}
+
+
+architecture
+:::
+
+### Patchify
+
+:::{figure-md}
+
+
+fig4
+:::
+
+- DiT 에 spatial representation $z$ (256x256x3 이미지에서는 $z$ 는 32x32x4 로 표현) 가 입력됨
+- “patchify” : $z$ → $d$ 차원의 $T$ tokens 로 변환 + positional embedding
+ - $p$ 에 따라 토큰 수가 달라짐 ($p$ = 2, 4, 8)
+ - $p$ 를 반으로 줄이면 $T$ 가 4배가 되므로 총 transformer Gflops 는 최소 4배가 되어 상당한 영향을 끼침
+
+### DiT block design
+
+- Diffusion 모델은 보통 noised image 입력과 noise timestep $t$, class label $c$ 의 벡터 임베딩 값을 conditional 정보로 입력 시퀀스에 더해줌
+
+- 다른 conditional inputs 으로 처리하는 4개의 transformer block을 진행함
+1. ***In-context conditioning***
+
+ - $t$, $c$ 를 추가의 토큰으로 더하는 방식 → 이미지 토큰과 동일하게 처리함
+ - ViT 의 $\text {cls}$ 토큰과 유사한 방식
+ - 마지막 블럭에서는 conditioning 토큰을 제거함
+
+2. ***Cross-attention block***
+
+ - 이미지 토큰과 별도로 $t$, $c$ 를 concat 함
+ - self-attention 다음에 cross attention 을 포함하도록 구조를 수정함
+ - cross-attention 연산이 15% 오버헤드로 모델에 가장 많은 Gflops를 추가함
+
+3. ***Adaptive layer norm (adaLN) block***
+
+ - Transformer 블럭의 standard layer norm layer 를 adaptive layer norm (adaLN) 으로 교체함
+ - 직접 scale $\gamma$, shift $\beta$ 파라미터를 학습하는 것보다, $t$ 와 $c$ 벡터 임베딩 값의 합으로부터 회귀하도록 설계함
+ - 최소한의 Gflops 를 추가하므로 연산에 효율적임
+ - 모든 토큰에 대해 같은 function을 적용함으로써 conditioning 하는 방법
+
+4. ***adaLN-Zero block***
+
+ - ResNet: 각 residual block 의 initializing 이 identity function 이 효과적이라는 것을 증명함
+ - 각 블럭의 마지막 batch norm scale factor $r$ 를 0으로 초기화 하는 것이 large-scale 학습에 좋다는 것을 발견함
+ - Diffusion U-Net 모델은 비슷한 초기화 전략을 사용하는데, residual connection 전에 각 블럭의 최종 convolutional layer 를 0으로 초기화함
+ - $\gamma, \beta$ 를 회귀하는 것 외에도 DiT 블럭 내의 residual connection 전에 적용되는 dimension 별 scaling $\alpha$ 를 회귀함
+ - 모든 $\alpha$ 에 대해 영벡터를 출력하도록 MLP를 초기화함 → 전체 DiT 블록을 identity function 으로 초기화하게됨
+ - adaLN 블록과 비슷하게 adaLN-Zero 는 Gflops 에 영향을 끼치지 않음
+
+### Transformer decoder
+
+:::{figure-md}
+
+
+architecture2
+:::
+
+- 최종 DiT 블록을 통과한 후, 이미지 토큰 시퀀스를 예측된 noise 값과 covariance 값 디코딩해야함
+
+ 1. $\text{LayerNorm}$ (adaLN을 사용하는 경우 adaLN)
+ 2. $\text{Linear, Reshape}$
+ 3. $\text{VAE}$ decoder → “output shape = input image shape”
+
+- Q) covariance 값은 왜 예측하는지?
+
+ - [참고 링크](https://kyujinpy.tistory.com/132#:~:text=%EA%B7%B8%20%EC%9D%B4%ED%9B%84%2C%20VAE%20decoder%EC%97%90%20noise%20%EA%B0%92%EC%9D%84%20%EB%84%A3%EC%96%B4%EC%84%9C%20%EC%8B%A4%EC%A0%9C%20%EC%9D%B4%EB%AF%B8%EC%A7%80%EB%A5%BC%20%EC%83%9D%EC%84%B1%ED%95%9C%EB%8B%A4.)
+ - ADM 학습과 연관됨
+ - Noise 차이 loss 이외의 분산도 학습을 진행했음 → vlb_loss 활용
+
+# 4. Experimental Setup
+
+- DiT models
+
+:::{figure-md}
+
+
+table1
+:::
+
+## Training setting
+
+- $\text {DiT-XL/2}$: $\text{XLarge}$ config and $p = 2$.
+- class-conditional latent DiT models
+- 해상도: 256x256, 512x512
+- 데이터 셋: ImageNet
+- 마지막 linear layer 는 0으로 초기화, 나머지는 standard weight 초기화
+- Optimizer: AdamW
+- Learning rate: $1 × 10^{−4}$
+- Batch size: 256
+- Augmentation: horizontal flip
+- exponential moving average (EMA): 0.999
+- Diffusion: Stable Diffusion 의 VAE 사용
+
+## Evaluation
+
+### Class-conditional image genertation model 비교
+
+:::{figure-md}
+
+
+table2
+:::
+
+:::{figure-md}
+
+
+table3
+:::
+
+- ADM, LDM 보다 DiT-XL 모델이 FID, IS 점수가 좋음
+
+### DiT block design
+
+:::{figure-md}
+
+
+fig5
+:::
+
+- adaLN-Zero 구조가 적은 학습에도 FID 점수가 좋음
+
+### Scaling model size and patch size
+
+:::{figure-md}
+
+
+fig6
+:::
+
+- 모델이 클수록 FID 점수가 좋음
+
+:::{figure-md}
+
+
+fig7
+:::
+
+### **DiT Gflops are critical to improving performance**
+
+:::{figure-md}
+
+
+fig8
+:::
+
+- Transformer Gflops 가 클수록 FID 점수가 좋음
+
+### **Larger DiT models are more compute-efficient**
+
+:::{figure-md}
+
+
+fig9
+:::
+
+- 학습할 때의 Gflops 가 높을 수록 FID 점수가 좋음
+
+### **Visualizing scaling**
+
+:::{figure-md}
+
+
+visual_result
+:::
+
+- 패치 사이즈와 transformer 크기에 따른 생성 결과 확인
+ - 패치가 작을수록, 모델 크기가 클수록 생성 결과가 좋음
+
+# Conclusion
+
+- Diffusion Transformers 는 간단한 transformer 기반 diffusion 모델
+ - 이전 U-Net 모델보다 성능이 뛰어나고, transformer 모델의 scaling 특성을 우수하게 적용함
+- adaLN 을 통해 연산의 효율성도 가져옴
diff --git a/_sources/docs/review/Diffusion_models_already_have_a_Semantic_Latent_Space.md b/_sources/docs/review/Diffusion_models_already_have_a_Semantic_Latent_Space.md
index 7b864dad..2ad05c3d 100755
--- a/_sources/docs/review/Diffusion_models_already_have_a_Semantic_Latent_Space.md
+++ b/_sources/docs/review/Diffusion_models_already_have_a_Semantic_Latent_Space.md
@@ -1,401 +1,401 @@
-``` {admonition} Information
-- **Title:** Diffusion Models already have a Semantic Latent Space (ICLR 2023)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2210.10960](https://arxiv.org/abs/2210.10960)
-
-- **Author:** Sehwan Park
-
-- **Last updated on Nov. 18, 2023**
-```
-
-
-
-# Diffusion Models already have a Semantic Latent Space
-
-## Abstract
-
-Diffusion model은 많은 domain에서 좋은 성능을 보이지만 generative process를 control하는 semantic latent space가 부족하다. 논문에서는 diffusion model속에서 semantic latent space를 발견하기 위한 asymmetric reverse process(asyrp)를 제안하고 h-space라고 명칭한 semantic latent space의 좋은 특성(homogeneity, linearity, robustness, consistency across timesteps)들을 보여준다. 추가적으로 editing strength와 quality deficiency를 기준으로 삼고 더 좋은 image-image translation을 위한 Generative Process Design을 소개한다.
-
-
-
-## 1. Introduction
-
-:::{figure-md}
-
-
-
-Manipulation approaches for diffusion models
-:::
-
-(a) Image guidance는 unconditional한 latent variable에 guiding image의 latent variable을 합치는 방식을 사용한다. 그러나 latent variable을 둘 다 이용하면서 명확하게 control하기가 쉽지 않다.
-
-(b) Classifier guidance는 diffusion model에 classifier를 추가하여 generative process를 거치는 동안 latent variable이 어떤 class인지 분류하고 target class에 가까워지도록 score를 부여하는 방식으로 작동한다. 그러나 latent variable들에 대해 classify를 실행해야 하기에 pretrained model을 사용하기가 힘들어 직접 학습을 시켜야 하기에 시간적으로, 비용적으로 부담이 된다.
-
-(c) DiffusionCLIP
-
-(d) Diffusion Models already have a Semantic Latent Space는 original image의 특성을 edit하기 위한 아주 좋은 특성을 가지고 있는 semantic latent space를 frozen diffusion model에서 발견하였고 이를 h-space라고 칭한다. h-space에는 다양한 좋은 특성들이 존재한다. versatile editing과 quality boosting을 위해 새로운 generative process를 design하여 제안한다. h-space는 frozen pretrained diffusion model에서 semantic latent space로써의 첫 발견사례이다.
-
-
-
-## 2. Background
-
-### 2.1 Denoising Diffusion Probability Model(DDPM)
-
-DDPM에서는 임의의 time step t로 부터 noise가 껴있는 image $x_t$의 $\epsilon_t$가 얼만큼인지 예측한다. 예측한 $\epsilon_t$를 이용하여 noise가 일부 제거된 이전 step의 mean($\mu_{\theta}(x_t)$)을 구할 수 있고 variance($\sum_{\theta}(x_t)$)는 constant한 값으로 고정시킨다. DDPM에서 제시한 forward process와 reverse process는 다음과 같다. DDPM에서의 $\sigma_t^2 = \beta_t$이다.
-
-
-$$
-q(x_t|x_{t-1}) = \mathcal{N}(x_t; \sqrt{\alpha_{t}}x_{t-1}, (1-\alpha_t)I)
-$$
-
-$$
-p_{\theta}(x_{t-1}|x_t) := \mathcal{N}(\mu_{\theta}(x_t), \sum_{\theta}(x_t))
-$$
-
-$$
-x_{t-1} = \frac{1}{\sqrt{1-\beta_t}}\bigg(x_t - \frac{\beta_t}{\sqrt{1-\alpha_t}}\epsilon_t^\theta(x_t)\bigg) + \sigma_t\mathcal{z_t}
-$$
-
-
-
-### 2.2 Denoising Diffusion Implicit Model(DDIM)
-
-DDIM에서는 non-Markovian process를 이용해 또 다른 관점의 reverse process를 제시하였고, DDPM과 DDIM 모두 general하게 적용되는 Diffusion process에 대한 식을 보여주었다. $\sigma_t = \eta\sqrt{(1-\alpha_{t-1}) / (1-\alpha_t)} \sqrt{1-\alpha_t/\alpha_{t-1}}$이다.
-
- $\eta$=1인 경우 DDPM이 되고 stochastic해지며, $\eta$=0인 경우 DDIM이 되고 deterministic해진다.
-
-
-$$
-q_{\sigma}(x_{t-1}|x_t,x_0) = \mathcal{N}(\sqrt{\alpha_{t-1}}x_0 + \sqrt{1-\alpha_{t-1}-\sigma_t^2} \cdot \cfrac{x_t - \sqrt{\alpha_t}x_0}{\sqrt{1-\alpha_t}}, \sigma_t^2I)
-$$
-
-$$
-x_{t-1} = \sqrt{\alpha_{t-1}}\underbrace{\bigg(\frac{x_t - \sqrt{1-\alpha_t}\epsilon_t^\theta(x_t)}{\sqrt{\alpha_t}}\bigg)}_{\textrm{predicted } x_0} + \underbrace{\sqrt{1-\alpha_{t-1}-\sigma_t^2}\cdot \epsilon_t^\theta(x_t) }_{\textrm{direction pointing to }x_t} + \sigma_t\mathcal{z_t}
-$$
-
-### 2.3 Image Manipulation with CLIP
-
-CLIP은 Image Encoder와 Text Encoder를 이용하여 image와 text간의 embedding을 학습한다. 편집된 이미지와 대상 설명 간의 cosine distance를 직접 최소화하는 대신 cosine distance를 사용한 directional loss를 사용하여 mode collapse없이 균일한 editing을 가능하게 했다고 한다.
-
-$\Delta T = \mathrm{E}_T(y^{target}) - \mathrm{E}_T(y^{source}) $$\Delta I = \mathrm{E}_I(x^{edit}) - \mathrm{E}_I(x^{source})$ - - -$$ -\mathcal{L}_{direction} (x^{edit}, y^{target};x^{source},y^{source}) := 1 - \cfrac{\Delta I \cdot \Delta T}{\parallel\Delta I\parallel \parallel\Delta T\parallel} -$$ - - - -## 3. Discovering Semantic Latent Space In Diffusion Models - -Editiing을 하는 과정에서 naive approach를 통해서는 editing이 잘 이루어지지 않는다. 이 chapter에서는 왜 잘 이루어지지 않는지에 대한 설명을 하고 이를 해결하는 새로운 controllable한 한 reverse process인 Asymmetric Reverse Process(Asyrp)를 제안한다. - -DDIM에서 $x_{t-1}$에 대한 수식을 설명하였는데 이 chapter부터는 "predicted $x_0$"부분을 $\mathrm{P}_t(\epsilon_t^{\theta}(x_t))$ 즉 $\mathrm{P}_t$라고 설정하고, "direction pointing to $x_t$"부분을 $\mathrm{D}_t(\epsilon_t^{\theta}(x_t))$ 즉 $\mathrm{D}_t$라고 설정하였다. - -$\mathrm{P}_t$는 latent variable로 부터 $x_0$를 예측하는 reverse process와 같은 역할을 담당하고 $\mathrm{D}_t$는 다시 noise를 추가해 latent variable로 돌아가기에 forward process와 같은 역할을 담당한다. - - -$$ -x_{t-1} = \sqrt{\alpha_{t-1}}\underbrace{\bigg(\frac{x_t - \sqrt{1-\alpha_t}\epsilon_t^\theta(x_t)}{\sqrt{\alpha_t}}\bigg)}_{\mathrm{P}_t(\epsilon_t^{\theta}(x_t))} + \underbrace{\sqrt{1-\alpha_{t-1}-\sigma_t^2}\cdot \epsilon_t^\theta(x_t) }_{\mathrm{D}_t(\epsilon_t^{\theta}(x_t))} + \sigma_t\mathcal{z_t} -$$ - -$$ -x_{t-1} = \sqrt{\alpha_{t-1}}\mathrm{P}_t(\epsilon_t^{\theta}(x_t)) + \mathrm{D}_t(\epsilon_t^{\theta}(x_t)) + \sigma_t\mathcal{z_t} -$$ - -### 3.1 Problem - -$x_T$로 부터 생성된 image $x_0$를 given text prompts에 맞게 manipulate시키는 가장 간단한 방법은 2.3에서 소개한 $\mathcal{L}_{direction}$을 optimize하도록 $x_T$를 update하는 것이다. 하지만 이 방법은 distorted images를 생성하거나 부정확한 manipulation을 한다고 한다. - -이에 대한 대안으로, 모든 sampling step에서 원하는 방향으로 manipulate하도록 $\epsilon_t^{\theta}$를 shift해주는 방법이 제시되었다. 하지만 이 방법은 $x_0$를 완전히 manipulate하지 못한다. 왜냐하면 $\mathrm{P}_t$와 $\mathrm{D}_t$에서 둘다 shifted된 $\tilde{\epsilon}_t^{\theta}$를 사용하기에 cancel out되어 결국 latent variable에서는 기존과 다름이 없다는 것이다. 자세한 증명은 Proof of Theroem을 보면 된다. - -
-
즉 $\epsilon$-space에서의 manipulation 효과는 매우 좋지 않음을 알 수 있다. - -
-
-:::{figure-md}
-
-Proof of Theroem)
- - -Define $\alpha_t = \prod_{s=1}^t(1 - \beta_s)$, $\tilde{x}_{t-1} = \sqrt{\alpha_{t-1}}\mathrm{P}_t(\tilde{\epsilon}_t^{\theta}(x_t)) + \mathrm{D}_t(\tilde{\epsilon}_t^{\theta}(x_t)) + \sigma_t\mathcal{z_t}$ - -= $\sqrt{\alpha_{t-1}}\underbrace{\bigg(\cfrac{x_t - \sqrt{1-\alpha_t}(\epsilon_t^\theta(x_t) + \Delta \epsilon_t)}{\sqrt{\alpha_t}}\bigg)}_{\mathrm{P}_t(\tilde{\epsilon}_t^{\theta})} + \underbrace{\sqrt{1-\alpha_{t-1}-\sigma_t^2}\cdot (\epsilon_t^\theta(x_t) + \Delta \epsilon_t) }_{\mathrm{D}_t(\tilde{\epsilon}_t^{\theta})} + \sigma_t\mathcal{z_t}$ - -= $\sqrt{\alpha_{t-1}}\mathrm{P}_t(\epsilon_t^\theta(x_t)) + \mathrm{D}_t(\epsilon_t^\theta(x_t)) - \cfrac{\sqrt{\alpha_{t-1}}\sqrt{1-\alpha_t}}{\sqrt{\alpha_t}} \cdot \Delta \epsilon_t + \sqrt{1-\alpha_{t-1}} \cdot \Delta \epsilon_t$ - -$\sqrt{\alpha_{t-1}}\mathrm{P}_t(\epsilon_t^\theta(x_t)) + \mathrm{D}_t(\epsilon_t^\theta(x_t))$는 기존 DDIM에서의 $x_{t-1}$에 대한 식이고 위 식의 $\Delta \epsilon_t$항만 따로 묶어서 표현하면 아래와 같다. - -= $x_{t-1} + \bigg( -\cfrac{\sqrt{1-\alpha_t}}{\sqrt{1-\beta_t}} + \sqrt{1-\alpha_{t-1}} \bigg) \cdot \Delta \epsilon_t $ - -= $x_{t-1} + \bigg( -\cfrac{\sqrt{1-\alpha_t}}{\sqrt{1-\beta_t}} + \cfrac{\sqrt{1-\prod_{s=1}^{t-1}(1-\beta_s)}\sqrt{1-\beta_t}}{\sqrt{1-\beta_t}} \bigg) \cdot \Delta \epsilon_t $ - -${\sqrt{1-\prod_{s=1}^{t-1}(1-\beta_s)}\sqrt{1-\beta_t}}$를 root를 묶어서 내부를 계산하면 $\sqrt{1-\alpha_t-\beta_t}$이므로 정리하면 아래와 같다. - -= $x_{t-1} + \bigg( \cfrac{\sqrt{1-\alpha_t-\beta_t} - \sqrt{1-\alpha_t}}{\sqrt{1-\beta_t}} \bigg) \cdot \Delta \epsilon_t $ - -$\therefore \Delta x_t = \tilde{x_{t-1}} - x_{t-1} = \cfrac{\sqrt{1-\alpha_t-\beta_t} - \sqrt{1-\alpha_t}}{\sqrt{1-\beta_t}} \bigg) \cdot \Delta \epsilon_t$ - -shifted epsilon을 사용한 결과이다. 분자를 보면 $\beta_t$는 매우 작기에 거의 0에 수렴하기에 결국 차이가 거의 없음을 보인다.즉 $\epsilon$-space에서의 manipulation 효과는 매우 좋지 않음을 알 수 있다. - -
-
-No Manipulation Effect with shifted epsilon
-:::
-
-### 3.2 Asymmetric Reverse Process(Asyrp)
-
-chapter 3.1에서 $\epsilon$-space에서의 문제를 해결하기 위해 저자들은 Asyrp를 제안한다. 이름 그대로 비대칭적인 방법을 사용한다는 것인데 $x_0$를 예측하는 $\mathrm{P}_t$에서는 shifted epsilon을 사용하고, latent variable로 돌아가는 $\mathrm{D}_t$에서는 non-shifted epsilon을 사용해서 전체적인 변화를 준다는 것이다. 즉, $\mathrm{P}_t$만modify하고 $\mathrm{D}_t$는 유지한다. Asyrp를 식으로 표현하면 다음과 같다.
-
-
-$$
-x_{t-1} = \sqrt{\alpha_{t-1}}\mathrm{P}_t(\tilde{\epsilon}_t^{\theta}(x_t)) + \mathrm{D}_t(\epsilon_t^{\theta}(x_t))
-$$
-Loss식 또한 chapter 2.3에서 제시한 $\mathcal{L}_{direction}$을 사용하여 재구성하였다. modify를 하지 않은 $\mathrm{P}_t^{source}$와 modifiy를 한 $\mathrm{P}_t^{edit}$을 사용한다. Loss식은 다음과 같다.
-
-
-$$
-\mathcal{L}^{(t)} = \lambda_{CLIP}(\mathrm{P}_t^{edit}, y^{ref};\mathrm{P}_t^{source},y^{source}) + \lambda_{recon}|\mathrm{P}_t^{edit} - \mathrm{P}_t^{source}|
-$$
-
-
-전체적인 reverse process는 다음과 같이 설계가 되었다. 이제 shifted epsilon인 $\tilde{\epsilon}_t^{\theta}(x_t)$를 어떤 방식으로 얻을 것인지에 대한 설계가 필요하다. 저자들은 기존의 $\epsilon$-space에서 변화를 주는 것보다 훨씬 더 좋은 result를 보이고, nice properties를 가지는 h-space에서 변화를 주는 것을 제안한다.
-
-### 3.3 h-space
-
-$\epsilon_t^{\theta}$는 diffusion models의 backbone인 U-Net에서 도출된다. 이 논문에서는 Image manipulation을 위해 $\epsilon_t^{\theta}$를 control하는 space를 U-Net의 bottleneck 즉, 가장 깊은 feature map인 $h_t$로 정하였다. 이를 h-space라고 부른다. h-space는 $\epsilon$-space보다 더 작은 spatial resolutions을 가지고 high-level semantic를 가진다. 또한 $\epsilon$-space에서는 발견할 수 없는 매우 nice한 특성들을 가지고 있다.
-
-:::{figure-md}
-
-
-
-U-Net structure and h-space
-:::
-
-h-space의 크기는 $8^2\times512$이고 $\epsilon$-space의 크기는 $256^2\times3$으로 h-space에서의 control이 더 지배적이고 robust함을 추측할 수 있다(실제 실험적으로 증명을 함). h-space는 skip-connection의 영향을 받지 않으며 가장 압축된 정보를 가지고 있는 공간이며 image를 control하는데에 있어 매우 좋은 특성들을 가지고 있다. 실제 저자들은 h-space를 지정하기 위해 U-Net의 모든 feature map을 h-space로 설정해두고 실험을 해보았는데 위의 그림을 기준으로 8th layer이전의 feature map을 h-space로 지정한 경우에는 manipulaton이 적게 이루어졌고, 8th layer 이후의 feature map을 h-space로 지정한 경우에는 너무 과한 manipulation이 이루어지거나 아예 distorted image가 생성되었다. h-space만의 특성은 chapter5에서 설명한다.
-
-### 3.4 Implicit Neural Directions
-
-:::{figure-md}
-
-
-
-Illustration of $\mathrm{f}(t)$
-:::
-
-$\Delta h_t$가 image를 manipulating하는데 성공했음에도, 수많은 timestep에서 매번 optimizing하기란 쉽지 않다. 대신에 논문에서는 $h_t$를 입력받아 $\Delta h$를 출력해주는 작은 neural network인 $\mathrm{f}(t)$를 추가하였다. $\mathrm{f}(t)$는 $\Delta h_t$를 매번 모든 timestep에서 optimizing해줘야 하는 방법에 비해 시간도 빠르고 setting값들에 대해 robust하다. 또한 주어진 timestep과 bottleneck feature인 $h_t$에 대해 $\Delta h_t$를 출력하는 방법을 학습하기에 unseen timestep과 bottleneck feature에 대해서도 일반화할 수 있다고 한다. 이는 accelerated한 과정에서도 큰 효과를 본다. training scheme이 어떻든 간에 결국 부여하는 $\sum\Delta\mathrm{h_t}$만 보존된다면, 어떠한 length를 설계해도 비슷한 manipulation효과를 볼 수 있다.
-
-
-
-h-space에서 epsilon을 control해서 asyrp 이용하는 식은 다음과 같다. 이해를 위해 $\epsilon$-space와 h-space에서의 shifted epsilon $\tilde{\epsilon}_t^{\theta}(x_t)$을 비교하였다.
-
-- $\epsilon$-space에서의 shifted epsilon
-
- $\tilde{\epsilon}_t^{\theta}(x_t) = \epsilon_t^{\theta}(x_t) + \Delta \epsilon_t$
-
-- h-space에서의 shifted epsilon
-
- $\tilde{\epsilon}_t^{\theta}(x_t) = \epsilon_t^{\theta}(x_t | \Delta h_t)$
-
-
-
-$$
-x_{t-1} = \sqrt{\alpha_{t-1}}\mathrm{P}_t(\epsilon_t^{\theta}(x_t | \Delta h_t)) + \mathrm{D}_t(\epsilon_t^{\theta}(x_t))
-$$
-
-:::{figure-md}
-
-
-
-Asymmetric Reverse Process
-:::
-
-## 4. Generative Process Design
-
-:::{figure-md}
-
-
-
-Intuition for choosing the intervals for editing and quality boosting
-:::
-
-Perception prioritized training of diffusion models(Choi et al)에서는 Diffusion model이 early stage에서는 high-level context를 generate하고, later stage에서는 imperceptible fine details를 generate한다고 제안한다. 본 논문에서는 early stage에서 editing을 진행하는 editing process와 later stage에서 imperceptible fine details를 진행하는 quality boosting을 위한 구간을 나눠서 새로운 Generative Process Design을 제시한다.
-
-### 4.1 Editing Process With Asyrp
-
-Editing Process에서는 high-level context가 generate되어야 하므로 전체 timestep[0,T]에서 Editing Process를 위한 editing interval을 [T, $t_{edit}$]으로 설정하였다. $t_{edit}$의 시점을 결정하기 위해 LPIPS 측정지표를 이용한다. LPIPS($\mathrm{x}, \mathrm{P}_t$)는 t시점에서 예측한 $x_0$와 target이 되는 original image간의 perceptual distance를 계산한다. 따라서 LPIPS를 남은 reverse process을 통해 editing 해야 할 구성요소를 측정하는 지표라고 볼 수도 있다. 첫 step T의 LPIPS로 부터 $t_{edit}$시점에서의 LPIPS 차이는 Editing Process에서 얼만큼의 perceptual change를 주었는지를 나타낸다. 이 값을 editing strength($\epsilon_t$)라고 정의한다.
-
-
-
-$$
-\xi_t = \mathrm{LPIPS}(x, \mathrm{P}_T) - \mathrm{LPIPS}(x, \mathrm{P}_t)
-$$
-Editing interval이 작으면 $\xi_t$가 작아지며 변화가 많이 일어나지 않고 반면, Editing interval이 크면 $\xi_t$가 커지고 변화가 많이 일어난다. 따라서 충분한 변화를 줄 수 있는 한에서 가장 최소의 Editing interval을 찾는 것이 $t_{edit}$을 결정하는 최고의 방법이다. 저자들은 실험적인 결과를 통해 $\mathrm{LPIPS}(x, \mathrm{P}_t)$ = 0.33인 t시점을 $t_{edit}$으로 결정하였다.
-
-:::{figure-md}
-
-
-
-Results based on various $\mathrm{LPIPS}(x, \mathrm{P}_{t_{edit}})$
-:::
-
-:::{figure-md}
-
-
-
-Importance of choosing proper $t_{edit}$
-:::
-
-몇몇 특성들은 다른 특성들에 비해 visual change를 많이 필요로 하는 경우도 있다. 예를 들어 source image에 대해 smile한 attribute를 추가하는 경우보다 pixar style의 attribute을 추가하는 경우가 더 많은 visual change를 필요로 한다. 이러한 경우에는 Editing interval을 더 길게 설정해야 한다. 이러한 경우에는 $\mathrm{LPIPS}(x, \mathrm{P}_t)$ = 0.33 - $\delta$를 만족하는 t를 $t_{edit}$으로 설정한다. 이 때, $\delta = 0.33d(\mathrm{E}_T(y_{source}), \mathrm{E}_T(y_{target}))$이다. $\mathrm{E}_T$는 CLIP text embedding을 진행하는 Text Encoder를 의미하며, d는 cosine distance를 의미한다. 아래 그림을 통해 더 많은 visual change를 요구하는 attributes에 대해서는 $t_{edit}$이 더 작음(Editing Interval이 김)을 알 수 있다.
-
-:::{figure-md}
-
-
-
-Flexible $t_{edit}$ based on the amount of visual changes.
-:::
-
-### 4.2 Quality Boosting With Stochastic Noise Injection
-
-DDIM은 $\eta$=0으로 설정하며 stochasticity를 제거하여 거의 완벽한 inversion을 가능케 하였다. Elucidating the design space of diffusionbased generative models(Karras et al.)에서는 stochasticity가 image quality를 증가시킨다고 증명하였다. 이에 따라 본 논문에서는 Generative Process에 stochastic noise를 주입하는 quality boosting 단계를 설정하고 boosting interval은 [$t_{boost}$, 0]이다.
-
- Boosting Interval에 따라 image quality를 control할 수 있는데, Boosting Interval이 길게되면, Quality는 증가하지만 Interval동안 계속해서 stochastic noise를 주입해야 하기에 content가 변하는 문제가 발생할 수도 있다. 따라서 충분한 quality boosting을 달성하면서도 content에 최소한의 변화만을 줄 수 있도록 $t_{boost}$를 설정하는 것이 중요하다. 저자들은 image에 껴있는 noise를 quality boosting을 통해 해결해야 할 부분으로 보았으며 target이 되는 original image로 부터 t시점의 image $x_t$에 얼만큼의 noise가 껴있는지에 대한 지표로 quality deficiency $\gamma_t$를 이용한다.
-
-
-$$
-\gamma_t = \mathrm{LPIPS}(x, x_t)
-$$
-여기서는 editing strength와는 다르게 time step에 따라 예측한 $x_0$인 $\mathrm{P}_t$가 아닌 latent variable $x_t$를 이용한다. 저자들은 noise를 판단하는데에 있어서 semantics보다는 actual image를 고려했기에 위와 같이 설정하였다고 한다. 저자들은 실험적인 결과를 통해 $\gamma_t$ = 1.2인 t시점을 $t_{boost}$로 설정하였다.
-
-:::{figure-md}
-
-
-
-Results based on various $\gamma_{t_{boost}}$
-:::
-
-:::{figure-md}
-
-
-
-Quality comparison based on the presence of quality boosting
-:::
-
-### 4.3 Overall Process of Image Editing
-
-General한 Diffusion model에서의 Generative Process를 표현하면 다음과 같다.
-
-
-$$
-x_{t-1} = \sqrt{\alpha_{t-1}}\mathrm{P}_t(\epsilon_t^{\theta}) + \mathrm{D}_t(\epsilon_t^{\theta}) + \sigma_t\mathcal{z}_t\bigg(where, \sigma_t = \eta\sqrt{(1-\alpha_{t-1}) / (1-\alpha_t)} \sqrt{1-\alpha_t/\alpha_{t-1}}\bigg)
-$$
-$\eta$ = 0인 경우에는 DDIM이 되며, stochastic noise를 더하는 부분이 사라져 deterministic해진다. $\eta$ = 1인 경우에는 DDPM이 되며, stochastic한 특성이 있다. Asyrp(Assymetric Reverse Process)에서는 기본적으로 DDIM을 사용하며 $\mathrm{P}_t$에서 h-space를 통해 control된 $\epsilon_t^{\theta}(x_t|f_t)$를 사용한다. Diffusion Models already have a Semantic Latent Space에서 제시한 Generative Process를 전체적으로 정리하면 다음과 같다.
-
-:::{figure-md}
-
-
-
-Quality comparison based on the presence of quality boosting
-:::
-
-처음부터 $t_{edit}$시점까지는 Asyrp를 이용해 Editing Process를 진행한다. 이 후 DDIM 방식을 통해 Denoising을 진행하다가 $t_{boost}$시점부터 끝날 때까지 stochastic noise를 주입하는 DDPM 방식을 이용해 Quality boosting을 진행한다.
-
-:::{figure-md}
-
-
-
-Overview of Generative Process
-:::
-
-## 5. Experiments
-
- CelebA-HQ (Karras et al., 2018) 및 LSUN-bedroom/-church (Yu et al., 2015) 데이터셋에서 DDPM++ (Song et al., 2020b) (Meng et al., 2021); AFHQ-dog (Choi et al., 2020) 데이터셋에서 iDDPM (Nichol & Dhariwal, 2021); 그리고 METFACES (Karras et al., 2020) 데이터셋에서 ADM with P2-weighting (Dhariwal & Nichol, 2021) (Choi et al., 2022)을 사용해 각각 학습시켰다고 한다. 모든 model들은 pretrained checkpoint를 활용했으며 frozen상태를 유지시켰다고 한다.
-
-### 5.1 Versatility of h-space with Asyrp
-
-:::{figure-md}
-
-
-
-Editing results of Asyrp on various datasets
-:::
-
-위의 그림을 보면, 논문에서는 다양한 attribute들의 특성을 잘 반영해서 image를 manipulate했다는 점을 알 수 있다. 심지어 {department, factory, temple} attribute은 training data에 포함이 되어있지 않았음에도 성능이 잘 나온 점을 확인할 수 있다. model을 fine tuning하지 않고 inference하는 과정에서 h-space를 통해 epsilon을 control하고 Asyrp를 이용해 성능을 냈다는 점이 가장 큰 장점이다.
-
-### 5.2 Quantitive Comparison
-
-Asyrp model의 결과를 다른 model들과 비교하는 실험을 진행하였는데 diffusion model 전체를 fine-tuning하여 image을 editing하는 DiffsionCLIP model과 비교하였다. Asyrp의 성능이 더 좋음을 확인 할 수 있다.
-
-:::{figure-md}
-
-
-
-Asyrp vs DiffusionCLIP on both CelebA-HQ seen-domain attributes and unseen-domain attributes
-:::
-
-### 5.3 Analysis on h-space
-
-1. **Homogeneity**
-
- :::{figure-md}
-
-
-
- Homogeneity of h-space
- :::
-
- 위의 그림의 (a)는 Real image에 smiling attribute을 추가하기 위해 최적화된 $\Delta h_t$와 $\Delta \epsilon_t$를 나타낸다. 같은 값을 다른 Real image에 적용시켰을 때의 결과를 (b)에 나타내었는데, $\Delta h_t$를 적용한경우 smiling face로 잘 바뀌는 반면, $\Delta \epsilon_t$을 적용한 경우에는 image distortion이 발생함을 알 수 있다.
-
-
-
-2. **Linearity**
-
- :::{figure-md}
-
-
-
- Linearity of h-space - Linear Scaling
- :::
-
- $\Delta_h$를 linearly scaling을 하는 것은 editing을 하는데에 있어 visual attribute change의 양에 반영된다. 즉, $\Delta_h$를 $\times$1, $\times$2, $\times$3배 $/dots$ 함에 따라 result image에서 반영되는 attribute또한 이에 맞게 변화한다는 것이다. 위의 그림에서 표현되어 있듯이 negative scaling에 대해서는 training을 하지 않았음에도 잘 적용 된다는 점을 알 수 있다.
-
-
-
- :::{figure-md}
-
-
-
- Linearity of h-space - Linear Combination
- :::
-
- 서로 다른 attributes에 대한 $\Delta_h$를 합쳐서 부여를 했을 경우에도 각각의 attribute들이 image에 잘 반영이 된다는 점을 알 수 있다.
-
-
-
-3. **Robustness**
-
- :::{figure-md}
-
-
-
- Robustness of h-space
- :::
-
- 위의 그림은 h-space와 $\epsilon-space$에서 random noise를 주입했을 때의 결과를 비교한 것이다. h-space의 경우에는 random noise가 추가되었어도 image에 큰 변화가 없으며 많은 noise가 추가되었을 경우에도 image distortion은 거의 없고 semantic change만 발생한다. 그러나 $\epsilon-space$의 경우에는 random noise가 추가된 경우 image distortion이 심하게 발생한다. 이를 통해 h-space가 얼마나 robustness한지 알 수 있다.
-
-
-
-4. **Consistency across time steps**
-
- :::{figure-md}
-
-
-
- Consistency across times steps of h-space
- :::
-
- h-space의 homogeneous한 성질을 통해 같은 attribute에 대한 $\Delta h$를 다른 image에 적용시켰을 때에도 잘 반영이 됌을 확인하였다. 저자들은 $\Delta h_t$들에 대한 평균인 $\Delta h_t^{mean}$을 적용시켰을 경우에도 result가 거의 비슷함을 보인다. Chapter4에서 제시한 Generative Process를 비추어 보았을 때, $\Delta h_t$는 Editing Process에서만 적용을 시킨다. 이 경우, 적용하는 $\Delta h_t$를 $\Delta h_t^{global}$이라고 칭하며, 적용하는 $\Delta h_t$가 interval동안 같은 크기 만큼 적용된다고 가정했을 경우, $\Delta h^{global} = \cfrac{1}{\mathrm{T_e}}\sum_t\ \Delta h_t^{mean}$이라고 쓸 수 있다. 이 경우에도 결과는 비슷함을 보여준다. 결국 원하는 attribute에 대해 주입해야 할 $\Delta h$양만 같다면, 원하는 editing 효과를 얻을 수 있다. 비록 이 논문에서는 best quality manipulation을 위해 $\Delta h_t$를 사용하였지만, $\Delta h_t^{mean}$과 $\Delta h^{global}$에 대해 더 연구를 해 볼 여지가 있다고 판단한다.
-
-## 6. Conclusion
-
-본 논문에서는 Pretrained Diffusion models에서 latent semantic space인 h-space를 발견했고 h-space에서의 Asyrp(Asymmetric Reverse Process)와 새롭게 제안한 Reverse Process 방법을 통해 성공적인 image editing을 가능케 하였다. Diffusion model에서의 semantic한 latent space에 대한 첫 제안을 한 논문이다. h-space는 GAN의 latent space와 유사한 특성을 갖추고 있다. 대표적인 h-space의 특성으로는 Homogeneity, Linearity, Robustness, Consistency across timesteps이 있다.
+``` {admonition} Information
+- **Title:** Diffusion Models already have a Semantic Latent Space (ICLR 2023)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2210.10960](https://arxiv.org/abs/2210.10960)
+
+- **Author:** Sehwan Park
+
+- **Last updated on Nov. 18, 2023**
+```
+
+
+
+# Diffusion Models already have a Semantic Latent Space
+
+## Abstract
+
+Diffusion model은 많은 domain에서 좋은 성능을 보이지만 generative process를 control하는 semantic latent space가 부족하다. 논문에서는 diffusion model속에서 semantic latent space를 발견하기 위한 asymmetric reverse process(asyrp)를 제안하고 h-space라고 명칭한 semantic latent space의 좋은 특성(homogeneity, linearity, robustness, consistency across timesteps)들을 보여준다. 추가적으로 editing strength와 quality deficiency를 기준으로 삼고 더 좋은 image-image translation을 위한 Generative Process Design을 소개한다.
+
+
+
+## 1. Introduction
+
+:::{figure-md}
+
+
+
+Manipulation approaches for diffusion models
+:::
+
+(a) Image guidance는 unconditional한 latent variable에 guiding image의 latent variable을 합치는 방식을 사용한다. 그러나 latent variable을 둘 다 이용하면서 명확하게 control하기가 쉽지 않다.
+
+(b) Classifier guidance는 diffusion model에 classifier를 추가하여 generative process를 거치는 동안 latent variable이 어떤 class인지 분류하고 target class에 가까워지도록 score를 부여하는 방식으로 작동한다. 그러나 latent variable들에 대해 classify를 실행해야 하기에 pretrained model을 사용하기가 힘들어 직접 학습을 시켜야 하기에 시간적으로, 비용적으로 부담이 된다.
+
+(c) DiffusionCLIP
+
+(d) Diffusion Models already have a Semantic Latent Space는 original image의 특성을 edit하기 위한 아주 좋은 특성을 가지고 있는 semantic latent space를 frozen diffusion model에서 발견하였고 이를 h-space라고 칭한다. h-space에는 다양한 좋은 특성들이 존재한다. versatile editing과 quality boosting을 위해 새로운 generative process를 design하여 제안한다. h-space는 frozen pretrained diffusion model에서 semantic latent space로써의 첫 발견사례이다.
+
+
+
+## 2. Background
+
+### 2.1 Denoising Diffusion Probability Model(DDPM)
+
+DDPM에서는 임의의 time step t로 부터 noise가 껴있는 image $x_t$의 $\epsilon_t$가 얼만큼인지 예측한다. 예측한 $\epsilon_t$를 이용하여 noise가 일부 제거된 이전 step의 mean($\mu_{\theta}(x_t)$)을 구할 수 있고 variance($\sum_{\theta}(x_t)$)는 constant한 값으로 고정시킨다. DDPM에서 제시한 forward process와 reverse process는 다음과 같다. DDPM에서의 $\sigma_t^2 = \beta_t$이다.
+
+
+$$
+q(x_t|x_{t-1}) = \mathcal{N}(x_t; \sqrt{\alpha_{t}}x_{t-1}, (1-\alpha_t)I)
+$$
+
+$$
+p_{\theta}(x_{t-1}|x_t) := \mathcal{N}(\mu_{\theta}(x_t), \sum_{\theta}(x_t))
+$$
+
+$$
+x_{t-1} = \frac{1}{\sqrt{1-\beta_t}}\bigg(x_t - \frac{\beta_t}{\sqrt{1-\alpha_t}}\epsilon_t^\theta(x_t)\bigg) + \sigma_t\mathcal{z_t}
+$$
+
+
+
+### 2.2 Denoising Diffusion Implicit Model(DDIM)
+
+DDIM에서는 non-Markovian process를 이용해 또 다른 관점의 reverse process를 제시하였고, DDPM과 DDIM 모두 general하게 적용되는 Diffusion process에 대한 식을 보여주었다. $\sigma_t = \eta\sqrt{(1-\alpha_{t-1}) / (1-\alpha_t)} \sqrt{1-\alpha_t/\alpha_{t-1}}$이다.
+
+ $\eta$=1인 경우 DDPM이 되고 stochastic해지며, $\eta$=0인 경우 DDIM이 되고 deterministic해진다.
+
+
+$$
+q_{\sigma}(x_{t-1}|x_t,x_0) = \mathcal{N}(\sqrt{\alpha_{t-1}}x_0 + \sqrt{1-\alpha_{t-1}-\sigma_t^2} \cdot \cfrac{x_t - \sqrt{\alpha_t}x_0}{\sqrt{1-\alpha_t}}, \sigma_t^2I)
+$$
+
+$$
+x_{t-1} = \sqrt{\alpha_{t-1}}\underbrace{\bigg(\frac{x_t - \sqrt{1-\alpha_t}\epsilon_t^\theta(x_t)}{\sqrt{\alpha_t}}\bigg)}_{\textrm{predicted } x_0} + \underbrace{\sqrt{1-\alpha_{t-1}-\sigma_t^2}\cdot \epsilon_t^\theta(x_t) }_{\textrm{direction pointing to }x_t} + \sigma_t\mathcal{z_t}
+$$
+
+### 2.3 Image Manipulation with CLIP
+
+CLIP은 Image Encoder와 Text Encoder를 이용하여 image와 text간의 embedding을 학습한다. 편집된 이미지와 대상 설명 간의 cosine distance를 직접 최소화하는 대신 cosine distance를 사용한 directional loss를 사용하여 mode collapse없이 균일한 editing을 가능하게 했다고 한다.
+
+$\Delta T = \mathrm{E}_T(y^{target}) - \mathrm{E}_T(y^{source}) $$\Delta I = \mathrm{E}_I(x^{edit}) - \mathrm{E}_I(x^{source})$ + + +$$ +\mathcal{L}_{direction} (x^{edit}, y^{target};x^{source},y^{source}) := 1 - \cfrac{\Delta I \cdot \Delta T}{\parallel\Delta I\parallel \parallel\Delta T\parallel} +$$ + + + +## 3. Discovering Semantic Latent Space In Diffusion Models + +Editiing을 하는 과정에서 naive approach를 통해서는 editing이 잘 이루어지지 않는다. 이 chapter에서는 왜 잘 이루어지지 않는지에 대한 설명을 하고 이를 해결하는 새로운 controllable한 한 reverse process인 Asymmetric Reverse Process(Asyrp)를 제안한다. + +DDIM에서 $x_{t-1}$에 대한 수식을 설명하였는데 이 chapter부터는 "predicted $x_0$"부분을 $\mathrm{P}_t(\epsilon_t^{\theta}(x_t))$ 즉 $\mathrm{P}_t$라고 설정하고, "direction pointing to $x_t$"부분을 $\mathrm{D}_t(\epsilon_t^{\theta}(x_t))$ 즉 $\mathrm{D}_t$라고 설정하였다. + +$\mathrm{P}_t$는 latent variable로 부터 $x_0$를 예측하는 reverse process와 같은 역할을 담당하고 $\mathrm{D}_t$는 다시 noise를 추가해 latent variable로 돌아가기에 forward process와 같은 역할을 담당한다. + + +$$ +x_{t-1} = \sqrt{\alpha_{t-1}}\underbrace{\bigg(\frac{x_t - \sqrt{1-\alpha_t}\epsilon_t^\theta(x_t)}{\sqrt{\alpha_t}}\bigg)}_{\mathrm{P}_t(\epsilon_t^{\theta}(x_t))} + \underbrace{\sqrt{1-\alpha_{t-1}-\sigma_t^2}\cdot \epsilon_t^\theta(x_t) }_{\mathrm{D}_t(\epsilon_t^{\theta}(x_t))} + \sigma_t\mathcal{z_t} +$$ + +$$ +x_{t-1} = \sqrt{\alpha_{t-1}}\mathrm{P}_t(\epsilon_t^{\theta}(x_t)) + \mathrm{D}_t(\epsilon_t^{\theta}(x_t)) + \sigma_t\mathcal{z_t} +$$ + +### 3.1 Problem + +$x_T$로 부터 생성된 image $x_0$를 given text prompts에 맞게 manipulate시키는 가장 간단한 방법은 2.3에서 소개한 $\mathcal{L}_{direction}$을 optimize하도록 $x_T$를 update하는 것이다. 하지만 이 방법은 distorted images를 생성하거나 부정확한 manipulation을 한다고 한다. + +이에 대한 대안으로, 모든 sampling step에서 원하는 방향으로 manipulate하도록 $\epsilon_t^{\theta}$를 shift해주는 방법이 제시되었다. 하지만 이 방법은 $x_0$를 완전히 manipulate하지 못한다. 왜냐하면 $\mathrm{P}_t$와 $\mathrm{D}_t$에서 둘다 shifted된 $\tilde{\epsilon}_t^{\theta}$를 사용하기에 cancel out되어 결국 latent variable에서는 기존과 다름이 없다는 것이다. 자세한 증명은 Proof of Theroem을 보면 된다. + +
+
즉 $\epsilon$-space에서의 manipulation 효과는 매우 좋지 않음을 알 수 있다. + +
+
+:::{figure-md}
+
+Proof of Theroem)
+ + +Define $\alpha_t = \prod_{s=1}^t(1 - \beta_s)$, $\tilde{x}_{t-1} = \sqrt{\alpha_{t-1}}\mathrm{P}_t(\tilde{\epsilon}_t^{\theta}(x_t)) + \mathrm{D}_t(\tilde{\epsilon}_t^{\theta}(x_t)) + \sigma_t\mathcal{z_t}$ + += $\sqrt{\alpha_{t-1}}\underbrace{\bigg(\cfrac{x_t - \sqrt{1-\alpha_t}(\epsilon_t^\theta(x_t) + \Delta \epsilon_t)}{\sqrt{\alpha_t}}\bigg)}_{\mathrm{P}_t(\tilde{\epsilon}_t^{\theta})} + \underbrace{\sqrt{1-\alpha_{t-1}-\sigma_t^2}\cdot (\epsilon_t^\theta(x_t) + \Delta \epsilon_t) }_{\mathrm{D}_t(\tilde{\epsilon}_t^{\theta})} + \sigma_t\mathcal{z_t}$ + += $\sqrt{\alpha_{t-1}}\mathrm{P}_t(\epsilon_t^\theta(x_t)) + \mathrm{D}_t(\epsilon_t^\theta(x_t)) - \cfrac{\sqrt{\alpha_{t-1}}\sqrt{1-\alpha_t}}{\sqrt{\alpha_t}} \cdot \Delta \epsilon_t + \sqrt{1-\alpha_{t-1}} \cdot \Delta \epsilon_t$ + +$\sqrt{\alpha_{t-1}}\mathrm{P}_t(\epsilon_t^\theta(x_t)) + \mathrm{D}_t(\epsilon_t^\theta(x_t))$는 기존 DDIM에서의 $x_{t-1}$에 대한 식이고 위 식의 $\Delta \epsilon_t$항만 따로 묶어서 표현하면 아래와 같다. + += $x_{t-1} + \bigg( -\cfrac{\sqrt{1-\alpha_t}}{\sqrt{1-\beta_t}} + \sqrt{1-\alpha_{t-1}} \bigg) \cdot \Delta \epsilon_t $ + += $x_{t-1} + \bigg( -\cfrac{\sqrt{1-\alpha_t}}{\sqrt{1-\beta_t}} + \cfrac{\sqrt{1-\prod_{s=1}^{t-1}(1-\beta_s)}\sqrt{1-\beta_t}}{\sqrt{1-\beta_t}} \bigg) \cdot \Delta \epsilon_t $ + +${\sqrt{1-\prod_{s=1}^{t-1}(1-\beta_s)}\sqrt{1-\beta_t}}$를 root를 묶어서 내부를 계산하면 $\sqrt{1-\alpha_t-\beta_t}$이므로 정리하면 아래와 같다. + += $x_{t-1} + \bigg( \cfrac{\sqrt{1-\alpha_t-\beta_t} - \sqrt{1-\alpha_t}}{\sqrt{1-\beta_t}} \bigg) \cdot \Delta \epsilon_t $ + +$\therefore \Delta x_t = \tilde{x_{t-1}} - x_{t-1} = \cfrac{\sqrt{1-\alpha_t-\beta_t} - \sqrt{1-\alpha_t}}{\sqrt{1-\beta_t}} \bigg) \cdot \Delta \epsilon_t$ + +shifted epsilon을 사용한 결과이다. 분자를 보면 $\beta_t$는 매우 작기에 거의 0에 수렴하기에 결국 차이가 거의 없음을 보인다.즉 $\epsilon$-space에서의 manipulation 효과는 매우 좋지 않음을 알 수 있다. + +
+
+No Manipulation Effect with shifted epsilon
+:::
+
+### 3.2 Asymmetric Reverse Process(Asyrp)
+
+chapter 3.1에서 $\epsilon$-space에서의 문제를 해결하기 위해 저자들은 Asyrp를 제안한다. 이름 그대로 비대칭적인 방법을 사용한다는 것인데 $x_0$를 예측하는 $\mathrm{P}_t$에서는 shifted epsilon을 사용하고, latent variable로 돌아가는 $\mathrm{D}_t$에서는 non-shifted epsilon을 사용해서 전체적인 변화를 준다는 것이다. 즉, $\mathrm{P}_t$만modify하고 $\mathrm{D}_t$는 유지한다. Asyrp를 식으로 표현하면 다음과 같다.
+
+
+$$
+x_{t-1} = \sqrt{\alpha_{t-1}}\mathrm{P}_t(\tilde{\epsilon}_t^{\theta}(x_t)) + \mathrm{D}_t(\epsilon_t^{\theta}(x_t))
+$$
+Loss식 또한 chapter 2.3에서 제시한 $\mathcal{L}_{direction}$을 사용하여 재구성하였다. modify를 하지 않은 $\mathrm{P}_t^{source}$와 modifiy를 한 $\mathrm{P}_t^{edit}$을 사용한다. Loss식은 다음과 같다.
+
+
+$$
+\mathcal{L}^{(t)} = \lambda_{CLIP}(\mathrm{P}_t^{edit}, y^{ref};\mathrm{P}_t^{source},y^{source}) + \lambda_{recon}|\mathrm{P}_t^{edit} - \mathrm{P}_t^{source}|
+$$
+
+
+전체적인 reverse process는 다음과 같이 설계가 되었다. 이제 shifted epsilon인 $\tilde{\epsilon}_t^{\theta}(x_t)$를 어떤 방식으로 얻을 것인지에 대한 설계가 필요하다. 저자들은 기존의 $\epsilon$-space에서 변화를 주는 것보다 훨씬 더 좋은 result를 보이고, nice properties를 가지는 h-space에서 변화를 주는 것을 제안한다.
+
+### 3.3 h-space
+
+$\epsilon_t^{\theta}$는 diffusion models의 backbone인 U-Net에서 도출된다. 이 논문에서는 Image manipulation을 위해 $\epsilon_t^{\theta}$를 control하는 space를 U-Net의 bottleneck 즉, 가장 깊은 feature map인 $h_t$로 정하였다. 이를 h-space라고 부른다. h-space는 $\epsilon$-space보다 더 작은 spatial resolutions을 가지고 high-level semantic를 가진다. 또한 $\epsilon$-space에서는 발견할 수 없는 매우 nice한 특성들을 가지고 있다.
+
+:::{figure-md}
+
+
+
+U-Net structure and h-space
+:::
+
+h-space의 크기는 $8^2\times512$이고 $\epsilon$-space의 크기는 $256^2\times3$으로 h-space에서의 control이 더 지배적이고 robust함을 추측할 수 있다(실제 실험적으로 증명을 함). h-space는 skip-connection의 영향을 받지 않으며 가장 압축된 정보를 가지고 있는 공간이며 image를 control하는데에 있어 매우 좋은 특성들을 가지고 있다. 실제 저자들은 h-space를 지정하기 위해 U-Net의 모든 feature map을 h-space로 설정해두고 실험을 해보았는데 위의 그림을 기준으로 8th layer이전의 feature map을 h-space로 지정한 경우에는 manipulaton이 적게 이루어졌고, 8th layer 이후의 feature map을 h-space로 지정한 경우에는 너무 과한 manipulation이 이루어지거나 아예 distorted image가 생성되었다. h-space만의 특성은 chapter5에서 설명한다.
+
+### 3.4 Implicit Neural Directions
+
+:::{figure-md}
+
+
+
+Illustration of $\mathrm{f}(t)$
+:::
+
+$\Delta h_t$가 image를 manipulating하는데 성공했음에도, 수많은 timestep에서 매번 optimizing하기란 쉽지 않다. 대신에 논문에서는 $h_t$를 입력받아 $\Delta h$를 출력해주는 작은 neural network인 $\mathrm{f}(t)$를 추가하였다. $\mathrm{f}(t)$는 $\Delta h_t$를 매번 모든 timestep에서 optimizing해줘야 하는 방법에 비해 시간도 빠르고 setting값들에 대해 robust하다. 또한 주어진 timestep과 bottleneck feature인 $h_t$에 대해 $\Delta h_t$를 출력하는 방법을 학습하기에 unseen timestep과 bottleneck feature에 대해서도 일반화할 수 있다고 한다. 이는 accelerated한 과정에서도 큰 효과를 본다. training scheme이 어떻든 간에 결국 부여하는 $\sum\Delta\mathrm{h_t}$만 보존된다면, 어떠한 length를 설계해도 비슷한 manipulation효과를 볼 수 있다.
+
+
+
+h-space에서 epsilon을 control해서 asyrp 이용하는 식은 다음과 같다. 이해를 위해 $\epsilon$-space와 h-space에서의 shifted epsilon $\tilde{\epsilon}_t^{\theta}(x_t)$을 비교하였다.
+
+- $\epsilon$-space에서의 shifted epsilon
+
+ $\tilde{\epsilon}_t^{\theta}(x_t) = \epsilon_t^{\theta}(x_t) + \Delta \epsilon_t$
+
+- h-space에서의 shifted epsilon
+
+ $\tilde{\epsilon}_t^{\theta}(x_t) = \epsilon_t^{\theta}(x_t | \Delta h_t)$
+
+
+
+$$
+x_{t-1} = \sqrt{\alpha_{t-1}}\mathrm{P}_t(\epsilon_t^{\theta}(x_t | \Delta h_t)) + \mathrm{D}_t(\epsilon_t^{\theta}(x_t))
+$$
+
+:::{figure-md}
+
+
+
+Asymmetric Reverse Process
+:::
+
+## 4. Generative Process Design
+
+:::{figure-md}
+
+
+
+Intuition for choosing the intervals for editing and quality boosting
+:::
+
+Perception prioritized training of diffusion models(Choi et al)에서는 Diffusion model이 early stage에서는 high-level context를 generate하고, later stage에서는 imperceptible fine details를 generate한다고 제안한다. 본 논문에서는 early stage에서 editing을 진행하는 editing process와 later stage에서 imperceptible fine details를 진행하는 quality boosting을 위한 구간을 나눠서 새로운 Generative Process Design을 제시한다.
+
+### 4.1 Editing Process With Asyrp
+
+Editing Process에서는 high-level context가 generate되어야 하므로 전체 timestep[0,T]에서 Editing Process를 위한 editing interval을 [T, $t_{edit}$]으로 설정하였다. $t_{edit}$의 시점을 결정하기 위해 LPIPS 측정지표를 이용한다. LPIPS($\mathrm{x}, \mathrm{P}_t$)는 t시점에서 예측한 $x_0$와 target이 되는 original image간의 perceptual distance를 계산한다. 따라서 LPIPS를 남은 reverse process을 통해 editing 해야 할 구성요소를 측정하는 지표라고 볼 수도 있다. 첫 step T의 LPIPS로 부터 $t_{edit}$시점에서의 LPIPS 차이는 Editing Process에서 얼만큼의 perceptual change를 주었는지를 나타낸다. 이 값을 editing strength($\epsilon_t$)라고 정의한다.
+
+
+
+$$
+\xi_t = \mathrm{LPIPS}(x, \mathrm{P}_T) - \mathrm{LPIPS}(x, \mathrm{P}_t)
+$$
+Editing interval이 작으면 $\xi_t$가 작아지며 변화가 많이 일어나지 않고 반면, Editing interval이 크면 $\xi_t$가 커지고 변화가 많이 일어난다. 따라서 충분한 변화를 줄 수 있는 한에서 가장 최소의 Editing interval을 찾는 것이 $t_{edit}$을 결정하는 최고의 방법이다. 저자들은 실험적인 결과를 통해 $\mathrm{LPIPS}(x, \mathrm{P}_t)$ = 0.33인 t시점을 $t_{edit}$으로 결정하였다.
+
+:::{figure-md}
+
+
+
+Results based on various $\mathrm{LPIPS}(x, \mathrm{P}_{t_{edit}})$
+:::
+
+:::{figure-md}
+
+
+
+Importance of choosing proper $t_{edit}$
+:::
+
+몇몇 특성들은 다른 특성들에 비해 visual change를 많이 필요로 하는 경우도 있다. 예를 들어 source image에 대해 smile한 attribute를 추가하는 경우보다 pixar style의 attribute을 추가하는 경우가 더 많은 visual change를 필요로 한다. 이러한 경우에는 Editing interval을 더 길게 설정해야 한다. 이러한 경우에는 $\mathrm{LPIPS}(x, \mathrm{P}_t)$ = 0.33 - $\delta$를 만족하는 t를 $t_{edit}$으로 설정한다. 이 때, $\delta = 0.33d(\mathrm{E}_T(y_{source}), \mathrm{E}_T(y_{target}))$이다. $\mathrm{E}_T$는 CLIP text embedding을 진행하는 Text Encoder를 의미하며, d는 cosine distance를 의미한다. 아래 그림을 통해 더 많은 visual change를 요구하는 attributes에 대해서는 $t_{edit}$이 더 작음(Editing Interval이 김)을 알 수 있다.
+
+:::{figure-md}
+
+
+
+Flexible $t_{edit}$ based on the amount of visual changes.
+:::
+
+### 4.2 Quality Boosting With Stochastic Noise Injection
+
+DDIM은 $\eta$=0으로 설정하며 stochasticity를 제거하여 거의 완벽한 inversion을 가능케 하였다. Elucidating the design space of diffusionbased generative models(Karras et al.)에서는 stochasticity가 image quality를 증가시킨다고 증명하였다. 이에 따라 본 논문에서는 Generative Process에 stochastic noise를 주입하는 quality boosting 단계를 설정하고 boosting interval은 [$t_{boost}$, 0]이다.
+
+ Boosting Interval에 따라 image quality를 control할 수 있는데, Boosting Interval이 길게되면, Quality는 증가하지만 Interval동안 계속해서 stochastic noise를 주입해야 하기에 content가 변하는 문제가 발생할 수도 있다. 따라서 충분한 quality boosting을 달성하면서도 content에 최소한의 변화만을 줄 수 있도록 $t_{boost}$를 설정하는 것이 중요하다. 저자들은 image에 껴있는 noise를 quality boosting을 통해 해결해야 할 부분으로 보았으며 target이 되는 original image로 부터 t시점의 image $x_t$에 얼만큼의 noise가 껴있는지에 대한 지표로 quality deficiency $\gamma_t$를 이용한다.
+
+
+$$
+\gamma_t = \mathrm{LPIPS}(x, x_t)
+$$
+여기서는 editing strength와는 다르게 time step에 따라 예측한 $x_0$인 $\mathrm{P}_t$가 아닌 latent variable $x_t$를 이용한다. 저자들은 noise를 판단하는데에 있어서 semantics보다는 actual image를 고려했기에 위와 같이 설정하였다고 한다. 저자들은 실험적인 결과를 통해 $\gamma_t$ = 1.2인 t시점을 $t_{boost}$로 설정하였다.
+
+:::{figure-md}
+
+
+
+Results based on various $\gamma_{t_{boost}}$
+:::
+
+:::{figure-md}
+
+
+
+Quality comparison based on the presence of quality boosting
+:::
+
+### 4.3 Overall Process of Image Editing
+
+General한 Diffusion model에서의 Generative Process를 표현하면 다음과 같다.
+
+
+$$
+x_{t-1} = \sqrt{\alpha_{t-1}}\mathrm{P}_t(\epsilon_t^{\theta}) + \mathrm{D}_t(\epsilon_t^{\theta}) + \sigma_t\mathcal{z}_t\bigg(where, \sigma_t = \eta\sqrt{(1-\alpha_{t-1}) / (1-\alpha_t)} \sqrt{1-\alpha_t/\alpha_{t-1}}\bigg)
+$$
+$\eta$ = 0인 경우에는 DDIM이 되며, stochastic noise를 더하는 부분이 사라져 deterministic해진다. $\eta$ = 1인 경우에는 DDPM이 되며, stochastic한 특성이 있다. Asyrp(Assymetric Reverse Process)에서는 기본적으로 DDIM을 사용하며 $\mathrm{P}_t$에서 h-space를 통해 control된 $\epsilon_t^{\theta}(x_t|f_t)$를 사용한다. Diffusion Models already have a Semantic Latent Space에서 제시한 Generative Process를 전체적으로 정리하면 다음과 같다.
+
+:::{figure-md}
+
+
+
+Quality comparison based on the presence of quality boosting
+:::
+
+처음부터 $t_{edit}$시점까지는 Asyrp를 이용해 Editing Process를 진행한다. 이 후 DDIM 방식을 통해 Denoising을 진행하다가 $t_{boost}$시점부터 끝날 때까지 stochastic noise를 주입하는 DDPM 방식을 이용해 Quality boosting을 진행한다.
+
+:::{figure-md}
+
+
+
+Overview of Generative Process
+:::
+
+## 5. Experiments
+
+ CelebA-HQ (Karras et al., 2018) 및 LSUN-bedroom/-church (Yu et al., 2015) 데이터셋에서 DDPM++ (Song et al., 2020b) (Meng et al., 2021); AFHQ-dog (Choi et al., 2020) 데이터셋에서 iDDPM (Nichol & Dhariwal, 2021); 그리고 METFACES (Karras et al., 2020) 데이터셋에서 ADM with P2-weighting (Dhariwal & Nichol, 2021) (Choi et al., 2022)을 사용해 각각 학습시켰다고 한다. 모든 model들은 pretrained checkpoint를 활용했으며 frozen상태를 유지시켰다고 한다.
+
+### 5.1 Versatility of h-space with Asyrp
+
+:::{figure-md}
+
+
+
+Editing results of Asyrp on various datasets
+:::
+
+위의 그림을 보면, 논문에서는 다양한 attribute들의 특성을 잘 반영해서 image를 manipulate했다는 점을 알 수 있다. 심지어 {department, factory, temple} attribute은 training data에 포함이 되어있지 않았음에도 성능이 잘 나온 점을 확인할 수 있다. model을 fine tuning하지 않고 inference하는 과정에서 h-space를 통해 epsilon을 control하고 Asyrp를 이용해 성능을 냈다는 점이 가장 큰 장점이다.
+
+### 5.2 Quantitive Comparison
+
+Asyrp model의 결과를 다른 model들과 비교하는 실험을 진행하였는데 diffusion model 전체를 fine-tuning하여 image을 editing하는 DiffsionCLIP model과 비교하였다. Asyrp의 성능이 더 좋음을 확인 할 수 있다.
+
+:::{figure-md}
+
+
+
+Asyrp vs DiffusionCLIP on both CelebA-HQ seen-domain attributes and unseen-domain attributes
+:::
+
+### 5.3 Analysis on h-space
+
+1. **Homogeneity**
+
+ :::{figure-md}
+
+
+
+ Homogeneity of h-space
+ :::
+
+ 위의 그림의 (a)는 Real image에 smiling attribute을 추가하기 위해 최적화된 $\Delta h_t$와 $\Delta \epsilon_t$를 나타낸다. 같은 값을 다른 Real image에 적용시켰을 때의 결과를 (b)에 나타내었는데, $\Delta h_t$를 적용한경우 smiling face로 잘 바뀌는 반면, $\Delta \epsilon_t$을 적용한 경우에는 image distortion이 발생함을 알 수 있다.
+
+
+
+2. **Linearity**
+
+ :::{figure-md}
+
+
+
+ Linearity of h-space - Linear Scaling
+ :::
+
+ $\Delta_h$를 linearly scaling을 하는 것은 editing을 하는데에 있어 visual attribute change의 양에 반영된다. 즉, $\Delta_h$를 $\times$1, $\times$2, $\times$3배 $/dots$ 함에 따라 result image에서 반영되는 attribute또한 이에 맞게 변화한다는 것이다. 위의 그림에서 표현되어 있듯이 negative scaling에 대해서는 training을 하지 않았음에도 잘 적용 된다는 점을 알 수 있다.
+
+
+
+ :::{figure-md}
+
+
+
+ Linearity of h-space - Linear Combination
+ :::
+
+ 서로 다른 attributes에 대한 $\Delta_h$를 합쳐서 부여를 했을 경우에도 각각의 attribute들이 image에 잘 반영이 된다는 점을 알 수 있다.
+
+
+
+3. **Robustness**
+
+ :::{figure-md}
+
+
+
+ Robustness of h-space
+ :::
+
+ 위의 그림은 h-space와 $\epsilon-space$에서 random noise를 주입했을 때의 결과를 비교한 것이다. h-space의 경우에는 random noise가 추가되었어도 image에 큰 변화가 없으며 많은 noise가 추가되었을 경우에도 image distortion은 거의 없고 semantic change만 발생한다. 그러나 $\epsilon-space$의 경우에는 random noise가 추가된 경우 image distortion이 심하게 발생한다. 이를 통해 h-space가 얼마나 robustness한지 알 수 있다.
+
+
+
+4. **Consistency across time steps**
+
+ :::{figure-md}
+
+
+
+ Consistency across times steps of h-space
+ :::
+
+ h-space의 homogeneous한 성질을 통해 같은 attribute에 대한 $\Delta h$를 다른 image에 적용시켰을 때에도 잘 반영이 됌을 확인하였다. 저자들은 $\Delta h_t$들에 대한 평균인 $\Delta h_t^{mean}$을 적용시켰을 경우에도 result가 거의 비슷함을 보인다. Chapter4에서 제시한 Generative Process를 비추어 보았을 때, $\Delta h_t$는 Editing Process에서만 적용을 시킨다. 이 경우, 적용하는 $\Delta h_t$를 $\Delta h_t^{global}$이라고 칭하며, 적용하는 $\Delta h_t$가 interval동안 같은 크기 만큼 적용된다고 가정했을 경우, $\Delta h^{global} = \cfrac{1}{\mathrm{T_e}}\sum_t\ \Delta h_t^{mean}$이라고 쓸 수 있다. 이 경우에도 결과는 비슷함을 보여준다. 결국 원하는 attribute에 대해 주입해야 할 $\Delta h$양만 같다면, 원하는 editing 효과를 얻을 수 있다. 비록 이 논문에서는 best quality manipulation을 위해 $\Delta h_t$를 사용하였지만, $\Delta h_t^{mean}$과 $\Delta h^{global}$에 대해 더 연구를 해 볼 여지가 있다고 판단한다.
+
+## 6. Conclusion
+
+본 논문에서는 Pretrained Diffusion models에서 latent semantic space인 h-space를 발견했고 h-space에서의 Asyrp(Asymmetric Reverse Process)와 새롭게 제안한 Reverse Process 방법을 통해 성공적인 image editing을 가능케 하였다. Diffusion model에서의 semantic한 latent space에 대한 첫 제안을 한 논문이다. h-space는 GAN의 latent space와 유사한 특성을 갖추고 있다. 대표적인 h-space의 특성으로는 Homogeneity, Linearity, Robustness, Consistency across timesteps이 있다.
diff --git a/_sources/docs/review/DreaMoving.md b/_sources/docs/review/DreaMoving.md
index 56631f41..b4c7d433 100755
--- a/_sources/docs/review/DreaMoving.md
+++ b/_sources/docs/review/DreaMoving.md
@@ -1,154 +1,154 @@
-``` {admonition} Information
-- **Title:** DreaMoving: A Human Video Generation Framework based on Diffusion Models
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2311.17117](https://arxiv.org/abs/2312.05107)
- - Code: [Official](https://github.com/dreamoving/dreamoving-project)
- - Project Page : [https://dreamoving.github.io/dreamoving/](https://dreamoving.github.io/dreamoving/)
-
-- **Author:** Geonhak Song
-
-- **Last updated on {March. 13, 2024}**
-
-```
-
-# DreaMoving
-
-## Abstract
-
-- 고품질 customized human video 생성을 위해 제어가능한 diffusion 기반 video generation framework인 DreaMoving 제안
-- target identity와 posture sequence가 주어졌을 때, target identity moving이나 dancing video 생성이 가능하다.
-- 추가 제안 모듈 : motion-controlling을 위한 **Video ControlNet** & identity preserving을 위한 **Content Guider**
-
-## 1. Introduction
-
-- T2V의 진전에도 인간 중심 기반 생성에는 어려움을 겪는 중.
-- open-source human dance video dataset의 부족, text 묘사의 어려움으로 인해 frame간 일관성, 긴 길이, 다양성을 포함한 비디오 생성에 어려움을 겪는다.
-- personalization과 controllability 의 어려움 또한 존재
-- 구조적 제어를 위한 ControlNet, appearance 제어를 위한 Dreambooth, LoRA
-- 그러나 이 기술들은 정확한 제어가 어렵고 hyperparameter tuning 요소가 존재 & 추가 계산 부담
-- 이에 새로운 방법론인 DreaMoving 제안
-
-## 2. Architecture
-
-:::{figure-md}
-
-
-Figure 1. The overview of DreaMoving
-:::
-
-- LDM 기반 모델을 기반으로 3가지 주요 network로 구성
- - U-Net, Video ControlNet, Content Guider
-- AnimateDiff에서 영감을 받아 U-Net 각 block 이후 motion block을 추가
-- Plug-in : motion-controlling을 위한 **Video ControlNet** & identity preserving을 위한 **Content Guider**
-
-### 2.1 Data Collection and Preprocessing
-
-- 인터넷에서 human dance video 1000의 고품질 영상으로 훈련
-- temporal module 훈련은 변이나 특별한 효과 없는 연속적 frame이 필요하기 때문에 clip video로 split하여 6000개의 짧은 비디오를 획득한다.(8~10s)
-- text description을 위해서 Minigpt-v2([https://minigpt-v2.github.io/](https://minigpt-v2.github.io/))를 video-captioner로 사용
- - “[grounding] describe this frame in a detailed manner”의 명령으로 획득
- - subject와 background 내용에 대해 정확히 묘사
-
-### 2.2 Motion Block
-
-- temporal consistency와 motion fidelity 향상을 위해서 U-Net과 ControlNet를 motion block으로 통합.
-- motion block은 AnimateDiff로 확장. temporal sequence length는 64로 확장
-- 초기화 : AnimateDiff (mm_sd_v15.ckpt)
-- 개인 인물 dance video로 finetuning
-
-### 2.3 Content Guider
-
-- Content Guider는 인물의 appearance와 배경을 포함한 생성된 video의 내용을 제어하기 위해 고안됨.
-- 가장 간단한 방법은 text prompt이지만, 개인화된 인물 외관 묘사가 어렵다.
-- IP-Adapter에 영감을 받아 image prompt를 활용해 인물 외관에 대한 guidance를 주고 배경에 대해서는 text prompt 사용
-- 얼굴 이미지는 image encoder를 통해 encode
-- text feature & 인물 외관 feature는 마지막 content embedding에 concat된 후 cross-attention에 보냄
-
-:::{figure-md}
-
-
-Equation 1 Content Guider cross attentino output given query, text, face, cloth features
-:::
-
-- $Z$ : query features
-- $c_t$ : text features / $c_f$ : face features / $c_c$ : cloth features
-- $Z^\prime$ : cross-attention output
-
-## 2.4 Model Training
-
-**2.4.1 Content Guider Training**
-
-- Base Model : SD v1.5 기반
-- Image Encoder : OpenCLIP ViT-H14
-- reference face identity 보존을 위해 Arcface를 통해 얼굴 상관 feature 추출.
-- LAION-2B에서 human data 수집
-- 훈련 : 512x512 random crop & resize
-- GPU : 8 V100, 100k steps, 16 batch size/GPU 1장
-- Optimizer : AdamW
-- learning rate : 1e-4, decay 1e-2
-
-**2.4.2 Long-Frame Pretraining**
-
-- WebVid-10M validation set (5k video clips)에서 motion module의 sequence length를 16에서 64로 확장하기 위한 training stage 수행
- - WebVid-10M validation set (5k video clips) : 평균 18초, 총 13000 시간
-- U-Net motion module만 훈련하고 나머지는 freeze
-- ControlNet이나 image guidance 사용 안 함.
-- learning rate : 1e-4
-- resolution : 256x256 resize & center crop
-- batch size 1, 10k steps 이후 훈련 종료
-
-**2.4.3 Video ControlNet Training**
-
-- long-frame pretraining 이후, **Video ControlNet** 훈련 진행.
-- U-Net 고정 & **Video ControlNet의 (U-Net block과 motion block)**은 unfreeze
-- 수집한 6k human dance video data 훈련
-- DWPose나 ZoeDepth를 통한 human pose 또는 depth를 추출.
-- learning rate : 1e-4
-- resolution : 352x352
-- batch size 1, 25k steps 이후 훈련 종료
-
-**2.4.4 Expression Fine-Tuning**
-
-- 사람 표현을 더 낫게하기 위해 **Video ControlNet**을 포함한 **U-Net의 motion block** 구조에서 6k human dancing video data로 추가 fine-tuning
-- U-Net motion block weight만 update
-- learning rate : 5e-5
-- resolution : 512x512
-- batch size 1, 20k steps 이후 훈련 종료
-
-### 2.5 Model Inference
-
-입력 : text prompt, reference image, pose/depth sequence
-
-Video ControlNet control scale : 1 (pose/depth에서만)
-
-multi-controlnet을 통해 pose & depth 동시 사용 가능
-
-Eq 1의 face/body guidance strength : $\alpha_f,\alpha_c$는 적응하도록
-
-text prompt만 사용할 때 $\alpha_f=\alpha_c=0$
-
-
-:::{figure-md}
-
-
-Figure 2. The results of DreaMoving with text prompt as input
-:::
-
-:::{figure-md}
-
-
-Figure 3. The results of DreaMoving with text prompt and face image as inputs
-:::
-
-:::{figure-md}
-
-
-Figure 4. The results of DreaMoving with face and cloth images as inputs
-:::
-
-:::{figure-md}
-
-
-Figure 5. The results of DreaMoving with stylized image as input
-:::
+``` {admonition} Information
+- **Title:** DreaMoving: A Human Video Generation Framework based on Diffusion Models
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2311.17117](https://arxiv.org/abs/2312.05107)
+ - Code: [Official](https://github.com/dreamoving/dreamoving-project)
+ - Project Page : [https://dreamoving.github.io/dreamoving/](https://dreamoving.github.io/dreamoving/)
+
+- **Author:** Geonhak Song
+
+- **Last updated on {March. 13, 2024}**
+
+```
+
+# DreaMoving
+
+## Abstract
+
+- 고품질 customized human video 생성을 위해 제어가능한 diffusion 기반 video generation framework인 DreaMoving 제안
+- target identity와 posture sequence가 주어졌을 때, target identity moving이나 dancing video 생성이 가능하다.
+- 추가 제안 모듈 : motion-controlling을 위한 **Video ControlNet** & identity preserving을 위한 **Content Guider**
+
+## 1. Introduction
+
+- T2V의 진전에도 인간 중심 기반 생성에는 어려움을 겪는 중.
+- open-source human dance video dataset의 부족, text 묘사의 어려움으로 인해 frame간 일관성, 긴 길이, 다양성을 포함한 비디오 생성에 어려움을 겪는다.
+- personalization과 controllability 의 어려움 또한 존재
+- 구조적 제어를 위한 ControlNet, appearance 제어를 위한 Dreambooth, LoRA
+- 그러나 이 기술들은 정확한 제어가 어렵고 hyperparameter tuning 요소가 존재 & 추가 계산 부담
+- 이에 새로운 방법론인 DreaMoving 제안
+
+## 2. Architecture
+
+:::{figure-md}
+
+
+Figure 1. The overview of DreaMoving
+:::
+
+- LDM 기반 모델을 기반으로 3가지 주요 network로 구성
+ - U-Net, Video ControlNet, Content Guider
+- AnimateDiff에서 영감을 받아 U-Net 각 block 이후 motion block을 추가
+- Plug-in : motion-controlling을 위한 **Video ControlNet** & identity preserving을 위한 **Content Guider**
+
+### 2.1 Data Collection and Preprocessing
+
+- 인터넷에서 human dance video 1000의 고품질 영상으로 훈련
+- temporal module 훈련은 변이나 특별한 효과 없는 연속적 frame이 필요하기 때문에 clip video로 split하여 6000개의 짧은 비디오를 획득한다.(8~10s)
+- text description을 위해서 Minigpt-v2([https://minigpt-v2.github.io/](https://minigpt-v2.github.io/))를 video-captioner로 사용
+ - “[grounding] describe this frame in a detailed manner”의 명령으로 획득
+ - subject와 background 내용에 대해 정확히 묘사
+
+### 2.2 Motion Block
+
+- temporal consistency와 motion fidelity 향상을 위해서 U-Net과 ControlNet를 motion block으로 통합.
+- motion block은 AnimateDiff로 확장. temporal sequence length는 64로 확장
+- 초기화 : AnimateDiff (mm_sd_v15.ckpt)
+- 개인 인물 dance video로 finetuning
+
+### 2.3 Content Guider
+
+- Content Guider는 인물의 appearance와 배경을 포함한 생성된 video의 내용을 제어하기 위해 고안됨.
+- 가장 간단한 방법은 text prompt이지만, 개인화된 인물 외관 묘사가 어렵다.
+- IP-Adapter에 영감을 받아 image prompt를 활용해 인물 외관에 대한 guidance를 주고 배경에 대해서는 text prompt 사용
+- 얼굴 이미지는 image encoder를 통해 encode
+- text feature & 인물 외관 feature는 마지막 content embedding에 concat된 후 cross-attention에 보냄
+
+:::{figure-md}
+
+
+Equation 1 Content Guider cross attentino output given query, text, face, cloth features
+:::
+
+- $Z$ : query features
+- $c_t$ : text features / $c_f$ : face features / $c_c$ : cloth features
+- $Z^\prime$ : cross-attention output
+
+## 2.4 Model Training
+
+**2.4.1 Content Guider Training**
+
+- Base Model : SD v1.5 기반
+- Image Encoder : OpenCLIP ViT-H14
+- reference face identity 보존을 위해 Arcface를 통해 얼굴 상관 feature 추출.
+- LAION-2B에서 human data 수집
+- 훈련 : 512x512 random crop & resize
+- GPU : 8 V100, 100k steps, 16 batch size/GPU 1장
+- Optimizer : AdamW
+- learning rate : 1e-4, decay 1e-2
+
+**2.4.2 Long-Frame Pretraining**
+
+- WebVid-10M validation set (5k video clips)에서 motion module의 sequence length를 16에서 64로 확장하기 위한 training stage 수행
+ - WebVid-10M validation set (5k video clips) : 평균 18초, 총 13000 시간
+- U-Net motion module만 훈련하고 나머지는 freeze
+- ControlNet이나 image guidance 사용 안 함.
+- learning rate : 1e-4
+- resolution : 256x256 resize & center crop
+- batch size 1, 10k steps 이후 훈련 종료
+
+**2.4.3 Video ControlNet Training**
+
+- long-frame pretraining 이후, **Video ControlNet** 훈련 진행.
+- U-Net 고정 & **Video ControlNet의 (U-Net block과 motion block)**은 unfreeze
+- 수집한 6k human dance video data 훈련
+- DWPose나 ZoeDepth를 통한 human pose 또는 depth를 추출.
+- learning rate : 1e-4
+- resolution : 352x352
+- batch size 1, 25k steps 이후 훈련 종료
+
+**2.4.4 Expression Fine-Tuning**
+
+- 사람 표현을 더 낫게하기 위해 **Video ControlNet**을 포함한 **U-Net의 motion block** 구조에서 6k human dancing video data로 추가 fine-tuning
+- U-Net motion block weight만 update
+- learning rate : 5e-5
+- resolution : 512x512
+- batch size 1, 20k steps 이후 훈련 종료
+
+### 2.5 Model Inference
+
+입력 : text prompt, reference image, pose/depth sequence
+
+Video ControlNet control scale : 1 (pose/depth에서만)
+
+multi-controlnet을 통해 pose & depth 동시 사용 가능
+
+Eq 1의 face/body guidance strength : $\alpha_f,\alpha_c$는 적응하도록
+
+text prompt만 사용할 때 $\alpha_f=\alpha_c=0$
+
+
+:::{figure-md}
+
+
+Figure 2. The results of DreaMoving with text prompt as input
+:::
+
+:::{figure-md}
+
+
+Figure 3. The results of DreaMoving with text prompt and face image as inputs
+:::
+
+:::{figure-md}
+
+
+Figure 4. The results of DreaMoving with face and cloth images as inputs
+:::
+
+:::{figure-md}
+
+
+Figure 5. The results of DreaMoving with stylized image as input
+:::
diff --git a/_sources/docs/review/DreamBooth3D.md b/_sources/docs/review/DreamBooth3D.md
index ef30f892..df4255dc 100755
--- a/_sources/docs/review/DreamBooth3D.md
+++ b/_sources/docs/review/DreamBooth3D.md
@@ -1,547 +1,547 @@
-# Dream Booth 3D
-``` {admonition} Information
-- **Title:** DreamBooth3D: Subject-Driven Text-to-3D Generation
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2303.13508](https://arxiv.org/abs/2303.13508)
- - Project Page : [https://dreambooth3d.github.io/](https://dreambooth3d.github.io/)
-
-- **Author:** Jeongin Lee
-
-- **Last updated on {Sep. 3, 2024}**
-
-```
-
-## 0. Abstract
-
-- **DreamBooth3D : 피사체의 3-6개의 캐주얼한 촬영 이미지로부터 text-to-3D 생성 모델을 personalization (맞춤화)**
-
-
-- DreamBooth + DreamFusion 의 결합
- - DreamBooth : personalizing text-to-image models
- - DreamFusion : text-to-3D generation
-- 두 방법론을 나이브하게 결합시 subject의 input viewpoints 에 대해 오버피팅하는 개인화된 t2i 모델로 인해 Subject 에 대해 만족스럽지 못한 3D 결과물 생성
-- t2i 모델의 개인화 기능과 함께 NERF의 3D 일관성을 공동으로 활용하는 3단계 최적화 전략 (3-stage optimization strategy)을 통해 이를 극복
-- Subject 의 입력 이미지에서 볼 수 없는 새로운 포즈, 색상 등 에 대해 텍스트 중심 수정을 통해 고품질의 subject 중심의 3D 결과물 생성 가능
----
-
-## 1. Introduction
-
-- **도입**
- - 3D asset생성은 VR, 영화, 게임 등 다양한 분야에 응용 가능하나, 텍스트 프롬프트만으로 생성된 3D asset 의 정체성, 기하학적 구조, 외관을 정확하게 제어하기 어려움.
- - 특히, 특정 subject 의 특성을 반영하는 3D assets 를 생성하는 능력에 대한 개발 필요
- - T2I 모델 subject personalization (맞춤화, 개인화) 태스크에서 성공적인 결과를 보인 연구들은 많지만, 3D asset 생성이나 3D control 을 제공하지는 않음.
- - **DreamBooth3D**는 소수의 (3-6개) 캐주얼하게 촬영된 이미지로부터 subject 중심의 텍스트-3D 생성을 제안
-
- ⇒ NeRF 와 T2I 모델을 함께 최적화하여 subject 중심의 3D 자산을 생성하자 !
-
-- **문제점**
- - subject에 맞게 개인화된 T2I 모델 & **NeRF** 를 최적화 하는 것은 여러 실패 사례가 발생
- - 주요 문제 : 개인화된 T2I 모델이 제한된 주제 이미지의 카메라 뷰포인트에 과적합
- - 연속적인 임의의 뷰포인트에서 일관된 3D **NeRF** 결과물을 최적화하는 데 충분하지 않음.
-
-- **해결책**
- - **DreamBooth3D**는 효과적인 3단계 최적화 방식을 제안
- - **Dream Booth** , **Dream Fusion** 사용
- ---
- **[STEP 1️⃣]**
- - **DreamBooth** 모델을 부분적으로 미세 조정
- - **DreamFusion**을 사용하여 **NeRF** 최적화
- - 부분적으로 미세 조정된 DreamBooth 모델은 주어진 대상 뷰에 과적합 되지 않으며 모든 subject별 세부 정보를 캡처하지 않음
- - 결과적으로 생성된 **NeRF** 자산은 3D 일관성이 있지만 subject 에 대한 특성을 완전히 반영하지못함.
-
- **[STEP 2️⃣]**
- - **DreamBooth** 모델을 완전히 미세 조정하여 세부 사항을 캡처
- - 1단계에서 학습된 NeRF의 다중 뷰 렌더링을 완전히 학습된 **DreamBooth** 모델에 투입
- - 이를 통해 subject 별로 다중 뷰 가상 이미지 집합을 생성
-
- **[STEP 3️⃣]**
- - 1단계의 주어진 subject 이미지와 가상(pseudo) 다중 뷰 이미지를 사용하여 **DreamBooth** 모델을 추가로 최적화
- - 추가 최적화한 **DreamBooth** 로 NeRF 3D 볼륨을 최종 최적화
- - 최종 NeRF 최적화시 추가 규제항으로 pseudo 다중 뷰 데이터 세트에 대한 weak reconstruction loss를 사용
- - 3단계에 걸친 NeRF 및 T2I 모델의 합동 최적화는 **DreamBooth** 모델이 subject 의 특정 view point 에 과적합되는 것을 방지하는 동시에 동시에 결과 NeRF 모델이 대상의 정체성에 충실하도록 보장
- ---
-
-- **결과**
- - 실험 샘플 결과들을 통해 본 접근 방식이 입력 텍스트 프롬프트에 존재하는 컨텍스트를 존중하면서 주어진 대상과 유사성이 높은 현실적인 3D 자산을 생성할 수 있음을 입증
- - 여러 베이스라인과 비교할 때, 정량적 및 정성적 결과는 DreamBooth 3D 생성이 보다 3D 일관성이 있고 대상 세부 사항을 더 잘 포착한다는 것을 입증
-
----
-
-## 2. Related Work
-
-1. **Text-to-Image Generation.**
-- 텍스트 조건 반영 : 사용자가 제공한 자연어 텍스트 프롬프트에 정렬된 이미지를 생성하기 위해 사전 학습된 large language model (LLM) 을 활용
-- T2I diffusion 모델의 성공에 힘입어, 많은 작품들이 텍스트 기반 이미지 조작과 같은 다양한 작업에 사전 학습된 T2I 모델을 활용합니다
-2. **3D Generation.**
-- 최근 사전 학습된 대규모 T2I diffusion 모델을 활용하여 텍스트 프롬프트에서 3D 자산을 생성할 수 있는 text-to-3D 방법이 제안
-- 기존 방법론
- - 텍스트를 통해 t2i 모델로 이미지를 직접 reconstruction
-- 본 방법론
- - 입력 이미지를 직접 reconstruction 하지 않고 suject 개념을 제공하기 위한 입력 이미지 사용 → Recontextualization 수행 가능 (sleeping, jumping, color…etc)
- - 입력 이미지를 동일한 배경, 조명, 카메라 등으로 촬영할 필요가 없음.
-3. **Subject-driven Generation.**
-- Subject 중심 이미지 생성의 최근 발전을 통해 사용자는 특정 대상과 개념에 대해 이미지 생성을 개인화(맞춤화)
-- **DreamBooth**
- 희귀 토큰, 모델 finetuning, 규제를 위한 prior preservation loss를 사용하여 모델의 언어 비전 사전을 확장하여 이를 달성
-- **Textual Inversion**
- 입력 개념을 나타내는 사전 학습된 text-to-image 모델의 임베딩 공간에서 새로운 word 를 최적화함으로써 이를 달성
-
- :::{figure-md}
-
-
- Textual Inversion \ (source: {https://arxiv.org/abs/2208.01618})
- :::
-
-**→** 이러한 방법론들은 3D asset 을 제공하지 않고 일관성 있는 3D 이미지를 생성할 수 없음.
-
-
-# **3. Approach**
-
- **Problem setup.**
-:::{figure-md}
-
-
-Input and Output
-:::
-
-- Input : subject 이미지 집합, 텍스트 프롬프트
- - $\left\{I_i \in \mathbb{R}^{n \times 3}\right\}(i \in\{1, \ldots, k\})$ : 각 n개의 픽셀, k 장의 subject 이미지들의 집합
- - context(맥락) 부여, 의미 변화를 위한 텍스트 프롬프트 T (ex) sleeping, standing…etc.
-
----
-🌟 **Goal**
-텍스트 프롬프트에 충실하면서 주어진 subject 의 identity (기하 형태 및 외관)을 반영하는 3D assets 생성
----
-
-- 3D volume 에서 radiance 필드를 인코딩하는 MLP 네트워크 $M$ 으로 구성된 Neural Radiance Fields (NeRF) 를 기반으로 3D assets 를 최적화
-- 본 문제는 **subject 이미지에 대한 반영이 필요**하기 때문에, 일반적인 multi-view 이미지 캡처가 필요한 3D reconstruction 설정에 비해 상당히 제한적이고 어려운 문제
-- T2I personalization 및 Text-to-3D 최적화의 최근 발전을 기반으로 기술을 구축
-
- ⇒ DreamBooth personalization + DreamFusion text-to-3D로 최적화를 사용
-
-
-## 3.1. Preliminaries
----
-
-### 3.1.1 **T2I diffusion models**
-
-- T2I diffusion models : Imagen, StableDiffusion and DALL-E 2 …etc..
-- T2I diffusion model $\mathcal{D}_\theta(\epsilon, \mathbf{c})$
- - input :초기 노이즈 $\epsilon$ , 프롬프트 텍스트 임베딩 $\mathbf{c}$
- - an initial noise $\epsilon \sim \mathcal{N}(0,1)$
- - text embedding $\mathbf{c}=\Theta(T)$ (a given prompt $T$ with a text encoder $\Theta$)
- - output : 프롬프트를 반영하여 생성한 이미지
-- T2I diffusion model 을 통해 생성된 이미지는 일반적으로 프롬프트와 일치하지만 생성된 이미지내에서 세부적인 제어가 어려움. → **DreamBooth** 를 통해 이를 해결
-
----
-
-### 3.1.2 **Dream Booth T2I Personalization.**
-:::{figure-md}
-
-
-특정 피사체에 대한 소수의 이미지 집합 (3-5장) 을 통해 텍스트로 주어지는 Context 에 맞는 맞춤화 이미지 생성
-:::
-
-- $\left\{I_i\right\}$ 에서 네트워크를 파인튜닝하여 T2I diffusion 모델을 맞춤화, $\left\{I_i\right\}$ : a small set of casual captures
-- DreamBooth diffusion loss : T2I model 파인튜닝을 위해 사용
-
- $$
- \mathcal{L}_d=\mathbb{E}{\epsilon, t}\left[w_t\left\|\mathcal{D}_\theta\left(\alpha_t I_i+\sigma_t \epsilon, \mathbf{c}\right)-I_i\right\|^2\right],
- $$
-
- - $t \sim \mathcal{U}[0,1]$ : the time-step in the diffusion proces
- - $w_t, \alpha_t, \sigma_t$ : the corresponding scheduling parameters
-- **DreamBooth Class prior preserving loss**
-
- DreamBooth 는 $\left\{I_i\right\}$ 에 대한 **over fitting** 을 방지하여 다양성을 개선하고, **language drift** 현상을 피하기 위해 선택적으로 **class prior preserving loss 를 사용**
-
-- **최종 loss : reconstruction loss + class prior preservation loss**
-
-$$
-\mathbb{E}_{x, c, \epsilon, \epsilon^{\prime}, t}\left[w_t\left\|\hat{x_\theta} \left(\alpha_t x+\sigma_t \epsilon, c\right)-x\right\|_2^2+\lambda w_{t^{\prime}}\left\|\hat{x}_\theta\left(\alpha_{t^{\prime}} x_{p r}+\sigma_{t^{\prime}}\epsilon^{\prime}, c_{pr}\right)-x_{pr}\right\|_2^2\right]
-$$
-
-- **(example) over fitting**
-:::{figure-md}
-
-
-over fitting
-:::
-
-- **(example) language-drift**
-:::{figure-md}
-
-
-language-drift
-:::
-
-
----
-
-### 3.1.3 **DreamFusion**
-:::{figure-md}
-
-
-DreamFusion process / (source : [DreamFusion](https://pseudo-lab.github.io/pseudodiffusers/docs/review/DreamFusion.html))
-:::
-
-- T2I diffusion model을 사용하여 볼륨의 랜덤뷰가 프롬프트 $T$ 에 상응하도록 NeRF $\mathcal{M}_\phi$ ($\phi$ : parameters) 를 통해 표현된 볼륨을 최적화
-
-- normals : 밀도의 그래디언트로부터 계산된 nomals은 Lambertian shading 으로 기하학적 사실성을 개선시키기 위해 모델을 랜덤으로 relight 하는데 사용됨.
-
-- $\mathcal{M}_\phi$ : mapping (camera, light (location) → albedo &density)
- - 랜덤 뷰 $v$, 랜덤 조명(light) 방향이 주어지면 shaded(음영 처리된) 이미지 $\hat{I}v$ 로 볼륨 렌더링을 수행
-- 이 때 볼륨 렌더링한 이미지가 텍스트 프롬프트 $T$ 처럼 보이도록 NeRF $\phi$ 의 매개변수를 최적화하기 위해 DreamFusion 은 score distillation sampling ***(SDS)** 를 도입
-
-- **score distillation sampling (SDS)**
-
- $$
- \nabla_\phi \mathcal{L}_{SDS}=\mathbb{E}{\epsilon, t}\left[w_t\left(\mathcal{D}_\theta\left(\alpha_t \hat{I}_v+\sigma_t \epsilon, \mathbf{c}\right)-\hat{I}_v\right) \frac{\partial \hat{I}_v}{\partial \phi}\right] .
- $$
-
-- 렌더링된 이미지의 노이즈가 처리된 버전들을 T2I diffusion model의 낮은 에너지 상태로 push
-
-- 다양한 views를 랜덤으로 선택하고, NeRF 를 통해 역전파 함으로써,
-rendering 결과들이 T2I model $\mathcal{D}_\theta$ 로 주어진 프롬프트에 맞게 생성된 이미지처럼 보이도록 함.
-
-- **DreamFusion** 에서 사용된 실험 환경을 정확하게 동일하게 사용함.
-
-## 3.2 Failure of Naive Dreambooth+Fusion
----
-- **피사체(subject) 중심 text-to-3D 생성을 위한 직관적인 접근 방식**
-
- 1. subject에 대해 **T2I model 을 pesonalized(맞춤화)**
- 2. 맞춤화된 T2I model 을 **text-to-3D optimization** 을 위해 사용
-
-- **즉, DreamBooth 최적화(personalized) ⇒ DreamFusion 최적화**
-
-- **BUT**, **Naive Dreambooth+Fusion 의 결합은 불만족스러운 결과를 초래**
-
-:::{figure-md}
-
-훈련된 이미지 내의 subject 의 뷰에 과적합된 예시
-:::
-
----
-> 핵심 문제 (KEY Issue)
-
-- **Dream Booth**가 **훈련된 뷰에 존재하는 subject 의 뷰에 과적합** 되어
-**이미지 생성에서 viewpoint 에 대한 다양성이 감소**하는 경향을 보임.
-
-- 미세 조정 단계가 증가할수록, Subject 유사성 증가 (👍)
-**BUT** input exemplar views에 유사하도록 viewpoints 생성 (👎)
- ⇒ 즉, 다양한 시점에서 이미지를 생성하는 능력이 저하됨.
----
-
-- 이런 DreamBooth 모델 기반의 NeRF SDS 손실은 일관된 3D NeRF 결과물을 얻기에 불충분
-
-- **DreamBooth+Fusion NeRF** 모델이 **서로 다른 view** 에 걸쳐 학습된 **동일한 대상에 대한 뷰**(예: face of a dog : 다양한 각도에서 본 동일한 dog face)를 가지고 있음.
- - **"Janus problem"** : 두 가지 상반되거나 연관된 측면을 동시에 다루어야 하는 문제
-
-
-## 3.3. Dreambooth3D Optimization
----
-:::{figure-md}
-
-
-DreamBooth3D Overview
-:::
-
-- DreamBooth3D Overview
-
-**stage-1 (왼쪽)**: 먼저 DreamBooth를 부분적으로 훈련시키고, 결과 모델을 사용하여 초기 NeRF를 최적화
-
-**stage-2 (가운데)**: 초기 NeRF에서 랜덤 시점에 따라 다중 시점 이미지를 렌더링한 후, 완전히 훈련된 DreamBooth 모델을 사용하여 이를 가상 다중 시점 subject 이미지로 변환
-
-**stage-3 (오른쪽)**: 다중 시점 이미지를 사용하여 부분적인 DreamBooth를 추가로 미세 조정한 다음, 결과적으로 얻어진 다중 시점 DreamBooth를 사용하여 최종 NeRF 3D 자산을 SDS 손실과 다중 시점 재구성 손실을 통해 최적화
-
-- 위의 문제를 해결하고 성공적인 subject 맞춤 text-to-3D 생성을 위해 효율적인 3단계 최적화 방식을 기반으로 한 Dream-Booth3D 제안
-
----
-
-### **3.3.1 Stage 1️⃣: 3D with Partial DreamBooth**
-
-:::{figure-md}
-
-
-Stage-1 : 3D with Partial DreamBooth
-:::
-
-- 입력된 Subject 이미지를 사용하여 DreamBooth 모델 $\hat{\mathcal{D}}_\theta$ 를 훈련
-
----
-🌟 **DreamBoothT2I 모델의 초기 체크포인트가 (=부분적으로 파인튜닝한 결과) 주어진 subject view에 과적합되지 않음을 확인**
-
- ⇒ partial DreamBooth (부분적으로 파인튜닝한 Dreambooth)
----
-
-- **partial DreamBooth** 모델 하에 DreamFusion은 더 일관된 3D NeRF를 생성가능
-- NeRF 최적화시 SDS 손실 사용 :
- - $\nabla_\phi \mathcal{L}_{SDS}=\mathbb{E}{\epsilon, t}\left[w_t\left(\hat{\mathcal{D}}_\theta^{\text {partial }}\left(\alpha_t \hat{I}_v+\sigma_t \epsilon, \mathbf{c}\right)-\hat{I}_v\right) \frac{\partial \hat{I}_v}{\partial \phi}\right]$
- - $\hat{\mathcal{D}}_\theta^{\text {partial }}$: **partial DreamBooth**
- - SDS 손실을 사용하여 주어진 텍스트 프롬프트에 대한 초기 NeRF 자산을 최적화
-- **partial DreamBooth** 모델과 NeRF 결과물은 입력된 subject 와 완전히 유사하지 않음
-
----
-
-🌟 즉, **Stage-1️⃣ 에서의 초기 NeRF** 는 **주어진 subject 와 부분적으로ㅁ 유사**하면서,
-**주어진 텍스트 프롬프트에 충실한** **subject class 3D 모델**
-
----
-
-### **3.3.2 Stage 2️⃣: Multi-view Data Generation**
-
-:::{figure-md}
-
-
-Stage-2: Multi-view Data Generation
-:::
-
----
-
-🌟 **Stage-2 Multi-view Data Generation : 본 접근법의 가장 중요한 부분**
-
-일관성을 갖춘 **3D initial NeRF** 와 **fully-trained DreamBooth** 를 사용하여 **pseudo multi-view subject** 이미지들을 생성
-
----
-
-1. **Initial NeRF** 로부터 다양한 랜덤 viewpoints $\{v\}$을 따라 여러 이미지$\left\{\hat{I}v \in \mathbb{R}^{n \times 3}\right\}$ 를 렌더링하여 다중 시점 렌더링을 생성
-2. 각 **렌더링에 고정된 양의 노이즈를 추가하는 forward diffusion** 과정을 통해 $t_{pseudo}$로 전환
-3. reverse diffusion 과정을 실행하여 **fully-trained DreamBooth** 모델 $\hat{\mathcal{D}}_\theta$ 를 사용하여 샘플을 생성
- - 샘플링 과정은 각 뷰에 대해 독립적으로 수행
- - **Initial NeRF 결과물** 에 노이즈를 추가한 noisy render 를 조건으로 지정함으로써, 넓은 범위의 시점을 커버하면서 subject 를 잘 나타내는 이미지 생성 가능
- ⇒ 다양한 노이즈가 있는 이미지를 조건으로 학습시, 다양한 변형에 대한 학습 가능하기 때문
- - **BUT** reverse diffusion 과정은 다른 뷰에 다른 세부 사항을 추가할 수 있기 때문에 결과 이미지는 multi-view 에 대한 일관성이 없음.
-
- ⇒ 가상(pseudo) 다중 시점 이미지 집합 **(collection of pseudo multi-view images)**
-
-
----
-
-🔑 **Key insight**
-1. 초기 NeRF 이미지가 unseen views 에 가까울 경우,
- DreamBooth가 Subject 의 unseen views를 효과적으로 생성 가능
-
-2. 입력 이미지에 비해 Subject 와 더 유사한 출력 이미지를 효과적으로 생성가능**
-
----
-
-
-- 위 그림을 통해 체크할 부분
-
- :::{figure-md}
-
-
- :::
-
- - **fully-trained DreamBooth** 를 사용한 Img2Img 변환의 샘플 출력
- - 입력 NeRF 렌더링의 시점을 유지하면서도 subject 이미지와 더 유사한 모습
- - 기존 연구들과 달리 Img2Img 변환을 DreamBooth, NeRF 3D assets 과 결합하여 사용 (기존 연구의 경우 Img2Img 변환을 이미지 editing 응용으로만 사용)
-
-### **3.3.3 Stage3️⃣: Final NeRF with Multi-view DreamBooth**
-
-:::{figure-md}
-
-
-Stage-3 : Final NeRF with Multi-view DreamBooth
-SDS와 multi-view reconstruction 손실을 사용한 최종 NeRF 최적화
-:::
-
-> **새로운 데이터 $I^{\text{aug}}$ 생성**
-
-- 가상 다중 시점 이미지 $\left\{I_v^{\text {pseudo }}\right\}$, 입력 Subject 이미지 $\left\{I_i\right\}$ 의 결합을 통해 생성
-
-$$
-I^{\text {aug }}=\left\{I_v^{\text {pseudo }}\right\} \cup\left\{I_i\right\}
-$$
-
-> **$I^{\text {aug}}$ 를 사용하여 최종 Multi-view DreamBooth 모델을 최적화**
-
-1. 1단계에서 **partial DreamBooth** $\hat{\mathcal{D}}_{\theta^*}$ 준비
-2. 위의 증강 데이터 $I^{\text {aug}}$ 를 사용하여 $\hat{\mathcal{D}}_{\theta^*}$ 에 대한 **파인튜닝**을 추가 진행
-3. **Multi-view DreamBooth** $\hat{\mathcal{D}}_\theta^{\mathrm{multi}}$ 를 생성
-
-> $\hat{\mathcal{D}}_\theta^{\text {multi }}$ **모델을 사용하여 DreamFusion SDS Loss 와 함께 NeRF 3D assets 를 최적화**
-
-- 1단계의 **partial DreamBooth**에 비해 **multi-view DreamBooth** 의 뷰 일반화와 subject 보존 능력이 더 우수하기 때문에 **subject idendtity가 상당히 향상된 NeRF 모델 생성 가능**
-- **BUT** SDS 손실만 사용시 최적화된 NeRF assets 이
- - 주어진 subject 에 대해 우수한 기하학적 유사성 보유
- - **Color saturation artifacts 현상 다수 발생**
- - 이를 해결하기 위해 $\left\{I_v^{\mathrm{pseudo}}\right\}$ 를 사용한 새로운 **weak reconstruction loss** 도입
- - **** Color saturation artifacts :**
- - 색상의 과도한 포화(saturation)로 인해 비현실적이거나 왜곡된 색상 표현이 나타나는 결함 현상
- - 모델이 특정 색상을 과도하게 강조하는 경우 발생
- - 색상 값을 잘못 예측하여 비현실적인 색상 표현이 나타난 경우 발생
- - 다양한 시점에서 일관된 색상 표현을 유지하지 못한 경우 발생
-
----
-
-**Reconstruction loss**
-
-- $\left\{I_v^{\mathrm{pseudo}}\right\}$ 가 생성된 카메라 매개변수 $\left\{P_v\right\}$ 정보를 알고 있으므로,
-두 번째 NeRF MLP $\mathcal{F}\gamma$ 의 훈련을 **reconstruction loss** 를 통해 추가로 규제
-
- $$
- \mathcal{L}_{recon }=\left\|\Gamma\left(\mathcal{F}_\gamma, P_v\right)-I_v^{\text {pseudo }}\right\|_p,
- $$
-
- - $\Gamma\left(\mathcal{F}\gamma, P_v\right)$ : 카메라 시점 $P_v$ 를 따라 NeRF $\mathcal{F}\gamma$ 에서 이미지를 렌더링하는 함수
-- **Reconstruction loss 의 목적**
- - 생성된 볼륨의 색상 분포를 image exemplars 과 더 가깝게 조정
- - unseen views에서 subject 유사성을 향상
-
- **Final NeRF Loss function**
-
-$$
-\mathcal{L}=\lambda_{\text {recon }} \mathcal{L}_{\text {recon }}+\lambda_{\text {SDS }} \mathcal{L}_{\text {SDS }}+\lambda_{\text {nerf }} \mathcal{L}_{\text {nerf }}
-$$
-
-- $\mathcal{L}_{\text {nerf }}$ 는 Mip-NeRF360 [2]에서 사용된 추가적인 NeRF 정규화
-
----
-
-# 4. Experiments
----
-
- **Implementation Details.**
-
-- **사용 모델**:
- - T2I : Imagen T2I 모델
- - Text-encoding: T5-XXL
- - NeRF : DreamFusion
-- **훈련 시간**: 4core TPUv4, 각 프롬프트당 3단계 최적화를 완료하는 데 약 3시간 소요
-- **훈련 단계**:
- - **부분 DreamBooth 모델 ($D_θ^{partial}$)** : 150번의 반복훈련
- - **전체 DreamBooth 모델 ($D_θ$)** : 800번 반복 훈련시 최적의 성능
-- **pseudo multi-view data generation :**
-원점에서 고정된 반경으로 균일하게 샘플링한 20개의 이미지를 렌더링
-- **Stage-3 Multi-view DreamBooth** $\hat{\mathcal{D}}_\theta^{\mathrm{multi}}$:
-3단계에서 추가로 150번 반복하여 부분적으로 훈련된 $\hat{D}_{θ}^∗$ 모델을 Finetuning
-- **Hyperparams :** supplementary material 참고
----
- **Datasets.**
-
-- **훈련 데이터**: 공개된 이미지 컬렉션을 사용하여 personalized text-to-3D 모델을 훈련
- - 다양한 subject(개, 장난감, 배낭, 선글라스, 만화 캐릭터 등) 의 4-6개의 casual 이미지를 포함한 30개의 다른 이미지 컬렉션으로 구성
-- **희귀 객체 성능 분석**: "올빼미 장식품"과 같은 희귀한 대상의 성능을 분석하기 위해 추가 이미지 수집
-- 3-6개의 프롬프트에 대해 각 3D 모델을 최적화하여 3D contextualizations 문맥화 시연
----
- **Baselines.**
-
-- **Latent-NeRF**
- - RGB 픽셀 공간이 아닌 Stable Diffusion 의 latent feature 공간에서 SDS 손실을 통해 3D NeRF 모델을 학습
- - baseline 으로써 fully dreamboothed T2I model 를 사용하여 Latent-NeRF 실행
-- **DreamFusion+DreamBooth**: DreamBooth 확산 모델을 먼저 훈련한 후 DreamFusion을 사용하여 3D NeRF를 최적화하는 단일 단계 접근 방식
-- **본 연구의 3단계 최적화 기반 방법론** : "DreamBooth3D"
----
- **Evaluation Metrics.**
-
-- **CLIP R-Precision**
- - rendering된 장면들이 주어졌을 때 프롬프트와 얼마나 정확하게 일치하는지 비율을 나타냄.
- - CLIP ViT-B/16, ViT-B/32, ViT-L-14 모델을 평가에 사용
-- 추가적으로 user study 수행 (뒤에 언급)
-
-## 4.1. Results
-
-**Visual Results**
-
-:::{figure-md}
-
-
-:::
-
-- **비교 결과**: DreamBooth3D, Latent-NeRF, DreamBooth+Fusion 기준 모델의 비교
- - Latent-NeRF : 일부 경우(오리)에서 적절히 작동하지만, 대부분의 경우 일관된 3D 모델을 생성하는 데 실패
- - DreamBooth+Fusion : 여러 시점에서 동일한 외형 및 구조를 보임
- - DreamBooth3D : 360도 일관된 3D Asset을 생성하며, 주어진 subject 의 기하학적 구조 및 외관의 세부 사항을 잘 반영함
----
-
- **Initial vs. Final NeRF**
-
-:::{figure-md}
-
-
-:::
-
-- 1단계와 3단계에서 생성된 초기 NeRF와 최종 NeRF 결과
-- 초기 NeRF : 주어진 subject 와 부분적으로만 유사, 3D 일관성을 유지
-- 최종 NeRF : 주어진 subject 와 더 유사하, 일관된 3D 구조를 유지
-- 이러한 예시는 DreamBooth3D의 3단계 최적화가 필요함을 입증 (?)
-
----
- **User Study.**
-
-:::{figure-md}
-
-
-:::
-
- → DreamBooth3D와 비교 모델들을 세가지측면에 대해 아래의 질문에 대한 답변으로 평가**
-
-1. **subject 충실도**: "어떤 3D 항목이 subject 와 더 유사하게 보입니까?"
-2. **3D 일관성과 타당성**: "어떤 3D 항목이 더 타당하고 일관된 기하학적 구조를 가지고 있습니까?"
-3. **프롬프트 충실도**: "어떤 비디오가 제공된 프롬프트를 더 잘 반영합니까?"
-- **연구 방법**
- - 3D 일관성과 주제 충실도 연구에서는 데이터셋의 30개 subject 각각에 대해 회전 비디오 결과를 제시하고 11명의 사용자가 각 쌍에 대해 응답
- - 프롬프트 충실도 연구에서는 54개의 고유한 프롬프트와 주제 쌍에 대해 비디오를 생성하고, 21명의 사용자가 응답
-- **최종 결과**
- - 최종 결과는 다수결 투표를 통해 산출
- - DreamBooth3D는 3D 일관성, 주제 충실도, 프롬프트 충실도에서 기준 모델들보다 유의미하게 더 선호됨.
-
-
-## 4.2. Sample Applications
-:::{figure-md}
-
-
-:::
-
-- **Recontextualization. (재문맥화)**
- - 단순한 프롬프트를 사용하여 다양한 개 주제의 3D 모델로 재문맥화한 샘플 결과
- - 모든 subject 에서 텍스트 프롬프트에 주어진 문맥을 일관되게 반영
- - 출력된 3D 모델의 자세와 로컬 변형은 입력 이미지에 없는 포즈임에도 불구하고 매우 사실적
-
-:::{figure-md}
-
-
-:::
-
-- **Color/Material Editing.**
- - 색상 편집 및 재질 편집
-- **Accessorization**
- - subject 에 액세서리 추가
-
-:::{figure-md}
-
-
-:::
-
-- **Stylization**
- - 크림색 신발을 색상과 프릴 추가를 기반으로 스타일화
-- **Cartoon-to-3D**
- - 비사실적 피상체 이미지(예: 2D 평면 캐릭터)를 그럴듯한 3D 형태로 변환
- - 모든 subject 이미지가 정면임에도 불구하고, 그럴듯한 3D 결과물 생성
-
-
-## 4.3. Limitations
----
-:::{figure-md}
-
-
-limitations
-:::
-
-1. 최적화된 3D 표현이 때때로 과도하게 포화되고 매끄럽게 처리되는 경우가 존재
- 1. 높은 가중치 가이던스를 가진 SDS 기반 최적화에 의해 발생
- 2. 64×64 픽셀이라는 상대적으로 낮은 이미지 해상도로 제한되어 발생
- 3. diffusion 과 NeRF 의 효율성 향상은 더 높은 해상도로 확장할 수 있는 가능성을 제공
-2. Janus problem : 최적화된 3D 표현은 입력 이미지에 시점 변화가 없으면 여러 불일치한 시점에서 정면으로 보이는 viewpoints 불일치 문제가 발생
-3. 선글라스와 같은 얇은 객체 구조를 재구성하는 데 어려움이 존재
-
-# 5. Conclusion
-
-- Subject 중심의 텍스트-3D 생성을 위한 방법인 DreamBooth3D를 제안
-- Subject 에 대한 소규모 casual 이미지 셋트가 주어지면, (카메라 포즈와 같은 추가 정보 없이)
-입력 텍스트 프롬프트에서 제공된 컨텍스트(자고 있는, 점프하는, 빨간 등)를 준수하는 subject 별 3D assets 를 생성
-- DreamBooth 데이터셋 에 대한 광범위한 실험을 통해 해당 방법이 주어진 subject 와 높은 유사성을 가지면서도 입력 텍스트 프롬프트에 나타난 컨텍스트를 잘 반영하는 현실적인 3D assets 을 생성할 수 있음을 입증
+# Dream Booth 3D
+``` {admonition} Information
+- **Title:** DreamBooth3D: Subject-Driven Text-to-3D Generation
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2303.13508](https://arxiv.org/abs/2303.13508)
+ - Project Page : [https://dreambooth3d.github.io/](https://dreambooth3d.github.io/)
+
+- **Author:** Jeongin Lee
+
+- **Last updated on {Sep. 3, 2024}**
+
+```
+
+## 0. Abstract
+
+- **DreamBooth3D : 피사체의 3-6개의 캐주얼한 촬영 이미지로부터 text-to-3D 생성 모델을 personalization (맞춤화)**
+
+
+- DreamBooth + DreamFusion 의 결합
+ - DreamBooth : personalizing text-to-image models
+ - DreamFusion : text-to-3D generation
+- 두 방법론을 나이브하게 결합시 subject의 input viewpoints 에 대해 오버피팅하는 개인화된 t2i 모델로 인해 Subject 에 대해 만족스럽지 못한 3D 결과물 생성
+- t2i 모델의 개인화 기능과 함께 NERF의 3D 일관성을 공동으로 활용하는 3단계 최적화 전략 (3-stage optimization strategy)을 통해 이를 극복
+- Subject 의 입력 이미지에서 볼 수 없는 새로운 포즈, 색상 등 에 대해 텍스트 중심 수정을 통해 고품질의 subject 중심의 3D 결과물 생성 가능
+---
+
+## 1. Introduction
+
+- **도입**
+ - 3D asset생성은 VR, 영화, 게임 등 다양한 분야에 응용 가능하나, 텍스트 프롬프트만으로 생성된 3D asset 의 정체성, 기하학적 구조, 외관을 정확하게 제어하기 어려움.
+ - 특히, 특정 subject 의 특성을 반영하는 3D assets 를 생성하는 능력에 대한 개발 필요
+ - T2I 모델 subject personalization (맞춤화, 개인화) 태스크에서 성공적인 결과를 보인 연구들은 많지만, 3D asset 생성이나 3D control 을 제공하지는 않음.
+ - **DreamBooth3D**는 소수의 (3-6개) 캐주얼하게 촬영된 이미지로부터 subject 중심의 텍스트-3D 생성을 제안
+
+ ⇒ NeRF 와 T2I 모델을 함께 최적화하여 subject 중심의 3D 자산을 생성하자 !
+
+- **문제점**
+ - subject에 맞게 개인화된 T2I 모델 & **NeRF** 를 최적화 하는 것은 여러 실패 사례가 발생
+ - 주요 문제 : 개인화된 T2I 모델이 제한된 주제 이미지의 카메라 뷰포인트에 과적합
+ - 연속적인 임의의 뷰포인트에서 일관된 3D **NeRF** 결과물을 최적화하는 데 충분하지 않음.
+
+- **해결책**
+ - **DreamBooth3D**는 효과적인 3단계 최적화 방식을 제안
+ - **Dream Booth** , **Dream Fusion** 사용
+ ---
+ **[STEP 1️⃣]**
+ - **DreamBooth** 모델을 부분적으로 미세 조정
+ - **DreamFusion**을 사용하여 **NeRF** 최적화
+ - 부분적으로 미세 조정된 DreamBooth 모델은 주어진 대상 뷰에 과적합 되지 않으며 모든 subject별 세부 정보를 캡처하지 않음
+ - 결과적으로 생성된 **NeRF** 자산은 3D 일관성이 있지만 subject 에 대한 특성을 완전히 반영하지못함.
+
+ **[STEP 2️⃣]**
+ - **DreamBooth** 모델을 완전히 미세 조정하여 세부 사항을 캡처
+ - 1단계에서 학습된 NeRF의 다중 뷰 렌더링을 완전히 학습된 **DreamBooth** 모델에 투입
+ - 이를 통해 subject 별로 다중 뷰 가상 이미지 집합을 생성
+
+ **[STEP 3️⃣]**
+ - 1단계의 주어진 subject 이미지와 가상(pseudo) 다중 뷰 이미지를 사용하여 **DreamBooth** 모델을 추가로 최적화
+ - 추가 최적화한 **DreamBooth** 로 NeRF 3D 볼륨을 최종 최적화
+ - 최종 NeRF 최적화시 추가 규제항으로 pseudo 다중 뷰 데이터 세트에 대한 weak reconstruction loss를 사용
+ - 3단계에 걸친 NeRF 및 T2I 모델의 합동 최적화는 **DreamBooth** 모델이 subject 의 특정 view point 에 과적합되는 것을 방지하는 동시에 동시에 결과 NeRF 모델이 대상의 정체성에 충실하도록 보장
+ ---
+
+- **결과**
+ - 실험 샘플 결과들을 통해 본 접근 방식이 입력 텍스트 프롬프트에 존재하는 컨텍스트를 존중하면서 주어진 대상과 유사성이 높은 현실적인 3D 자산을 생성할 수 있음을 입증
+ - 여러 베이스라인과 비교할 때, 정량적 및 정성적 결과는 DreamBooth 3D 생성이 보다 3D 일관성이 있고 대상 세부 사항을 더 잘 포착한다는 것을 입증
+
+---
+
+## 2. Related Work
+
+1. **Text-to-Image Generation.**
+- 텍스트 조건 반영 : 사용자가 제공한 자연어 텍스트 프롬프트에 정렬된 이미지를 생성하기 위해 사전 학습된 large language model (LLM) 을 활용
+- T2I diffusion 모델의 성공에 힘입어, 많은 작품들이 텍스트 기반 이미지 조작과 같은 다양한 작업에 사전 학습된 T2I 모델을 활용합니다
+2. **3D Generation.**
+- 최근 사전 학습된 대규모 T2I diffusion 모델을 활용하여 텍스트 프롬프트에서 3D 자산을 생성할 수 있는 text-to-3D 방법이 제안
+- 기존 방법론
+ - 텍스트를 통해 t2i 모델로 이미지를 직접 reconstruction
+- 본 방법론
+ - 입력 이미지를 직접 reconstruction 하지 않고 suject 개념을 제공하기 위한 입력 이미지 사용 → Recontextualization 수행 가능 (sleeping, jumping, color…etc)
+ - 입력 이미지를 동일한 배경, 조명, 카메라 등으로 촬영할 필요가 없음.
+3. **Subject-driven Generation.**
+- Subject 중심 이미지 생성의 최근 발전을 통해 사용자는 특정 대상과 개념에 대해 이미지 생성을 개인화(맞춤화)
+- **DreamBooth**
+ 희귀 토큰, 모델 finetuning, 규제를 위한 prior preservation loss를 사용하여 모델의 언어 비전 사전을 확장하여 이를 달성
+- **Textual Inversion**
+ 입력 개념을 나타내는 사전 학습된 text-to-image 모델의 임베딩 공간에서 새로운 word 를 최적화함으로써 이를 달성
+
+ :::{figure-md}
+
+
+ Textual Inversion \ (source: {https://arxiv.org/abs/2208.01618})
+ :::
+
+**→** 이러한 방법론들은 3D asset 을 제공하지 않고 일관성 있는 3D 이미지를 생성할 수 없음.
+
+
+# **3. Approach**
+
+ **Problem setup.**
+:::{figure-md}
+
+
+Input and Output
+:::
+
+- Input : subject 이미지 집합, 텍스트 프롬프트
+ - $\left\{I_i \in \mathbb{R}^{n \times 3}\right\}(i \in\{1, \ldots, k\})$ : 각 n개의 픽셀, k 장의 subject 이미지들의 집합
+ - context(맥락) 부여, 의미 변화를 위한 텍스트 프롬프트 T (ex) sleeping, standing…etc.
+
+---
+🌟 **Goal**
+텍스트 프롬프트에 충실하면서 주어진 subject 의 identity (기하 형태 및 외관)을 반영하는 3D assets 생성
+---
+
+- 3D volume 에서 radiance 필드를 인코딩하는 MLP 네트워크 $M$ 으로 구성된 Neural Radiance Fields (NeRF) 를 기반으로 3D assets 를 최적화
+- 본 문제는 **subject 이미지에 대한 반영이 필요**하기 때문에, 일반적인 multi-view 이미지 캡처가 필요한 3D reconstruction 설정에 비해 상당히 제한적이고 어려운 문제
+- T2I personalization 및 Text-to-3D 최적화의 최근 발전을 기반으로 기술을 구축
+
+ ⇒ DreamBooth personalization + DreamFusion text-to-3D로 최적화를 사용
+
+
+## 3.1. Preliminaries
+---
+
+### 3.1.1 **T2I diffusion models**
+
+- T2I diffusion models : Imagen, StableDiffusion and DALL-E 2 …etc..
+- T2I diffusion model $\mathcal{D}_\theta(\epsilon, \mathbf{c})$
+ - input :초기 노이즈 $\epsilon$ , 프롬프트 텍스트 임베딩 $\mathbf{c}$
+ - an initial noise $\epsilon \sim \mathcal{N}(0,1)$
+ - text embedding $\mathbf{c}=\Theta(T)$ (a given prompt $T$ with a text encoder $\Theta$)
+ - output : 프롬프트를 반영하여 생성한 이미지
+- T2I diffusion model 을 통해 생성된 이미지는 일반적으로 프롬프트와 일치하지만 생성된 이미지내에서 세부적인 제어가 어려움. → **DreamBooth** 를 통해 이를 해결
+
+---
+
+### 3.1.2 **Dream Booth T2I Personalization.**
+:::{figure-md}
+
+
+특정 피사체에 대한 소수의 이미지 집합 (3-5장) 을 통해 텍스트로 주어지는 Context 에 맞는 맞춤화 이미지 생성
+:::
+
+- $\left\{I_i\right\}$ 에서 네트워크를 파인튜닝하여 T2I diffusion 모델을 맞춤화, $\left\{I_i\right\}$ : a small set of casual captures
+- DreamBooth diffusion loss : T2I model 파인튜닝을 위해 사용
+
+ $$
+ \mathcal{L}_d=\mathbb{E}{\epsilon, t}\left[w_t\left\|\mathcal{D}_\theta\left(\alpha_t I_i+\sigma_t \epsilon, \mathbf{c}\right)-I_i\right\|^2\right],
+ $$
+
+ - $t \sim \mathcal{U}[0,1]$ : the time-step in the diffusion proces
+ - $w_t, \alpha_t, \sigma_t$ : the corresponding scheduling parameters
+- **DreamBooth Class prior preserving loss**
+
+ DreamBooth 는 $\left\{I_i\right\}$ 에 대한 **over fitting** 을 방지하여 다양성을 개선하고, **language drift** 현상을 피하기 위해 선택적으로 **class prior preserving loss 를 사용**
+
+- **최종 loss : reconstruction loss + class prior preservation loss**
+
+$$
+\mathbb{E}_{x, c, \epsilon, \epsilon^{\prime}, t}\left[w_t\left\|\hat{x_\theta} \left(\alpha_t x+\sigma_t \epsilon, c\right)-x\right\|_2^2+\lambda w_{t^{\prime}}\left\|\hat{x}_\theta\left(\alpha_{t^{\prime}} x_{p r}+\sigma_{t^{\prime}}\epsilon^{\prime}, c_{pr}\right)-x_{pr}\right\|_2^2\right]
+$$
+
+- **(example) over fitting**
+:::{figure-md}
+
+
+over fitting
+:::
+
+- **(example) language-drift**
+:::{figure-md}
+
+
+language-drift
+:::
+
+
+---
+
+### 3.1.3 **DreamFusion**
+:::{figure-md}
+
+
+DreamFusion process / (source : [DreamFusion](https://pseudo-lab.github.io/pseudodiffusers/docs/review/DreamFusion.html))
+:::
+
+- T2I diffusion model을 사용하여 볼륨의 랜덤뷰가 프롬프트 $T$ 에 상응하도록 NeRF $\mathcal{M}_\phi$ ($\phi$ : parameters) 를 통해 표현된 볼륨을 최적화
+
+- normals : 밀도의 그래디언트로부터 계산된 nomals은 Lambertian shading 으로 기하학적 사실성을 개선시키기 위해 모델을 랜덤으로 relight 하는데 사용됨.
+
+- $\mathcal{M}_\phi$ : mapping (camera, light (location) → albedo &density)
+ - 랜덤 뷰 $v$, 랜덤 조명(light) 방향이 주어지면 shaded(음영 처리된) 이미지 $\hat{I}v$ 로 볼륨 렌더링을 수행
+- 이 때 볼륨 렌더링한 이미지가 텍스트 프롬프트 $T$ 처럼 보이도록 NeRF $\phi$ 의 매개변수를 최적화하기 위해 DreamFusion 은 score distillation sampling ***(SDS)** 를 도입
+
+- **score distillation sampling (SDS)**
+
+ $$
+ \nabla_\phi \mathcal{L}_{SDS}=\mathbb{E}{\epsilon, t}\left[w_t\left(\mathcal{D}_\theta\left(\alpha_t \hat{I}_v+\sigma_t \epsilon, \mathbf{c}\right)-\hat{I}_v\right) \frac{\partial \hat{I}_v}{\partial \phi}\right] .
+ $$
+
+- 렌더링된 이미지의 노이즈가 처리된 버전들을 T2I diffusion model의 낮은 에너지 상태로 push
+
+- 다양한 views를 랜덤으로 선택하고, NeRF 를 통해 역전파 함으로써,
+rendering 결과들이 T2I model $\mathcal{D}_\theta$ 로 주어진 프롬프트에 맞게 생성된 이미지처럼 보이도록 함.
+
+- **DreamFusion** 에서 사용된 실험 환경을 정확하게 동일하게 사용함.
+
+## 3.2 Failure of Naive Dreambooth+Fusion
+---
+- **피사체(subject) 중심 text-to-3D 생성을 위한 직관적인 접근 방식**
+
+ 1. subject에 대해 **T2I model 을 pesonalized(맞춤화)**
+ 2. 맞춤화된 T2I model 을 **text-to-3D optimization** 을 위해 사용
+
+- **즉, DreamBooth 최적화(personalized) ⇒ DreamFusion 최적화**
+
+- **BUT**, **Naive Dreambooth+Fusion 의 결합은 불만족스러운 결과를 초래**
+
+:::{figure-md}
+
+훈련된 이미지 내의 subject 의 뷰에 과적합된 예시
+:::
+
+---
+> 핵심 문제 (KEY Issue)
+
+- **Dream Booth**가 **훈련된 뷰에 존재하는 subject 의 뷰에 과적합** 되어
+**이미지 생성에서 viewpoint 에 대한 다양성이 감소**하는 경향을 보임.
+
+- 미세 조정 단계가 증가할수록, Subject 유사성 증가 (👍)
+**BUT** input exemplar views에 유사하도록 viewpoints 생성 (👎)
+ ⇒ 즉, 다양한 시점에서 이미지를 생성하는 능력이 저하됨.
+---
+
+- 이런 DreamBooth 모델 기반의 NeRF SDS 손실은 일관된 3D NeRF 결과물을 얻기에 불충분
+
+- **DreamBooth+Fusion NeRF** 모델이 **서로 다른 view** 에 걸쳐 학습된 **동일한 대상에 대한 뷰**(예: face of a dog : 다양한 각도에서 본 동일한 dog face)를 가지고 있음.
+ - **"Janus problem"** : 두 가지 상반되거나 연관된 측면을 동시에 다루어야 하는 문제
+
+
+## 3.3. Dreambooth3D Optimization
+---
+:::{figure-md}
+
+
+DreamBooth3D Overview
+:::
+
+- DreamBooth3D Overview
+
+**stage-1 (왼쪽)**: 먼저 DreamBooth를 부분적으로 훈련시키고, 결과 모델을 사용하여 초기 NeRF를 최적화
+
+**stage-2 (가운데)**: 초기 NeRF에서 랜덤 시점에 따라 다중 시점 이미지를 렌더링한 후, 완전히 훈련된 DreamBooth 모델을 사용하여 이를 가상 다중 시점 subject 이미지로 변환
+
+**stage-3 (오른쪽)**: 다중 시점 이미지를 사용하여 부분적인 DreamBooth를 추가로 미세 조정한 다음, 결과적으로 얻어진 다중 시점 DreamBooth를 사용하여 최종 NeRF 3D 자산을 SDS 손실과 다중 시점 재구성 손실을 통해 최적화
+
+- 위의 문제를 해결하고 성공적인 subject 맞춤 text-to-3D 생성을 위해 효율적인 3단계 최적화 방식을 기반으로 한 Dream-Booth3D 제안
+
+---
+
+### **3.3.1 Stage 1️⃣: 3D with Partial DreamBooth**
+
+:::{figure-md}
+
+
+Stage-1 : 3D with Partial DreamBooth
+:::
+
+- 입력된 Subject 이미지를 사용하여 DreamBooth 모델 $\hat{\mathcal{D}}_\theta$ 를 훈련
+
+---
+🌟 **DreamBoothT2I 모델의 초기 체크포인트가 (=부분적으로 파인튜닝한 결과) 주어진 subject view에 과적합되지 않음을 확인**
+
+ ⇒ partial DreamBooth (부분적으로 파인튜닝한 Dreambooth)
+---
+
+- **partial DreamBooth** 모델 하에 DreamFusion은 더 일관된 3D NeRF를 생성가능
+- NeRF 최적화시 SDS 손실 사용 :
+ - $\nabla_\phi \mathcal{L}_{SDS}=\mathbb{E}{\epsilon, t}\left[w_t\left(\hat{\mathcal{D}}_\theta^{\text {partial }}\left(\alpha_t \hat{I}_v+\sigma_t \epsilon, \mathbf{c}\right)-\hat{I}_v\right) \frac{\partial \hat{I}_v}{\partial \phi}\right]$
+ - $\hat{\mathcal{D}}_\theta^{\text {partial }}$: **partial DreamBooth**
+ - SDS 손실을 사용하여 주어진 텍스트 프롬프트에 대한 초기 NeRF 자산을 최적화
+- **partial DreamBooth** 모델과 NeRF 결과물은 입력된 subject 와 완전히 유사하지 않음
+
+---
+
+🌟 즉, **Stage-1️⃣ 에서의 초기 NeRF** 는 **주어진 subject 와 부분적으로ㅁ 유사**하면서,
+**주어진 텍스트 프롬프트에 충실한** **subject class 3D 모델**
+
+---
+
+### **3.3.2 Stage 2️⃣: Multi-view Data Generation**
+
+:::{figure-md}
+
+
+Stage-2: Multi-view Data Generation
+:::
+
+---
+
+🌟 **Stage-2 Multi-view Data Generation : 본 접근법의 가장 중요한 부분**
+
+일관성을 갖춘 **3D initial NeRF** 와 **fully-trained DreamBooth** 를 사용하여 **pseudo multi-view subject** 이미지들을 생성
+
+---
+
+1. **Initial NeRF** 로부터 다양한 랜덤 viewpoints $\{v\}$을 따라 여러 이미지$\left\{\hat{I}v \in \mathbb{R}^{n \times 3}\right\}$ 를 렌더링하여 다중 시점 렌더링을 생성
+2. 각 **렌더링에 고정된 양의 노이즈를 추가하는 forward diffusion** 과정을 통해 $t_{pseudo}$로 전환
+3. reverse diffusion 과정을 실행하여 **fully-trained DreamBooth** 모델 $\hat{\mathcal{D}}_\theta$ 를 사용하여 샘플을 생성
+ - 샘플링 과정은 각 뷰에 대해 독립적으로 수행
+ - **Initial NeRF 결과물** 에 노이즈를 추가한 noisy render 를 조건으로 지정함으로써, 넓은 범위의 시점을 커버하면서 subject 를 잘 나타내는 이미지 생성 가능
+ ⇒ 다양한 노이즈가 있는 이미지를 조건으로 학습시, 다양한 변형에 대한 학습 가능하기 때문
+ - **BUT** reverse diffusion 과정은 다른 뷰에 다른 세부 사항을 추가할 수 있기 때문에 결과 이미지는 multi-view 에 대한 일관성이 없음.
+
+ ⇒ 가상(pseudo) 다중 시점 이미지 집합 **(collection of pseudo multi-view images)**
+
+
+---
+
+🔑 **Key insight**
+1. 초기 NeRF 이미지가 unseen views 에 가까울 경우,
+ DreamBooth가 Subject 의 unseen views를 효과적으로 생성 가능
+
+2. 입력 이미지에 비해 Subject 와 더 유사한 출력 이미지를 효과적으로 생성가능**
+
+---
+
+
+- 위 그림을 통해 체크할 부분
+
+ :::{figure-md}
+
+
+ :::
+
+ - **fully-trained DreamBooth** 를 사용한 Img2Img 변환의 샘플 출력
+ - 입력 NeRF 렌더링의 시점을 유지하면서도 subject 이미지와 더 유사한 모습
+ - 기존 연구들과 달리 Img2Img 변환을 DreamBooth, NeRF 3D assets 과 결합하여 사용 (기존 연구의 경우 Img2Img 변환을 이미지 editing 응용으로만 사용)
+
+### **3.3.3 Stage3️⃣: Final NeRF with Multi-view DreamBooth**
+
+:::{figure-md}
+
+
+Stage-3 : Final NeRF with Multi-view DreamBooth
+SDS와 multi-view reconstruction 손실을 사용한 최종 NeRF 최적화
+:::
+
+> **새로운 데이터 $I^{\text{aug}}$ 생성**
+
+- 가상 다중 시점 이미지 $\left\{I_v^{\text {pseudo }}\right\}$, 입력 Subject 이미지 $\left\{I_i\right\}$ 의 결합을 통해 생성
+
+$$
+I^{\text {aug }}=\left\{I_v^{\text {pseudo }}\right\} \cup\left\{I_i\right\}
+$$
+
+> **$I^{\text {aug}}$ 를 사용하여 최종 Multi-view DreamBooth 모델을 최적화**
+
+1. 1단계에서 **partial DreamBooth** $\hat{\mathcal{D}}_{\theta^*}$ 준비
+2. 위의 증강 데이터 $I^{\text {aug}}$ 를 사용하여 $\hat{\mathcal{D}}_{\theta^*}$ 에 대한 **파인튜닝**을 추가 진행
+3. **Multi-view DreamBooth** $\hat{\mathcal{D}}_\theta^{\mathrm{multi}}$ 를 생성
+
+> $\hat{\mathcal{D}}_\theta^{\text {multi }}$ **모델을 사용하여 DreamFusion SDS Loss 와 함께 NeRF 3D assets 를 최적화**
+
+- 1단계의 **partial DreamBooth**에 비해 **multi-view DreamBooth** 의 뷰 일반화와 subject 보존 능력이 더 우수하기 때문에 **subject idendtity가 상당히 향상된 NeRF 모델 생성 가능**
+- **BUT** SDS 손실만 사용시 최적화된 NeRF assets 이
+ - 주어진 subject 에 대해 우수한 기하학적 유사성 보유
+ - **Color saturation artifacts 현상 다수 발생**
+ - 이를 해결하기 위해 $\left\{I_v^{\mathrm{pseudo}}\right\}$ 를 사용한 새로운 **weak reconstruction loss** 도입
+ - **** Color saturation artifacts :**
+ - 색상의 과도한 포화(saturation)로 인해 비현실적이거나 왜곡된 색상 표현이 나타나는 결함 현상
+ - 모델이 특정 색상을 과도하게 강조하는 경우 발생
+ - 색상 값을 잘못 예측하여 비현실적인 색상 표현이 나타난 경우 발생
+ - 다양한 시점에서 일관된 색상 표현을 유지하지 못한 경우 발생
+
+---
+
+**Reconstruction loss**
+
+- $\left\{I_v^{\mathrm{pseudo}}\right\}$ 가 생성된 카메라 매개변수 $\left\{P_v\right\}$ 정보를 알고 있으므로,
+두 번째 NeRF MLP $\mathcal{F}\gamma$ 의 훈련을 **reconstruction loss** 를 통해 추가로 규제
+
+ $$
+ \mathcal{L}_{recon }=\left\|\Gamma\left(\mathcal{F}_\gamma, P_v\right)-I_v^{\text {pseudo }}\right\|_p,
+ $$
+
+ - $\Gamma\left(\mathcal{F}\gamma, P_v\right)$ : 카메라 시점 $P_v$ 를 따라 NeRF $\mathcal{F}\gamma$ 에서 이미지를 렌더링하는 함수
+- **Reconstruction loss 의 목적**
+ - 생성된 볼륨의 색상 분포를 image exemplars 과 더 가깝게 조정
+ - unseen views에서 subject 유사성을 향상
+
+ **Final NeRF Loss function**
+
+$$
+\mathcal{L}=\lambda_{\text {recon }} \mathcal{L}_{\text {recon }}+\lambda_{\text {SDS }} \mathcal{L}_{\text {SDS }}+\lambda_{\text {nerf }} \mathcal{L}_{\text {nerf }}
+$$
+
+- $\mathcal{L}_{\text {nerf }}$ 는 Mip-NeRF360 [2]에서 사용된 추가적인 NeRF 정규화
+
+---
+
+# 4. Experiments
+---
+
+ **Implementation Details.**
+
+- **사용 모델**:
+ - T2I : Imagen T2I 모델
+ - Text-encoding: T5-XXL
+ - NeRF : DreamFusion
+- **훈련 시간**: 4core TPUv4, 각 프롬프트당 3단계 최적화를 완료하는 데 약 3시간 소요
+- **훈련 단계**:
+ - **부분 DreamBooth 모델 ($D_θ^{partial}$)** : 150번의 반복훈련
+ - **전체 DreamBooth 모델 ($D_θ$)** : 800번 반복 훈련시 최적의 성능
+- **pseudo multi-view data generation :**
+원점에서 고정된 반경으로 균일하게 샘플링한 20개의 이미지를 렌더링
+- **Stage-3 Multi-view DreamBooth** $\hat{\mathcal{D}}_\theta^{\mathrm{multi}}$:
+3단계에서 추가로 150번 반복하여 부분적으로 훈련된 $\hat{D}_{θ}^∗$ 모델을 Finetuning
+- **Hyperparams :** supplementary material 참고
+---
+ **Datasets.**
+
+- **훈련 데이터**: 공개된 이미지 컬렉션을 사용하여 personalized text-to-3D 모델을 훈련
+ - 다양한 subject(개, 장난감, 배낭, 선글라스, 만화 캐릭터 등) 의 4-6개의 casual 이미지를 포함한 30개의 다른 이미지 컬렉션으로 구성
+- **희귀 객체 성능 분석**: "올빼미 장식품"과 같은 희귀한 대상의 성능을 분석하기 위해 추가 이미지 수집
+- 3-6개의 프롬프트에 대해 각 3D 모델을 최적화하여 3D contextualizations 문맥화 시연
+---
+ **Baselines.**
+
+- **Latent-NeRF**
+ - RGB 픽셀 공간이 아닌 Stable Diffusion 의 latent feature 공간에서 SDS 손실을 통해 3D NeRF 모델을 학습
+ - baseline 으로써 fully dreamboothed T2I model 를 사용하여 Latent-NeRF 실행
+- **DreamFusion+DreamBooth**: DreamBooth 확산 모델을 먼저 훈련한 후 DreamFusion을 사용하여 3D NeRF를 최적화하는 단일 단계 접근 방식
+- **본 연구의 3단계 최적화 기반 방법론** : "DreamBooth3D"
+---
+ **Evaluation Metrics.**
+
+- **CLIP R-Precision**
+ - rendering된 장면들이 주어졌을 때 프롬프트와 얼마나 정확하게 일치하는지 비율을 나타냄.
+ - CLIP ViT-B/16, ViT-B/32, ViT-L-14 모델을 평가에 사용
+- 추가적으로 user study 수행 (뒤에 언급)
+
+## 4.1. Results
+
+**Visual Results**
+
+:::{figure-md}
+
+
+:::
+
+- **비교 결과**: DreamBooth3D, Latent-NeRF, DreamBooth+Fusion 기준 모델의 비교
+ - Latent-NeRF : 일부 경우(오리)에서 적절히 작동하지만, 대부분의 경우 일관된 3D 모델을 생성하는 데 실패
+ - DreamBooth+Fusion : 여러 시점에서 동일한 외형 및 구조를 보임
+ - DreamBooth3D : 360도 일관된 3D Asset을 생성하며, 주어진 subject 의 기하학적 구조 및 외관의 세부 사항을 잘 반영함
+---
+
+ **Initial vs. Final NeRF**
+
+:::{figure-md}
+
+
+:::
+
+- 1단계와 3단계에서 생성된 초기 NeRF와 최종 NeRF 결과
+- 초기 NeRF : 주어진 subject 와 부분적으로만 유사, 3D 일관성을 유지
+- 최종 NeRF : 주어진 subject 와 더 유사하, 일관된 3D 구조를 유지
+- 이러한 예시는 DreamBooth3D의 3단계 최적화가 필요함을 입증 (?)
+
+---
+ **User Study.**
+
+:::{figure-md}
+
+
+:::
+
+ → DreamBooth3D와 비교 모델들을 세가지측면에 대해 아래의 질문에 대한 답변으로 평가**
+
+1. **subject 충실도**: "어떤 3D 항목이 subject 와 더 유사하게 보입니까?"
+2. **3D 일관성과 타당성**: "어떤 3D 항목이 더 타당하고 일관된 기하학적 구조를 가지고 있습니까?"
+3. **프롬프트 충실도**: "어떤 비디오가 제공된 프롬프트를 더 잘 반영합니까?"
+- **연구 방법**
+ - 3D 일관성과 주제 충실도 연구에서는 데이터셋의 30개 subject 각각에 대해 회전 비디오 결과를 제시하고 11명의 사용자가 각 쌍에 대해 응답
+ - 프롬프트 충실도 연구에서는 54개의 고유한 프롬프트와 주제 쌍에 대해 비디오를 생성하고, 21명의 사용자가 응답
+- **최종 결과**
+ - 최종 결과는 다수결 투표를 통해 산출
+ - DreamBooth3D는 3D 일관성, 주제 충실도, 프롬프트 충실도에서 기준 모델들보다 유의미하게 더 선호됨.
+
+
+## 4.2. Sample Applications
+:::{figure-md}
+
+
+:::
+
+- **Recontextualization. (재문맥화)**
+ - 단순한 프롬프트를 사용하여 다양한 개 주제의 3D 모델로 재문맥화한 샘플 결과
+ - 모든 subject 에서 텍스트 프롬프트에 주어진 문맥을 일관되게 반영
+ - 출력된 3D 모델의 자세와 로컬 변형은 입력 이미지에 없는 포즈임에도 불구하고 매우 사실적
+
+:::{figure-md}
+
+
+:::
+
+- **Color/Material Editing.**
+ - 색상 편집 및 재질 편집
+- **Accessorization**
+ - subject 에 액세서리 추가
+
+:::{figure-md}
+
+
+:::
+
+- **Stylization**
+ - 크림색 신발을 색상과 프릴 추가를 기반으로 스타일화
+- **Cartoon-to-3D**
+ - 비사실적 피상체 이미지(예: 2D 평면 캐릭터)를 그럴듯한 3D 형태로 변환
+ - 모든 subject 이미지가 정면임에도 불구하고, 그럴듯한 3D 결과물 생성
+
+
+## 4.3. Limitations
+---
+:::{figure-md}
+
+
+limitations
+:::
+
+1. 최적화된 3D 표현이 때때로 과도하게 포화되고 매끄럽게 처리되는 경우가 존재
+ 1. 높은 가중치 가이던스를 가진 SDS 기반 최적화에 의해 발생
+ 2. 64×64 픽셀이라는 상대적으로 낮은 이미지 해상도로 제한되어 발생
+ 3. diffusion 과 NeRF 의 효율성 향상은 더 높은 해상도로 확장할 수 있는 가능성을 제공
+2. Janus problem : 최적화된 3D 표현은 입력 이미지에 시점 변화가 없으면 여러 불일치한 시점에서 정면으로 보이는 viewpoints 불일치 문제가 발생
+3. 선글라스와 같은 얇은 객체 구조를 재구성하는 데 어려움이 존재
+
+# 5. Conclusion
+
+- Subject 중심의 텍스트-3D 생성을 위한 방법인 DreamBooth3D를 제안
+- Subject 에 대한 소규모 casual 이미지 셋트가 주어지면, (카메라 포즈와 같은 추가 정보 없이)
+입력 텍스트 프롬프트에서 제공된 컨텍스트(자고 있는, 점프하는, 빨간 등)를 준수하는 subject 별 3D assets 를 생성
+- DreamBooth 데이터셋 에 대한 광범위한 실험을 통해 해당 방법이 주어진 subject 와 높은 유사성을 가지면서도 입력 텍스트 프롬프트에 나타난 컨텍스트를 잘 반영하는 현실적인 3D assets 을 생성할 수 있음을 입증
- 정량적 및 정성적 평가에서 여러 기준 모델보다 우수한 성능을 보임을 확인
\ No newline at end of file
diff --git a/_sources/docs/review/DreamFusion.md b/_sources/docs/review/DreamFusion.md
index e17972bd..04ec6e34 100755
--- a/_sources/docs/review/DreamFusion.md
+++ b/_sources/docs/review/DreamFusion.md
@@ -1,402 +1,397 @@
-
-``` {admonition} Information
-- **Title:** DreamFusion: Text-to-3D using 2D Diffusion
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2209.14988](https://arxiv.org/abs/2209.14988)
- - Code:
- - [NonOfficial](https://github.com/ashawkey/stable-dreamfusion)
- - Project Page : [https://dreamfusion3d.github.io/](https://dreamfusion3d.github.io/)
-
-- **Author:** Geonhak Song
-
-- **Last updated on {July. 3, 2024}**
-```
-
-# **DreamFusion**
-
-## Abstract
-
-DreamFusion = NeRF + Score Distillation Sampling Loss를 활용한 Text-to-3D 모델
-
-**기존 한계**
-
-Text-to-Image 방식과 같이 큰 규모의 데이터로 학습시킨 것과 동일 방식의 3D 생성 모델을 만들기 위해서은 **대규모 label된 3D 데이터셋**과 3D 데이터를 효율적으로 처리할 수 있는 **3D diffusion model이 필요**하지만, 현재 이를 **충족시킬 수 없음**.
-
-**방법론**
-
-DreamFusion은 pretrained 2D Text-to-Image diffusion model을 활용하여 text-to-3D 합성을 수행할 수 있는 새로운 방법 제시.
-
-본 방법은 **parameteric image generation** 최적화를 위한 prior로 2D diffusion model을 활용할 수 있는 probability density distillation 기반의 loss를 도입.
-
-**결과**
-
-텍스트 기반으로 생성된 3D 모델은 임의의 각도와 조명에서 볼 수 있으며, 임의의 3D 환경에 합성.
-
-해당 접근 방식을 통해 추가적인 3D 학습 데이터나 image diffusion model의 수정 없이도 효과적으로 동작함.
-
-## 1. Introduction
-
-- 이미지 생성 모델은 text 기반으로 high-fidelity, diverse, controllable 이미지 합성을 지원한다.
- - 가능했던 이유 2가지
- - 1) large image-text dataset
- - 2) 큰 규모의 생성 모델
-- 이런 Diffusion Model을 다른 domain에 적용하려는 시도는 성공적이었지만, **많은 규모의 training data가 필요**.
-- 3D 합성 분야에서도 3D asset이 요구되지만 이는 이미지 대비 상대적으로 훨씬 더 많은 시간과 노력을 요하는 작업.
-- voxel, point cloud를 비롯한 explicit representation을 위한 방법이나 GAN 기반의 방법을 통해 3D generator를 만들려는 시도 또한 있었으나 이 방법들은 임의의 text를 기반으로 3D object synthesis가 어려운 상황.
-
-- 한편, inverse rendering인 NeRF를 기반 Text 기반 3D 생성 방법에 통합하려는 시도가 많이 있었는데 그중 대표적인 방법이 DreamField 이다.
-- DreamField (CVPR 2022) [[arxiv](https://arxiv.org/abs/2112.01455)] [[Official Project page](https://ajayj.com/dreamfields)]
-
-:::{figure-md}
-
-
-DreamField Figure 1
-:::
-
-- DreamField는 CLIP의 frozen image-text joint embedding model과 optimization기반 방법을 통해 NeRF를 학습.
-- 그러나 이 방법은 **부족한 현실성과 정확성에 대한 한계**를 보임.
-
-- 본 저자들은 Dream Fields에서 사용한 CLIP 대신 2D Diffusion model로부터 distill된 loss를 활용하여 사용.
-- 이는 **probability density distillation** 기반으로 구성되는데, 이는 **forward process의 diffusion 기반의 공유 평균을 가지는** **Gaussian distribution**과 **pretrained diffusion model로부터 학습된** **score function**간의 **KL divergence**를 **최소화**하는 방향을 의미.
-- **Score Distillation Sampling(SDS)방법**은 미분가능한 image parameterization을 기반으로 sampling 최적화가 가능하게 함.
-- 즉, NeRF와 SDS를 결합함으로써 Text prompt가 입력으로 주어진다면, DramFusion은 고품질이며 일관성있는 3D object와 scene들을 만들어낼 수 있다.
-
-:::{figure-md}
-
-
-DreamFusion Figure 1
-:::
-
-### 2. Diffusion Models and Score Distillation Sampling
-
-Data : $x$
-
-Forward process : $q$
-
-Reverse process : $p$
-
-Perturbed latent at timestep $t$: $z_t$
-
-Marginal distribution of the latent variables at timestep $t$ given an initial datapoint $x$ :
-$q(z_t | x ) = \mathcal{N} (\alpha_t x ,\sigma_t^2 \mathbf{I})$
-
-Generative model : $p$
-
-starting Random Noise : $p(z_T) = \mathcal{N} (0, \mathbf{I})$
-
-Transition $p_\phi (z_{t-1} | z_t ) = q(z_{t-1} |z_t, x = \hat{x_\phi} (z_t; t))$
-
-Posterior dist from forward process : $q(z_{t-1} |z_t, x)$
-
-A learned approximation of the optimal denoiser : $\hat{x_\phi} (z_t; t)$
-
-Latent : $z_t : \mathbb{E} [x|z_t] \approx \hat{x_\phi} (z_t; t) = (z_t - \sigma_t \epsilon_\phi (z_t ; t ) / \alpha_t)$
-
-예측된 noise는 smooth density에 대한 예측된 score function ($\nabla_{z_t} log p(z_t)$)과 연관
-
-ELBO로 생성 모델 학습은 $\phi$ parameter를 활용한 weighted denoising score matching objective로 간소화 가능
-
-:::{figure-md}
-
-
-DreamFusion Equation 1
-:::
-
-Diffusion 학습 (2가지 관점)
-
-1) latent -variable model 학습
-
-2) noise data에 상응하는 score function 학습
-
-- score function이 $s_\phi (z_t ;t ) = -\epsilon_\phi (z_t ; t) / \sigma_t$로 주어졌을 때, marginal dist 근사하는 $p_\phi (z_t;t)$ 사용
-
-Text-to-image diffusion model (text embedding : $y$)
-
-예측해야하는 noise 값 : $\epsilon_\phi (z_T ; t, y)$
-
-CFG : $w : \epsilon_\phi (z_T ; t, y) = (1+w) \epsilon_\phi (z_T ; t, y) - w \epsilon_\phi (z_T ; t)$
-
-CFG는 score function을 conditional density가 unconditional density에 비해 상대적으로 큰 영역을 선호하도록 조정. Diversity를 희생하여 sample fidelity 향상
-
-### 2.1 How can we sample in parameter space, not pixel space?
-
-- 저자들은 pixel 기반 diffusion model에서 sampling 되는 pixel sampling에는 관심이 없고, **랜덤한 각도에서 rendering할 때, 좋은 이미지를 만들어낼 수 있는 3D 모델을 생성하는데 관심이 있음.**
-- 이와 같은 모델을 **DIP (Differentiable image parameterization)**라 분류함.
-- 즉, 미분가능한 generator $g$는 parameter $\theta$를 통해 image **$x=g(\theta)$**로 변환할 수 있음.
-- DIP를 활용하여 기존 학습된 공간을 최적화 알고리즘을 통해 학습시킬 수 있는데, 3D에서는 3D volume의 parameter로 $\theta$, volumetric renderer $g$로 지정할 수 있다.
-- 다만, 해당 parameter들을 학습시키기 위해서, **diffusion model을 적용할 수 있는 loss function이 필요**.
-- **$x=g(\theta)$** 가 frozen diffusion model로부터 sample 결과인 것같은 $\theta$ 최적화를 진행 희망.
-- 여기서 저자들은 DeepDream과 비슷한 스타일의 differentiable loss func이 필요. 즉, 신뢰도 높은 이미지는 loss가 적고, 신뢰도 적은 이미지에서는 loss가 높게 설정.
-
-- 초기 diffusion training loss 재사용했으나 realistic sample 생성이 안 됨.
-- 아래 식 : $\mathcal{L}$ Gradient에 대한 식
-
-:::{figure-md}
-
-
-DreamFusion Equation 2
-:::
-
-- 일반적으로 U-Net Jacobian term은 계산 비용이 많이 사용되고, 작은 noise에 대해 제대로 작동되지 않음.
-
-- 저자들은 **U-Net Jacobian term을 생략**함으로써 diffusion model을 사용한 DIP 최적화에 효과적인 gradient로 유도할 수 있음을 발견.
-
-:::{figure-md}
-
-
-DreamFusion Equation 3
-:::
-
-- 이를 통해 해당 loss는 높은 density 영역으로 이동하기 위해 diffusion 모델의 score function을 따르는 방향으로 update.
-- Appendix A.4에서 diffusion model의 학습된 score function을 사용하여 weighted probability density distillation loss의 gradient임을 보여줌.
-
-:::{figure-md}
-
-
-DreamFusion Equation 4
-:::
-
-- 쉽게 적용 가능하고 diffusion model의 backpropagation이 필요 없음.
-
-:::{figure-md}
-
-
-DreamFusion Figure 2
-:::
-
-:::{figure-md}
-
-
-DreamFusion Figure 8
-:::
-
-
-## 3. The DreamFusion Algorithm
-
-:::{figure-md}
-
-
-DreamFusion Figure 3
-:::
-
-Text를 기반한 3D asset을 만드는 알고리즘 소개 단계
-
-Imagen 중 64x64 base model만 수정없이 사용
-
-### 3.1 Neural Rendering of a 3D Model
-
-:::{figure-md}
-
-
-NeRF Figure
-:::
-
-:::{figure-md}
-
-
-DreamFusion Equation 5
-:::
-
-
-NeRF 구성 2가지 : volumetic raytracer & MLP
-
-NeRF로부터 이미지를 Rendering하기 위해 ray casting.
-
-각 ray를 따라 샘플된 3D points $\mu$들을 MLP에 통과시켜 4개의 스칼라 output 획득.
-
-: (volumetric density $\tau$, RGB color $c$ ( alpha compositing )
-
-:::{figure-md}
-
-
-MipNeRF Figure
-:::
-
-본 방법에서는 **mip-NeRF 360** 사용(aliasing 감소 특화)
-
-
-
-**Shading**
-
-일반적인 radiance를 내보내는 NeRF와 달리, 본 논문에서는 각 point별 RGB albedo $\rho$ 사용
-
-:::{figure-md}
-
-
-DreamFusion Equation 6
-:::
-
-$\tau$ : volumetric density
-
-3D 포인트에 대한 마지막 shaded output color 계산을 위해서는 normal vector가 필요.
-
-normal vector는 3D coordinate $\mu$ 관점에 대해서 density $\tau$ 에 대한 negative gradient 를 normalizing을 통해 계산될 수 있음.
-
-$n = - \nabla_\mu \tau / \lVert \nabla_\mu \tau \rVert$
-
-normal : $n$
-
-material albedo : $\rho$
-
-some point light source with 3D coordinate : $l$ & color $l_\rho$
-
-ambient light color : $l_a$
-
-:::{figure-md}
-
-
-DreamFusion Equation 7
-:::
-
-추가 발견 내용 : 랜덤하게 albedo color $\rho$를 white (1,1,1)로 교체하여 textureless 음영 처리 결과물 생성할 수 있음.
-
-모델이 퇴화된 솔루션을 만드는 것을 방지하는 데 유익
-
-**Scene Structure**
-
-**1) 고정된 Bounding sphere**: NeRF 모델의 query를 고정된 bounding sphere 내에서만 수행하여 밀도가 카메라 근처에 채워지지 않도록 함.
-
-**2) 추가 환경 맵 생성**: 두 번째 MLP를 사용하여 배경 색상을 계산하고, 렌더링된 색상을 배경 색상 위에 합성.
-
-**3) 누적된 alpha 값 활용**: 누적된 alpha 값을 통해 배경과 렌더링된 광선 색상을 자연스럽게 합성.
-
-**Geometry regularizers**
-
-**1)** **opacity에 대한 regularization penalty 추가** : Mip-NeRF 360 모델에서 빈 공간에 대한 불필요한 채움을 방지하기 위해 진행. (Zero-shot text-guided object generation with dream fields. CVPR 2022)
-
-**2) Ref-NeRF에서 제안된 orientation loss의 수정 버전을 사용** : Density field에서 normal vector가 camera로부터 멀어지는 문제 방지를 위해 제안.
-
-Appendix A.2 참조
-
-### 3.2 Text-to-3D Synthesis
-
-각 text prompt에 대해 NeRF 초기 랜덤 초기화
-
-:::{figure-md}
-
-
-DreamFusion Figure 3-1
-:::
-
-DreamFusion의 각 iter 최적화
-
-(1) randomly sample a camera and light
-
-(2) render an image of the NeRF from that camera and shade with the light
-
-(3) compute gradients of the SDS loss with respect to the NeRF parameters
-
-(4) update the NeRF parameters using an optimizer
-
-**1. Random camera and light sampling**
-
-:::{figure-md}
-
-
-Spherical Coordinate Figure
-:::
-
-매 iteration, camera position은 spherical coordinate에서 무작위로 sample됨.
-
-elevation angle : $\phi_{cam} \in [-10, 90]$
-
-azimuth angle : $\theta_{cam} \in [0, 360]$
-
-origin으로부터 distance : $[1, 1.5]$
-
-focal length multiplier : $\lambda_{focal} \in \mathcal{U} (0.7, 1.35)$
-
-focal length : $\lambda_{focal} w$ ($w$ =64)
-
-point light position $l$은 camera position 중심 주변 분포에서 sample
-
-다양한 camera location & distance 사용
-
-**2. Rendering.**
-
-Camera pose와 light position이 주어졌을 때, 64x64 해상도의 shaded NeRF model를 render
-
-Rendering 세 가지 옵션 중 하나를 무작위로 선택:
-
-**1) 조명이 적용된 색상 렌더링 (illuminated color render)**: 조명이 적용된 상태에서의 색상 렌더링 (Fig 3. Color)
-
-**2) textureless render**: 텍스처 없이 음영 처리된 상태로 렌더링. ( Fig 3. Normal?)
-
-**3) rendering of the albedo**: 음영 없이 알베도 색상만을 렌더링. ( Fig 3. Albedo)
-
-**3. Diffusion loss with view-dependent conditioning**
-
-view-dependent text를 추가하는 것이 효과적
-
-높은 고도 각도 $\phi_{cam} > 60^{\circ}$ 일 때, "overhead view"
-
-$\phi_{cam} < 60^{\circ}$ 일 때, azimuth angle $\theta_{cam}$에 따라 “front view”, “side view”, “back view” text embedding
-
-pretrained 64x64 base text-to-image model (Imagen)
-
-T5-XXL text embedding
-
-weighting function $w(t) = \sigma_t^2$
-
-sample $t \sim \mathcal{U} (0.02, 0.98)$ 너무 높거나 낮은 noise level 피하기 위해 설정.
-
-CFG $w$=100, 높은 guidance weight가 향상된 sample quality를 줌
-
-**4. Optimization**
-
-TPUv4 (4 chips)
-
-15,000 iters, 1.5h
-
-Appendix A.2 optimization setting
-
-## 4. Experiments
-
-:::{figure-md}
-
-
-DreamFusion Figure 4
-:::
-
-:::{figure-md}
-
-
-DreamFusion Table 1
-:::
-
-- **일반적인 3D 복원 작업 평가**:
- - Chamfer Distance와 같은 참조 기반 평가 방법 사용.
- - PSNR은 보유된 사진과 렌더링된 보기의 품질을 비교.
-- **Zero-shot 텍스트-3D 생성 평가의 어려움**:
- - GT가 없어 참조 기반 평가 적용 어려움.
-- **대안적 평가 방법 CLIP R-Precision**:
- - CLIP R-Precision은 rendering된 장면들이 주어졌을 때 입력 캡션과 일치하는 비율을 나타냄. 특정 문장을 여러 명령어 세트 중에서 정확히 찾는지 평가.
- - object-centric COCO validation subset에서 153개 프롬프트 사용.
-- **Geo(Geometry) 평가**:
- - 기하학적 평가를 위해 textureless render에 대한 R-Precision 측정
-
-:::{figure-md}
-
-
-DreamFusion Figure 5
-:::
-
-**Ablation**
-
-:::{figure-md}
-
-
-DreamFusion Figure 6
-:::
-
-- **ViewAug (다양한 시야각):** 다양한 시야각을 고려하는 것이 3D 장면의 일관성을 높임.
-- **ViewDep (뷰 의존적 prompt):** prompt에 시야각 관련 정보를 추가하여 정확한 geometry 복원.
-- **Lighting (조명 최적화):** 무채색 albedo rendering 외에 lighting rendering optimization
-- **Textureless :** 매끄러운 표면을 만듦.
-
-**제한 사항:**
-
-- **SDS의 한계**
-- **세밀한 디테일 부족**
+
+``` {admonition} Information
+- **Title:** DreamFusion: Text-to-3D using 2D Diffusion
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2209.14988](https://arxiv.org/abs/2209.14988)
+ - Code:
+ - [NonOfficial](https://github.com/ashawkey/stable-dreamfusion)
+ - Project Page : [https://dreamfusion3d.github.io/](https://dreamfusion3d.github.io/)
+
+- **Presentor:** Geonhak Song
+
+- **Last updated on {July. 3, 2024}**
+```
+
+# **DreamFusion**
+
+## Abstract
+
+DreamFusion = NeRF + Score Distillation Sampling Loss를 활용한 Text-to-3D 모델
+
+**기존 한계**
+
+Text-to-Image 방식과 같이 큰 규모의 데이터로 학습시킨 것과 동일 방식의 3D 생성 모델을 만들기 위해서은 **대규모 label된 3D 데이터셋**과 3D 데이터를 효율적으로 처리할 수 있는 **3D diffusion model이 필요**하지만, 현재 이를 **충족시킬 수 없음**.
+
+**방법론**
+
+DreamFusion은 pretrained 2D Text-to-Image diffusion model을 활용하여 text-to-3D 합성을 수행할 수 있는 새로운 방법 제시.
+
+본 방법은 **parameteric image generation** 최적화를 위한 prior로 2D diffusion model을 활용할 수 있는 probability density distillation 기반의 loss를 도입.
+
+**결과**
+
+텍스트 기반으로 생성된 3D 모델은 임의의 각도와 조명에서 볼 수 있으며, 임의의 3D 환경에 합성.
+
+해당 접근 방식을 통해 추가적인 3D 학습 데이터나 image diffusion model의 수정 없이도 효과적으로 동작함.
+
+## 1. Introduction
+
+- 이미지 생성 모델은 text 기반으로 high-fidelity, diverse, controllable 이미지 합성을 지원한다.
+ - 가능했던 이유 2가지
+ - 1) large image-text dataset
+ - 2) 큰 규모의 생성 모델
+- 이런 Diffusion Model을 다른 domain에 적용하려는 시도는 성공적이었지만, **많은 규모의 training data가 필요**.
+- 3D 합성 분야에서도 3D asset이 요구되지만 이는 이미지 대비 상대적으로 훨씬 더 많은 시간과 노력을 요하는 작업.
+- voxel, point cloud를 비롯한 explicit representation을 위한 방법이나 GAN 기반의 방법을 통해 3D generator를 만들려는 시도 또한 있었으나 이 방법들은 임의의 text를 기반으로 3D object synthesis가 어려운 상황.
+
+- 한편, inverse rendering인 NeRF를 기반 Text 기반 3D 생성 방법에 통합하려는 시도가 많이 있었는데 그중 대표적인 방법이 DreamField 이다.
+- DreamField (CVPR 2022) [[arxiv](https://arxiv.org/abs/2112.01455)] [[Official Project page](https://ajayj.com/dreamfields)]
+
+:::{figure-md}
+
+
+DreamField Figure 1
+:::
+
+- DreamField는 CLIP의 frozen image-text joint embedding model과 optimization기반 방법을 통해 NeRF를 학습.
+- 그러나 이 방법은 **부족한 현실성과 정확성에 대한 한계**를 보임.
+
+- 본 저자들은 Dream Fields에서 사용한 CLIP 대신 2D Diffusion model로부터 distill된 loss를 활용하여 사용.
+- 이는 **probability density distillation** 기반으로 구성되는데, 이는 **forward process의 diffusion 기반의 공유 평균을 가지는** **Gaussian distribution**과 **pretrained diffusion model로부터 학습된** **score function**간의 **KL divergence**를 **최소화**하는 방향을 의미.
+- **Score Distillation Sampling(SDS)방법**은 미분가능한 image parameterization을 기반으로 sampling 최적화가 가능하게 함.
+- 즉, NeRF와 SDS를 결합함으로써 Text prompt가 입력으로 주어진다면, DramFusion은 고품질이며 일관성있는 3D object와 scene들을 만들어낼 수 있다.
+
+
+### 2. Diffusion Models and Score Distillation Sampling
+
+Data : $x$
+
+Forward process : $q$
+
+Reverse process : $p$
+
+Perturbed latent at timestep $t$: $z_t$
+
+Marginal distribution of the latent variables at timestep $t$ given an initial datapoint $x$ :
+$q(z_t | x ) = \mathcal{N} (\alpha_t x ,\sigma_t^2 \mathbf{I})$
+
+Generative model : $p$
+
+starting Random Noise : $p(z_T) = \mathcal{N} (0, \mathbf{I})$
+
+Transition $p_\phi (z_{t-1} | z_t ) = q(z_{t-1} |z_t, x = \hat{x_\phi} (z_t; t))$
+
+Posterior dist from forward process : $q(z_{t-1} |z_t, x)$
+
+A learned approximation of the optimal denoiser : $\hat{x_\phi} (z_t; t)$
+
+Latent : $z_t : \mathbb{E} [x|z_t] \approx \hat{x_\phi} (z_t; t) = (z_t - \sigma_t \epsilon_\phi (z_t ; t ) / \alpha_t)$
+
+예측된 noise는 smooth density에 대한 예측된 score function ($\nabla_{z_t} log p(z_t)$)과 연관
+
+ELBO로 생성 모델 학습은 $\phi$ parameter를 활용한 weighted denoising score matching objective로 간소화 가능
+
+:::{figure-md}
+
+
+DreamFusion Equation 1
+:::
+
+Diffusion 학습 (2가지 관점)
+
+1) latent -variable model 학습
+
+2) noise data에 상응하는 score function 학습
+
+- score function이 $s_\phi (z_t ;t ) = -\epsilon_\phi (z_t ; t) / \sigma_t$로 주어졌을 때, marginal dist 근사하는 $p_\phi (z_t;t)$ 사용
+
+Text-to-image diffusion model (text embedding : $y$)
+
+예측해야하는 noise 값 : $\epsilon_\phi (z_T ; t, y)$
+
+CFG : $w : \epsilon_\phi (z_T ; t, y) = (1+w) \epsilon_\phi (z_T ; t, y) - w \epsilon_\phi (z_T ; t)$
+
+CFG는 score function을 conditional density가 unconditional density에 비해 상대적으로 큰 영역을 선호하도록 조정. Diversity를 희생하여 sample fidelity 향상
+
+### 2.1 How can we sample in parameter space, not pixel space?
+
+- 저자들은 pixel 기반 diffusion model에서 sampling 되는 pixel sampling에는 관심이 없고, **랜덤한 각도에서 rendering할 때, 좋은 이미지를 만들어낼 수 있는 3D 모델을 생성하는데 관심이 있음.**
+- 이와 같은 모델을 **DIP (Differentiable image parameterization)**라 분류함.
+- 즉, 미분가능한 generator $g$는 parameter $\theta$를 통해 image **$x=g(\theta)$**로 변환할 수 있음.
+- DIP를 활용하여 기존 학습된 공간을 최적화 알고리즘을 통해 학습시킬 수 있는데, 3D에서는 3D volume의 parameter로 $\theta$, volumetric renderer $g$로 지정할 수 있다.
+- 다만, 해당 parameter들을 학습시키기 위해서, **diffusion model을 적용할 수 있는 loss function이 필요**.
+- **$x=g(\theta)$** 가 frozen diffusion model로부터 sample 결과인 것같은 $\theta$ 최적화를 진행 희망.
+- 여기서 저자들은 DeepDream과 비슷한 스타일의 differentiable loss func이 필요. 즉, 신뢰도 높은 이미지는 loss가 적고, 신뢰도 적은 이미지에서는 loss가 높게 설정.
+
+- 초기 diffusion training loss 재사용했으나 realistic sample 생성이 안 됨.
+- 아래 식 : $\mathcal{L}$ Gradient에 대한 식
+
+:::{figure-md}
+
+
+DreamFusion Equation 2
+:::
+
+- 일반적으로 U-Net Jacobian term은 계산 비용이 많이 사용되고, 작은 noise에 대해 제대로 작동되지 않음.
+
+- 저자들은 **U-Net Jacobian term을 생략**함으로써 diffusion model을 사용한 DIP 최적화에 효과적인 gradient로 유도할 수 있음을 발견.
+
+:::{figure-md}
+
+
+DreamFusion Equation 3
+:::
+
+- 이를 통해 해당 loss는 높은 density 영역으로 이동하기 위해 diffusion 모델의 score function을 따르는 방향으로 update.
+- Appendix A.4에서 diffusion model의 학습된 score function을 사용하여 weighted probability density distillation loss의 gradient임을 보여줌.
+
+:::{figure-md}
+
+
+DreamFusion Equation 4
+:::
+
+- 쉽게 적용 가능하고 diffusion model의 backpropagation이 필요 없음.
+
+:::{figure-md}
+
+
+DreamFusion Figure 2
+:::
+
+:::{figure-md}
+
+
+DreamFusion Figure 8
+:::
+
+
+## 3. The DreamFusion Algorithm
+
+:::{figure-md}
+
+
+DreamFusion Figure 3
+:::
+
+Text를 기반한 3D asset을 만드는 알고리즘 소개 단계
+
+Imagen 중 64x64 base model만 수정없이 사용
+
+### 3.1 Neural Rendering of a 3D Model
+
+:::{figure-md}
+
+
+NeRF Figure
+:::
+
+:::{figure-md}
+
+
+DreamFusion Equation 5
+:::
+
+
+NeRF 구성 2가지 : volumetic raytracer & MLP
+
+NeRF로부터 이미지를 Rendering하기 위해 ray casting.
+
+각 ray를 따라 샘플된 3D points $\mu$들을 MLP에 통과시켜 4개의 스칼라 output 획득.
+
+: (volumetric density $\tau$, RGB color $c$ ( alpha compositing )
+
+:::{figure-md}
+
+
+MipNeRF Figure
+:::
+
+본 방법에서는 **mip-NeRF 360** 사용(aliasing 감소 특화)
+
+
+
+**Shading**
+
+일반적인 radiance를 내보내는 NeRF와 달리, 본 논문에서는 각 point별 RGB albedo $\rho$ 사용
+
+:::{figure-md}
+
+
+DreamFusion Equation 6
+:::
+
+$\tau$ : volumetric density
+
+3D 포인트에 대한 마지막 shaded output color 계산을 위해서는 normal vector가 필요.
+
+normal vector는 3D coordinate $\mu$ 관점에 대해서 density $\tau$ 에 대한 negative gradient 를 normalizing을 통해 계산될 수 있음.
+
+$n = - \nabla_\mu \tau / \lVert \nabla_\mu \tau \rVert$
+
+normal : $n$
+
+material albedo : $\rho$
+
+some point light source with 3D coordinate : $l$ & color $l_\rho$
+
+ambient light color : $l_a$
+
+:::{figure-md}
+
+
+DreamFusion Equation 7
+:::
+
+추가 발견 내용 : 랜덤하게 albedo color $\rho$를 white (1,1,1)로 교체하여 textureless 음영 처리 결과물 생성할 수 있음.
+
+모델이 퇴화된 솔루션을 만드는 것을 방지하는 데 유익
+
+**Scene Structure**
+
+**1) 고정된 Bounding sphere**: NeRF 모델의 query를 고정된 bounding sphere 내에서만 수행하여 밀도가 카메라 근처에 채워지지 않도록 함.
+
+**2) 추가 환경 맵 생성**: 두 번째 MLP를 사용하여 배경 색상을 계산하고, 렌더링된 색상을 배경 색상 위에 합성.
+
+**3) 누적된 alpha 값 활용**: 누적된 alpha 값을 통해 배경과 렌더링된 광선 색상을 자연스럽게 합성.
+
+**Geometry regularizers**
+
+**1)** **opacity에 대한 regularization penalty 추가** : Mip-NeRF 360 모델에서 빈 공간에 대한 불필요한 채움을 방지하기 위해 진행. (Zero-shot text-guided object generation with dream fields. CVPR 2022)
+
+**2) Ref-NeRF에서 제안된 orientation loss의 수정 버전을 사용** : Density field에서 normal vector가 camera로부터 멀어지는 문제 방지를 위해 제안.
+
+Appendix A.2 참조
+
+### 3.2 Text-to-3D Synthesis
+
+각 text prompt에 대해 NeRF 초기 랜덤 초기화
+
+:::{figure-md}
+
+
+DreamFusion Figure 3-1
+:::
+
+DreamFusion의 각 iter 최적화
+
+(1) randomly sample a camera and light
+
+(2) render an image of the NeRF from that camera and shade with the light
+
+(3) compute gradients of the SDS loss with respect to the NeRF parameters
+
+(4) update the NeRF parameters using an optimizer
+
+**1. Random camera and light sampling**
+
+:::{figure-md}
+
+
+Spherical Coordinate Figure
+:::
+
+매 iteration, camera position은 spherical coordinate에서 무작위로 sample됨.
+
+elevation angle : $\phi_{cam} \in [-10, 90]$
+
+azimuth angle : $\theta_{cam} \in [0, 360]$
+
+origin으로부터 distance : $[1, 1.5]$
+
+focal length multiplier : $\lambda_{focal} \in \mathcal{U} (0.7, 1.35)$
+
+focal length : $\lambda_{focal} w$ ($w$ =64)
+
+point light position $l$은 camera position 중심 주변 분포에서 sample
+
+다양한 camera location & distance 사용
+
+**2. Rendering.**
+
+Camera pose와 light position이 주어졌을 때, 64x64 해상도의 shaded NeRF model를 render
+
+Rendering 세 가지 옵션 중 하나를 무작위로 선택:
+
+**1) 조명이 적용된 색상 렌더링 (illuminated color render)**: 조명이 적용된 상태에서의 색상 렌더링 (Fig 3. Color)
+
+**2) textureless render**: 텍스처 없이 음영 처리된 상태로 렌더링. ( Fig 3. Normal?)
+
+**3) rendering of the albedo**: 음영 없이 알베도 색상만을 렌더링. ( Fig 3. Albedo)
+
+**3. Diffusion loss with view-dependent conditioning**
+
+view-dependent text를 추가하는 것이 효과적
+
+높은 고도 각도 $\phi_{cam} > 60^{\circ}$ 일 때, "overhead view"
+
+$\phi_{cam} < 60^{\circ}$ 일 때, azimuth angle $\theta_{cam}$에 따라 “front view”, “side view”, “back view” text embedding
+
+pretrained 64x64 base text-to-image model (Imagen)
+
+T5-XXL text embedding
+
+weighting function $w(t) = \sigma_t^2$
+
+sample $t \sim \mathcal{U} (0.02, 0.98)$ 너무 높거나 낮은 noise level 피하기 위해 설정.
+
+CFG $w$=100, 높은 guidance weight가 향상된 sample quality를 줌
+
+**4. Optimization**
+
+TPUv4 (4 chips)
+
+15,000 iters, 1.5h
+
+Appendix A.2 optimization setting
+
+## 4. Experiments
+
+:::{figure-md}
+
+
+DreamFusion Figure 4
+:::
+
+:::{figure-md}
+
+
+DreamFusion Table 1
+:::
+
+- **일반적인 3D 복원 작업 평가**:
+ - Chamfer Distance와 같은 참조 기반 평가 방법 사용.
+ - PSNR은 보유된 사진과 렌더링된 보기의 품질을 비교.
+- **Zero-shot 텍스트-3D 생성 평가의 어려움**:
+ - GT가 없어 참조 기반 평가 적용 어려움.
+- **대안적 평가 방법 CLIP R-Precision**:
+ - CLIP R-Precision은 rendering된 장면들이 주어졌을 때 입력 캡션과 일치하는 비율을 나타냄. 특정 문장을 여러 명령어 세트 중에서 정확히 찾는지 평가.
+ - object-centric COCO validation subset에서 153개 프롬프트 사용.
+- **Geo(Geometry) 평가**:
+ - 기하학적 평가를 위해 textureless render에 대한 R-Precision 측정
+
+:::{figure-md}
+
+
+DreamFusion Figure 5
+:::
+
+**Ablation**
+
+:::{figure-md}
+
+
+DreamFusion Figure 6
+:::
+
+- **ViewAug (다양한 시야각):** 다양한 시야각을 고려하는 것이 3D 장면의 일관성을 높임.
+- **ViewDep (뷰 의존적 prompt):** prompt에 시야각 관련 정보를 추가하여 정확한 geometry 복원.
+- **Lighting (조명 최적화):** 무채색 albedo rendering 외에 lighting rendering optimization
+- **Textureless :** 매끄러운 표면을 만듦.
+
+**제한 사항:**
+
+- **SDS의 한계**
+- **세밀한 디테일 부족**
- **3D 복원이 근본적으로 어렵다**
\ No newline at end of file
diff --git a/_sources/docs/review/DreamGaussian.md b/_sources/docs/review/DreamGaussian.md
index b00a1a87..3d1eb950 100755
--- a/_sources/docs/review/DreamGaussian.md
+++ b/_sources/docs/review/DreamGaussian.md
@@ -1,623 +1,623 @@
-``` {admonition} Information
-- **Title:** DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation (ICLR 2024)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2309.16653](https://arxiv.org/abs/2309.16653)
- - Code: [https://github.com/dreamgaussian/dreamgaussian/tree/main](https://github.com/dreamgaussian/dreamgaussian/tree/main)
- - Project Page: [https://dreamgaussian.github.io/](https://dreamgaussian.github.io/)
-
-- **Author:** Kyeongmin Yu
-
-- **Last updated on Dec. 26, 2024**
-```
-
-# DreamGaussian
-
-
-# 1. Abstract
-
-
-
-# 2. Related Work
-
-## 2.1 3D representations
-
-
-
-
-
-
-
-
-
-
-Neural Radiance Fields (NeRF)
- -| -original NeRF - | --NeRF와 Mip-NeRF의 차이점 - | --Mip-NeRF 360의 contract($\cdot$) function - | -
|---|---|---|
-
- |
-
-
- |
-
-
- |
-
| -신경망(MLP)을 이용해 3d 물체에 대한 정보를 표현했다. -신경망은 카메라의 위치와 방향을 입력으로 해당 지점의 density와 color를 리턴한다. 온전한 하나의 이미지를 렌더링 하기 위해서는 모든 camera ray를 따라 (이론상)적분이 필요하다. - | --ray tracing이 아닌 cone tracing 방식으로, 렌더링 된 이미지의 품질을 향상시킴. - | --파란 영역은 euclidean space, 노란 영역은 맵핑된 영역이다. -이외에도 기존 방식(coarse-to-fine)과 다르게 n개의 신경망을 사용했으며 초기 신경망을 최종 결과물 출력시 사용하지 않았다. - | -
| -Instant NGP - | --Block-NeRF - | --NeRF in the wild - | -
|---|---|---|
-
- |
-
-
- |
-
-
- |
-
| -voxel기반의 multiresolution hash encoding을 통해 기존 sin/cos을 이용한 positional encoding 방식을 발전시킴. 이러한 encoding 방식을 채택함으로써 encoding 자체의 속도도 빨라졌으며 다중 스케일 정보를 담은 encoding을 이용함으로써 original NeRF의 신경망보다 오히려 작은 구조를 채택할 수 있었다. 또한 cuda를 활용하여 처리속도를 향상시킴으로써 real-time에 가까운 속도를 낼 수 있었다. - | --대규모 장면을 모델링하기 위해 여러 NeRF를 합쳐서 하나의 큰 장면을 구성하는 방법 - | --in the wild dataset에서 scene 재구성을 위해 scene을 -"static 요소"와 "transient 요소"로 분리하여 모델링 - | -
-
-
-
-
-
-:::{figure-md}
-
-
-Gaussian Splatting optimization
-colmap과 같은 SfM 을 이용해 3D keypoint를 찾아 해당 지점으로 3D gaussian을 초기화 한다. 이후 gaussian들을 합치거나 쪼개며 최적화를 진행한다. 렌더링 시에는 3D gaussian들을 2D projection하여 하나의 이미지를 만든다.
-:::
-
-
-
----
-
-- **3D Gaussian representation [[참고1](https://towardsdatascience.com/a-comprehensive-overview-of-gaussian-splatting-e7d570081362#4cd8)][[참고2](https://patapom.com/blog/SHPortal/)]**
-
- 각각의 3D Gaussians은 3D position(mean) $\mu$, opacity $\alpha$, anisotropic covariance $\Sigma$로 위치와 크기, 방향을 표현하며, 여기에 spherical harmonic (SH) coefficients를 추가해 view-dependent appearance(color)를 표현했다.
-
- - covariance matrix $\Sigma$ 를 rotation matrix $\mathbf R$ 와 scaling matrix $\mathbf S$로 분리가능.
- - rotation matrix는 (real $r$+ imaginery $i,j,k$) 4차원의 quaternion으로 표현가능.
- - scaling matrix는 ($x,y,z$) 3차원의 scale로 표현가능.
- - SH 계수의 경우 일반적으로 각 색상 채널(R, G, B)당 9개의 계수, 총 27개의 계수를 사용합니다.
- - 9개의 계수를 사용한다는 말은 $l\in[0,1,2]$ 라는 뜻이며, $m \in [-l,+l]$ 이다.
- - SH를 이용하면 빛이 균일하게 퍼지는 표면(매트한 표면)외에도 입사각(보는 방향)에 따라 달라지는 Non-Lambertian effects도 표현할 수 있다.
-
- **Spherical Harmonics** $Y_l^m(\theta,\phi)$ **를 이용한 lighting** [[paper](https://3dvar.com/Green2003Spherical.pdf)]
-
- Spherical Harmonics는 번역하면 구면조화함수로 구의 표면에서 정의되는 함수를 말한다. 구면좌표계 $(r,\theta,\phi)$ 에서 $r$ 을 고정하고 $\theta, \phi$에 따라 값을 출력하는 함수이다.
-
- :::{figure-md}
- 
-
- 수학적으로는 라플라스 미분방정식의 해
- :::
-
- :::{figure-md}
- 
-
- Spherical Harmonics 시각화 [[eq](https://en.wikipedia.org/wiki/Table_of_spherical_harmonics)]
- :::
-
- :::{figure-md}
- 
-
- Spherical Harmonics 시각화
- :::
-
- 
-
- - cf. fourier series
-
- :::{figure-md}
- 
-
- 삼각함수들을 이용해 임의의 주기함수를 근사하는 푸리에 변환의 3D 확장판
- :::
-
- :::{figure-md}
- 
-
- SH를 이용한 근사 예시. SH는 구 표면에서의 분포의 basis에 해당.
- :::
-
-
- **Lambertian vs. Non-lambertian**
-
- :::{figure-md}
- 
-
- Diffuse reflection (~ Lambertian effects)
- :::
-
- Lambertian reflection은 어떤 각도에서 보든 같은 양 빛을 관찰 할 수 있는 이상적인 상태
-
- :::{figure-md}
- 
-
- Non-lambertian effects -> 즉, 반사광 표현가능
- :::
-
----
-
-- **Pruning and Densification**
-
- :::{figure-md}
- 
-
- 3D Gaussian Splatting
- initialization, optimization, adaptive control of gaussians
- :::
-
-
----
-
-- **Volumetric Rendering**
-
-
- :::{figure-md}
- 
-
- 3D Gaussian Splatting Volumetric Rendering
- :::
-
- :::{figure-md}
- 
-
- from nerfstudio
- :::
-
-
-
- - frustrum culling을 통해 보이지 않는 3D gaussian들을 제외하고 2D로 projection.
- - 3D gaussian들을 sorting하고 각 픽셀의 ray에 겹치는 3D gaussian들만 color, opacity 값을 반영한다.
-
- :::{figure-md}
- 
-
- original NeRF vs 3d Gaussian Splatting rendering
- :::
-
----
-
-
-## 2.2 Text-to-3D Generation
-
-- data-driven 3D diffusion models
-- 3D native diffusion models
-- lift 2D image models for 3D generation
-
-## 2.3 Image-to-3D Generation
-
-- generating 3D assets form a reference image(~ single-view 3D reconstruction)
-- text-to-3D methods can also be image-to-3D methods
-- Zero-1-to-3
-- One-2-3-45
-
-### 2.4 추가 참고자료
-
-3D Gaussian Splatting (3DGS)
- -| -point cloud 예시 - | --Gaussian densification 과정 - | -
|---|---|
-
- |
-
-
- |
-
-
-Gaussian Splatting optimization
-colmap과 같은 SfM 을 이용해 3D keypoint를 찾아 해당 지점으로 3D gaussian을 초기화 한다. 이후 gaussian들을 합치거나 쪼개며 최적화를 진행한다. 렌더링 시에는 3D gaussian들을 2D projection하여 하나의 이미지를 만든다.
-:::
-
-
-
----
-
-- **3D Gaussian representation [[참고1](https://towardsdatascience.com/a-comprehensive-overview-of-gaussian-splatting-e7d570081362#4cd8)][[참고2](https://patapom.com/blog/SHPortal/)]**
-
- 각각의 3D Gaussians은 3D position(mean) $\mu$, opacity $\alpha$, anisotropic covariance $\Sigma$로 위치와 크기, 방향을 표현하며, 여기에 spherical harmonic (SH) coefficients를 추가해 view-dependent appearance(color)를 표현했다.
-
- - covariance matrix $\Sigma$ 를 rotation matrix $\mathbf R$ 와 scaling matrix $\mathbf S$로 분리가능.
- - rotation matrix는 (real $r$+ imaginery $i,j,k$) 4차원의 quaternion으로 표현가능.
- - scaling matrix는 ($x,y,z$) 3차원의 scale로 표현가능.
- - SH 계수의 경우 일반적으로 각 색상 채널(R, G, B)당 9개의 계수, 총 27개의 계수를 사용합니다.
- - 9개의 계수를 사용한다는 말은 $l\in[0,1,2]$ 라는 뜻이며, $m \in [-l,+l]$ 이다.
- - SH를 이용하면 빛이 균일하게 퍼지는 표면(매트한 표면)외에도 입사각(보는 방향)에 따라 달라지는 Non-Lambertian effects도 표현할 수 있다.
-
- **Spherical Harmonics** $Y_l^m(\theta,\phi)$ **를 이용한 lighting** [[paper](https://3dvar.com/Green2003Spherical.pdf)]
-
- Spherical Harmonics는 번역하면 구면조화함수로 구의 표면에서 정의되는 함수를 말한다. 구면좌표계 $(r,\theta,\phi)$ 에서 $r$ 을 고정하고 $\theta, \phi$에 따라 값을 출력하는 함수이다.
-
- :::{figure-md}
-
-
- 수학적으로는 라플라스 미분방정식의 해
- :::
-
- :::{figure-md}
-
-
- Spherical Harmonics 시각화 [[eq](https://en.wikipedia.org/wiki/Table_of_spherical_harmonics)]
- :::
-
- :::{figure-md}
-
-
- Spherical Harmonics 시각화
- :::
-
-
-
- - cf. fourier series
-
- :::{figure-md}
-
-
- 삼각함수들을 이용해 임의의 주기함수를 근사하는 푸리에 변환의 3D 확장판
- :::
-
- :::{figure-md}
-
-
- SH를 이용한 근사 예시. SH는 구 표면에서의 분포의 basis에 해당.
- :::
-
-
- **Lambertian vs. Non-lambertian**
-
- :::{figure-md}
-
-
- Diffuse reflection (~ Lambertian effects)
- :::
-
- Lambertian reflection은 어떤 각도에서 보든 같은 양 빛을 관찰 할 수 있는 이상적인 상태
-
- :::{figure-md}
-
-
- Non-lambertian effects -> 즉, 반사광 표현가능
- :::
-
----
-
-- **Pruning and Densification**
-
- :::{figure-md}
-
-
- 3D Gaussian Splatting
- initialization, optimization, adaptive control of gaussians
- :::
-
-
----
-
-- **Volumetric Rendering**
-
-
- :::{figure-md}
-
-
- 3D Gaussian Splatting Volumetric Rendering
- :::
-
- :::{figure-md}
-
-
- from nerfstudio
- :::
-
-
-
- - frustrum culling을 통해 보이지 않는 3D gaussian들을 제외하고 2D로 projection.
- - 3D gaussian들을 sorting하고 각 픽셀의 ray에 겹치는 3D gaussian들만 color, opacity 값을 반영한다.
-
- :::{figure-md}
-
-
- original NeRF vs 3d Gaussian Splatting rendering
- :::
-
----
-
-
-
-DreamFusion
- -- Score Distillation Sampling (SDS) [[arXiv](https://arxiv.org/abs/2209.14988)] - - pretrained 2D diffusion model을 parametric image generator로서 사용하는 방식을 제안함. image generator로서 NeRF를 사용하여 differentiable 3D representation을 가능하도록 함. - - $$ - \mathbf x=g_\Theta(p) - $$ - - $\mathbf x$ 는 카메라 포즈 $p$에서 렌더링된 이미지를 의미한다. $g_\Theta(\cdot)$는 differentiable rendering function으로 NeRF parameters $\Theta$를 paramter로 갖는다. - - $$ - \triangledown_\Theta\mathcal L_\text{SDS}=\Bbb E_{t,p,\epsilon}\Big[w(t)(\epsilon_\phi(\mathbf x;t,e)-\epsilon)\frac{\partial\mathbf x}{\partial\Theta} \Big] - $$ - - $w(t)=\sigma_t^2$ 는 DDPM의 weighting function, $\epsilon_\phi(\cdot)$은 pretrained parameter $\phi$로 noise를 예측하는 함수이다. -- 즉, SDS formulation은 사전학습된 2D 이미지 생성 디퓨전 모델을 이용해 NeRF parameter $\Theta$를 최적화하는 식이다. 이를 통해 text description에 맞는 NeRF 3D shape을 최적화 할 수 있는 것이다. -
-
-
- from wikipedia
- :::
- - 오렌지 점들은 물체의 표면 혹은 가장자리에 위치한 점들을 의미함.
-
-
-
-Marching Cube
-- 3d 모델에서 표면(mesh)을 추출하기 위한 알고리즘. 여기서 표면은 밀도가 특정 값을 넘는 지점을 의미한다. - -- 주어진 3D 공간을 작은 큐브(cube/voxel)로 나누고, 각 큐브의 8개 코너에서 값(일반적으로 밀도값)을 보고 그 값을 바탕으로 표면을 추출한다. - -- 8개의 코너의 밀도값에 따라 어떤 표면을 가지게 되는지는 미리 정해둔 정보($2^8$)를 이용한다. - -1. 3D 공간을 작은 큐브로 분할 -2. 임계값을 기준으로 판단 - - 해당 지점이 물체 내부에 속하는지 외부에 속하는지 판단함 -3. 표면 생성 - - 각 큐브의 꼭짓점 값에 따라 표면이 어떻게 생길지에 대한 규칙을 미리 정의해두고, - 이를 바탕으로 표면을 추출 - - :::{figure-md} -
-
- from wikipedia
- :::
- - 오렌지 점들은 물체의 표면 혹은 가장자리에 위치한 점들을 의미함.
-
-
-
- 3DMM
- :::
-
- - SMPL (Skinned Multi-Person Linear Model) 2015
-
- :::{figure-md}
- 
-
- SMPL
- :::
-
- - FLAME (Faces Learned with an Articulated Model and Expressions) 2017
-
- :::{figure-md}
- 
-
- FLAME
- :::
-
-
-
-NVDiffrast
- -nvidia 2020 ACMTOG [[arXiv](https://arxiv.org/abs/2011.03277)][[github](https://github.com/NVlabs/nvdiffrast?tab=readme-ov-file)] - -- 미분가능한 렌더링 방법론으로 cuda를 이용해 가속화한 것이 특징. - - 주로 삼각형 메시를 효율적으로 렌더링하고 그래디언트를 계산하기 위해 사용됨. -- FLAME, 3DMM, SMPL등은 미분가능한 3D 모델으로 렌더링 방법론은 아님. - - 3DMM (3D Morphable Models) 1999 - - :::{figure-md} -
-
- 3DMM
- :::
-
- - SMPL (Skinned Multi-Person Linear Model) 2015
-
- :::{figure-md}
-
-
- SMPL
- :::
-
- - FLAME (Faces Learned with an Articulated Model and Expressions) 2017
-
- :::{figure-md}
-
-
- FLAME
- :::
-
-
-
-zero 1-to-3
-:::
-
-:::{figure-md}
-
-
-zero 1-to-3
-:::
-
-
-
-# 3. Method
-
-:::{figure-md}
-Zero-1-to-3
- -[[project page](https://zero123.cs.columbia.edu/)] [[DDPM (NeurIPS 2020)](https://www.notion.so/DDPM-NeurIPS-2020-05eb365e0ece43c0bc55ef21a8d4c6f0?pvs=21)] - -- **Zero-1-to-3** control the camera perspective in large-scale diffusion models, -enabling zero-shot novel view synthesis and 3D reconstruction from a single image. - -- RGB image $x\in\Bbb R^{H\times W\times 3}$ , relative camera rotation $R\in \Bbb R^{3\times 3}$,relative camera translation $T\in\Bbb R^3$ - -:::{figure-md} -
-
-zero 1-to-3
-:::
-
-:::{figure-md}
-
-
-zero 1-to-3
-:::
-
-
-Method Overview
-:::
-
-- 2-stage framework for 3D content generation
-for both Image-to-3D and Text-to-3D tasks.
- - SDS를 이용해 초기화 한 3D gaussian splatting을 이용하여 3D generation
- - 3D gaussians에서 textured mesh 추출
- - UV-space refinement를 통해 texture fine-tuning
-
-
-## 3.1 Generative Gaussian Splatting
-
-개별 3D gaussian의 위치와 형태는 center($\mathbf x$), scaling factor($\mathbf x$), rotation quaternion($\mathbf q$)으로 표현되며, opacity value($\alpha$), color feature($\mathbf c$)를 저장하여 volumetric rendering시 사용한다.
-
-$\Theta_i=\{\mathbf x_i, \mathbf s_i,\mathbf q_i, \alpha_i, \mathbf c_i\}$, $\mathbf x \in \Bbb R^3, \mathbf s\in \Bbb R^3, \mathbf q \in \Bbb R^4, \alpha\in \Bbb R, \mathbf c \in \Bbb R^3$
-original gaussian splatting에서는 spherical harmonics 계수를 이용하여 색을 표현하지만
-simple diffuse color를 모델링 하기 위해 간략화 → 재질 표현이 어려울 수 있다.
-
-3D Gaussians은 random position, unit scaling, no rotation으로 initialization 한 후, SDS를 이용해 최적화 한다.
-
-### Image-to-3D
-
-- 사전학습된 Zero-1-to-3 XL을 사용했으며 image $\tilde I^r_\text{RGB}$ 와 foreground mask $\tilde I^r_A$ 를 입력으로 사용한다.
-
- $$
- \triangledown_\Theta\mathcal L_\text{SDS}=\Bbb E_{t,p,\epsilon} \Big[w(t)(\epsilon_\phi(I^p_\text{RGB};t,\tilde I^r_\text{RGB},\triangle p)-\epsilon)\frac{\partial I^p_\text{RGB}}{\partial\Theta} \Big] \tag 1
- $$
-
- $w(t)$는 weighting function이고, $\epsilon_\phi(\cdot)$ 는 사전학습된 $\phi$를 이용해 예측된 noise를 뜻한다.
- $\triangle p$ 는 relative camera pose, $r$은 reference camera이다.
-
-- 추가적으로 reference view와 transparency 를 input에 align했다.
-
- $$
- \mathcal L_\text{Ref}=\lambda_\text{RGB}\|I^r_\text{RGB}-\tilde I_\text{RGB}^r \|^2_2 + \lambda_A\|I^r_A-\tilde I^r_A\|^2_2 \tag 2
- $$
-
-
-### Text-to-3D
-
-Stable diffusion을 활용하여 text-to-3D task를 수행했다.
-
-$$
-\triangledown_\Theta\mathcal L_\text{SDS}=\Bbb E_{t,p,\epsilon}\Big [ w(t)(\epsilon_\phi(I^p_\text{RGB};t,e)-\epsilon)\frac{\partial I^p_\text{RGB}}{\partial \Theta} \Big] \tag 3
-$$
-
-$e$는 주어진 text prompt의 CLIP embedding을 의미한다.
-
-### Discussion
-
-하지만 논문의 저자들은 SDS loss의 ambiguity 때문에 길게 학습하더라도 생성된 3D gaussians이 blurry하고 디테일이 부족하다고 한다. 이를 개선하기 위해 다음 단계인 mesh extraction과 texture refinement를 수행한다.
-
-## 3.2 Efficient Mesh Extraction
-
-block-wise local density query와 back-projected color를 이용해 textured mesh를 추출하는 효과적인 알고리즘을 제안한다.
-
-### Local Density Query
-
-marching cube algorithm을 적용하기 위해서는 local density grid가 필요하다. gaussian splatting 알고리즘의 주요 특징은 over-sized Gaussian 들은 최적화 과정에서 split 및 pruning된다는 점이다. 이는 효과적인 rasterization을 위해 culling technique을 적용 할 수 있는 근거가 된다. 또한 이 점은 block-wise density queries를 perform 할 때도 사용할 수 있다.
-
-먼저 3D space를 $(-1,1)^3$ 으로 맵핑한다. (그냥 최대, 최소값을 이용해 정규화) 그리고 이 공간을 $16^3$의 overlapping blocks(multiscale voxels)으로 나눈다. 그리고 각 블록의 외부에 위치한 gaussian들은 제외한다. 이를 통해 계산해야 할 gaussian의 총 개수를 효과적으로 줄일 수 있다. 그리고 각 블록의 내부에 $8^3$ dense grid를 만들어 최종적으로는 $128^3$의 dense grid를 만든다. grid position $\mathbf x$의 각 query는 남아있는 3D gaussian들의 opacity의 weighted sum으로 local density grid를 얻는다.
-
-$$
-d(\mathbf x)=\sum_i\alpha_i\text{exp}(-\frac{1}{2}(\mathbf x-\mathbf x_i)^T\Sigma_i^{-1}(\mathbf x-\mathbf x_i)) \tag{4}
-$$
-
-$\Sigma$는 covariance matrix로 scaling $\mathbf s$, rotation $\mathbf q$로 이루어져 있다. 이후에는 empirical threshold를 marching cube 알고리즘에 적용하여 mesh surface를 추출한다. [decimation과 remeshing](https://www.meshlab.net)을 이용해 후처리하여 더욱 자연스럽고(smoother), 간결한(compact) mesh를 만들었다.
-
-### Color Back-projection
-
-앞선 단계에서 mesh를 얻었기 때문에 rendered RGB 이미지를 mesh surface로 back-project하여 texture map으로 만들 수 있다.
-
-
-
-
-uv mapping
-:::
-
-먼저 mesh의 UV coordinate를 unwrap하고 빈 texture image로 초기화 한다. 그리고 8개의 azimuth, 3개의 elevation을 균일하게 선택하고 top, bottom view까지 포함하여 corresponding RGB image를 렌더링 할 수 있게 한다. 이러한 RGB 이미지들의 각 픽셀은 UV coordinate를 기반으로 texture image로 맵핑할 수 있다.
-
-이렇게 back-project된 texture image는 다음의 texture fine-tuning 단계의 초기 설정으로 사용된다.
-
-
-## 3.3 UV-space Texture Refinement
-
-:::{figure-md}
-UV mapping from wikipedia
- -:::{figure-md} -
-
-uv mapping
-:::
-
-먼저 mesh의 UV coordinate를 unwrap하고 빈 texture image로 초기화 한다. 그리고 8개의 azimuth, 3개의 elevation을 균일하게 선택하고 top, bottom view까지 포함하여 corresponding RGB image를 렌더링 할 수 있게 한다. 이러한 RGB 이미지들의 각 픽셀은 UV coordinate를 기반으로 texture image로 맵핑할 수 있다.
-
-이렇게 back-project된 texture image는 다음의 texture fine-tuning 단계의 초기 설정으로 사용된다.
-
-
-UV-space Texture Refinement
-:::
-
-앞선 back-projection된 coarse texture를 시작으로 texture 품질을 올리고자 했으나, SDS loss를 이용해
-UV-space를 직접 fine-tuning 하면 위의 그림과 같은 artifact가 발생하게된다. 이는 differentiable rasterization시 사용되는 mipmap texture sampling 기법때문이다. SDS와 같이 모호한 guidance를 이용하면 각 mipmap level에 따라 over-saturation된 color block으로 gradient가 전파 된다.
-
-- mipmap in rasterization
-
-
- :::{figure-md}
-
-
- from widipedia
- :::
-
- :::{figure-md}
-
-
- from unity document
- :::
-
- 위와 같은 고품질 렌더링와 렌더링 속도 향상을 위해 mipmap이라는 기법을 활용한다. 본 논문에서 texture mapping, rendering시 사용한 NVdiffrast도 mipmap을 활용하고 있다.
- mipmap은 texture를 여러 레벨의 화질으로 저장하는 방식으로 mipmap level은 특정 화질의 texture version을 의미한다. 카메라로 부터 멀리 떨어진 object는 저레벨의 mipmap을 사용해 렌더링 한다. 저레벨의 mipmap은 이미 정보손실이 일어난 상태이고 이를 이용해 렌더링 되었다면 gradient가 흐르는 방향이 왜곡 될수 있다.
-
- ---
-
-
-$$
-I^p_\text{fine}=f_\phi(I^p_\text{coarse}+\epsilon(t_\text{start});t_\text{start},c) \tag 5
-$$
-
-stage 2 의 학습은 image-to-image synthesis와 같은 방식으로 진행된다. initialization texture가 있으므로 임의의 camera view $p$ $p$
-
-:::{figure-md}
-
-
-from SDEdit
-:::
-
-$f_\phi(\cdot)$ 는 사전학습된 2D diffusion 을 통해 refined image를 얻는 multi-step denoising process를 의미한다. $\epsilon(t_\text{start})$ 는 timestep $t_\text{start}$의 랜덤 노이즈를 말한다. $c$ 는 image-to-3D를 위한 condition인 카메라 포즈 변화량 $\Delta p$ 이고, $e$는 text-to-3D의 condition을 말한다. 시작 timestep $t_\text{start}$는 noise 강도를 제한하기 위해 신중히 선택되어야 refined image의 original content를 유지하며 detail을 향상 시킬수 있다고 한다. refined image는 이후 pixel-wise MSE loss에 texture 최적화를 위해 사용된다.
-
-$$
-\mathcal L_\text{MSE}=\|I^p_\text{fine}-I^p_\text{coarse}\|^2_2 \tag 6
-$$
-
-image-to-3D task에서는 reference view RGBA loss $\mathcal L_\text{Ref}$ 를 적용했다.
-
-실험 결과에 따르면 50 step 정도 만에 대부분 detail이 좋아졌다고 하며 반복횟수를 늘릴수록 texture의 detail이 향상되었다고 합니다.
-
-# 4. Experiments
-
-## 4.1 Implementation Details
-
-- Number of iterations
- - first stage - 500 steps
- - second stage - 50 steps
-- 3D Gaussian initialization
- - number - 5000 for image-to-3D, 1000 for text-to-3D
- - opacity - 0.1
- - color - grey
- - radius - 0.5
-- Rendering resolution - 64 to 512 for gaussian splatting, 128 to 1024 for mesh
-- Loss weights in eq(2) - RGB, transperency 가중치($\lambda_\text{RGB}, \lambda_A$)는 0에서 부터 각각 10000, 1000로 linearly increasing
-- Camera pose sampling - fixed radius 2 for image-to-3D / 2.5 for text-to-3D,
- y-axis FOV 49 degree,
- azimuth in $[-180,180]$ degree, elevation in $[-30,30]$.
-
-:::{figure-md}
-
-
-Horizontal coordinates from wikipedia
-:::
-
-:::{figure-md}
-
-
-[출처](https://www.epd.gov.hk/eia/register/report/eiareport/eia_2522017/EIA/html/Appendix/Appendix%2011.1.pdf)
-:::
-
-- Background color - white or black randomly for gaussian splatting
-- Run-time - 1min/stage for image-to-3D
- 2min/stage for text-to-3D w. Stable Diffusion $512\times512$ resolution
-- Marching cube threshold - 1
-- GPU - NVIDIA V100(16GB), less than 8GB for this experiments
-
-## 4.2 Qualitative Comparison
-
-**Image-to-3D comparison**
-
-:::{figure-md}
-
-
-실험결과
-:::
-
-**Text-to-3D comparison**
-
-:::{figure-md}
-
-
-실험결과
-:::
-
-최적화를 진행하는 방법론 뿐만 아니라 inference-only 방법론들과 비교해도 매우 빠른 생성 속도를 보였다고 함.
-
-:::{figure-md}
-
-
-실험결과
-:::
-
-이렇게 뽑아낸 mesh는 blender와 같은 리깅 툴을 이용해 애니메이팅 가능.
-
-## 4.3 Quantitative Comparison
-
-:::{figure-md}
-
-
-실험결과
-:::
-:::{figure-md}
-
-
-실험결과
-:::
-
-## 4.4 Ablation Study
-
-:::{figure-md}
-
-
-실험결과
-:::
-
-논문에서 제안하는 파이프라인의 모든 과정이 필요함을 보여줌.
-
-- Periodical densificaiton of 3D Gaussians
-- Linear annealing of timestep t for SDS loss
-- Effect of the reference view loss $\mathcal L_{\text{Ref}}$
-
-# 5. Limitations and Conclusion
-
-- 3D content generation framework인 DreamGaussian을 통해 3D content 생성을 효율성을 증대.
-- 3D Gaussian으로 부터 mesh를 추출하는 알고리즘 제안.
-- texture fine-tuning stage를 통해 image나 text로 부터 고품질의 polygonal mesh생성 가능.
-
-:::{figure-md}
-
-
-실험결과
-:::
-
-아래와 같은 기존 방법론들의 문제점들을 여전히 가지고 있으나 score debiasing/ camera-conditioned 2D diffusion models/ BRDF auto-encoder와 같은 방법을 도입하면, 개선가능할 것으로 기대함.
-
-- Janus prob
-- over saturated texture
-- baked lighting
-
+``` {admonition} Information
+- **Title:** DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation (ICLR 2024)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2309.16653](https://arxiv.org/abs/2309.16653)
+ - Code: [https://github.com/dreamgaussian/dreamgaussian/tree/main](https://github.com/dreamgaussian/dreamgaussian/tree/main)
+ - Project Page: [https://dreamgaussian.github.io/](https://dreamgaussian.github.io/)
+
+- **Author:** Kyeongmin Yu
+
+- **Last updated on Dec. 26, 2024**
+```
+
+# DreamGaussian
+
+
+# 1. Abstract
+
+
+
+# 2. Related Work
+
+## 2.1 3D representations
+
+
+
+
+
+
+
+
+
+
+Neural Radiance Fields (NeRF)
+ +| +original NeRF + | ++NeRF와 Mip-NeRF의 차이점 + | ++Mip-NeRF 360의 contract($\cdot$) function + | +
|---|---|---|
|
+
+ |
+
+
+ |
+
+
+ |
+
| +신경망(MLP)을 이용해 3d 물체에 대한 정보를 표현했다. +신경망은 카메라의 위치와 방향을 입력으로 해당 지점의 density와 color를 리턴한다. 온전한 하나의 이미지를 렌더링 하기 위해서는 모든 camera ray를 따라 (이론상)적분이 필요하다. + | ++ray tracing이 아닌 cone tracing 방식으로, 렌더링 된 이미지의 품질을 향상시킴. + | ++파란 영역은 euclidean space, 노란 영역은 맵핑된 영역이다. +이외에도 기존 방식(coarse-to-fine)과 다르게 n개의 신경망을 사용했으며 초기 신경망을 최종 결과물 출력시 사용하지 않았다. + | +
| +Instant NGP + | ++Block-NeRF + | ++NeRF in the wild + | +
|---|---|---|
|
+
+ |
+
+
+ |
+
+
+ |
+
| +voxel기반의 multiresolution hash encoding을 통해 기존 sin/cos을 이용한 positional encoding 방식을 발전시킴. 이러한 encoding 방식을 채택함으로써 encoding 자체의 속도도 빨라졌으며 다중 스케일 정보를 담은 encoding을 이용함으로써 original NeRF의 신경망보다 오히려 작은 구조를 채택할 수 있었다. 또한 cuda를 활용하여 처리속도를 향상시킴으로써 real-time에 가까운 속도를 낼 수 있었다. + | ++대규모 장면을 모델링하기 위해 여러 NeRF를 합쳐서 하나의 큰 장면을 구성하는 방법 + | ++in the wild dataset에서 scene 재구성을 위해 scene을 +"static 요소"와 "transient 요소"로 분리하여 모델링 + | +
+
+
+
+
+
+:::{figure-md}
+
+
+Gaussian Splatting optimization
+colmap과 같은 SfM 을 이용해 3D keypoint를 찾아 해당 지점으로 3D gaussian을 초기화 한다. 이후 gaussian들을 합치거나 쪼개며 최적화를 진행한다. 렌더링 시에는 3D gaussian들을 2D projection하여 하나의 이미지를 만든다.
+:::
+
+
+
+---
+
+- **3D Gaussian representation [[참고1](https://towardsdatascience.com/a-comprehensive-overview-of-gaussian-splatting-e7d570081362#4cd8)][[참고2](https://patapom.com/blog/SHPortal/)]**
+
+ 각각의 3D Gaussians은 3D position(mean) $\mu$, opacity $\alpha$, anisotropic covariance $\Sigma$로 위치와 크기, 방향을 표현하며, 여기에 spherical harmonic (SH) coefficients를 추가해 view-dependent appearance(color)를 표현했다.
+
+ - covariance matrix $\Sigma$ 를 rotation matrix $\mathbf R$ 와 scaling matrix $\mathbf S$로 분리가능.
+ - rotation matrix는 (real $r$+ imaginery $i,j,k$) 4차원의 quaternion으로 표현가능.
+ - scaling matrix는 ($x,y,z$) 3차원의 scale로 표현가능.
+ - SH 계수의 경우 일반적으로 각 색상 채널(R, G, B)당 9개의 계수, 총 27개의 계수를 사용합니다.
+ - 9개의 계수를 사용한다는 말은 $l\in[0,1,2]$ 라는 뜻이며, $m \in [-l,+l]$ 이다.
+ - SH를 이용하면 빛이 균일하게 퍼지는 표면(매트한 표면)외에도 입사각(보는 방향)에 따라 달라지는 Non-Lambertian effects도 표현할 수 있다.
+
+ **Spherical Harmonics** $Y_l^m(\theta,\phi)$ **를 이용한 lighting** [[paper](https://3dvar.com/Green2003Spherical.pdf)]
+
+ Spherical Harmonics는 번역하면 구면조화함수로 구의 표면에서 정의되는 함수를 말한다. 구면좌표계 $(r,\theta,\phi)$ 에서 $r$ 을 고정하고 $\theta, \phi$에 따라 값을 출력하는 함수이다.
+
+ :::{figure-md}
+
+
+ 수학적으로는 라플라스 미분방정식의 해
+ :::
+
+ :::{figure-md}
+
+
+ Spherical Harmonics 시각화 [[eq](https://en.wikipedia.org/wiki/Table_of_spherical_harmonics)]
+ :::
+
+ :::{figure-md}
+
+
+ Spherical Harmonics 시각화
+ :::
+
+
+
+ - cf. fourier series
+
+ :::{figure-md}
+
+
+ 삼각함수들을 이용해 임의의 주기함수를 근사하는 푸리에 변환의 3D 확장판
+ :::
+
+ :::{figure-md}
+
+
+ SH를 이용한 근사 예시. SH는 구 표면에서의 분포의 basis에 해당.
+ :::
+
+
+ **Lambertian vs. Non-lambertian**
+
+ :::{figure-md}
+
+
+ Diffuse reflection (~ Lambertian effects)
+ :::
+
+ Lambertian reflection은 어떤 각도에서 보든 같은 양 빛을 관찰 할 수 있는 이상적인 상태
+
+ :::{figure-md}
+
+
+ Non-lambertian effects -> 즉, 반사광 표현가능
+ :::
+
+---
+
+- **Pruning and Densification**
+
+ :::{figure-md}
+
+
+ 3D Gaussian Splatting
+ initialization, optimization, adaptive control of gaussians
+ :::
+
+
+---
+
+- **Volumetric Rendering**
+
+
+ :::{figure-md}
+
+
+ 3D Gaussian Splatting Volumetric Rendering
+ :::
+
+ :::{figure-md}
+
+
+ from nerfstudio
+ :::
+
+
+
+ - frustrum culling을 통해 보이지 않는 3D gaussian들을 제외하고 2D로 projection.
+ - 3D gaussian들을 sorting하고 각 픽셀의 ray에 겹치는 3D gaussian들만 color, opacity 값을 반영한다.
+
+ :::{figure-md}
+
+
+ original NeRF vs 3d Gaussian Splatting rendering
+ :::
+
+---
+
+
+## 2.2 Text-to-3D Generation
+
+- data-driven 3D diffusion models
+- 3D native diffusion models
+- lift 2D image models for 3D generation
+
+## 2.3 Image-to-3D Generation
+
+- generating 3D assets form a reference image(~ single-view 3D reconstruction)
+- text-to-3D methods can also be image-to-3D methods
+- Zero-1-to-3
+- One-2-3-45
+
+### 2.4 추가 참고자료
+
+3D Gaussian Splatting (3DGS)
+ +| +point cloud 예시 + | ++Gaussian densification 과정 + | +
|---|---|
|
+
+ |
+
+
+ |
+
+
+Gaussian Splatting optimization
+colmap과 같은 SfM 을 이용해 3D keypoint를 찾아 해당 지점으로 3D gaussian을 초기화 한다. 이후 gaussian들을 합치거나 쪼개며 최적화를 진행한다. 렌더링 시에는 3D gaussian들을 2D projection하여 하나의 이미지를 만든다.
+:::
+
+
+
+---
+
+- **3D Gaussian representation [[참고1](https://towardsdatascience.com/a-comprehensive-overview-of-gaussian-splatting-e7d570081362#4cd8)][[참고2](https://patapom.com/blog/SHPortal/)]**
+
+ 각각의 3D Gaussians은 3D position(mean) $\mu$, opacity $\alpha$, anisotropic covariance $\Sigma$로 위치와 크기, 방향을 표현하며, 여기에 spherical harmonic (SH) coefficients를 추가해 view-dependent appearance(color)를 표현했다.
+
+ - covariance matrix $\Sigma$ 를 rotation matrix $\mathbf R$ 와 scaling matrix $\mathbf S$로 분리가능.
+ - rotation matrix는 (real $r$+ imaginery $i,j,k$) 4차원의 quaternion으로 표현가능.
+ - scaling matrix는 ($x,y,z$) 3차원의 scale로 표현가능.
+ - SH 계수의 경우 일반적으로 각 색상 채널(R, G, B)당 9개의 계수, 총 27개의 계수를 사용합니다.
+ - 9개의 계수를 사용한다는 말은 $l\in[0,1,2]$ 라는 뜻이며, $m \in [-l,+l]$ 이다.
+ - SH를 이용하면 빛이 균일하게 퍼지는 표면(매트한 표면)외에도 입사각(보는 방향)에 따라 달라지는 Non-Lambertian effects도 표현할 수 있다.
+
+ **Spherical Harmonics** $Y_l^m(\theta,\phi)$ **를 이용한 lighting** [[paper](https://3dvar.com/Green2003Spherical.pdf)]
+
+ Spherical Harmonics는 번역하면 구면조화함수로 구의 표면에서 정의되는 함수를 말한다. 구면좌표계 $(r,\theta,\phi)$ 에서 $r$ 을 고정하고 $\theta, \phi$에 따라 값을 출력하는 함수이다.
+
+ :::{figure-md}
+
+
+ 수학적으로는 라플라스 미분방정식의 해
+ :::
+
+ :::{figure-md}
+
+
+ Spherical Harmonics 시각화 [[eq](https://en.wikipedia.org/wiki/Table_of_spherical_harmonics)]
+ :::
+
+ :::{figure-md}
+
+
+ Spherical Harmonics 시각화
+ :::
+
+
+
+ - cf. fourier series
+
+ :::{figure-md}
+
+
+ 삼각함수들을 이용해 임의의 주기함수를 근사하는 푸리에 변환의 3D 확장판
+ :::
+
+ :::{figure-md}
+
+
+ SH를 이용한 근사 예시. SH는 구 표면에서의 분포의 basis에 해당.
+ :::
+
+
+ **Lambertian vs. Non-lambertian**
+
+ :::{figure-md}
+
+
+ Diffuse reflection (~ Lambertian effects)
+ :::
+
+ Lambertian reflection은 어떤 각도에서 보든 같은 양 빛을 관찰 할 수 있는 이상적인 상태
+
+ :::{figure-md}
+
+
+ Non-lambertian effects -> 즉, 반사광 표현가능
+ :::
+
+---
+
+- **Pruning and Densification**
+
+ :::{figure-md}
+
+
+ 3D Gaussian Splatting
+ initialization, optimization, adaptive control of gaussians
+ :::
+
+
+---
+
+- **Volumetric Rendering**
+
+
+ :::{figure-md}
+
+
+ 3D Gaussian Splatting Volumetric Rendering
+ :::
+
+ :::{figure-md}
+
+
+ from nerfstudio
+ :::
+
+
+
+ - frustrum culling을 통해 보이지 않는 3D gaussian들을 제외하고 2D로 projection.
+ - 3D gaussian들을 sorting하고 각 픽셀의 ray에 겹치는 3D gaussian들만 color, opacity 값을 반영한다.
+
+ :::{figure-md}
+
+
+ original NeRF vs 3d Gaussian Splatting rendering
+ :::
+
+---
+
+
+
+DreamFusion
+ +- Score Distillation Sampling (SDS) [[arXiv](https://arxiv.org/abs/2209.14988)] + - pretrained 2D diffusion model을 parametric image generator로서 사용하는 방식을 제안함. image generator로서 NeRF를 사용하여 differentiable 3D representation을 가능하도록 함. + + $$ + \mathbf x=g_\Theta(p) + $$ + - $\mathbf x$ 는 카메라 포즈 $p$에서 렌더링된 이미지를 의미한다. $g_\Theta(\cdot)$는 differentiable rendering function으로 NeRF parameters $\Theta$를 paramter로 갖는다. + + $$ + \triangledown_\Theta\mathcal L_\text{SDS}=\Bbb E_{t,p,\epsilon}\Big[w(t)(\epsilon_\phi(\mathbf x;t,e)-\epsilon)\frac{\partial\mathbf x}{\partial\Theta} \Big] + $$ + - $w(t)=\sigma_t^2$ 는 DDPM의 weighting function, $\epsilon_\phi(\cdot)$은 pretrained parameter $\phi$로 noise를 예측하는 함수이다. +- 즉, SDS formulation은 사전학습된 2D 이미지 생성 디퓨전 모델을 이용해 NeRF parameter $\Theta$를 최적화하는 식이다. 이를 통해 text description에 맞는 NeRF 3D shape을 최적화 할 수 있는 것이다. +
+
+
+ from wikipedia
+ :::
+ - 오렌지 점들은 물체의 표면 혹은 가장자리에 위치한 점들을 의미함.
+
+
+
+Marching Cube
+- 3d 모델에서 표면(mesh)을 추출하기 위한 알고리즘. 여기서 표면은 밀도가 특정 값을 넘는 지점을 의미한다. + +- 주어진 3D 공간을 작은 큐브(cube/voxel)로 나누고, 각 큐브의 8개 코너에서 값(일반적으로 밀도값)을 보고 그 값을 바탕으로 표면을 추출한다. + +- 8개의 코너의 밀도값에 따라 어떤 표면을 가지게 되는지는 미리 정해둔 정보($2^8$)를 이용한다. + +1. 3D 공간을 작은 큐브로 분할 +2. 임계값을 기준으로 판단 + - 해당 지점이 물체 내부에 속하는지 외부에 속하는지 판단함 +3. 표면 생성 + - 각 큐브의 꼭짓점 값에 따라 표면이 어떻게 생길지에 대한 규칙을 미리 정의해두고, + 이를 바탕으로 표면을 추출 + + :::{figure-md} +
+
+ from wikipedia
+ :::
+ - 오렌지 점들은 물체의 표면 혹은 가장자리에 위치한 점들을 의미함.
+
+
+
+ 3DMM
+ :::
+
+ - SMPL (Skinned Multi-Person Linear Model) 2015
+
+ :::{figure-md}
+
+
+ SMPL
+ :::
+
+ - FLAME (Faces Learned with an Articulated Model and Expressions) 2017
+
+ :::{figure-md}
+
+
+ FLAME
+ :::
+
+
+
+NVDiffrast
+ +nvidia 2020 ACMTOG [[arXiv](https://arxiv.org/abs/2011.03277)][[github](https://github.com/NVlabs/nvdiffrast?tab=readme-ov-file)] + +- 미분가능한 렌더링 방법론으로 cuda를 이용해 가속화한 것이 특징. + - 주로 삼각형 메시를 효율적으로 렌더링하고 그래디언트를 계산하기 위해 사용됨. +- FLAME, 3DMM, SMPL등은 미분가능한 3D 모델으로 렌더링 방법론은 아님. + - 3DMM (3D Morphable Models) 1999 + + :::{figure-md} +
+
+ 3DMM
+ :::
+
+ - SMPL (Skinned Multi-Person Linear Model) 2015
+
+ :::{figure-md}
+
+
+ SMPL
+ :::
+
+ - FLAME (Faces Learned with an Articulated Model and Expressions) 2017
+
+ :::{figure-md}
+
+
+ FLAME
+ :::
+
+
+
+zero 1-to-3
+:::
+
+:::{figure-md}
+
+
+zero 1-to-3
+:::
+
+
+
+# 3. Method
+
+:::{figure-md}
+Zero-1-to-3
+ +[[project page](https://zero123.cs.columbia.edu/)] [[DDPM (NeurIPS 2020)](https://www.notion.so/DDPM-NeurIPS-2020-05eb365e0ece43c0bc55ef21a8d4c6f0?pvs=21)] + +- **Zero-1-to-3** control the camera perspective in large-scale diffusion models, +enabling zero-shot novel view synthesis and 3D reconstruction from a single image. + +- RGB image $x\in\Bbb R^{H\times W\times 3}$ , relative camera rotation $R\in \Bbb R^{3\times 3}$,relative camera translation $T\in\Bbb R^3$ + +:::{figure-md} +
+
+zero 1-to-3
+:::
+
+:::{figure-md}
+
+
+zero 1-to-3
+:::
+
+
+Method Overview
+:::
+
+- 2-stage framework for 3D content generation
+for both Image-to-3D and Text-to-3D tasks.
+ - SDS를 이용해 초기화 한 3D gaussian splatting을 이용하여 3D generation
+ - 3D gaussians에서 textured mesh 추출
+ - UV-space refinement를 통해 texture fine-tuning
+
+
+## 3.1 Generative Gaussian Splatting
+
+개별 3D gaussian의 위치와 형태는 center($\mathbf x$), scaling factor($\mathbf x$), rotation quaternion($\mathbf q$)으로 표현되며, opacity value($\alpha$), color feature($\mathbf c$)를 저장하여 volumetric rendering시 사용한다.
+
+$\Theta_i=\{\mathbf x_i, \mathbf s_i,\mathbf q_i, \alpha_i, \mathbf c_i\}$, $\mathbf x \in \Bbb R^3, \mathbf s\in \Bbb R^3, \mathbf q \in \Bbb R^4, \alpha\in \Bbb R, \mathbf c \in \Bbb R^3$
+original gaussian splatting에서는 spherical harmonics 계수를 이용하여 색을 표현하지만
+simple diffuse color를 모델링 하기 위해 간략화 → 재질 표현이 어려울 수 있다.
+
+3D Gaussians은 random position, unit scaling, no rotation으로 initialization 한 후, SDS를 이용해 최적화 한다.
+
+### Image-to-3D
+
+- 사전학습된 Zero-1-to-3 XL을 사용했으며 image $\tilde I^r_\text{RGB}$ 와 foreground mask $\tilde I^r_A$ 를 입력으로 사용한다.
+
+ $$
+ \triangledown_\Theta\mathcal L_\text{SDS}=\Bbb E_{t,p,\epsilon} \Big[w(t)(\epsilon_\phi(I^p_\text{RGB};t,\tilde I^r_\text{RGB},\triangle p)-\epsilon)\frac{\partial I^p_\text{RGB}}{\partial\Theta} \Big] \tag 1
+ $$
+
+ $w(t)$는 weighting function이고, $\epsilon_\phi(\cdot)$ 는 사전학습된 $\phi$를 이용해 예측된 noise를 뜻한다.
+ $\triangle p$ 는 relative camera pose, $r$은 reference camera이다.
+
+- 추가적으로 reference view와 transparency 를 input에 align했다.
+
+ $$
+ \mathcal L_\text{Ref}=\lambda_\text{RGB}\|I^r_\text{RGB}-\tilde I_\text{RGB}^r \|^2_2 + \lambda_A\|I^r_A-\tilde I^r_A\|^2_2 \tag 2
+ $$
+
+
+### Text-to-3D
+
+Stable diffusion을 활용하여 text-to-3D task를 수행했다.
+
+$$
+\triangledown_\Theta\mathcal L_\text{SDS}=\Bbb E_{t,p,\epsilon}\Big [ w(t)(\epsilon_\phi(I^p_\text{RGB};t,e)-\epsilon)\frac{\partial I^p_\text{RGB}}{\partial \Theta} \Big] \tag 3
+$$
+
+$e$는 주어진 text prompt의 CLIP embedding을 의미한다.
+
+### Discussion
+
+하지만 논문의 저자들은 SDS loss의 ambiguity 때문에 길게 학습하더라도 생성된 3D gaussians이 blurry하고 디테일이 부족하다고 한다. 이를 개선하기 위해 다음 단계인 mesh extraction과 texture refinement를 수행한다.
+
+## 3.2 Efficient Mesh Extraction
+
+block-wise local density query와 back-projected color를 이용해 textured mesh를 추출하는 효과적인 알고리즘을 제안한다.
+
+### Local Density Query
+
+marching cube algorithm을 적용하기 위해서는 local density grid가 필요하다. gaussian splatting 알고리즘의 주요 특징은 over-sized Gaussian 들은 최적화 과정에서 split 및 pruning된다는 점이다. 이는 효과적인 rasterization을 위해 culling technique을 적용 할 수 있는 근거가 된다. 또한 이 점은 block-wise density queries를 perform 할 때도 사용할 수 있다.
+
+먼저 3D space를 $(-1,1)^3$ 으로 맵핑한다. (그냥 최대, 최소값을 이용해 정규화) 그리고 이 공간을 $16^3$의 overlapping blocks(multiscale voxels)으로 나눈다. 그리고 각 블록의 외부에 위치한 gaussian들은 제외한다. 이를 통해 계산해야 할 gaussian의 총 개수를 효과적으로 줄일 수 있다. 그리고 각 블록의 내부에 $8^3$ dense grid를 만들어 최종적으로는 $128^3$의 dense grid를 만든다. grid position $\mathbf x$의 각 query는 남아있는 3D gaussian들의 opacity의 weighted sum으로 local density grid를 얻는다.
+
+$$
+d(\mathbf x)=\sum_i\alpha_i\text{exp}(-\frac{1}{2}(\mathbf x-\mathbf x_i)^T\Sigma_i^{-1}(\mathbf x-\mathbf x_i)) \tag{4}
+$$
+
+$\Sigma$는 covariance matrix로 scaling $\mathbf s$, rotation $\mathbf q$로 이루어져 있다. 이후에는 empirical threshold를 marching cube 알고리즘에 적용하여 mesh surface를 추출한다. [decimation과 remeshing](https://www.meshlab.net)을 이용해 후처리하여 더욱 자연스럽고(smoother), 간결한(compact) mesh를 만들었다.
+
+### Color Back-projection
+
+앞선 단계에서 mesh를 얻었기 때문에 rendered RGB 이미지를 mesh surface로 back-project하여 texture map으로 만들 수 있다.
+
+
+
+
+uv mapping
+:::
+
+먼저 mesh의 UV coordinate를 unwrap하고 빈 texture image로 초기화 한다. 그리고 8개의 azimuth, 3개의 elevation을 균일하게 선택하고 top, bottom view까지 포함하여 corresponding RGB image를 렌더링 할 수 있게 한다. 이러한 RGB 이미지들의 각 픽셀은 UV coordinate를 기반으로 texture image로 맵핑할 수 있다.
+
+이렇게 back-project된 texture image는 다음의 texture fine-tuning 단계의 초기 설정으로 사용된다.
+
+
+## 3.3 UV-space Texture Refinement
+
+:::{figure-md}
+UV mapping from wikipedia
+ +:::{figure-md} +
+
+uv mapping
+:::
+
+먼저 mesh의 UV coordinate를 unwrap하고 빈 texture image로 초기화 한다. 그리고 8개의 azimuth, 3개의 elevation을 균일하게 선택하고 top, bottom view까지 포함하여 corresponding RGB image를 렌더링 할 수 있게 한다. 이러한 RGB 이미지들의 각 픽셀은 UV coordinate를 기반으로 texture image로 맵핑할 수 있다.
+
+이렇게 back-project된 texture image는 다음의 texture fine-tuning 단계의 초기 설정으로 사용된다.
+
+
+UV-space Texture Refinement
+:::
+
+앞선 back-projection된 coarse texture를 시작으로 texture 품질을 올리고자 했으나, SDS loss를 이용해
+UV-space를 직접 fine-tuning 하면 위의 그림과 같은 artifact가 발생하게된다. 이는 differentiable rasterization시 사용되는 mipmap texture sampling 기법때문이다. SDS와 같이 모호한 guidance를 이용하면 각 mipmap level에 따라 over-saturation된 color block으로 gradient가 전파 된다.
+
+- mipmap in rasterization
+
+
+ :::{figure-md}
+
+
+ from widipedia
+ :::
+
+ :::{figure-md}
+
+
+ from unity document
+ :::
+
+ 위와 같은 고품질 렌더링와 렌더링 속도 향상을 위해 mipmap이라는 기법을 활용한다. 본 논문에서 texture mapping, rendering시 사용한 NVdiffrast도 mipmap을 활용하고 있다.
+ mipmap은 texture를 여러 레벨의 화질으로 저장하는 방식으로 mipmap level은 특정 화질의 texture version을 의미한다. 카메라로 부터 멀리 떨어진 object는 저레벨의 mipmap을 사용해 렌더링 한다. 저레벨의 mipmap은 이미 정보손실이 일어난 상태이고 이를 이용해 렌더링 되었다면 gradient가 흐르는 방향이 왜곡 될수 있다.
+
+ ---
+
+
+$$
+I^p_\text{fine}=f_\phi(I^p_\text{coarse}+\epsilon(t_\text{start});t_\text{start},c) \tag 5
+$$
+
+stage 2 의 학습은 image-to-image synthesis와 같은 방식으로 진행된다. initialization texture가 있으므로 임의의 camera view $p$ $p$
+
+:::{figure-md}
+
+
+from SDEdit
+:::
+
+$f_\phi(\cdot)$ 는 사전학습된 2D diffusion 을 통해 refined image를 얻는 multi-step denoising process를 의미한다. $\epsilon(t_\text{start})$ 는 timestep $t_\text{start}$의 랜덤 노이즈를 말한다. $c$ 는 image-to-3D를 위한 condition인 카메라 포즈 변화량 $\Delta p$ 이고, $e$는 text-to-3D의 condition을 말한다. 시작 timestep $t_\text{start}$는 noise 강도를 제한하기 위해 신중히 선택되어야 refined image의 original content를 유지하며 detail을 향상 시킬수 있다고 한다. refined image는 이후 pixel-wise MSE loss에 texture 최적화를 위해 사용된다.
+
+$$
+\mathcal L_\text{MSE}=\|I^p_\text{fine}-I^p_\text{coarse}\|^2_2 \tag 6
+$$
+
+image-to-3D task에서는 reference view RGBA loss $\mathcal L_\text{Ref}$ 를 적용했다.
+
+실험 결과에 따르면 50 step 정도 만에 대부분 detail이 좋아졌다고 하며 반복횟수를 늘릴수록 texture의 detail이 향상되었다고 합니다.
+
+# 4. Experiments
+
+## 4.1 Implementation Details
+
+- Number of iterations
+ - first stage - 500 steps
+ - second stage - 50 steps
+- 3D Gaussian initialization
+ - number - 5000 for image-to-3D, 1000 for text-to-3D
+ - opacity - 0.1
+ - color - grey
+ - radius - 0.5
+- Rendering resolution - 64 to 512 for gaussian splatting, 128 to 1024 for mesh
+- Loss weights in eq(2) - RGB, transperency 가중치($\lambda_\text{RGB}, \lambda_A$)는 0에서 부터 각각 10000, 1000로 linearly increasing
+- Camera pose sampling - fixed radius 2 for image-to-3D / 2.5 for text-to-3D,
+ y-axis FOV 49 degree,
+ azimuth in $[-180,180]$ degree, elevation in $[-30,30]$.
+
+:::{figure-md}
+
+
+Horizontal coordinates from wikipedia
+:::
+
+:::{figure-md}
+
+
+[출처](https://www.epd.gov.hk/eia/register/report/eiareport/eia_2522017/EIA/html/Appendix/Appendix%2011.1.pdf)
+:::
+
+- Background color - white or black randomly for gaussian splatting
+- Run-time - 1min/stage for image-to-3D
+ 2min/stage for text-to-3D w. Stable Diffusion $512\times512$ resolution
+- Marching cube threshold - 1
+- GPU - NVIDIA V100(16GB), less than 8GB for this experiments
+
+## 4.2 Qualitative Comparison
+
+**Image-to-3D comparison**
+
+:::{figure-md}
+
+
+실험결과
+:::
+
+**Text-to-3D comparison**
+
+:::{figure-md}
+
+
+실험결과
+:::
+
+최적화를 진행하는 방법론 뿐만 아니라 inference-only 방법론들과 비교해도 매우 빠른 생성 속도를 보였다고 함.
+
+:::{figure-md}
+
+
+실험결과
+:::
+
+이렇게 뽑아낸 mesh는 blender와 같은 리깅 툴을 이용해 애니메이팅 가능.
+
+## 4.3 Quantitative Comparison
+
+:::{figure-md}
+
+
+실험결과
+:::
+:::{figure-md}
+
+
+실험결과
+:::
+
+## 4.4 Ablation Study
+
+:::{figure-md}
+
+
+실험결과
+:::
+
+논문에서 제안하는 파이프라인의 모든 과정이 필요함을 보여줌.
+
+- Periodical densificaiton of 3D Gaussians
+- Linear annealing of timestep t for SDS loss
+- Effect of the reference view loss $\mathcal L_{\text{Ref}}$
+
+# 5. Limitations and Conclusion
+
+- 3D content generation framework인 DreamGaussian을 통해 3D content 생성을 효율성을 증대.
+- 3D Gaussian으로 부터 mesh를 추출하는 알고리즘 제안.
+- texture fine-tuning stage를 통해 image나 text로 부터 고품질의 polygonal mesh생성 가능.
+
+:::{figure-md}
+
+
+실험결과
+:::
+
+아래와 같은 기존 방법론들의 문제점들을 여전히 가지고 있으나 score debiasing/ camera-conditioned 2D diffusion models/ BRDF auto-encoder와 같은 방법을 도입하면, 개선가능할 것으로 기대함.
+
+- Janus prob
+- over saturated texture
+- baked lighting
+
덧붙여 texture refinement를 진행하는 stage 2에서 blurry한 결과를 얻을 수 있으나 학습을 더 진행하면 개선된다고 함.
\ No newline at end of file
diff --git a/_sources/docs/review/DreamPose.md b/_sources/docs/review/DreamPose.md
index 5dcf277b..bf5cf791 100755
--- a/_sources/docs/review/DreamPose.md
+++ b/_sources/docs/review/DreamPose.md
@@ -1,423 +1,423 @@
-```{admonition} Information
-- **Title:** DreamPose: Fashion Image-to-Video Synthesis via Stable Diffusion
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2304.06025](https://arxiv.org/abs/2304.06025)
- - Project: [https://grail.cs.washington.edu/projects/dreampose/](https://grail.cs.washington.edu/projects/dreampose/)
-
-- **Author:** [Jeonghwa Yoo](https://www.linkedin.com/in/jeonghwa-yoo-8403a716b)
-
-- **Last updated on May. 08, 2023**
-```
-
-
-# DreamPose: Fashion Image-to-Video Synthesis via Stable Diffusion
-
-:::{figure-md}
-
-
-DreamPose 입출력
-:::
-
-
-
-
-# **1. Introduction**
-
-- DreamPose가 제안된 배경
- - 패션 사진은 온라인에 널리 퍼져 있지만, 전달할 수 있는 정보가 제한적이며 입었을 때 옷의 늘어진 모양이나 흐름 등 옷의 중요한 뉘앙스를 포착하지 못한다.
- - 패션 동영상은 이러한 모든 디테일을 보여주기에 소비자의 의사 결정에 유용한 정보를 제공하지만, 동영상이 있는 상품은 매우 드물다.
-- DreamPose
- - 본 논문에서는 포즈 시퀀스를 따라 패션 사진을 사실적인 애니메이션 비디오로 변환하는 방법인 DreamPose를 소개한다.
- - Stable diffusion을 기반으로 한다.
- - 하나 이상의 사람 이미지와 포즈 시퀀스가 주어지면, 포즈 시퀀스를 따라 고품질 비디오를 생성한다.
-- 기존 비디오 생성 모델들의 문제점
- - 이미지 생성 디퓨전 모델은 좋은 결과를 보여주었지만, 비디오 생성 디퓨전 모델은 동일한 품질의 결과를 얻지 못했으며, 텍스처 움직임이나 카툰과 같은 모양으로 제한된 경우가 많다.
- - 시간적 일관성이 떨어진다.
- - 모션 jitter가 발생한다.
- - 사실성(realism)이 부족하다.
- - 대상 비디오의 움직임이나 세부적인 물체 모양을 제어할 수 없다.
- - 기존 모델이 주로 텍스트에 기반으로 하기 때문에
-- DreamPose의 접근법
- - 이미지 및 포즈 시퀀스를 조건으로 받는 방식을 사용하여 fidelity와 프레임 간 일관성을 높일 수 있다.
- - 이미지 분포를 효과적으로 모델링하는 기존 사전 학습된 이미지 디퓨전 모델을 파인 튜닝하였다. → 이미지 애니메이션 태스크를 컨디셔닝 신호와 일치하는 이미지의 부분 공간을 찾는 것으로 단순화 할 수 있다.
- - 해당 태스크를 위해 스테이블 디퓨전의 인코더와 컨디셔닝 메커니즘을 재설계하였다.
- - 2-스테이지 파인튜닝 방식을 사용한다
- - UNet과 VAE를 하나 혹은 여러 입력 이미지에 대해서 파인튜닝
-- Contribution
- 1. DreamPose: 패션 이미지 애니메이션을 위해 이미지 및 포즈를 조건으로 하는 디퓨전 방식
- 2. 프레임 간 시간적 일관성을 크게 향상 시키는 간단하지만 효과적인 포즈 컨디셔닝 방식
- 3. 컨디셔닝 이미지의 fidelity를 높여주는 split CLIP-VAE 인코더
- 4. 이미지의 fidelity와 새로운 포즈에 대한 일반화 사이의 균형을 효과적으로 맞추는 파인튜닝 전략
-
-# 2. Related Work
-
-## 2.1. Diffusion models
-
-- 디퓨전 모델은 최근 text-to-image, 비디오 생성, 3D 생성 태스크에서 인상적인 결과를 보여주고 있다.
-- 하지만 이러한 모델을 처음부터 훈련하는 것은 비용이 많이 들고 많은 양의 데이터가 필요하다.
-- 스테이블 디퓨전과 같은 latent diffusion 모델은 디퓨전과 디노이징 과정을 latent space에서 수행하기 때문에 계산 요구 사항과 훈련 시간을 대폭 줄일 수 있다.
-- 스테이블 디퓨전과 그 사전 훈련된 체크포인트는 출시 이후 다양한 이미지 생성 작업에 사용되었다.
-- 본 논문에서도 사전 훈련된 스테이블 디퓨전 모델을 활용하고, subject에 특화된 파인튜닝을 한다.
-
-## 2.2. Still Image Animation
-
-- 하나 이상의 입력 이미지로부터 동영상을 생성하는 태스크
-- 기존에 디퓨전 기반이 아닌 접근 방식들은 배경 예측, 모션 표현, occlusion map이나 dense map 등 여러 개의 개별 네트워크로 구성되는 경우가 많았다.
- - 각 단계마다 별도의 훈련이 필요하고 ground-truth 모션이나 depth등의 ground-truth 데이터를 사용할 수 없거나 불완전할 가능성이 있다.
- - 모션이 크고 복잡할 경우에 groud-truth에 대한 예측은 도출하기 더 어렵고 오류가 발생하기 쉽다.
-- 최근 여러 방법들은 엔드 투 엔드 싱글 네트워크 접근 방식을 탐구하고 있다. (예: optical flow and warping, cross-attention 모듈, NeRF 표현을 사용한 애니메이션이 가능한 3D 휴먼 생성 등)
-
-## 2.3. Fashion Image Synthesis
-
-- 기존 pose-guided 패션 이미지 합성 방법
- - 일반적으로 GAN을 기반으로 했고, optical flow에 의존해 이미지 특징을 포즈에 맞추는 방법을 사용했다. → 큰 포즈 변화, 가려진 영역 합성, 의상 스타일 보존에 어려움을 겪는 경우가 많다.
- - 최근엔 어텐션 기반 메커니즘을 사용하여, 셀프/크로스 어텐션을 사용하여 이미지 특징을 목표 프레임에 맞추려고 하였다.
- - 디퓨전 기반
- - DiffFashion: 레퍼런스 이미지의 스타일을 트랜스퍼하여 의류 아이템을 편집하는 것을 목표로 한다.
- - PIDM: 포즈를 조건으로 넣어 사람 이미지를 생성한다 → 시간적 일관성을 위한 최적화는 하지 않는다.
-
-## 2.4. Diffusion Models for Video Synthesis
-
-- 많은 text-to-video 디퓨전 모델은 text-to-image 디퓨전 모델을 활용하여 적용한다.
-- 결과를 기대할만 하지만, 여전히 텍스트-이미지 모델과 같은 성능은 나오지 않고 있다.
-- 프레임 간의 시간적 일관성을 유지하는 것과 사실적인 모션을 생성하는 것이 어렵다.
-- 어떤 디퓨전 기반 방법들은 스크래치부터 학습하기 때문에 값비싼 컴퓨팅 리소스, 방대학 학습 데이터셋, 오랜 학습 시간이 필요하다.
-- Turn-A-Video는 텍스트와 이미지가 조건으로 들어왔을 때 비디오 생성을 위해 사전 학습된 텍스트-이미지 디퓨전 모델을 파인튜닝한다. → 이전 방법들과 마찬가지로 텍스처 깜빡거림(textural flickering), 구조적인 불일치가 나타난다.
-- 본 논문에서는 위의 문제를 해결하여 사람과 섬유의 움직임의 싱크를 맞추는 것을 목표로 한다.
-
-## 2.5. Conditioning Mechanisms for Diffusion Models
-
-- 텍스트를 조건으로 하는 이미지 생성 디퓨전 모델을 널리 사용되어 왔다.
-- 텍스트 컨디셔닝은 높은 수준의 디테일을 조절하는 데는 효과적이지만, 사람과 의상의 정확한 identity나 포즈에 대한 풍부하고 상세한 정보를 제공하는 것은 어렵다.
-- 여러 연구에서 사전 학습된 text-to-image 스테이블 디퓨전 모델을 위한 이미지 컨디셔닝 문제를 다루고 있다.
- - 이러한 모델에는 종종 어떤 종류의 텍스트 임베딩이 포함된다. (ex: DreamBooth: 피사체별 파인 튜닝을 수행하기 위해 고유한 텍스트 토큰을 학습)
- - 기존 이미지와 동영상의 모양을 편집하기 위해 텍스트를 통합하기도 한다.
- - PIDM은 별도의 텍스처 인코더를 사용하여 이미지 텍스처를 인코딩하고 입력된 노이즈 이미지와 대상 포즈를 연결한다.
-- DreamPose는 영상 속 피사체의 외형뿐만 아니라 구조와 움직임까지 제어할 수 있다.
-- PIDM과 마찬가지로 이미지 임베딩을 UNet의 크로스 어텐션 레이어에 직접 통합하지만, 이미지 임베딩에 대해 사전 학습된 두 개의 인코더(CLIP, VAE)를 혼합하여 사용한다. → 입력 노이즈에 연결된(concatenated) 멀티 포즈 입력 표현(multi-pose input representation)을 이용해 부드럽고 시간적으로 일관된 모션을 구현할 수 있다.
-
-# 3. Background
-
-- 디퓨전 모델
- - 디퓨전 모델은 품질, 다양성, 학습 안정성 측면에서 합성 태스크에서 GAN을 능가하는 최신 생성 모델이다.
- - 표준 이미지 디퓨전 모델은 정규 분포된 랜덤 노이즈에서 이미지를 반복적으로 복원하는 방법을 학습한다.
-- Latent diffusion model (ex. Stable Diffusion)
- :::{figure-md}
-
-
- Latent Diffusion Model
- :::
-
-
-- 오토인코더의 인코딩된 latent space에서 작동하므로 최소한의 품질을 희생하면서 계산 복잡성을 절약한다.
-- 스테이블 디퓨전 모델은 VAE와 디노이징 UNet의 두 가지 모델로 구성된다.
- - VAE 오토인코더
- - 인코더 $\mathcal{E}$: 프레임 $x$를 컴팩트한 latent 표현 $z$로 추출 ($z=\mathcal{E}$$(x)$)
- - 디코더 $\mathcal{D}$: latent 표현에서 이미지를 복원 ($x’=\mathcal{D}(z)$)
- - 학습하는 동안, latent feature $z$는 결정론적 가우시안 프로세스에 의해 타임 스탬프 $T$로 디퓨즈되어 노이지 feature인 $\tilde{z}_T$를 만듦
- - 원본 이미지를 복구하기 위해 각 타임스탬프에 해당하는 latent feature의 노이즈를 반복적으로 예측하도록 시간으로 컨디셔닝된 UNet이 학습 된다.
- - UNet의 목적 함수
-
- $$
- \begin{align}{\cal L}_{D M}=\mathbb{R}_{z,\epsilon\in{\mathcal{N}}(0,1)}[||\epsilon-\epsilon_{\theta}({\tilde{z}}_{t},t,c)]|_{2}^{2}]\end{align}
- $$
-
- - c: 컨디셔닝 정보의 임베딩 (텍스트, 이미지, 세그멘테이션 마스크등, 스테이블 디퓨전에서는 CLIP 텍스트 인코더로부터 얻어짐
- - 예측된 latent $z’$은 예측된 이미지 $x’ = \mathcal{D}(z')$를 복구하도록 디코딩 된다.
-- Classifier-free guidance
- - Implicit classifier를 통해 예측된 노이즈 분포를 조건으로 주어진 분포로 밀어붙이는 샘플링 메커니즘이다.
- - 이는 랜덤한 확률로 실제 조건으로 주어진 입력을 널 입력(∅)으로 대체하는 훈련 방식인 드롭아웃을 통해 달성된다.
- - 인퍼런스하는 동안 조건으로 주어진 예측은 스칼라 가중치 s를 사용하여 unconditional한 예측을 조건부로 가이드하는 데 사용된다.
-
- $$
- \begin{align}\epsilon_{\theta}=\epsilon_{\theta}(\tilde{z}_{t},t,\emptyset)+s\cdot(\epsilon_{\theta}(\tilde{z}_{t},t,\mathrm{c})-\epsilon_{\theta}(\tilde{z}_{t},t,\emptyset))\end{align}
- $$
-
- - $\epsilon_{\theta}(\tilde{z}_{t},t,\emptyset)$: 조건이 없는 경우에 노이즈 벡터
- - $\epsilon_{\theta}(\tilde{z}_{t},t,c)$: 조건이 있는 경우에 노이즈 벡터
-
- → 조건을 Null로 줬을 때의 모델의 예측값과 조건을 줬을 때의 모델이 예측값을 보간한다.
-
-
-# **4. Method**
-
-- 본 논문에서는 단일 이미지와 포즈 시퀀스로부터 사실적인 애니메이션 동영상을 만드는 것을 목표로 한다.
-- 이를 위해 패션 동영상 컬렉션에서 사전 학습된 스테이블 디퓨전을 패션 동영상 컬렉션에 맞게 파인튜닝한다.
-- 추가 컨디셔닝 신호(이미지 및 포즈)를 받고 동영상으로 볼 수 있는 시간적으로 일관된 콘텐츠를 출력하기 위해 스테이블 디퓨전의 구조를 조정하는 작업이 포함된다.
-
-## **4.1. Overview**
-
-- 입출력
- - 입력: 입력 이미지 $x_0$, 포즈 $\{p_1, …, p_n\}$
- - 출력: 비디오 $\{x'_1, …, x’_N\}$ ($x’_i$: 입력 포즈 $p_i$에 해당하는 i 번째 예측된 프레임)
-- 입력 이미지와 포즈 시퀀스를 조건으로 하는 사전 훈련된 latent diffusion model을 사용한다.
-- 추론 시에는 일반적인 디퓨전 샘플링 절차를 통해 각 프레임을 독립적으로 생성한다.
- - 균일하게 분포된 가우시안 노이즈로 시작하여 두 조건 신호로 디퓨전 모델을 반복적으로 쿼리하여 noisy latent의 노이즈를 제거한다.
-- 마지막으로 예측된 디노이즈된 latent $z’_i$를 디코딩하여 예측된 비디오 프레임 $x’_i=\mathcal{D}(z’_i)$를 만든다.
-
-## 4.2. Architecture
-
-- 이미지 애니메이션을 위해 원래의 text-to-image 스테이블 디퓨전 모델을 수정하고 파인튜닝한다. (조건: 이미지, 포즈)
-- 이미지 애니메이션의 목표
- 1. 제공된 입력 이미지에 대한 충실도
- 2. 시각적 품질
- 3. 생성된 프레임의 전반적인 시간적인 안정성
-- 이러한 목표를 달성하기 위해 아키텍처를 아래와 같이 구성하였다.
-
- :::{figure-md}
-
-
- DreamPose Architecture
- :::
-
-
-### **4.2.1 Split CLIP-VAE Encoder**
-
-:::{figure-md}
-
-
-DreamPose Encoder
-:::
-
-
-- 해당 모듈-컨디셔닝 어댑터(custom conditioning adapter)의 필요성
- - 이미지를 조건으로 넣기 위한 이전 연구 (ex: [InstructPix2Pix](https://arxiv.org/abs/2211.09800))는 주로 조건으로 들어오는 이미지 신호를 디노이징 U-Net에 대한 입력 노이즈와 concat한다.
- - 이는 원하는 출력 이미지와 공간적으로(spatially) 정렬된 조건 신호에 대한 조건화에 효과적이지만, DreamPose의 경우에는 네트워크가 입력 이미지와 공간적으로 정렬되지 않은 이미지를 생성하는 것을 목표로 한다.
- - 따라서 해당 태스크에는 다른 방법이 필요하고, 이를 위해 맞춤형 컨디셔닝 어댑터를 구현하였다.
- - 맞춤형 컨디셔닝 어댑터는 CLIP 텍스트 인코더를 사용하여 이미지 조건화를 대체하는 맞춤형 컨디셔닝 어댑터(custom conditioning adapter)를 구현하였다.
- - 이 어댑터는 사전 학습된 CLIP 이미지 및 VAE 인코더에서 인코딩된 정보를 결합한다.
-- 디퓨전 기반 파인튜닝
- - 목표: 입력 신호를 원래 네트워크 학습에 사용된 신호와 최대한 유사하게 만들어 학습 기울기를 가능한 한 의미 있게 만드는 것 → 학습된 prior 값의 손실을 방지하는 데 도움이 된다.
- - 이러한 이유로 대부분의 디퓨전 기반 파인튜닝 체계는 모든 원래 컨디셔닝 신호를 유지하고 새로운 컨디셔닝 신호와 상호 작용하는 네트워크 가중치를 0으로 초기화한다.
-- VAE Encoder의 필요성
- - 스테이블 디퓨전이 텍스트 프롬프트의 CLIP 임베딩으로 컨디셔닝 되고 CLIP이 텍스트와 이미지를 공유 임베딩 스페이스(shared embedding space)로 인코딩한다는 점을 감안할 때 CLIP 컨디셔닝을 조건으로 주어진 이미지에서 파생된 임베딩으로 간단히 대체하는 것이 자연스러워 보일 수 있다.
- - 하지만 실제로는 CLIP 이미지 임베딩만으로는 조건으로 주어진 이미지에서 세밀한 디테일을 캡처하기에 충분하지 않다.
- - 따라서 스테이블 디퓨전의 VAE에서 인코딩된 latent 임베딩을 추가로 입력한다.
- - 이를 통해 디퓨전의 출력 도메인과 일치하는 추가적인 장점을 가지게 된다.
-- 어댑터 $\mathcal{A}$
- - 스테이블 디퓨전 아키텍처는 기본적으로 컨디셔닝 신호로 VAE latent를 지원하지 않기 때문에 어댑터 모듈 $\mathcal{A}$를 추가한다.
- - 해당 어댑터는 CLIP과 VAE 임베딩을 결합하여 네트워크의 일반적인 cross-attention 연산에 사용되는 하나의 임베딩을 생성한다.
- - 이 어댑터는 두 신호를 함께 혼합하고 디노이징 U-Net의 cross-attention 모듈에서 예상하는 일반적인 모양으로 출력을 변환한다.
-- 디퓨전 기반 파인튜닝에서 언급했 듯이 학습에서 네트워크의 충격을 완화하기 위해 처음에는 VAE 임베딩에 해당하는 가중치는 0으로 설정되어 네트워크가 CLIP 임베딩으로만 학습을 시작한다.
-- 최종 이미지 컨디셔닝 신호 $c_I$를 다음과 같이 정의한다.
-
-$$
-\begin{align}c_{I}={\mathcal{A}}(c_{\mathrm{CLIP}},c_{\mathrm{VAE}})\end{align}
-$$
-
-### 4.2.2 Modified UNet
-
-:::{figure-md}
-
-
-Modified UNet
-:::
-
-
-- 이미지 컨디셔닝과 달리 포즈 컨디셔닝은 이미지와 정렬 된다.
-- Noisy latent $\tilde{z}_i$를 타겟 포즈 표현 $c_p$와 concat한다.
-- 실제 비디오에서 추정된 포즈의 노이즈를 고려하고 생성된 프레임에서의 시간적 일관성을 극대화하기 위해, $c_p$를 다섯 개의 연속된 포즈 프레임으로 구성하였다. 즉, $c_p = \{p_{i-2}, p_{i-1}, pi, p_{i+1}, p_{i+2}\}$ → 개별 포즈로 네트워크를 학습하는 것보다 연속 포즈로 학습하면 전반적인 움직임의 부드러움과 시간적 일관성이 증가한다.
-- 구조적으로 0으로 초기화된 10개의 추가 입력 채널을 받아들이도록 UNet 입력 레이어를 수정하고 noisy latent에 해당하는 원래 채널은 사전 학습된 가중치에서 수정되지 않는다.
-
-### 4.2.3 **Finetuning**
-
-- 스테이블 디퓨전 모델의 대부분의 레이어 weight는 미리 학습된 text-to-image 스테이블 디퓨전 체크포인트로 초기화된다.
-- 이 때, CLIP 이미지 인코더는 별도의 미리 학습된 체크포인트에서 로드된다.
-- 새로운 레이어는 초기에 새로운 컨디셔닝 신호가 네트워크 출력에 기여하지 않도록 초기화 된다.
-- 초기화 후 DreamPose는 아래의 두 단계로 파인튜닝된다.
-
- :::{figure-md}
-
-
- Two-phase Finetuning
- :::
-
- 1. Full Dataset Finetuning
- - 전체 훈련 데이터셋에 대한 UNet과 어댑터 모듈을 파인 튜닝하여 입력 이미지 및 포즈와 일치하는 프레임을 합성한다.
- 2. Subset-Specific Finetuning
- - 하나 이상의 피사체별 입력 이미지에 대해 UNet과 어댑터 모듈을 파인튜닝한 다음 VAE 디코더를 통해 기본 모델을 개선하여 추론에 사용되는 피사체별 맞춤형 모델을 생성한다.
-- 다른 이미지 조건부 디퓨전 방법과 마찬가지로, 입력 이미지의 사람과 의상의 identity를 보존하고 프레임 간에 일관성을 유지하려면 샘플별 파인튜닝이 필수적이었다.
-- 그러나 단순히 단일 프레임과 포즈 쌍에 대해 훈련하면 텍스처 고착(texture-sticking)과 같은 아티팩트가 출력 비디오에 발생한다.
-- 이를 방지하기 위해 각 단계에서 랜덤 크롭을 추가하는 등의 방법으로 이미지-포즈쌍을 증강한다.
-- VAE 디코더를 파인튜닝하는 것이 더 선명하고 사실적인 디테일을 복구하는 데 중요하다.
-
- :::{figure-md}
-
-
- VAE 파인튜닝의 중요성
- :::
-
-
-## 4.4. Pose and Image Classifier-Free Guidance
-
-- 추론시 단일 입력 이미지와 피사체별 모델(subject-specific model)을 사용하는 일련의 포즈에서 프레임별로 동영상을 생성한다.
-- 이중(dual) classifier-free guidance를 사용하여 추론 시에 이미지 컨디셔닝 $c_I$와 포즈 컨디셔닝 $c_p$의 강도를 조절한다.
-- 이중 classfier-free guidance는 식 (3)에서 다음과 같이 수정된다.
-
- $$
- \begin{align*}
- {\epsilon_{\theta}(z_{t},c_{I},c_{p})} & {= \epsilon_{\theta}(z_{t},\emptyset,\emptyset)} \\
- {} & {+\, s_{I}(\epsilon_{\theta}(z_{t},c_{I},\mathcal{\emptyset})-\epsilon_{\theta}(z_{t},\emptyset,\emptyset))} \\
- {} & {+\, s_{p}(\epsilon_{\theta}(z_{t},\mathcal{c}_{I},\mathcal{c}_p)-\epsilon_{\theta}(z_{t},\mathcal{c}_{I},\emptyset))}
- \end{align*}
- $$
-
- - $s_I$, $s_p$: 가이던스 웨이트
- - $c_I$: 이미지 컨디셔닝
- - $c_p$: 포즈 컨디셔닝
-
- → 이미지 컨디셔닝이 있는 경우와 없는 경우의 노이즈 벡터 차이를 계산하고, 포즈 컨디셔닝이 있는 경우와 없는 경우의 노이즈 벡터 차이를 계산해서 이를 가이던스 웨이트를 통해 강도를 조정해서 반영
-
-- $s_I$가 크면 입력 이미지에 높은 외관 충실도를 보장하고, $s_p$가 크면 입력 포즈에 대한 정렬을 보장한다.
-- 이중 classifier-free guidance는 포즈 및 이미지 가이드를 강화하는 것 에외도, 피사체별 모델 파인튜닝 후 하나의 입력 포즈에 대한 오버피팅을 방지한다.
-
-# 5. Experiments
-
-## 5.1. Implementation Details
-
-- 입력 이미지 resolution: 512x512
-- GPU: NVIDIA A100 2개
-- 첫 번째 훈련 단계
- - 전체 훈련 데이터셋 사용
- - 5 epoch
- - 5e-6 learning rate
- - 배치사이즈: 16 (4 gradient accumulation step)
- - Dropout: 포즈 입력 5%, 이미지 입력 5%
-- 두 번째 훈련 단계
- - 특정 샘플 프레임 사용
- - 500 step
- - 1e-5 learning rate
- - Dropout 적용 X
-- VAE 디코더 파인튜닝
- - 1500 step
- - 5e-5 learning rate
-- 추론 시에는 PNDM 샘플러 사용 (100step)
-
-## 5.2. Dataset
-
-- UBC Fashion 데이터셋 사용
-- Split
- - Train: 339개의 영상
- - Test: 100개의 영상
-- 각 비디오의 프레임 속도는 초당 30프레임이며 길이는 약 12초
-- 학습 중에는 학습 비디오로부터 랜덤으로 프레임 쌍을 샘플링 하였다.
-- DensePose를 이용해서 포즈를 계산하였다.
-
-# 6. Results
-
-## 6.1. Comparisons
-
-- 공개적으로 사용 가능한 두 가지 최신 비디오 합성 방법인 MRAA(Motion Representations for Articulated Animation)과 Thin-Plate Spline Mothion Model(TPSMM)과 수치적 및 정성적인 비교를 하였다.
-- 제공된 훈련 스크립트와 권장 에폭 수를 사용하여 두 가지 모델을 UBC 패션 데이터셋을 이용해서 스크래치부터 학습하였다.
-- 평가를 위해서는 AVD 모드에서 제공된 테스트 스크립트를 사용하였다.
-- PIDM과도 정성적인 비교를 하였다. PIDM의 경우 훈련 스크립트를 사용할 수 없어서 DeepFashion 데이터셋에 대해 학습된 체크포인트를 통해 비교하였다.
-- 100개의 디노이징 스텝을 사용하여 PIDM과 DreamPose를 실행하였다.
-
-### 6.1.1 Quantitative Analysis
-
-:::{figure-md}
-
-
-정량적 성능 비교
-:::
-
-- 256 픽셀 해상도의 100개의 고유한 패션 동영상으로 구성된 UBC 패션 테스트 셋에 대해 모든 모델을 테스트 하였다.
-- 각 동영상에 대해 입력 프레임에서 최소 50프레임 이상 떨어져 있는 50개의 프레임을 추출하여 테스트하였다.
-- MRAA와 TPSMM은 모두 driving video에서 추출된 feautre에 의존하는 반면, DreamPose는 UV-포즈 시퀀스에만 의존한다는 점에 유의하라.
-- 그럼에도 불구하고 DreamPose 모델은 네 가지 정량적 지표 모두에서 두 가지 방법보다 정량적으로 우수한 성능을 보였다.
-
-### 6.2.2 Qualitative Analysis
-
-:::{figure-md}
-
-
-정성적 성능 비교
-:::
-
-
-- MRAA와 TPSMM은 새로운 포즈를 취할 때 인물의 identity, 옷감 주름, 미세한 패턴이 손실되는 반면 DreamPose는 디테일을 정확하게 유지한다.
-- 포즈를 크게 변경하는 동안 MRAA는 팔 다리가 분리 될 수 있다.
-- PIDM과의 비교
- :::{figure-md}
-
-
- PIDM과의 비교
- :::
-
- - DreamPose는 얼굴의 identity와 의상 패턴 모두 더 충실도 높은 결과를 생성한다.
- - PIDM은 사실적인 얼굴을 합성하지만, 원본 인물의 identity와 일치하지 않고, identity와 옷차림이 프레임마다 달랐다. → PIDM이 비디오 합성에서는 잘 동작하지 않는다.
-
-## 6.2. Ablation Studies
-
-- 아래 네 가지 변형에 대해 성능을 비교한다.
- 1. $\text{Ours}_{\text{CLIP}}$: 듀얼 CLIP-VAE 인코더 대신에 사전 학습된 CLIP 이미지 인코더를 사용 → CLIP-VAE 인코더 효과 테스트
- 2. $\text{Ours}_{\text{NO-VAE-FT}}$: VAE 디코더를 파인튜닝하지 않은 버전 → 디코더 파인튜닝 효과 테스트
- 3. $\text{Ours}_{\text{1-pose}}$: 5개의 연결된 연속 포즈 대신 하나의 대상 포즈만 노이즈에 연결한 버전 → 연결된 5개의 프레임 효과 테스트
- 4. $\text{Ours}_{\text{Full}}$: 논문에서 제안한 모든 방법이 다 적용된 DreamPose
-
-**Quantitative Comparison**
-
-:::{figure-md}
-
-
-Ablation Studies - 정량적 비교
-:::
-
-**Qualitative Comparison**
-
-:::{figure-md}
-
-
-Ablation Studies - 정성적 비교
-:::
-
-- 기존의 스테이블 디퓨전에서는 인물의 identity에 대한 디테일을 보존할 수 없었다.
-- 텍스트 인코더를 CLIP 인코더로 교체한 결과 대부분의 이미지 디테일은 캡처할 수 있지만, 여전히 외형에 대한 정보 손실이 발생한다.
-- VAE 디코더를 파인튜닝하면 디테일의 선명도가 크게 향상되고 입력 포즈에 대한 오버피팅이 발생하지 않는다.
-- 한 가지 포즈만 입력하면 팔과 머리카락 주변에서의 피사체의 형태가 눈에 띄게 깜박이는 현상이 나타났다.
-
-## 6.3. Multiple Input Images
-
-- DreamPose는 피사체에 대한 입력 이미지를 여러 장 넣어서 파인튜닝할 수 있다.
-- 피사체의 입력 이미지를 추가하면 품질과 시점의 일관성이 향상된다.
-
- :::{figure-md}
-
-
- Multiple Input Images 결과
- :::
-
-
-
-# **7. Limitations & Future Work**
-
-- 실패 사례
-
- :::{figure-md}
-
-
- 실패 사례 예시
- :::
-
- - 드문 경우지만 팔다리가 옷 속으로 사라지고(왼쪽), hallucinate feature가 보이고(중간)와 대상 포즈가 뒤를 향할 때 방향이 잘못 정렬 되는 경우(오른쪽)가 관찰된다.
-- 또한 단순한 패턴의 옷에서 사실적인 결과를 생성하지만 일부 결과는 크고 복잡한 패턴에서 약간의 깜박임 동작을 보인다.
-- 다른 디퓨전 모델과 마찬가지로 파인튜닝 및 추론 시간이 GAN 또는 VAE에 비해 느리다.
- - 특정 피사체에 대한 모델 파인튜닝은 프레임당 18초의 렌더링 시간 외의 UNet의 경우 약 10분, VAE 디코더의 경우 약 20분이 소요된다.
-
-# 8. Conclusion
-
-- 스틸 패션 이미지 애니메이션을 위한 새로운 디퓨전 기반 방법인 DreamPose를 제안하였다.
+```{admonition} Information
+- **Title:** DreamPose: Fashion Image-to-Video Synthesis via Stable Diffusion
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2304.06025](https://arxiv.org/abs/2304.06025)
+ - Project: [https://grail.cs.washington.edu/projects/dreampose/](https://grail.cs.washington.edu/projects/dreampose/)
+
+- **Author:** [Jeonghwa Yoo](https://www.linkedin.com/in/jeonghwa-yoo-8403a716b)
+
+- **Last updated on May. 08, 2023**
+```
+
+
+# DreamPose: Fashion Image-to-Video Synthesis via Stable Diffusion
+
+:::{figure-md}
+
+
+DreamPose 입출력
+:::
+
+
+
+
+# **1. Introduction**
+
+- DreamPose가 제안된 배경
+ - 패션 사진은 온라인에 널리 퍼져 있지만, 전달할 수 있는 정보가 제한적이며 입었을 때 옷의 늘어진 모양이나 흐름 등 옷의 중요한 뉘앙스를 포착하지 못한다.
+ - 패션 동영상은 이러한 모든 디테일을 보여주기에 소비자의 의사 결정에 유용한 정보를 제공하지만, 동영상이 있는 상품은 매우 드물다.
+- DreamPose
+ - 본 논문에서는 포즈 시퀀스를 따라 패션 사진을 사실적인 애니메이션 비디오로 변환하는 방법인 DreamPose를 소개한다.
+ - Stable diffusion을 기반으로 한다.
+ - 하나 이상의 사람 이미지와 포즈 시퀀스가 주어지면, 포즈 시퀀스를 따라 고품질 비디오를 생성한다.
+- 기존 비디오 생성 모델들의 문제점
+ - 이미지 생성 디퓨전 모델은 좋은 결과를 보여주었지만, 비디오 생성 디퓨전 모델은 동일한 품질의 결과를 얻지 못했으며, 텍스처 움직임이나 카툰과 같은 모양으로 제한된 경우가 많다.
+ - 시간적 일관성이 떨어진다.
+ - 모션 jitter가 발생한다.
+ - 사실성(realism)이 부족하다.
+ - 대상 비디오의 움직임이나 세부적인 물체 모양을 제어할 수 없다.
+ - 기존 모델이 주로 텍스트에 기반으로 하기 때문에
+- DreamPose의 접근법
+ - 이미지 및 포즈 시퀀스를 조건으로 받는 방식을 사용하여 fidelity와 프레임 간 일관성을 높일 수 있다.
+ - 이미지 분포를 효과적으로 모델링하는 기존 사전 학습된 이미지 디퓨전 모델을 파인 튜닝하였다. → 이미지 애니메이션 태스크를 컨디셔닝 신호와 일치하는 이미지의 부분 공간을 찾는 것으로 단순화 할 수 있다.
+ - 해당 태스크를 위해 스테이블 디퓨전의 인코더와 컨디셔닝 메커니즘을 재설계하였다.
+ - 2-스테이지 파인튜닝 방식을 사용한다
+ - UNet과 VAE를 하나 혹은 여러 입력 이미지에 대해서 파인튜닝
+- Contribution
+ 1. DreamPose: 패션 이미지 애니메이션을 위해 이미지 및 포즈를 조건으로 하는 디퓨전 방식
+ 2. 프레임 간 시간적 일관성을 크게 향상 시키는 간단하지만 효과적인 포즈 컨디셔닝 방식
+ 3. 컨디셔닝 이미지의 fidelity를 높여주는 split CLIP-VAE 인코더
+ 4. 이미지의 fidelity와 새로운 포즈에 대한 일반화 사이의 균형을 효과적으로 맞추는 파인튜닝 전략
+
+# 2. Related Work
+
+## 2.1. Diffusion models
+
+- 디퓨전 모델은 최근 text-to-image, 비디오 생성, 3D 생성 태스크에서 인상적인 결과를 보여주고 있다.
+- 하지만 이러한 모델을 처음부터 훈련하는 것은 비용이 많이 들고 많은 양의 데이터가 필요하다.
+- 스테이블 디퓨전과 같은 latent diffusion 모델은 디퓨전과 디노이징 과정을 latent space에서 수행하기 때문에 계산 요구 사항과 훈련 시간을 대폭 줄일 수 있다.
+- 스테이블 디퓨전과 그 사전 훈련된 체크포인트는 출시 이후 다양한 이미지 생성 작업에 사용되었다.
+- 본 논문에서도 사전 훈련된 스테이블 디퓨전 모델을 활용하고, subject에 특화된 파인튜닝을 한다.
+
+## 2.2. Still Image Animation
+
+- 하나 이상의 입력 이미지로부터 동영상을 생성하는 태스크
+- 기존에 디퓨전 기반이 아닌 접근 방식들은 배경 예측, 모션 표현, occlusion map이나 dense map 등 여러 개의 개별 네트워크로 구성되는 경우가 많았다.
+ - 각 단계마다 별도의 훈련이 필요하고 ground-truth 모션이나 depth등의 ground-truth 데이터를 사용할 수 없거나 불완전할 가능성이 있다.
+ - 모션이 크고 복잡할 경우에 groud-truth에 대한 예측은 도출하기 더 어렵고 오류가 발생하기 쉽다.
+- 최근 여러 방법들은 엔드 투 엔드 싱글 네트워크 접근 방식을 탐구하고 있다. (예: optical flow and warping, cross-attention 모듈, NeRF 표현을 사용한 애니메이션이 가능한 3D 휴먼 생성 등)
+
+## 2.3. Fashion Image Synthesis
+
+- 기존 pose-guided 패션 이미지 합성 방법
+ - 일반적으로 GAN을 기반으로 했고, optical flow에 의존해 이미지 특징을 포즈에 맞추는 방법을 사용했다. → 큰 포즈 변화, 가려진 영역 합성, 의상 스타일 보존에 어려움을 겪는 경우가 많다.
+ - 최근엔 어텐션 기반 메커니즘을 사용하여, 셀프/크로스 어텐션을 사용하여 이미지 특징을 목표 프레임에 맞추려고 하였다.
+ - 디퓨전 기반
+ - DiffFashion: 레퍼런스 이미지의 스타일을 트랜스퍼하여 의류 아이템을 편집하는 것을 목표로 한다.
+ - PIDM: 포즈를 조건으로 넣어 사람 이미지를 생성한다 → 시간적 일관성을 위한 최적화는 하지 않는다.
+
+## 2.4. Diffusion Models for Video Synthesis
+
+- 많은 text-to-video 디퓨전 모델은 text-to-image 디퓨전 모델을 활용하여 적용한다.
+- 결과를 기대할만 하지만, 여전히 텍스트-이미지 모델과 같은 성능은 나오지 않고 있다.
+- 프레임 간의 시간적 일관성을 유지하는 것과 사실적인 모션을 생성하는 것이 어렵다.
+- 어떤 디퓨전 기반 방법들은 스크래치부터 학습하기 때문에 값비싼 컴퓨팅 리소스, 방대학 학습 데이터셋, 오랜 학습 시간이 필요하다.
+- Turn-A-Video는 텍스트와 이미지가 조건으로 들어왔을 때 비디오 생성을 위해 사전 학습된 텍스트-이미지 디퓨전 모델을 파인튜닝한다. → 이전 방법들과 마찬가지로 텍스처 깜빡거림(textural flickering), 구조적인 불일치가 나타난다.
+- 본 논문에서는 위의 문제를 해결하여 사람과 섬유의 움직임의 싱크를 맞추는 것을 목표로 한다.
+
+## 2.5. Conditioning Mechanisms for Diffusion Models
+
+- 텍스트를 조건으로 하는 이미지 생성 디퓨전 모델을 널리 사용되어 왔다.
+- 텍스트 컨디셔닝은 높은 수준의 디테일을 조절하는 데는 효과적이지만, 사람과 의상의 정확한 identity나 포즈에 대한 풍부하고 상세한 정보를 제공하는 것은 어렵다.
+- 여러 연구에서 사전 학습된 text-to-image 스테이블 디퓨전 모델을 위한 이미지 컨디셔닝 문제를 다루고 있다.
+ - 이러한 모델에는 종종 어떤 종류의 텍스트 임베딩이 포함된다. (ex: DreamBooth: 피사체별 파인 튜닝을 수행하기 위해 고유한 텍스트 토큰을 학습)
+ - 기존 이미지와 동영상의 모양을 편집하기 위해 텍스트를 통합하기도 한다.
+ - PIDM은 별도의 텍스처 인코더를 사용하여 이미지 텍스처를 인코딩하고 입력된 노이즈 이미지와 대상 포즈를 연결한다.
+- DreamPose는 영상 속 피사체의 외형뿐만 아니라 구조와 움직임까지 제어할 수 있다.
+- PIDM과 마찬가지로 이미지 임베딩을 UNet의 크로스 어텐션 레이어에 직접 통합하지만, 이미지 임베딩에 대해 사전 학습된 두 개의 인코더(CLIP, VAE)를 혼합하여 사용한다. → 입력 노이즈에 연결된(concatenated) 멀티 포즈 입력 표현(multi-pose input representation)을 이용해 부드럽고 시간적으로 일관된 모션을 구현할 수 있다.
+
+# 3. Background
+
+- 디퓨전 모델
+ - 디퓨전 모델은 품질, 다양성, 학습 안정성 측면에서 합성 태스크에서 GAN을 능가하는 최신 생성 모델이다.
+ - 표준 이미지 디퓨전 모델은 정규 분포된 랜덤 노이즈에서 이미지를 반복적으로 복원하는 방법을 학습한다.
+- Latent diffusion model (ex. Stable Diffusion)
+ :::{figure-md}
+
+
+ Latent Diffusion Model
+ :::
+
+
+- 오토인코더의 인코딩된 latent space에서 작동하므로 최소한의 품질을 희생하면서 계산 복잡성을 절약한다.
+- 스테이블 디퓨전 모델은 VAE와 디노이징 UNet의 두 가지 모델로 구성된다.
+ - VAE 오토인코더
+ - 인코더 $\mathcal{E}$: 프레임 $x$를 컴팩트한 latent 표현 $z$로 추출 ($z=\mathcal{E}$$(x)$)
+ - 디코더 $\mathcal{D}$: latent 표현에서 이미지를 복원 ($x’=\mathcal{D}(z)$)
+ - 학습하는 동안, latent feature $z$는 결정론적 가우시안 프로세스에 의해 타임 스탬프 $T$로 디퓨즈되어 노이지 feature인 $\tilde{z}_T$를 만듦
+ - 원본 이미지를 복구하기 위해 각 타임스탬프에 해당하는 latent feature의 노이즈를 반복적으로 예측하도록 시간으로 컨디셔닝된 UNet이 학습 된다.
+ - UNet의 목적 함수
+
+ $$
+ \begin{align}{\cal L}_{D M}=\mathbb{R}_{z,\epsilon\in{\mathcal{N}}(0,1)}[||\epsilon-\epsilon_{\theta}({\tilde{z}}_{t},t,c)]|_{2}^{2}]\end{align}
+ $$
+
+ - c: 컨디셔닝 정보의 임베딩 (텍스트, 이미지, 세그멘테이션 마스크등, 스테이블 디퓨전에서는 CLIP 텍스트 인코더로부터 얻어짐
+ - 예측된 latent $z’$은 예측된 이미지 $x’ = \mathcal{D}(z')$를 복구하도록 디코딩 된다.
+- Classifier-free guidance
+ - Implicit classifier를 통해 예측된 노이즈 분포를 조건으로 주어진 분포로 밀어붙이는 샘플링 메커니즘이다.
+ - 이는 랜덤한 확률로 실제 조건으로 주어진 입력을 널 입력(∅)으로 대체하는 훈련 방식인 드롭아웃을 통해 달성된다.
+ - 인퍼런스하는 동안 조건으로 주어진 예측은 스칼라 가중치 s를 사용하여 unconditional한 예측을 조건부로 가이드하는 데 사용된다.
+
+ $$
+ \begin{align}\epsilon_{\theta}=\epsilon_{\theta}(\tilde{z}_{t},t,\emptyset)+s\cdot(\epsilon_{\theta}(\tilde{z}_{t},t,\mathrm{c})-\epsilon_{\theta}(\tilde{z}_{t},t,\emptyset))\end{align}
+ $$
+
+ - $\epsilon_{\theta}(\tilde{z}_{t},t,\emptyset)$: 조건이 없는 경우에 노이즈 벡터
+ - $\epsilon_{\theta}(\tilde{z}_{t},t,c)$: 조건이 있는 경우에 노이즈 벡터
+
+ → 조건을 Null로 줬을 때의 모델의 예측값과 조건을 줬을 때의 모델이 예측값을 보간한다.
+
+
+# **4. Method**
+
+- 본 논문에서는 단일 이미지와 포즈 시퀀스로부터 사실적인 애니메이션 동영상을 만드는 것을 목표로 한다.
+- 이를 위해 패션 동영상 컬렉션에서 사전 학습된 스테이블 디퓨전을 패션 동영상 컬렉션에 맞게 파인튜닝한다.
+- 추가 컨디셔닝 신호(이미지 및 포즈)를 받고 동영상으로 볼 수 있는 시간적으로 일관된 콘텐츠를 출력하기 위해 스테이블 디퓨전의 구조를 조정하는 작업이 포함된다.
+
+## **4.1. Overview**
+
+- 입출력
+ - 입력: 입력 이미지 $x_0$, 포즈 $\{p_1, …, p_n\}$
+ - 출력: 비디오 $\{x'_1, …, x’_N\}$ ($x’_i$: 입력 포즈 $p_i$에 해당하는 i 번째 예측된 프레임)
+- 입력 이미지와 포즈 시퀀스를 조건으로 하는 사전 훈련된 latent diffusion model을 사용한다.
+- 추론 시에는 일반적인 디퓨전 샘플링 절차를 통해 각 프레임을 독립적으로 생성한다.
+ - 균일하게 분포된 가우시안 노이즈로 시작하여 두 조건 신호로 디퓨전 모델을 반복적으로 쿼리하여 noisy latent의 노이즈를 제거한다.
+- 마지막으로 예측된 디노이즈된 latent $z’_i$를 디코딩하여 예측된 비디오 프레임 $x’_i=\mathcal{D}(z’_i)$를 만든다.
+
+## 4.2. Architecture
+
+- 이미지 애니메이션을 위해 원래의 text-to-image 스테이블 디퓨전 모델을 수정하고 파인튜닝한다. (조건: 이미지, 포즈)
+- 이미지 애니메이션의 목표
+ 1. 제공된 입력 이미지에 대한 충실도
+ 2. 시각적 품질
+ 3. 생성된 프레임의 전반적인 시간적인 안정성
+- 이러한 목표를 달성하기 위해 아키텍처를 아래와 같이 구성하였다.
+
+ :::{figure-md}
+
+
+ DreamPose Architecture
+ :::
+
+
+### **4.2.1 Split CLIP-VAE Encoder**
+
+:::{figure-md}
+
+
+DreamPose Encoder
+:::
+
+
+- 해당 모듈-컨디셔닝 어댑터(custom conditioning adapter)의 필요성
+ - 이미지를 조건으로 넣기 위한 이전 연구 (ex: [InstructPix2Pix](https://arxiv.org/abs/2211.09800))는 주로 조건으로 들어오는 이미지 신호를 디노이징 U-Net에 대한 입력 노이즈와 concat한다.
+ - 이는 원하는 출력 이미지와 공간적으로(spatially) 정렬된 조건 신호에 대한 조건화에 효과적이지만, DreamPose의 경우에는 네트워크가 입력 이미지와 공간적으로 정렬되지 않은 이미지를 생성하는 것을 목표로 한다.
+ - 따라서 해당 태스크에는 다른 방법이 필요하고, 이를 위해 맞춤형 컨디셔닝 어댑터를 구현하였다.
+ - 맞춤형 컨디셔닝 어댑터는 CLIP 텍스트 인코더를 사용하여 이미지 조건화를 대체하는 맞춤형 컨디셔닝 어댑터(custom conditioning adapter)를 구현하였다.
+ - 이 어댑터는 사전 학습된 CLIP 이미지 및 VAE 인코더에서 인코딩된 정보를 결합한다.
+- 디퓨전 기반 파인튜닝
+ - 목표: 입력 신호를 원래 네트워크 학습에 사용된 신호와 최대한 유사하게 만들어 학습 기울기를 가능한 한 의미 있게 만드는 것 → 학습된 prior 값의 손실을 방지하는 데 도움이 된다.
+ - 이러한 이유로 대부분의 디퓨전 기반 파인튜닝 체계는 모든 원래 컨디셔닝 신호를 유지하고 새로운 컨디셔닝 신호와 상호 작용하는 네트워크 가중치를 0으로 초기화한다.
+- VAE Encoder의 필요성
+ - 스테이블 디퓨전이 텍스트 프롬프트의 CLIP 임베딩으로 컨디셔닝 되고 CLIP이 텍스트와 이미지를 공유 임베딩 스페이스(shared embedding space)로 인코딩한다는 점을 감안할 때 CLIP 컨디셔닝을 조건으로 주어진 이미지에서 파생된 임베딩으로 간단히 대체하는 것이 자연스러워 보일 수 있다.
+ - 하지만 실제로는 CLIP 이미지 임베딩만으로는 조건으로 주어진 이미지에서 세밀한 디테일을 캡처하기에 충분하지 않다.
+ - 따라서 스테이블 디퓨전의 VAE에서 인코딩된 latent 임베딩을 추가로 입력한다.
+ - 이를 통해 디퓨전의 출력 도메인과 일치하는 추가적인 장점을 가지게 된다.
+- 어댑터 $\mathcal{A}$
+ - 스테이블 디퓨전 아키텍처는 기본적으로 컨디셔닝 신호로 VAE latent를 지원하지 않기 때문에 어댑터 모듈 $\mathcal{A}$를 추가한다.
+ - 해당 어댑터는 CLIP과 VAE 임베딩을 결합하여 네트워크의 일반적인 cross-attention 연산에 사용되는 하나의 임베딩을 생성한다.
+ - 이 어댑터는 두 신호를 함께 혼합하고 디노이징 U-Net의 cross-attention 모듈에서 예상하는 일반적인 모양으로 출력을 변환한다.
+- 디퓨전 기반 파인튜닝에서 언급했 듯이 학습에서 네트워크의 충격을 완화하기 위해 처음에는 VAE 임베딩에 해당하는 가중치는 0으로 설정되어 네트워크가 CLIP 임베딩으로만 학습을 시작한다.
+- 최종 이미지 컨디셔닝 신호 $c_I$를 다음과 같이 정의한다.
+
+$$
+\begin{align}c_{I}={\mathcal{A}}(c_{\mathrm{CLIP}},c_{\mathrm{VAE}})\end{align}
+$$
+
+### 4.2.2 Modified UNet
+
+:::{figure-md}
+
+
+Modified UNet
+:::
+
+
+- 이미지 컨디셔닝과 달리 포즈 컨디셔닝은 이미지와 정렬 된다.
+- Noisy latent $\tilde{z}_i$를 타겟 포즈 표현 $c_p$와 concat한다.
+- 실제 비디오에서 추정된 포즈의 노이즈를 고려하고 생성된 프레임에서의 시간적 일관성을 극대화하기 위해, $c_p$를 다섯 개의 연속된 포즈 프레임으로 구성하였다. 즉, $c_p = \{p_{i-2}, p_{i-1}, pi, p_{i+1}, p_{i+2}\}$ → 개별 포즈로 네트워크를 학습하는 것보다 연속 포즈로 학습하면 전반적인 움직임의 부드러움과 시간적 일관성이 증가한다.
+- 구조적으로 0으로 초기화된 10개의 추가 입력 채널을 받아들이도록 UNet 입력 레이어를 수정하고 noisy latent에 해당하는 원래 채널은 사전 학습된 가중치에서 수정되지 않는다.
+
+### 4.2.3 **Finetuning**
+
+- 스테이블 디퓨전 모델의 대부분의 레이어 weight는 미리 학습된 text-to-image 스테이블 디퓨전 체크포인트로 초기화된다.
+- 이 때, CLIP 이미지 인코더는 별도의 미리 학습된 체크포인트에서 로드된다.
+- 새로운 레이어는 초기에 새로운 컨디셔닝 신호가 네트워크 출력에 기여하지 않도록 초기화 된다.
+- 초기화 후 DreamPose는 아래의 두 단계로 파인튜닝된다.
+
+ :::{figure-md}
+
+
+ Two-phase Finetuning
+ :::
+
+ 1. Full Dataset Finetuning
+ - 전체 훈련 데이터셋에 대한 UNet과 어댑터 모듈을 파인 튜닝하여 입력 이미지 및 포즈와 일치하는 프레임을 합성한다.
+ 2. Subset-Specific Finetuning
+ - 하나 이상의 피사체별 입력 이미지에 대해 UNet과 어댑터 모듈을 파인튜닝한 다음 VAE 디코더를 통해 기본 모델을 개선하여 추론에 사용되는 피사체별 맞춤형 모델을 생성한다.
+- 다른 이미지 조건부 디퓨전 방법과 마찬가지로, 입력 이미지의 사람과 의상의 identity를 보존하고 프레임 간에 일관성을 유지하려면 샘플별 파인튜닝이 필수적이었다.
+- 그러나 단순히 단일 프레임과 포즈 쌍에 대해 훈련하면 텍스처 고착(texture-sticking)과 같은 아티팩트가 출력 비디오에 발생한다.
+- 이를 방지하기 위해 각 단계에서 랜덤 크롭을 추가하는 등의 방법으로 이미지-포즈쌍을 증강한다.
+- VAE 디코더를 파인튜닝하는 것이 더 선명하고 사실적인 디테일을 복구하는 데 중요하다.
+
+ :::{figure-md}
+
+
+ VAE 파인튜닝의 중요성
+ :::
+
+
+## 4.4. Pose and Image Classifier-Free Guidance
+
+- 추론시 단일 입력 이미지와 피사체별 모델(subject-specific model)을 사용하는 일련의 포즈에서 프레임별로 동영상을 생성한다.
+- 이중(dual) classifier-free guidance를 사용하여 추론 시에 이미지 컨디셔닝 $c_I$와 포즈 컨디셔닝 $c_p$의 강도를 조절한다.
+- 이중 classfier-free guidance는 식 (3)에서 다음과 같이 수정된다.
+
+ $$
+ \begin{align*}
+ {\epsilon_{\theta}(z_{t},c_{I},c_{p})} & {= \epsilon_{\theta}(z_{t},\emptyset,\emptyset)} \\
+ {} & {+\, s_{I}(\epsilon_{\theta}(z_{t},c_{I},\mathcal{\emptyset})-\epsilon_{\theta}(z_{t},\emptyset,\emptyset))} \\
+ {} & {+\, s_{p}(\epsilon_{\theta}(z_{t},\mathcal{c}_{I},\mathcal{c}_p)-\epsilon_{\theta}(z_{t},\mathcal{c}_{I},\emptyset))}
+ \end{align*}
+ $$
+
+ - $s_I$, $s_p$: 가이던스 웨이트
+ - $c_I$: 이미지 컨디셔닝
+ - $c_p$: 포즈 컨디셔닝
+
+ → 이미지 컨디셔닝이 있는 경우와 없는 경우의 노이즈 벡터 차이를 계산하고, 포즈 컨디셔닝이 있는 경우와 없는 경우의 노이즈 벡터 차이를 계산해서 이를 가이던스 웨이트를 통해 강도를 조정해서 반영
+
+- $s_I$가 크면 입력 이미지에 높은 외관 충실도를 보장하고, $s_p$가 크면 입력 포즈에 대한 정렬을 보장한다.
+- 이중 classifier-free guidance는 포즈 및 이미지 가이드를 강화하는 것 에외도, 피사체별 모델 파인튜닝 후 하나의 입력 포즈에 대한 오버피팅을 방지한다.
+
+# 5. Experiments
+
+## 5.1. Implementation Details
+
+- 입력 이미지 resolution: 512x512
+- GPU: NVIDIA A100 2개
+- 첫 번째 훈련 단계
+ - 전체 훈련 데이터셋 사용
+ - 5 epoch
+ - 5e-6 learning rate
+ - 배치사이즈: 16 (4 gradient accumulation step)
+ - Dropout: 포즈 입력 5%, 이미지 입력 5%
+- 두 번째 훈련 단계
+ - 특정 샘플 프레임 사용
+ - 500 step
+ - 1e-5 learning rate
+ - Dropout 적용 X
+- VAE 디코더 파인튜닝
+ - 1500 step
+ - 5e-5 learning rate
+- 추론 시에는 PNDM 샘플러 사용 (100step)
+
+## 5.2. Dataset
+
+- UBC Fashion 데이터셋 사용
+- Split
+ - Train: 339개의 영상
+ - Test: 100개의 영상
+- 각 비디오의 프레임 속도는 초당 30프레임이며 길이는 약 12초
+- 학습 중에는 학습 비디오로부터 랜덤으로 프레임 쌍을 샘플링 하였다.
+- DensePose를 이용해서 포즈를 계산하였다.
+
+# 6. Results
+
+## 6.1. Comparisons
+
+- 공개적으로 사용 가능한 두 가지 최신 비디오 합성 방법인 MRAA(Motion Representations for Articulated Animation)과 Thin-Plate Spline Mothion Model(TPSMM)과 수치적 및 정성적인 비교를 하였다.
+- 제공된 훈련 스크립트와 권장 에폭 수를 사용하여 두 가지 모델을 UBC 패션 데이터셋을 이용해서 스크래치부터 학습하였다.
+- 평가를 위해서는 AVD 모드에서 제공된 테스트 스크립트를 사용하였다.
+- PIDM과도 정성적인 비교를 하였다. PIDM의 경우 훈련 스크립트를 사용할 수 없어서 DeepFashion 데이터셋에 대해 학습된 체크포인트를 통해 비교하였다.
+- 100개의 디노이징 스텝을 사용하여 PIDM과 DreamPose를 실행하였다.
+
+### 6.1.1 Quantitative Analysis
+
+:::{figure-md}
+
+
+정량적 성능 비교
+:::
+
+- 256 픽셀 해상도의 100개의 고유한 패션 동영상으로 구성된 UBC 패션 테스트 셋에 대해 모든 모델을 테스트 하였다.
+- 각 동영상에 대해 입력 프레임에서 최소 50프레임 이상 떨어져 있는 50개의 프레임을 추출하여 테스트하였다.
+- MRAA와 TPSMM은 모두 driving video에서 추출된 feautre에 의존하는 반면, DreamPose는 UV-포즈 시퀀스에만 의존한다는 점에 유의하라.
+- 그럼에도 불구하고 DreamPose 모델은 네 가지 정량적 지표 모두에서 두 가지 방법보다 정량적으로 우수한 성능을 보였다.
+
+### 6.2.2 Qualitative Analysis
+
+:::{figure-md}
+
+
+정성적 성능 비교
+:::
+
+
+- MRAA와 TPSMM은 새로운 포즈를 취할 때 인물의 identity, 옷감 주름, 미세한 패턴이 손실되는 반면 DreamPose는 디테일을 정확하게 유지한다.
+- 포즈를 크게 변경하는 동안 MRAA는 팔 다리가 분리 될 수 있다.
+- PIDM과의 비교
+ :::{figure-md}
+
+
+ PIDM과의 비교
+ :::
+
+ - DreamPose는 얼굴의 identity와 의상 패턴 모두 더 충실도 높은 결과를 생성한다.
+ - PIDM은 사실적인 얼굴을 합성하지만, 원본 인물의 identity와 일치하지 않고, identity와 옷차림이 프레임마다 달랐다. → PIDM이 비디오 합성에서는 잘 동작하지 않는다.
+
+## 6.2. Ablation Studies
+
+- 아래 네 가지 변형에 대해 성능을 비교한다.
+ 1. $\text{Ours}_{\text{CLIP}}$: 듀얼 CLIP-VAE 인코더 대신에 사전 학습된 CLIP 이미지 인코더를 사용 → CLIP-VAE 인코더 효과 테스트
+ 2. $\text{Ours}_{\text{NO-VAE-FT}}$: VAE 디코더를 파인튜닝하지 않은 버전 → 디코더 파인튜닝 효과 테스트
+ 3. $\text{Ours}_{\text{1-pose}}$: 5개의 연결된 연속 포즈 대신 하나의 대상 포즈만 노이즈에 연결한 버전 → 연결된 5개의 프레임 효과 테스트
+ 4. $\text{Ours}_{\text{Full}}$: 논문에서 제안한 모든 방법이 다 적용된 DreamPose
+
+**Quantitative Comparison**
+
+:::{figure-md}
+
+
+Ablation Studies - 정량적 비교
+:::
+
+**Qualitative Comparison**
+
+:::{figure-md}
+
+
+Ablation Studies - 정성적 비교
+:::
+
+- 기존의 스테이블 디퓨전에서는 인물의 identity에 대한 디테일을 보존할 수 없었다.
+- 텍스트 인코더를 CLIP 인코더로 교체한 결과 대부분의 이미지 디테일은 캡처할 수 있지만, 여전히 외형에 대한 정보 손실이 발생한다.
+- VAE 디코더를 파인튜닝하면 디테일의 선명도가 크게 향상되고 입력 포즈에 대한 오버피팅이 발생하지 않는다.
+- 한 가지 포즈만 입력하면 팔과 머리카락 주변에서의 피사체의 형태가 눈에 띄게 깜박이는 현상이 나타났다.
+
+## 6.3. Multiple Input Images
+
+- DreamPose는 피사체에 대한 입력 이미지를 여러 장 넣어서 파인튜닝할 수 있다.
+- 피사체의 입력 이미지를 추가하면 품질과 시점의 일관성이 향상된다.
+
+ :::{figure-md}
+
+
+ Multiple Input Images 결과
+ :::
+
+
+
+# **7. Limitations & Future Work**
+
+- 실패 사례
+
+ :::{figure-md}
+
+
+ 실패 사례 예시
+ :::
+
+ - 드문 경우지만 팔다리가 옷 속으로 사라지고(왼쪽), hallucinate feature가 보이고(중간)와 대상 포즈가 뒤를 향할 때 방향이 잘못 정렬 되는 경우(오른쪽)가 관찰된다.
+- 또한 단순한 패턴의 옷에서 사실적인 결과를 생성하지만 일부 결과는 크고 복잡한 패턴에서 약간의 깜박임 동작을 보인다.
+- 다른 디퓨전 모델과 마찬가지로 파인튜닝 및 추론 시간이 GAN 또는 VAE에 비해 느리다.
+ - 특정 피사체에 대한 모델 파인튜닝은 프레임당 18초의 렌더링 시간 외의 UNet의 경우 약 10분, VAE 디코더의 경우 약 20분이 소요된다.
+
+# 8. Conclusion
+
+- 스틸 패션 이미지 애니메이션을 위한 새로운 디퓨전 기반 방법인 DreamPose를 제안하였다.
- 한 장의 이미지와 포즈 시퀀스가 주어졌을 때, 섬유, 패턴, 사람의 identity를 애니메이션 하는 사실적인 사실적인 패션 동영상을 생성하는 방법을 증명하였다.
\ No newline at end of file
diff --git a/_sources/docs/review/GIGAGAN.md b/_sources/docs/review/GIGAGAN.md
index db1ce62b..cb2c74e0 100755
--- a/_sources/docs/review/GIGAGAN.md
+++ b/_sources/docs/review/GIGAGAN.md
@@ -1,294 +1,294 @@
-```{admonition} Information
-- **Title:** Scaling up GANs for Text-to-Image Synthesis (CVPR 2023)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2303.05511](https://arxiv.org/abs/2303.05511)
- - Code: [NON Official:](https://github.com/lucidrains/gigagan-pytorch)
-
-- **Author:** Seunghwan Ji
-
-- **Last updated on April. 14, 2024**
-```
-
-# Scaling up GANs for Text-to-Image Synthesis
-
-## Abstract
-
-- 최근 이미지 생성 task의 모델 성능이 꾸준히 발전중
-- 기존에는 stylegan과 같은 GAN 모델이 주를 이뤘지만 최근 DALLE, Stable Diffusion등 **Diffusion 기반**의 모델 베이스로 추세가 급격하게 바뀌어버림
-- *“GAN 모델로 Diffusion의 성능을 잡는것은 정말 무리일까?”*
-- GigaGAN은
- - **gan 기반의 모델**로 1. **속도점 이점**과 **2. 다양한 extra editing**이 가능하다. (contribution)
- 1. 속도적 이점
- 1. 512px의 이미지를 0.13초만에 생성할 수 있다.
- 2. 16-megapixel(1600만 픽셀, 4k)의 이미지를 3.66초만에 생성할 수 있다.
- 2. 다양한 활용성
- 1. latent space 상 에서의 image editing이 가능하다. (latent interpolation, style mixing …)
-
-## Introduction
-
-- 최근 Diffusion 기반의 모델들이 이미지 생성 분야에서 좋은 성능을 보여주고 있다.
-- Diffusion은
- - 기본적으로 학습과 생성 시 iteration이 들어가는데 iteration은 **학습의 안정성을 키워주는 장점**이 있지만, **computation cost가 매우 증가**한다는 단점이 있다.
-- 반면에 GAN은
- - 이미지 생성 시 single forward pass만 필요하므로 **cost가 크지 않다는 장점**이 있지만 single 혹은 multiple object의 생성에는 성능이 뛰어나지만 **class가 명확히 정의되지않은 이미지 즉, open world image의 생성에는 어려움**이 있다.
-- ***“GAN을 더 develop한다면 Diffusion 모델을 넘어설 수 있을까?”***
-- gigaGAN은?
- 1. 속도적 장점
- - 0.13 s/img (512 size), 3.66s / img (4k)
- 2. latent space상에서의 editing 가능(**style mixing, interpolation, prompt mixing** like stylegan2)
-
-## Methods
-
-:::{figure-md}
-
-
-Overall Architecture
-:::
-
-**Base Architecture**
-
-- Base Model은 stylegan2로 선정
-- $G = M\times \tilde{G}$
-- $M$(mapping network) : gaussian distribution에서의 noise를 좀더 disentangle된 w space로 mapping 시키는 network
- - gigagan에서는 mapping network의 input으로 z와 함께 text condition(c)도 함께 사용
- - output : $w$ (vector)
-- $\tilde{G}$ : 피라미드 구조의 convolution block들로 random constant 값으로부터 output image $X$를 생성하는 generator.
- - 이때 $w$ vector는 각 layer마다 입력으로 들어가서 feature map의 분포를 scaling함으로써 style을 반영(modulation, demodulation in stylegan2)
-
-**Sample-adaptive kernel selection**
-
-:::{figure-md}
-
-
-Sample Adaptive Kernel Selection
-:::
-
-- 도입 배경
- - 단순히 convolution layer의 kernel size만 scaling up을 하면 학습이 안되는 현상
- - GAN 기반 모델이 (1)**text-condition**의 (2)**오픈 이미지** 생성에 한계를 보이는 이유는 convolution network의 구조 때문이다.
- - convolution 연산은 구조상 같은 레이어상에 있는 하나의 filter가 **text condition 주입부터 이미지의 생성까지 모든 부분에 참여**하는데 이 부분이 모델의 표현력을 떨어트릴 수 있다.
-- kernel selection method 적용
-- 레이어마다 $\{k_{i}\in R^{C_{in}\times C_{out}\times K\times K}\}$차원의 N개의 kernel set을 두고 style vector w의 affine layer를 거친 weight를 **각 kernel값에 weighted summation한 값을 최종 filter로 사용**
-
- :::{figure-md}
-
-
- Equation of kernel selection method affine layer
- :::
-
-- 이 때 kernel weight 계산에 softmax를 사용하는데 얘는 differentiable하므로 gradient update 가능
-- 또, 실제로 N개의 kernel을 모두 filter로 사용할 때보다 computation cost가 굉장히 절약된다는 장점
-
-**Interleaving attention with convolution**
-
-- 도입 배경
- - convolution filter는 receptive field 내부의 local feature 캡처에는 탁월하지만 field 외부의 부분은 학습할 수 없다.
-
- :::{figure-md}
-
-
- Receptive Field in Convolution Networks
- :::
-
- - 이러한 한계점을 극복하기위해 **attention layer**($g_{attn}$)를 추가
- - 단순히 stylegan2에 attention layer를 추가하면 학습에 이상이 생김
- - 원인은 attention layer에서 사용하는 **dot product가 Lipschitz함수가 아니기 때문**
- - lipschitz 함수란
- - lipschitz 함수란, **두 점 사이의 거리를 일정 비 이상으로 증가시키지 않는 함수**
-
- :::{figure-md}
-
-
- lipschitz Function
- :::
-
- - **Lipschitz 함수를 만족하지 못함으로써 discriminator의 학습이 unstable**하게 되고 때문에 학습에 실패한다.
- - Lipschitz 연속성을 만족시키기 위해 attention의 **dot product를 L2-distance로 대체**
-
-**Advanced setting**
-
-- 모델의 성능 향상을 위해 stylegan2과 같은 hyper parameter를 사용하고, L2 distance logit의 초기값을 unit normal distribution, scale down, …
-- $\tilde{G}$의 각 convolution block 마다 attentnion layer(self + cross)를 적용
- - self attention: 이미지 자신의 global feature 학습용
- - cross attention: 이미지에 text condition 주입용
-
-**Generator design**
-
-:::{figure-md}
-
-
-GIGAGAN Architecture
-:::
-
-- text embedding
- - pretrained model : **clip**(frozen; $R^{C\times 768}$, c is # of tokens)
- - 후에 text encoding에 추가적인 유연성을 위해 mapping network($T$)를 추가
- - text mapping network($T$)의 output은 input size와 동일하게 $R^{C\times 768}$
- - 이때 output $t$를 두 파트로 나눠 사용하는데
- - $R^{C-1\times 768}$ : word i index의 local feature를 catch
- - $R^{768}$ : word를 global하게 embedding하는 vector
- - $t_{global}$은 latent mapping network($M$)의 input으로 사용
- - $t_{local}$은 Generator의 input으로 각 block에 cross attention에 적용
-- Generator의 layer는 총 5개의 피라미드 구조
-- $\{x_{i}\}_{i=0}^{L-1} = \{x_{0},x_{1}, ..., x_{4}\}$ , $\{S_{i}\}_{i=0}^{L-1} = \{64, 32, 16, 8, 4\}$
-- $x_{0} = X$(output image)
-
-**Discriminator Design**
-
-:::{figure-md}
-
-
-Discriminator of GIGAGAN
-:::
-
-- 2 branch의 구조
- 1. text conditioning을 학습
- 2. image generating을 학습
-- $t_{D}$: text c로부터 pretrained text encoder(CLIP)를 통과시켜 추출한 embedding 값
-- stylegan에서는 low res의 이미지들은 loss에 반영하지 않았지만, gigagan에서는 **이미지의 low feature 표현의 개선**을 위해 모든 scale의 이미지를 모두 loss에 반영
-- 이때 feature extractor $\Phi$
- - $\Phi_{i\rightarrow j}:R^{X_{i}\times X_{i}\times3}\rightarrow R^{X_{j}^{D}\times X_{j}^{D}\times C_{j}}$
- - self attention + conv(with stride=2)
- - 각 level에서는 **이전 level에서의 feature map을 공유**해서 사용하고 **low resolution에서 계산이 일어나기때문에** computation resource가 크지 않다.
-- multi scale의 loss 계산을 위해 **ms-i/o loss**(multi scale input, output adversarial loss)를 사용
- - $V_{MS-I/O}(G, D) = \sum_{i=0}^{L-1}\sum_{j=i+1}^{L}V_{GAN}(G_{i}, D_{ij}) + V_{match}({G_{i}, D_{ij}})$
- - $V_{GAN}$: standard gan loss
- - $D_{ij}(x, c) = \psi _{j}(\phi_{i\rightarrow j}(x_{i}), t_{D}) + Conv_{1\times 1}(\phi_{i\rightarrow j}(x_{i}))$:
- - image의 feature map $\phi(x)$에 $t_{D}$를 심은 값과 원본 $\phi(x)$의 합
- - 앞부분은 text conditioning model을 학습, 뒷부분은 unconditional image generator를 학습
- - $V_{match}$(Matching aware loss)
- - 앞의 gan loss는 생성된 이미지가 얼마나 리얼한지, 그리고 condition $c$에 얼마나 가까운지에 대한 loss
- - 하지만 학습 초반에는 condition $c$에 상관없이 이미지의 퀄리티로만 분류를 해버림
- - 그래서 discriminator 학습 과정에서 conditioning을 강제로 따르도록 하기위해 $c$를 랜덤으로 샘플링($\hat{c}$)해 image의 fake pair로 지정
-
- :::{figure-md}
-
-
- Matching aware loss
- :::
-
-- CLIP contrastive loss
- - pretrained CLIP을 사용해 contrastive learning
- - contrastive learning
-
- :::{figure-md}
-
-
- constrastive learning
- :::
-
- - 가까운 class는 가깝게(positive), 그 외 class는 멀게(negative)
- - condition $c_{0}$에 대해 생성된 이미지의 feature vector는 condition $c_{0}$의 feature 벡터와는 가깝게 (positive), 나머지 condition의 feature vector와는 멀게(negative) 학습되어야한다.
-
- :::{figure-md}
-
-
- CLIP Loss
- :::
-
-- Vision-aided adversarial loss
- - [https://arxiv.org/abs/2112.09130](https://arxiv.org/abs/2112.09130)
- - stylegan에서 discriminator는 training data에 overfitting되는 경향이 있음
- - 이부분을 해결하기위해 생성된 image를 SOTA의 vision 모델을 사용해 뽑아낸 feature map을 Discriminator에 같이 추가해 real / fake를 분류
-
-**GAN based upsampler**
-
-- gigagan은 upsampling 모델에 적용이 가능하다
-- 64x64의 이미지를 3번 downsampling + 6번 upsampling 모델을 통과시켜 1024x1024의 이미지를 생성할 수 있다.
-- 이때 upsampling 부분에 gigagan의 Generator 부분을 적용
-- upsampling model에 적용할때에는 LPIPS loss를 추가하고, 이미지 생성과정중에 stylegan과 동일하게 gaussian noise를 추가해 real함을 추가
-
-## Experiments
-
-Training and evaluation details
-
-1. Dataset : LAION2D-en, COYO-700m
-2. upsampler(128 → 1024) : Adobe’s internal Stock images
-3. Pretrained text encoder : CLIP ViT-L/14
-4. CLIP score : OpenCLIP ViT-G/14
-5. machine : A100 gpu, etc.
-
-1. **각각의 method가 정말 효과가 있는가?**
-
- :::{figure-md}
-
-
- Table1
- :::
-
- - 단순 scaling up보다 위 method들을 추가하면 **비교적 낮은 FiD와 CLIP score 수치를 보여준다**.
-2. **Text2Image 모델과 성능 비교**
-
- :::{figure-md}
-
-
- Table2
- :::
-
- - FiD와 inference time을 보면 어느정도 균형을 이루며 경쟁력을 보이고 있다.
-3. Distilled diffusion과 비교
-
- :::{figure-md}
-
-
- Table3
- :::
-
- - diffutsion의 속도 개선을 위해 distilation한 모델
- - 수치적으로도 우위에 있고, inference time도 여전히 더 빠르다.
-4. Upscaler
-
- !:::{figure-md}
-
-
- Table4
- :::
-
- :::{figure-md}
-
-
- Super Resolution
- :::
-
-5. 그 외
- - stylegan에 연구된 technique(t**runcation trick, style mixing, latent interpolation** 등) 적용 가능
-- truncation trick
-
- :::{figure-md}
-
-
- Truncation Trick
- :::
-
-- style mixing
-
- :::{figure-md}
-
-
- Style Mixing
- :::
-
-- latent interpolation
-
- :::{figure-md}
-
-
- Latent Interpolation
- :::
-
-
-Limitation
-
-- score 상으로는 어느정도 좋은 성능을 보이지만 **실제로 DALLE2 ,Imagen과 같은 SOTA diffusion 모델과 비교하면 develop이 필요함**
-
- :::{figure-md}
-
-
- Failure Cases
- :::
-
-
----
-
-## 주요 질의응답
+```{admonition} Information
+- **Title:** Scaling up GANs for Text-to-Image Synthesis (CVPR 2023)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2303.05511](https://arxiv.org/abs/2303.05511)
+ - Code: [NON Official:](https://github.com/lucidrains/gigagan-pytorch)
+
+- **Author:** Seunghwan Ji
+
+- **Last updated on April. 14, 2024**
+```
+
+# Scaling up GANs for Text-to-Image Synthesis
+
+## Abstract
+
+- 최근 이미지 생성 task의 모델 성능이 꾸준히 발전중
+- 기존에는 stylegan과 같은 GAN 모델이 주를 이뤘지만 최근 DALLE, Stable Diffusion등 **Diffusion 기반**의 모델 베이스로 추세가 급격하게 바뀌어버림
+- *“GAN 모델로 Diffusion의 성능을 잡는것은 정말 무리일까?”*
+- GigaGAN은
+ - **gan 기반의 모델**로 1. **속도점 이점**과 **2. 다양한 extra editing**이 가능하다. (contribution)
+ 1. 속도적 이점
+ 1. 512px의 이미지를 0.13초만에 생성할 수 있다.
+ 2. 16-megapixel(1600만 픽셀, 4k)의 이미지를 3.66초만에 생성할 수 있다.
+ 2. 다양한 활용성
+ 1. latent space 상 에서의 image editing이 가능하다. (latent interpolation, style mixing …)
+
+## Introduction
+
+- 최근 Diffusion 기반의 모델들이 이미지 생성 분야에서 좋은 성능을 보여주고 있다.
+- Diffusion은
+ - 기본적으로 학습과 생성 시 iteration이 들어가는데 iteration은 **학습의 안정성을 키워주는 장점**이 있지만, **computation cost가 매우 증가**한다는 단점이 있다.
+- 반면에 GAN은
+ - 이미지 생성 시 single forward pass만 필요하므로 **cost가 크지 않다는 장점**이 있지만 single 혹은 multiple object의 생성에는 성능이 뛰어나지만 **class가 명확히 정의되지않은 이미지 즉, open world image의 생성에는 어려움**이 있다.
+- ***“GAN을 더 develop한다면 Diffusion 모델을 넘어설 수 있을까?”***
+- gigaGAN은?
+ 1. 속도적 장점
+ - 0.13 s/img (512 size), 3.66s / img (4k)
+ 2. latent space상에서의 editing 가능(**style mixing, interpolation, prompt mixing** like stylegan2)
+
+## Methods
+
+:::{figure-md}
+
+
+Overall Architecture
+:::
+
+**Base Architecture**
+
+- Base Model은 stylegan2로 선정
+- $G = M\times \tilde{G}$
+- $M$(mapping network) : gaussian distribution에서의 noise를 좀더 disentangle된 w space로 mapping 시키는 network
+ - gigagan에서는 mapping network의 input으로 z와 함께 text condition(c)도 함께 사용
+ - output : $w$ (vector)
+- $\tilde{G}$ : 피라미드 구조의 convolution block들로 random constant 값으로부터 output image $X$를 생성하는 generator.
+ - 이때 $w$ vector는 각 layer마다 입력으로 들어가서 feature map의 분포를 scaling함으로써 style을 반영(modulation, demodulation in stylegan2)
+
+**Sample-adaptive kernel selection**
+
+:::{figure-md}
+
+
+Sample Adaptive Kernel Selection
+:::
+
+- 도입 배경
+ - 단순히 convolution layer의 kernel size만 scaling up을 하면 학습이 안되는 현상
+ - GAN 기반 모델이 (1)**text-condition**의 (2)**오픈 이미지** 생성에 한계를 보이는 이유는 convolution network의 구조 때문이다.
+ - convolution 연산은 구조상 같은 레이어상에 있는 하나의 filter가 **text condition 주입부터 이미지의 생성까지 모든 부분에 참여**하는데 이 부분이 모델의 표현력을 떨어트릴 수 있다.
+- kernel selection method 적용
+- 레이어마다 $\{k_{i}\in R^{C_{in}\times C_{out}\times K\times K}\}$차원의 N개의 kernel set을 두고 style vector w의 affine layer를 거친 weight를 **각 kernel값에 weighted summation한 값을 최종 filter로 사용**
+
+ :::{figure-md}
+
+
+ Equation of kernel selection method affine layer
+ :::
+
+- 이 때 kernel weight 계산에 softmax를 사용하는데 얘는 differentiable하므로 gradient update 가능
+- 또, 실제로 N개의 kernel을 모두 filter로 사용할 때보다 computation cost가 굉장히 절약된다는 장점
+
+**Interleaving attention with convolution**
+
+- 도입 배경
+ - convolution filter는 receptive field 내부의 local feature 캡처에는 탁월하지만 field 외부의 부분은 학습할 수 없다.
+
+ :::{figure-md}
+
+
+ Receptive Field in Convolution Networks
+ :::
+
+ - 이러한 한계점을 극복하기위해 **attention layer**($g_{attn}$)를 추가
+ - 단순히 stylegan2에 attention layer를 추가하면 학습에 이상이 생김
+ - 원인은 attention layer에서 사용하는 **dot product가 Lipschitz함수가 아니기 때문**
+ - lipschitz 함수란
+ - lipschitz 함수란, **두 점 사이의 거리를 일정 비 이상으로 증가시키지 않는 함수**
+
+ :::{figure-md}
+
+
+ lipschitz Function
+ :::
+
+ - **Lipschitz 함수를 만족하지 못함으로써 discriminator의 학습이 unstable**하게 되고 때문에 학습에 실패한다.
+ - Lipschitz 연속성을 만족시키기 위해 attention의 **dot product를 L2-distance로 대체**
+
+**Advanced setting**
+
+- 모델의 성능 향상을 위해 stylegan2과 같은 hyper parameter를 사용하고, L2 distance logit의 초기값을 unit normal distribution, scale down, …
+- $\tilde{G}$의 각 convolution block 마다 attentnion layer(self + cross)를 적용
+ - self attention: 이미지 자신의 global feature 학습용
+ - cross attention: 이미지에 text condition 주입용
+
+**Generator design**
+
+:::{figure-md}
+
+
+GIGAGAN Architecture
+:::
+
+- text embedding
+ - pretrained model : **clip**(frozen; $R^{C\times 768}$, c is # of tokens)
+ - 후에 text encoding에 추가적인 유연성을 위해 mapping network($T$)를 추가
+ - text mapping network($T$)의 output은 input size와 동일하게 $R^{C\times 768}$
+ - 이때 output $t$를 두 파트로 나눠 사용하는데
+ - $R^{C-1\times 768}$ : word i index의 local feature를 catch
+ - $R^{768}$ : word를 global하게 embedding하는 vector
+ - $t_{global}$은 latent mapping network($M$)의 input으로 사용
+ - $t_{local}$은 Generator의 input으로 각 block에 cross attention에 적용
+- Generator의 layer는 총 5개의 피라미드 구조
+- $\{x_{i}\}_{i=0}^{L-1} = \{x_{0},x_{1}, ..., x_{4}\}$ , $\{S_{i}\}_{i=0}^{L-1} = \{64, 32, 16, 8, 4\}$
+- $x_{0} = X$(output image)
+
+**Discriminator Design**
+
+:::{figure-md}
+
+
+Discriminator of GIGAGAN
+:::
+
+- 2 branch의 구조
+ 1. text conditioning을 학습
+ 2. image generating을 학습
+- $t_{D}$: text c로부터 pretrained text encoder(CLIP)를 통과시켜 추출한 embedding 값
+- stylegan에서는 low res의 이미지들은 loss에 반영하지 않았지만, gigagan에서는 **이미지의 low feature 표현의 개선**을 위해 모든 scale의 이미지를 모두 loss에 반영
+- 이때 feature extractor $\Phi$
+ - $\Phi_{i\rightarrow j}:R^{X_{i}\times X_{i}\times3}\rightarrow R^{X_{j}^{D}\times X_{j}^{D}\times C_{j}}$
+ - self attention + conv(with stride=2)
+ - 각 level에서는 **이전 level에서의 feature map을 공유**해서 사용하고 **low resolution에서 계산이 일어나기때문에** computation resource가 크지 않다.
+- multi scale의 loss 계산을 위해 **ms-i/o loss**(multi scale input, output adversarial loss)를 사용
+ - $V_{MS-I/O}(G, D) = \sum_{i=0}^{L-1}\sum_{j=i+1}^{L}V_{GAN}(G_{i}, D_{ij}) + V_{match}({G_{i}, D_{ij}})$
+ - $V_{GAN}$: standard gan loss
+ - $D_{ij}(x, c) = \psi _{j}(\phi_{i\rightarrow j}(x_{i}), t_{D}) + Conv_{1\times 1}(\phi_{i\rightarrow j}(x_{i}))$:
+ - image의 feature map $\phi(x)$에 $t_{D}$를 심은 값과 원본 $\phi(x)$의 합
+ - 앞부분은 text conditioning model을 학습, 뒷부분은 unconditional image generator를 학습
+ - $V_{match}$(Matching aware loss)
+ - 앞의 gan loss는 생성된 이미지가 얼마나 리얼한지, 그리고 condition $c$에 얼마나 가까운지에 대한 loss
+ - 하지만 학습 초반에는 condition $c$에 상관없이 이미지의 퀄리티로만 분류를 해버림
+ - 그래서 discriminator 학습 과정에서 conditioning을 강제로 따르도록 하기위해 $c$를 랜덤으로 샘플링($\hat{c}$)해 image의 fake pair로 지정
+
+ :::{figure-md}
+
+
+ Matching aware loss
+ :::
+
+- CLIP contrastive loss
+ - pretrained CLIP을 사용해 contrastive learning
+ - contrastive learning
+
+ :::{figure-md}
+
+
+ constrastive learning
+ :::
+
+ - 가까운 class는 가깝게(positive), 그 외 class는 멀게(negative)
+ - condition $c_{0}$에 대해 생성된 이미지의 feature vector는 condition $c_{0}$의 feature 벡터와는 가깝게 (positive), 나머지 condition의 feature vector와는 멀게(negative) 학습되어야한다.
+
+ :::{figure-md}
+
+
+ CLIP Loss
+ :::
+
+- Vision-aided adversarial loss
+ - [https://arxiv.org/abs/2112.09130](https://arxiv.org/abs/2112.09130)
+ - stylegan에서 discriminator는 training data에 overfitting되는 경향이 있음
+ - 이부분을 해결하기위해 생성된 image를 SOTA의 vision 모델을 사용해 뽑아낸 feature map을 Discriminator에 같이 추가해 real / fake를 분류
+
+**GAN based upsampler**
+
+- gigagan은 upsampling 모델에 적용이 가능하다
+- 64x64의 이미지를 3번 downsampling + 6번 upsampling 모델을 통과시켜 1024x1024의 이미지를 생성할 수 있다.
+- 이때 upsampling 부분에 gigagan의 Generator 부분을 적용
+- upsampling model에 적용할때에는 LPIPS loss를 추가하고, 이미지 생성과정중에 stylegan과 동일하게 gaussian noise를 추가해 real함을 추가
+
+## Experiments
+
+Training and evaluation details
+
+1. Dataset : LAION2D-en, COYO-700m
+2. upsampler(128 → 1024) : Adobe’s internal Stock images
+3. Pretrained text encoder : CLIP ViT-L/14
+4. CLIP score : OpenCLIP ViT-G/14
+5. machine : A100 gpu, etc.
+
+1. **각각의 method가 정말 효과가 있는가?**
+
+ :::{figure-md}
+
+
+ Table1
+ :::
+
+ - 단순 scaling up보다 위 method들을 추가하면 **비교적 낮은 FiD와 CLIP score 수치를 보여준다**.
+2. **Text2Image 모델과 성능 비교**
+
+ :::{figure-md}
+
+
+ Table2
+ :::
+
+ - FiD와 inference time을 보면 어느정도 균형을 이루며 경쟁력을 보이고 있다.
+3. Distilled diffusion과 비교
+
+ :::{figure-md}
+
+
+ Table3
+ :::
+
+ - diffutsion의 속도 개선을 위해 distilation한 모델
+ - 수치적으로도 우위에 있고, inference time도 여전히 더 빠르다.
+4. Upscaler
+
+ !:::{figure-md}
+
+
+ Table4
+ :::
+
+ :::{figure-md}
+
+
+ Super Resolution
+ :::
+
+5. 그 외
+ - stylegan에 연구된 technique(t**runcation trick, style mixing, latent interpolation** 등) 적용 가능
+- truncation trick
+
+ :::{figure-md}
+
+
+ Truncation Trick
+ :::
+
+- style mixing
+
+ :::{figure-md}
+
+
+ Style Mixing
+ :::
+
+- latent interpolation
+
+ :::{figure-md}
+
+
+ Latent Interpolation
+ :::
+
+
+Limitation
+
+- score 상으로는 어느정도 좋은 성능을 보이지만 **실제로 DALLE2 ,Imagen과 같은 SOTA diffusion 모델과 비교하면 develop이 필요함**
+
+ :::{figure-md}
+
+
+ Failure Cases
+ :::
+
+
+---
+
+## 주요 질의응답
diff --git a/_sources/docs/review/GLIDE.md b/_sources/docs/review/GLIDE.md
index 7e08b7b7..513fff34 100755
--- a/_sources/docs/review/GLIDE.md
+++ b/_sources/docs/review/GLIDE.md
@@ -1,187 +1,187 @@
-``` {admonition} Information
-- **Title:** GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models (ICML 2022)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2112.10741](https://arxiv.org/abs/2112.10741)
-
-- **Author:** Sehwan Park
-
-- **Last updated on Oct. 20, 2023**
-```
-
-
-
-# GLIDE
-
-## Abstract
-
-* GLIDE 기법이 DALL-E보다 human-evaluator 평가가 더 우수하다고 한다.
-
-* classifier-free Guidance vs CLIP-Guidance(classifier-free Guidance를 결국 사용.)
-
-* powerful한 text-driven image editing이 가능.
-
-
-
-## 1. Introduction
-
- Natural language로 부터 realistic한 image를 만드는 많은 방법들이 생겨나고 있다. 하지만 text prompts에 정확히 대응하는 photorealistic한 image를 생성하기에는 어려움을 겪고 있다.
-
- Diffusion model이 DDPM, DDIM 논문을 통해 생성모델의 중심으로 떠오르며 unconditional한 image에 대해서는 SOTA를 찍었다고 한다. 자연스럽게 class-conditional한 image 생성에 대해서도 연구가 이루어졌는데, Diffusion models beat gans on image synthesis라는 논문에서 저자들은 noise한 image에 대해 class를 예측하는 classifier를 추가하여 sampling과정에서 label에 해당하는 이미지를 생성하도록 gradient를 control시키는 classifier guidance 방법을 소개한다. 이후, classifier없이 guidance를 줄 수 있는 classifier-free guidance 방법이 소개되었다.
-
-이 논문에서는 classifier-free guidance 방법과 기존 diffusion model을 활용하여 text-conditional image synthesis를 잘 수행했다고 보여준다. 추가적으로 pretrained CLIP 모델을 활용하여 CLIP guidance라는 방법을 제시하며 classifier-free guidance와 비교를 한다. 결과적으로는 classifier-free guidance가 더 좋은 성능을 보인다고 한다.
-
-text prompt를 zero-shot으로 생성하는데에 있어 좋은 성능을 보였으나, 복잡한 prompt에 대한 photorealistc한 image를 생성하는데는 어려움을 겪을 수 있다고 한다. 그래서 이 논문에서는 text-conditional image generation뿐만 아니라 기존 image를 text-prompt를 통해 편집할 수 있는 image impainting기능도 가능하도록 했다고 한다.
-
-:::{figure-md}
-
-
-
-GLIDE text to image
-:::
-
-:::{figure-md}
-
-
-
-GLIDE image impainting
-:::
-
-## 2. Background
-
-### 2.1 Diffusion Models
-
-* DDPM
-
-DDPM에서는 임의의 time step t로 부터 noise가 껴있는 image $x_t$의 $\epsilon_t$가 얼만큼인지 예측한다. 예측한 $\epsilon_t$를 이용하여 noise가 일부 제거된 이전 step의 mean($\mu_{\theta}(x_t)$)을 구할 수 있고 variance($\sum_{\theta}(x_t)$)는 constant한 값으로 고정시킨다. DDPM에서 제시한 forward process와 reverse process는 다음과 같다.
-
-$$
-q(x_t|x_{t-1}) = \mathcal{N}(x_t; \sqrt{\alpha_{t}}x_{t-1}, (1-\alpha_t)\mathcal{I})
-$$
-$$
-p_{\theta}(x_{t-1}|x_t) := \mathcal{N}(\mu_{\theta}(x_t), \sum_{\theta}(x_t))
-$$
-
-* Score-based generative modeling through stochastic differential equations
-
-해당 논문에서는 결국 score를 구하는 것과 epsilon을 구하는 것이 결국 같은 방향성을 띤다라고 주장한다.
-
-:::{figure-md}
-
-
-
-Proof of proportional relationship to finding score and epsilon
-:::
-
-* Improved-DDPM
-
-$\sum_{\theta}$를 constant값으로 고정시킨 이전 DDPM과 달리 해당 논문에서는 $\sum_{\theta}$ learnable parameter로 설정하여 더 적은 diffusion step만으로 더 좋은 quality의 sample을 만들어낼 수 있다고 제시한다.
-
-### 2.2 Guided Diffusion
-
-Diffusion model beat GANS on Image Synthesis(Dharwial et al.)에서는 diffusion model을 통해 class-conditional한 image생성을 제시한다. 이 논문에서의 가장 핵심적인 기술이 classifier-guidance이다. noise한 image로부터 epsilon을 예측하는 model은 그대로 유지하되, 해당 noise image가 어떤 class에 속하는지 분류하는 별도의 classifier를 설정한다. 이 classifier의 score를 통해 class-conditional한 전체 과정의 score에게 guide를 주는 방법을 제시한다.
-
-:::{figure-md}
-
-
-
-Classifier guidance
-:::
-
-:::{figure-md}
-
-
-
-Classifier guidance
-:::
-
-### 2.3 Classifier-free guidance
-
-classifier를 통해 class-conditional한 image생성을 하는 방법이 위에 소개되었는데, 이 방법은 noise한 image에 대해서 classifiy를 해야하므로 pretrained model을 사용할 수 없고 모델 규모가 너무 heavy해지는 등 몇몇 문제점을 가지고 있었다. 이 방법에 대한 개선점을 Classifier-Free Diffusion Guidance(Ho et al.)에서 Classifer-free guidance라는 기법으로 제시한다. 위의 score 식에서 약간의 변형을 통해 classifier 없이 단일 model만으로 guidance를 줄 수 있는 방법을 제시한다.
-
-:::{figure-md}
-
-
-
-Classifier-free guidance
-:::
-
-### 2.4 CLIP guidance
-
-CLIP은 텍스트와 이미지 사이의 joint representation을 학습할 수 있는 모델이다. Image encoder f(x)와 Text encoder g(c)로 이루어져 있다. (x,c) 즉 이미지와 이미지 캡션 쌍으로 이루어진 대규모 데이터를 이용해 contrastive learning을 진행시킨 모델이다. 같은 의미를 가진 positive pair에 대해서는 f(x) · g(c)(유사도)가 커지도록 negative pair에 대해서는 f(x) · g(c)가 작아지도록 하는 것이다. CLIP guidance에서는 classifier guidance에서 classifier대신에 pretrained CLIP모델을 사용한다. 따라서 guidance를 주는 방식도 classifier대신 CLIP모델을 통해 구한 noise한 image x와 주어진 text간의 유사도를 이용한다.
-
-:::{figure-md}
-
-
-
-CLIP
-:::
-
-:::{figure-md}
-
-
-
-CLIP guidance
-:::
-
-## 3. Training
-
-실험에서 3.5 billion parameter의 text-conditional diffusion model을 64x64 resolution을 위해 사용했고 또다른 1.5 billion parameter의 text-conditional upsampling diffusion model을 256x256으로 resolution을 증가시키는데 사용하였다고 한다. 또한, CLIP guidance를 위해 noised 64x64 ViT-L CLIP model을 사용했다고 한다.
-
-### 3.1 Text-Conditional Diffusion Models
-
-Improved DDPM의 ADM model을 base로 text-conditioning을 추가하여 학습을 진행하였다. 주어진 noised image $x_t$로부터 $x_{t-1}$을 예측하는 $p_{\theta}(x_{t-1}|x_t,c)$를 수행해야한다. text를 condition으로 주기 위해서 우선 주어진 text를 K개의 token으로 encoding한 후, Transformer model에 input값으로 넣어준다. Transformer output의 마지막 embedding token과 positional encoding을 통해 나온 time step embedding token을 연산하고자 하는 크기에 맞게 linear projection하여 더한 후, residual block을 거친 image와 AdaIN기법을 통해 residual block의 output을 도출한다. Transformer output의 마지막 layer는 연산하고자 하는 크기에 맞게 linear projection하여 residual block뒤에 붙는 attention block에 이용한다.
-
-학습 데이터셋은 DALL-E와 같은 데이터셋을 사용하였고 model architecture로는 기존 ADM model보다 더 scale up된 model과 1.2B paremeters를 갖는 Transformer를 사용했다고 한다. 게다가 64x64 image를 256x256 image로 upsampling하는 Upsampler model도 학습시켰다고 한다. upsampler model은 Improved DDPM에서의 ImageNet Upsampler와 거의 비슷하다고 한다.
-
-### 3.2. Fine-tuning for classifier-free guidance
-
-처음 training을 진행했을때는, text를 condition으로 준 conditional image generation에 맞춰 training을 진행했다고 한다. 이 후, unconditional image generation의 성능을 위해 데이터셋의 약 20%의 text condition에 empty sequence를 주고 training을 진행했다고 한다.
-
-### 3.3. Image Inpainting
-
-이전 연구에서는, impainting을 위해 diffusion model로 학습시키는 과정을 거치지 않았다. diffusion model로 sampling을 한 후, 알려진 영역에 대해서는 $q(x_t|x_0)$로 대체하는 방식을 사용했기에 model이 sampling을 하는 과정에서 전체 context를 참조할 수 없다는 단점이 있었다.
-
-이 논문에서는 fine-tuning과정에서 training example의 임의의 부분을 지운다음, 남은 부분은 모델에 추가적인 조건 정보로서 마스크 채널과 함께 입력되도록 설계하였다.
-
-### 3.4. Noised CLIP models
-
-classifier guidance에 더 적합하게 훈련시키기 위해 clip guidance를 사용해서 classifier-free guidance와 비교했음을 위에서 언급했다. clip guidance를 사용하기 위해 저자들은 noise image에 대해 학습시킨 Noised CLIP models를 사용했음을 밝힌다. 위에서 언급했듯이 결과는 classifier-free guidance가 더 좋았다고 한다.
-
-:::{figure-md}
-
-
-
-comparison between CLIP guidance and classifier-free guidance
-:::
-
-## 4. Results
-
-:::{figure-md}
-
-
-
-Quantitive Results
-:::
-
-논문에서는 classifier-free guidance와 CLIP guidance에 대해 Precision과 Recall, FID와 IS, CLIP score와 FID 간의 명확한 trade-off 를 관찰하고 있다고 언급한다.
-
-위의 (a)와 (b)에 대해서는 classifier-free guidance가 거의 최적으로 수행되었으며, classifier-free guidance가 훨씬 강력한 방법임을 보여주고 있다. 반면, (c)에서는 CLIP guidance가 CLIP 점수를 classifier-free guidance에 비해 상당히 향상시킬 수 있는 것으로 보인다. 저자들은 CLIP guidance가 주로 CLIP 모델의 평가에 따라 이미지를 생성하는 데 중점을 둘 수 있지만, 특정 prompt 또는 caption과 일치시키는 데 뛰어나지 않을 수 있다는 가설을 제시한다. 이 가설을 확인하기 위해 저자들은 인간 평가자를 활용한 실험을 진행하였고 인간들이 CLIP 점수와 다른 의견을 가지며, classifier-free guida nce가 해당 prompt와 더 일치하는 더 높은 품질의 샘플을 생성한다고 판단했다.
-
-:::{figure-md}
-
-
-
-Zero-shot FID results
-:::
-
-Table1은 Unguided, CLIP guidance, Classifier-free guidance 기법을 각각 적용한 256x256 resolution image에 대해 human evaluation을 진행한 결과이다. Classifier-free guidance를 적용한 결과가 photorealism, caption 항목에 대해 압도적인 결과를 보임을 알 수 있다.
-
-Table2는 GLIDE와 다른 text-conditional image generation model들을 비교한 표이다. MS-COCO dataset에 대해 생성된 image의 FID score를 구하였다. GLIDE model이 MS-COCO에 대해 학습한 경험이 없음에도 불구하고 Zero-shot FID 부분을 보면 상당히 좋은 result를 보임을 알 수 있다.
-
-:::{figure-md}
-
-
-
-final results
-:::
+``` {admonition} Information
+- **Title:** GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models (ICML 2022)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2112.10741](https://arxiv.org/abs/2112.10741)
+
+- **Author:** Sehwan Park
+
+- **Last updated on Oct. 20, 2023**
+```
+
+
+
+# GLIDE
+
+## Abstract
+
+* GLIDE 기법이 DALL-E보다 human-evaluator 평가가 더 우수하다고 한다.
+
+* classifier-free Guidance vs CLIP-Guidance(classifier-free Guidance를 결국 사용.)
+
+* powerful한 text-driven image editing이 가능.
+
+
+
+## 1. Introduction
+
+ Natural language로 부터 realistic한 image를 만드는 많은 방법들이 생겨나고 있다. 하지만 text prompts에 정확히 대응하는 photorealistic한 image를 생성하기에는 어려움을 겪고 있다.
+
+ Diffusion model이 DDPM, DDIM 논문을 통해 생성모델의 중심으로 떠오르며 unconditional한 image에 대해서는 SOTA를 찍었다고 한다. 자연스럽게 class-conditional한 image 생성에 대해서도 연구가 이루어졌는데, Diffusion models beat gans on image synthesis라는 논문에서 저자들은 noise한 image에 대해 class를 예측하는 classifier를 추가하여 sampling과정에서 label에 해당하는 이미지를 생성하도록 gradient를 control시키는 classifier guidance 방법을 소개한다. 이후, classifier없이 guidance를 줄 수 있는 classifier-free guidance 방법이 소개되었다.
+
+이 논문에서는 classifier-free guidance 방법과 기존 diffusion model을 활용하여 text-conditional image synthesis를 잘 수행했다고 보여준다. 추가적으로 pretrained CLIP 모델을 활용하여 CLIP guidance라는 방법을 제시하며 classifier-free guidance와 비교를 한다. 결과적으로는 classifier-free guidance가 더 좋은 성능을 보인다고 한다.
+
+text prompt를 zero-shot으로 생성하는데에 있어 좋은 성능을 보였으나, 복잡한 prompt에 대한 photorealistc한 image를 생성하는데는 어려움을 겪을 수 있다고 한다. 그래서 이 논문에서는 text-conditional image generation뿐만 아니라 기존 image를 text-prompt를 통해 편집할 수 있는 image impainting기능도 가능하도록 했다고 한다.
+
+:::{figure-md}
+
+
+
+GLIDE text to image
+:::
+
+:::{figure-md}
+
+
+
+GLIDE image impainting
+:::
+
+## 2. Background
+
+### 2.1 Diffusion Models
+
+* DDPM
+
+DDPM에서는 임의의 time step t로 부터 noise가 껴있는 image $x_t$의 $\epsilon_t$가 얼만큼인지 예측한다. 예측한 $\epsilon_t$를 이용하여 noise가 일부 제거된 이전 step의 mean($\mu_{\theta}(x_t)$)을 구할 수 있고 variance($\sum_{\theta}(x_t)$)는 constant한 값으로 고정시킨다. DDPM에서 제시한 forward process와 reverse process는 다음과 같다.
+
+$$
+q(x_t|x_{t-1}) = \mathcal{N}(x_t; \sqrt{\alpha_{t}}x_{t-1}, (1-\alpha_t)\mathcal{I})
+$$
+$$
+p_{\theta}(x_{t-1}|x_t) := \mathcal{N}(\mu_{\theta}(x_t), \sum_{\theta}(x_t))
+$$
+
+* Score-based generative modeling through stochastic differential equations
+
+해당 논문에서는 결국 score를 구하는 것과 epsilon을 구하는 것이 결국 같은 방향성을 띤다라고 주장한다.
+
+:::{figure-md}
+
+
+
+Proof of proportional relationship to finding score and epsilon
+:::
+
+* Improved-DDPM
+
+$\sum_{\theta}$를 constant값으로 고정시킨 이전 DDPM과 달리 해당 논문에서는 $\sum_{\theta}$ learnable parameter로 설정하여 더 적은 diffusion step만으로 더 좋은 quality의 sample을 만들어낼 수 있다고 제시한다.
+
+### 2.2 Guided Diffusion
+
+Diffusion model beat GANS on Image Synthesis(Dharwial et al.)에서는 diffusion model을 통해 class-conditional한 image생성을 제시한다. 이 논문에서의 가장 핵심적인 기술이 classifier-guidance이다. noise한 image로부터 epsilon을 예측하는 model은 그대로 유지하되, 해당 noise image가 어떤 class에 속하는지 분류하는 별도의 classifier를 설정한다. 이 classifier의 score를 통해 class-conditional한 전체 과정의 score에게 guide를 주는 방법을 제시한다.
+
+:::{figure-md}
+
+
+
+Classifier guidance
+:::
+
+:::{figure-md}
+
+
+
+Classifier guidance
+:::
+
+### 2.3 Classifier-free guidance
+
+classifier를 통해 class-conditional한 image생성을 하는 방법이 위에 소개되었는데, 이 방법은 noise한 image에 대해서 classifiy를 해야하므로 pretrained model을 사용할 수 없고 모델 규모가 너무 heavy해지는 등 몇몇 문제점을 가지고 있었다. 이 방법에 대한 개선점을 Classifier-Free Diffusion Guidance(Ho et al.)에서 Classifer-free guidance라는 기법으로 제시한다. 위의 score 식에서 약간의 변형을 통해 classifier 없이 단일 model만으로 guidance를 줄 수 있는 방법을 제시한다.
+
+:::{figure-md}
+
+
+
+Classifier-free guidance
+:::
+
+### 2.4 CLIP guidance
+
+CLIP은 텍스트와 이미지 사이의 joint representation을 학습할 수 있는 모델이다. Image encoder f(x)와 Text encoder g(c)로 이루어져 있다. (x,c) 즉 이미지와 이미지 캡션 쌍으로 이루어진 대규모 데이터를 이용해 contrastive learning을 진행시킨 모델이다. 같은 의미를 가진 positive pair에 대해서는 f(x) · g(c)(유사도)가 커지도록 negative pair에 대해서는 f(x) · g(c)가 작아지도록 하는 것이다. CLIP guidance에서는 classifier guidance에서 classifier대신에 pretrained CLIP모델을 사용한다. 따라서 guidance를 주는 방식도 classifier대신 CLIP모델을 통해 구한 noise한 image x와 주어진 text간의 유사도를 이용한다.
+
+:::{figure-md}
+
+
+
+CLIP
+:::
+
+:::{figure-md}
+
+
+
+CLIP guidance
+:::
+
+## 3. Training
+
+실험에서 3.5 billion parameter의 text-conditional diffusion model을 64x64 resolution을 위해 사용했고 또다른 1.5 billion parameter의 text-conditional upsampling diffusion model을 256x256으로 resolution을 증가시키는데 사용하였다고 한다. 또한, CLIP guidance를 위해 noised 64x64 ViT-L CLIP model을 사용했다고 한다.
+
+### 3.1 Text-Conditional Diffusion Models
+
+Improved DDPM의 ADM model을 base로 text-conditioning을 추가하여 학습을 진행하였다. 주어진 noised image $x_t$로부터 $x_{t-1}$을 예측하는 $p_{\theta}(x_{t-1}|x_t,c)$를 수행해야한다. text를 condition으로 주기 위해서 우선 주어진 text를 K개의 token으로 encoding한 후, Transformer model에 input값으로 넣어준다. Transformer output의 마지막 embedding token과 positional encoding을 통해 나온 time step embedding token을 연산하고자 하는 크기에 맞게 linear projection하여 더한 후, residual block을 거친 image와 AdaIN기법을 통해 residual block의 output을 도출한다. Transformer output의 마지막 layer는 연산하고자 하는 크기에 맞게 linear projection하여 residual block뒤에 붙는 attention block에 이용한다.
+
+학습 데이터셋은 DALL-E와 같은 데이터셋을 사용하였고 model architecture로는 기존 ADM model보다 더 scale up된 model과 1.2B paremeters를 갖는 Transformer를 사용했다고 한다. 게다가 64x64 image를 256x256 image로 upsampling하는 Upsampler model도 학습시켰다고 한다. upsampler model은 Improved DDPM에서의 ImageNet Upsampler와 거의 비슷하다고 한다.
+
+### 3.2. Fine-tuning for classifier-free guidance
+
+처음 training을 진행했을때는, text를 condition으로 준 conditional image generation에 맞춰 training을 진행했다고 한다. 이 후, unconditional image generation의 성능을 위해 데이터셋의 약 20%의 text condition에 empty sequence를 주고 training을 진행했다고 한다.
+
+### 3.3. Image Inpainting
+
+이전 연구에서는, impainting을 위해 diffusion model로 학습시키는 과정을 거치지 않았다. diffusion model로 sampling을 한 후, 알려진 영역에 대해서는 $q(x_t|x_0)$로 대체하는 방식을 사용했기에 model이 sampling을 하는 과정에서 전체 context를 참조할 수 없다는 단점이 있었다.
+
+이 논문에서는 fine-tuning과정에서 training example의 임의의 부분을 지운다음, 남은 부분은 모델에 추가적인 조건 정보로서 마스크 채널과 함께 입력되도록 설계하였다.
+
+### 3.4. Noised CLIP models
+
+classifier guidance에 더 적합하게 훈련시키기 위해 clip guidance를 사용해서 classifier-free guidance와 비교했음을 위에서 언급했다. clip guidance를 사용하기 위해 저자들은 noise image에 대해 학습시킨 Noised CLIP models를 사용했음을 밝힌다. 위에서 언급했듯이 결과는 classifier-free guidance가 더 좋았다고 한다.
+
+:::{figure-md}
+
+
+
+comparison between CLIP guidance and classifier-free guidance
+:::
+
+## 4. Results
+
+:::{figure-md}
+
+
+
+Quantitive Results
+:::
+
+논문에서는 classifier-free guidance와 CLIP guidance에 대해 Precision과 Recall, FID와 IS, CLIP score와 FID 간의 명확한 trade-off 를 관찰하고 있다고 언급한다.
+
+위의 (a)와 (b)에 대해서는 classifier-free guidance가 거의 최적으로 수행되었으며, classifier-free guidance가 훨씬 강력한 방법임을 보여주고 있다. 반면, (c)에서는 CLIP guidance가 CLIP 점수를 classifier-free guidance에 비해 상당히 향상시킬 수 있는 것으로 보인다. 저자들은 CLIP guidance가 주로 CLIP 모델의 평가에 따라 이미지를 생성하는 데 중점을 둘 수 있지만, 특정 prompt 또는 caption과 일치시키는 데 뛰어나지 않을 수 있다는 가설을 제시한다. 이 가설을 확인하기 위해 저자들은 인간 평가자를 활용한 실험을 진행하였고 인간들이 CLIP 점수와 다른 의견을 가지며, classifier-free guida nce가 해당 prompt와 더 일치하는 더 높은 품질의 샘플을 생성한다고 판단했다.
+
+:::{figure-md}
+
+
+
+Zero-shot FID results
+:::
+
+Table1은 Unguided, CLIP guidance, Classifier-free guidance 기법을 각각 적용한 256x256 resolution image에 대해 human evaluation을 진행한 결과이다. Classifier-free guidance를 적용한 결과가 photorealism, caption 항목에 대해 압도적인 결과를 보임을 알 수 있다.
+
+Table2는 GLIDE와 다른 text-conditional image generation model들을 비교한 표이다. MS-COCO dataset에 대해 생성된 image의 FID score를 구하였다. GLIDE model이 MS-COCO에 대해 학습한 경험이 없음에도 불구하고 Zero-shot FID 부분을 보면 상당히 좋은 result를 보임을 알 수 있다.
+
+:::{figure-md}
+
+
+
+final results
+:::
diff --git a/_sources/docs/review/HyperDreamBooth.md b/_sources/docs/review/HyperDreamBooth.md
index 19eb7e26..8be0e639 100755
--- a/_sources/docs/review/HyperDreamBooth.md
+++ b/_sources/docs/review/HyperDreamBooth.md
@@ -1,175 +1,175 @@
-``` {admonition} Information
-- **Title:** HyperDreamBooth: HyperNetworks for Fast Personalization of Text-to-Image Models
-
-- **Reference**
- - Paper: [https://arxiv.org/pdf/2307.06949.pdf](https://arxiv.org/pdf/2307.06949.pdf)
-
-- **Author:** Hyoungseo Cho
-
-- **Last updated on Oct. 10, 2023**
-```
-
-# HyperDreamBooth
-
-## Introduction
-
-Personalization 는 Generative AI 분야에서 떠오르고 있는 주제입니다. 이는 high-fidelity와 identity를 유지한 상태로 다양한 맥락과 스타일을 생성할 수 있도록 합니다. 본 논문은 [Dreambooth](https://pseudo-lab.github.io/text-to-image-generation-feat-diffusion/docs/review/dreambooth.html) 를 기반으로 진행되었기 때문에 [Dreambooth](https://pseudo-lab.github.io/text-to-image-generation-feat-diffusion/docs/review/dreambooth.html) 논문을 먼저 읽어 보시기를 추천드립니다.
-
-:::{figure-md}
-
-
-HyperDreamBooth
-:::
-
-## Contribution
-
-본 논문의 Contribution은 크게 3가지로 볼 수 있습니다. Lighweight DreamBooth (LiDB), New HyperNetwork architecture 그리고 rank-relaxed finetuning 입니다. 위 3가지 방법을 활용하여 기존 DreamBooth의 핵심 능력을 유지하면서 크기를 줄이고 속도를 높일 수 있었습니다.
-
-## Related Work
-
-**Text-to-image Models** -본 논문에서는 Stable Diffusion 모델을 활용하여 HyperDreamBooth를 구현했지만, 이 부분은 다른 텍스트-이미지 모델 (Imagen, DALL-E2 등) 도 적용이 가능합니다. - -**Personalization of Generative Models**
-Generative Adversarial Network 기반의 기술들은 fidelity가 떨어지거나 다양한 문맥을 제공하지 못하는 문제가 있습니다. 이에 따라 HyperNetwork를 도입한 연구를 진행했습니다. - -**T2I Personalization via Finetuning**
-다음으로, text-to-image personalization을 위한 Finetuning에 대한 연구가 있습니다. CustomDiffusion, SVDiff, LoRA, StyleDrop, DreamArtist 등의 예시가 있습니다. 하지만 이는 속도 측면에서 느리다는 단점을 가지고 있습니다. - -이러한 관련 연구들을 볼 때, HyperDreamBooth는 속도와 효율성 측면에서 큰 발전을 이루었다고 볼 수 있습니다. - -:::{figure-md} -
-
-HyperDreamBooth Training and Fast Fine-Tuning
-:::
-
-## Prelimiaries
-
-**Latent Diffusion Models (LDM)** -본 논문에서는 Stable Diffusion 모델을 활용하여 HyperDreamBooth를 구현했지만, 이 부분은 다른 텍스트-이미지 모델 (Imagen, DALL-E2 등) 도 적용이 가능합니다. - -**DreamBooth**
-이전에 나온 DreamBooth는 특정 주제의 이미지를 생성하기 위해 T2I denoising 네트워크를 finetuning하는 전략을 활용했습니다. 이 방법은 HyperDreamBooth의 영감원 중 하나로 활용되었습니다. - -**Low Rank Adaptation (LoRA)**
-LoRA는 모델의 가중치를 낮은 랭크의 행렬로 근사화하여 모델의 크기와 복잡성을 줄이는 방법입니다. 본 논문에서는 이 LoRA 기술을 활용하여 더 빠르고 효율적인 personalization이 가능하도록 합니다. - -## Method - -위에서 살펴 본 Contribution의 내용을 자세히 살펴보도록 하겠습니다. - -### Lightweight DreamBooth (LiDB) - -HyperdreamBooth 의 핵심 기술 중 하나인 Lightweight DreamBooth, 줄여서 LiDB에 대해 설명드리겠습니다. LiDB는 rank-1 LoRA residuals의 가중치 공간을 더 세분화하는 것이 핵심 아이디어입니다. 분해 과정에서 rank-1 LoRA weight-space 내에서 random orthogonal basis를 활용하여 decompose 합니다. - -:::{figure-md} -
-
-Lightweight DreamBooth
-:::
-
-이 접근 방식은 LoRA의 A와 B 행렬을 각각 두 개의 행렬로 분해하는 것으로도 이해할 수 있습니다. 더 구체적으로 살펴보면, A 행렬은 $A_{aux}$ 와 $A_{train}$ 으로 분해되며, B 행렬은 $B_{aux}$ 와 $B_{train}$ 으로 분해할 수 있습니다. 여기서 $aux$ 레이어는 행별로 직교하는 벡터로 무작위 초기화되고 freeze 되어 있으며, $train$ 레이어는 학습되는 가중치입니다. 따라서 LiDB 선형 레이어의 weight-residual은 다음과 같이 표현할 수 있습니다.
-
-$$
-\Delta W_x = A_{aux} A_{train} B_{train} B_{aux}
-$$
-
-여기서 $aux$ 레이어는 experimentally fix 되었으며 이 과정을 통해 trainable parameter 개수는 약 30K개, 사이즈는 약 120KB로 경량화 할 수 있습니다. 이렇게 작은 크기와 변수만으로 fidelity, editability, style 그리고 diversity 등을 유지할 수 있다는 것이 포인트입니다.
-
-### HyperNetwork
-
-:::{figure-md}
-
-
-HyperNetwork Architecture
-:::
-
-다음은 Hypernetwork 입니다. 본 논문에서는 사전에 훈련된 T2I 모델을 빠르게 personalization 하기 위해 HyperNetwork를 제안합니다. 여기서 $\tilde{\theta}$ 는 모든 LiDB residual 행렬을 나타내며, 각 T2I 모델의 cross-attention 및 self-attention 레이어에 대한 $A_{train}$ 및 $B_{train}$ 입니다. 이 핵심 아이디어는 주어진 이미지 x를 입력으로 받고, 이 이미지를 사용하여 LiDB의 low-rank residual인 $\hat{\theta}$ 을 예측하는 HyperNetwork $H_{\eta}$ 를 돌입하는 것입니다.HyperNetwork는 도메인 특화 이미지 데이터셋에서 훈련되며, 일반적인 확산 노이즈 제거 손실과 가중치 공간 손실을 가지고 있습니다.
-
-$$
-L(x) = \alpha \left\| D_\hat{\theta} (x + {\epsilon} , c) - x \right\|_{2}^{2} + \beta \left\|\hat{\theta} - {\theta} \right\|_{2}^{2}
-$$
-
-여기서 $x$ 는 reference image를 의미합니다. HyperDreamBooth의 목표는 주어진 참조 이미지 x를 기반으로 해당 이미지와 유사한 새로운 이미지를 생성하는 것입니다. $\theta$ 는 $x$ 에 대한 pre-optimized 된 가중치 paramters입니다. 이러한 가중치는 HyperDreamBooth 모델을 personalization 하기 위해 이미지 $x$ 와 관련된 텍스트와 함께 조정됩니다. $D_{\theta}$ 는 diffusion model을 나타냅니다. 이 모델은 이미지 $x + \epsilon$ 및 Supervisory Text Prompt $c$ 로 조건이 설정된 상태에서 사용됩니다. 이 모델은 이미지 생성 및 개인화에 사용됩니다. $\alpha$ 와 $\beta$ 는 상대적인 loss의 가중치를 제어하기 위한 hyperparameters 입니다. 이러한 hyperparameters 는 각 loss 항목의 중요성을 조절하는 데 사용됩니다.
-
-
-**Supervisory Text Prompt** -Supervisory Text Prompt는 이미지 생성을 지원하기 위한 텍스트 입력입니다. 주어진 텍스트 프롬프트는 이미지 생성에 대한 지시사항 또는 조건을 제공합니다. HyperDreamBooth에서는 "a [V] face" 와 같은 텍스트 프롬프트를 사용하여 개인화된 이미지를 생성합니다. [V] 는 드물지만 다양한 의미 수정을 삽입할 수 있는 역할을 합니다. - -**HyperNetwork Architecture**
-HyperNetwork는 HyperDreamBooth에서 사용되는 모델로, 개인화된 이미지 생성을 위한 가중치를 예측하는 역할을 합니다. HyperNetwork는 보통 다른 신경망 구조로 구성되며, 주어진 이미지를 입력으로 받아서 T2I 모델의 가중치를 예측합니다. 이러한 개인화된 이미지 생성을 위한 핵심 구성 요소 중 하나입니다. 여기서 예측한 가중치를 이후 Stable Diffusion 모델의 가중치에 더하여 개인화를 실행합니다. - -**Iterative Prediction**
-HyperDreamBooth에서 사용되는 HyperNetwork는 반복적 예측을 수행합니다. 이것은 HyperNetwork가 초기 예측을 한 후에도 추가 반복적인 예측 단계를 통해 결과를 개선하려고 시도하는 것을 의미합니다. 초기 HyperNetwork 예측은 방향성이 올바르고 대상과 얼굴과 유사한 semantic 특성을 생성하지만 미세만 세부 정보를 충분히 잡아내지 못할 수 있습니다. 따라서 반복적인 예측을 통해 초기 예측을 fine-tuning하고 더 나은 이미지를 생성합니다. 이 때에 image encoding은 단 한 번만 수행되며, 추출된 특징 f는 반복적인 예측 과정에서 사용됩니다. - -:::{figure-md} -
-
-HyperNetwork + Fast Finetuning
-:::
-
-### Rank-Relaxed Fast Finetuning
-초기 HyperNetwork를 실행하고 나면 semantic 속성과 방향성에 대해서 올바르게 생성이 되지만 세부적인 detail은 잘 잡아내지 못합니다. 이를 위해 마지막으로 fast finetuning 단계를 제안합니다. 이 단계를 통해, DreamBooth보다 훨씬 빠르지만 강한 subject fidelity, editability 그리고 style diversity를 동일하게 유지할 수 있습니다.
-먼저 HyperNetwork를 사용하여 개인화된 diffusion model 가중치를 예측합니다. 이후 diffusion model의 가중치를 초기화된 이미지 x와 함께 주어진 텍스트 지시어 c에 대한 diffusion noise loss $L(x)$ 를 최소화하도록 조정합니다. 여기서 주요한 점은 ***rank-relaxed*** 의 개념입니다. 이것은 초기 모델의 rank(주로 1)를 완화하여 더 높은 rank로 LoRA 모델을 fine tuning 하는 것을 의미합니다. 구체적으로, HyperNetwork의 예측된 가중치 모델의 전체 가중치에 추가하고 더 높은 rank로 LoRA fine tuning을 수행합니다. 이를 통해 모델은 주체의 고주파수 세부 사항을 더 잘 근사화할 수 있으며 이로 인해 다른 낮은 rank로 제한된 업데이트보다 더 높은 주제 충실도를 달성할 수 있습니다. 이러한 rank-relaxed의 개념은 HyperDreamBooth를 다른 방식보다 더 우수하게 만드는 요인입니다. 여기서도 동일한 Supervisory Text Prompt "a [V] face" 를 사용하는데 이 프롬프트는 이미지 개인화를 지원하며 모델이 얼굴에 관련된 다양한 특성과 스타일을 캡처하는 데 도움이 됩니다. 그리고 HyperNetwork의 초기화된 가중치를 고려할 때, fast finetuning 단계를 40번의 반복으로 완료할 수 있습니다. 이는 DreamBooth 및 LoRA DreamBooth와 비교했을 때 25배 빠른 속도라는 것을 의미합니다.
-
-## Experiments
-
-본 HyperDreamBooth는 Stable Diffusion v1.5 을 활용하여 구현했습니다. 이 모델에서는 Stable Diffusion v1.5의 다양한 요소 중 하나인 diffusion UNet의 cross and self-attention 레이어에 대한 LoRA 가중치를 예측합니다. 또한 텍스트 정보를 활용하기 위해 CLIP 텍스트 인코더도 예측합니다. 이미지 생성 모델을 개인화하기 위해 시각화에 사용되는 모든 얼굴 이미지는 SFHQ(Synthetic Face Headquarters) 데이터셋을 활용했습니다. 모델을 훈련시키기 위해 CelebA-HQ 데이터셋에서 15,000개의 실제 얼굴 이미지가 활용되었습니다.
-
-:::{figure-md}
-
-
-Result Gallery
-:::
-
-왼쪽 위에서 오른쪽 아래로 "인스타그램 셀카 [V] 얼굴", "Pixar 캐릭터 [V] 얼굴", "bark skin의 [V] 얼굴", "록 스타 [V] 얼굴", 가장 오른쪽: " 전문적인 [V] 얼굴 촬영" 프롬프트를 활용했습니다.
-
-:::{figure-md}
-
-
-Qualitative Comparison
-:::
-
-:::{figure-md}
-
-
-Comparisons Table
-:::
-
-## Comparisons
-
-Hyperdreambooth, DreamBooth 그리고 Textual Inversion의 무작위 생성된 샘플을 비교한 이미지와 표입니다. 정량적 평가를 위해 DINO와 같은 지표를 활용했습니다.
-
-:::{figure-md}
-
-
-Comparisons with DreamBooth
-:::
-
-위 표는 DreamBooth와 비교하는 부분입니다. DreamBooth의 hyperparameter를 다르게 조정하여 비교했습니다. 그 결과 학습률을 증가시키고 반복 횟수(iterations)를 감소시키면 결과의 저하가 있었습니다. DreamBooth-Agg-1은 400번의 반복을 시행하고, DreamBooth-Agg-2는 일반적인 Dreambooth의 1200번 대신 40번의 반복을 사용했습니다.
-
-
-:::{figure-md}
-
-
-HyperNetwork Ablation
-:::
-
-위 부분은 여러 가지 구성 요소로 나누어 실험한 표입니다. 실험 중에는 하이퍼네트워크를 사용하지 않는 경우, 하이퍼네트워크 예측만 사용하고 fast-finetuning을 사용하지 않은 경우, 반복 예측 없이 전체 방법을 1번만 사용한 경우를 비교합니다. 결과적으로 전체 방법이 모든 신뢰성 지표에서 가장 우수한 결과를 달성한다는 것을 보여주고 있습니다.
-
-:::{figure-md}
-
-
-User Study
-:::
-
-얼굴 인식 메트릭 이 특정 시나리오에서 상대적으로 약하다고 합니다. 얼굴 인식 네트워크가 실제 이미지에만 훈련되어 있고 다양한 스타일에서 동일한 사람을 인식하도록 훈련되어 있지 않기 때문이라고 주장하며 이를 보완하기 위해 user study를 진행했습니다. 여기서도 HyperDreamBooth, DreamBooth, Textual Inversion을 비교하고 사용자들의 평가를 받았습니다.
-
-## Follow-ups
-
-하지만 여전히 follow-ups가 존재합니다. 먼저 **semantic directional error** 라고 하는 초기 예측에서 잘못된 시맨틱 정보가 나올 수 있는 에러입니다. 잘못된 눈 색깔이나 헤어 타입, 성별 등이 나올 수 있습니다. 다음으로 **incorrect subject detail capture** 라는 오류가 있습니다. 다음은 **underfitting** 입니다. Fast finetuning 단계에서 identity는 지켜지더라도 유사하지 않은 샘플이 생성될 수 있습니다. 다음으로 HyperNetwork와 fast-finetuning 모두 일부 스타일에 대해 낮은 editability 가 나올 수 있습니다. 이러한 문제점은 빛, 포즈 등으로 인해 OOD인 샘플에서 나타날 수 있습니다.
-
-## Conclusion
-
+``` {admonition} Information
+- **Title:** HyperDreamBooth: HyperNetworks for Fast Personalization of Text-to-Image Models
+
+- **Reference**
+ - Paper: [https://arxiv.org/pdf/2307.06949.pdf](https://arxiv.org/pdf/2307.06949.pdf)
+
+- **Author:** Hyoungseo Cho
+
+- **Last updated on Oct. 10, 2023**
+```
+
+# HyperDreamBooth
+
+## Introduction
+
+Personalization 는 Generative AI 분야에서 떠오르고 있는 주제입니다. 이는 high-fidelity와 identity를 유지한 상태로 다양한 맥락과 스타일을 생성할 수 있도록 합니다. 본 논문은 [Dreambooth](https://pseudo-lab.github.io/text-to-image-generation-feat-diffusion/docs/review/dreambooth.html) 를 기반으로 진행되었기 때문에 [Dreambooth](https://pseudo-lab.github.io/text-to-image-generation-feat-diffusion/docs/review/dreambooth.html) 논문을 먼저 읽어 보시기를 추천드립니다.
+
+:::{figure-md}
+
+
+HyperDreamBooth
+:::
+
+## Contribution
+
+본 논문의 Contribution은 크게 3가지로 볼 수 있습니다. Lighweight DreamBooth (LiDB), New HyperNetwork architecture 그리고 rank-relaxed finetuning 입니다. 위 3가지 방법을 활용하여 기존 DreamBooth의 핵심 능력을 유지하면서 크기를 줄이고 속도를 높일 수 있었습니다.
+
+## Related Work
+
+**Text-to-image Models** +본 논문에서는 Stable Diffusion 모델을 활용하여 HyperDreamBooth를 구현했지만, 이 부분은 다른 텍스트-이미지 모델 (Imagen, DALL-E2 등) 도 적용이 가능합니다. + +**Personalization of Generative Models**
+Generative Adversarial Network 기반의 기술들은 fidelity가 떨어지거나 다양한 문맥을 제공하지 못하는 문제가 있습니다. 이에 따라 HyperNetwork를 도입한 연구를 진행했습니다. + +**T2I Personalization via Finetuning**
+다음으로, text-to-image personalization을 위한 Finetuning에 대한 연구가 있습니다. CustomDiffusion, SVDiff, LoRA, StyleDrop, DreamArtist 등의 예시가 있습니다. 하지만 이는 속도 측면에서 느리다는 단점을 가지고 있습니다. + +이러한 관련 연구들을 볼 때, HyperDreamBooth는 속도와 효율성 측면에서 큰 발전을 이루었다고 볼 수 있습니다. + +:::{figure-md} +
+
+HyperDreamBooth Training and Fast Fine-Tuning
+:::
+
+## Prelimiaries
+
+**Latent Diffusion Models (LDM)** +본 논문에서는 Stable Diffusion 모델을 활용하여 HyperDreamBooth를 구현했지만, 이 부분은 다른 텍스트-이미지 모델 (Imagen, DALL-E2 등) 도 적용이 가능합니다. + +**DreamBooth**
+이전에 나온 DreamBooth는 특정 주제의 이미지를 생성하기 위해 T2I denoising 네트워크를 finetuning하는 전략을 활용했습니다. 이 방법은 HyperDreamBooth의 영감원 중 하나로 활용되었습니다. + +**Low Rank Adaptation (LoRA)**
+LoRA는 모델의 가중치를 낮은 랭크의 행렬로 근사화하여 모델의 크기와 복잡성을 줄이는 방법입니다. 본 논문에서는 이 LoRA 기술을 활용하여 더 빠르고 효율적인 personalization이 가능하도록 합니다. + +## Method + +위에서 살펴 본 Contribution의 내용을 자세히 살펴보도록 하겠습니다. + +### Lightweight DreamBooth (LiDB) + +HyperdreamBooth 의 핵심 기술 중 하나인 Lightweight DreamBooth, 줄여서 LiDB에 대해 설명드리겠습니다. LiDB는 rank-1 LoRA residuals의 가중치 공간을 더 세분화하는 것이 핵심 아이디어입니다. 분해 과정에서 rank-1 LoRA weight-space 내에서 random orthogonal basis를 활용하여 decompose 합니다. + +:::{figure-md} +
+
+Lightweight DreamBooth
+:::
+
+이 접근 방식은 LoRA의 A와 B 행렬을 각각 두 개의 행렬로 분해하는 것으로도 이해할 수 있습니다. 더 구체적으로 살펴보면, A 행렬은 $A_{aux}$ 와 $A_{train}$ 으로 분해되며, B 행렬은 $B_{aux}$ 와 $B_{train}$ 으로 분해할 수 있습니다. 여기서 $aux$ 레이어는 행별로 직교하는 벡터로 무작위 초기화되고 freeze 되어 있으며, $train$ 레이어는 학습되는 가중치입니다. 따라서 LiDB 선형 레이어의 weight-residual은 다음과 같이 표현할 수 있습니다.
+
+$$
+\Delta W_x = A_{aux} A_{train} B_{train} B_{aux}
+$$
+
+여기서 $aux$ 레이어는 experimentally fix 되었으며 이 과정을 통해 trainable parameter 개수는 약 30K개, 사이즈는 약 120KB로 경량화 할 수 있습니다. 이렇게 작은 크기와 변수만으로 fidelity, editability, style 그리고 diversity 등을 유지할 수 있다는 것이 포인트입니다.
+
+### HyperNetwork
+
+:::{figure-md}
+
+
+HyperNetwork Architecture
+:::
+
+다음은 Hypernetwork 입니다. 본 논문에서는 사전에 훈련된 T2I 모델을 빠르게 personalization 하기 위해 HyperNetwork를 제안합니다. 여기서 $\tilde{\theta}$ 는 모든 LiDB residual 행렬을 나타내며, 각 T2I 모델의 cross-attention 및 self-attention 레이어에 대한 $A_{train}$ 및 $B_{train}$ 입니다. 이 핵심 아이디어는 주어진 이미지 x를 입력으로 받고, 이 이미지를 사용하여 LiDB의 low-rank residual인 $\hat{\theta}$ 을 예측하는 HyperNetwork $H_{\eta}$ 를 돌입하는 것입니다.HyperNetwork는 도메인 특화 이미지 데이터셋에서 훈련되며, 일반적인 확산 노이즈 제거 손실과 가중치 공간 손실을 가지고 있습니다.
+
+$$
+L(x) = \alpha \left\| D_\hat{\theta} (x + {\epsilon} , c) - x \right\|_{2}^{2} + \beta \left\|\hat{\theta} - {\theta} \right\|_{2}^{2}
+$$
+
+여기서 $x$ 는 reference image를 의미합니다. HyperDreamBooth의 목표는 주어진 참조 이미지 x를 기반으로 해당 이미지와 유사한 새로운 이미지를 생성하는 것입니다. $\theta$ 는 $x$ 에 대한 pre-optimized 된 가중치 paramters입니다. 이러한 가중치는 HyperDreamBooth 모델을 personalization 하기 위해 이미지 $x$ 와 관련된 텍스트와 함께 조정됩니다. $D_{\theta}$ 는 diffusion model을 나타냅니다. 이 모델은 이미지 $x + \epsilon$ 및 Supervisory Text Prompt $c$ 로 조건이 설정된 상태에서 사용됩니다. 이 모델은 이미지 생성 및 개인화에 사용됩니다. $\alpha$ 와 $\beta$ 는 상대적인 loss의 가중치를 제어하기 위한 hyperparameters 입니다. 이러한 hyperparameters 는 각 loss 항목의 중요성을 조절하는 데 사용됩니다.
+
+
+**Supervisory Text Prompt** +Supervisory Text Prompt는 이미지 생성을 지원하기 위한 텍스트 입력입니다. 주어진 텍스트 프롬프트는 이미지 생성에 대한 지시사항 또는 조건을 제공합니다. HyperDreamBooth에서는 "a [V] face" 와 같은 텍스트 프롬프트를 사용하여 개인화된 이미지를 생성합니다. [V] 는 드물지만 다양한 의미 수정을 삽입할 수 있는 역할을 합니다. + +**HyperNetwork Architecture**
+HyperNetwork는 HyperDreamBooth에서 사용되는 모델로, 개인화된 이미지 생성을 위한 가중치를 예측하는 역할을 합니다. HyperNetwork는 보통 다른 신경망 구조로 구성되며, 주어진 이미지를 입력으로 받아서 T2I 모델의 가중치를 예측합니다. 이러한 개인화된 이미지 생성을 위한 핵심 구성 요소 중 하나입니다. 여기서 예측한 가중치를 이후 Stable Diffusion 모델의 가중치에 더하여 개인화를 실행합니다. + +**Iterative Prediction**
+HyperDreamBooth에서 사용되는 HyperNetwork는 반복적 예측을 수행합니다. 이것은 HyperNetwork가 초기 예측을 한 후에도 추가 반복적인 예측 단계를 통해 결과를 개선하려고 시도하는 것을 의미합니다. 초기 HyperNetwork 예측은 방향성이 올바르고 대상과 얼굴과 유사한 semantic 특성을 생성하지만 미세만 세부 정보를 충분히 잡아내지 못할 수 있습니다. 따라서 반복적인 예측을 통해 초기 예측을 fine-tuning하고 더 나은 이미지를 생성합니다. 이 때에 image encoding은 단 한 번만 수행되며, 추출된 특징 f는 반복적인 예측 과정에서 사용됩니다. + +:::{figure-md} +
+
+HyperNetwork + Fast Finetuning
+:::
+
+### Rank-Relaxed Fast Finetuning
+초기 HyperNetwork를 실행하고 나면 semantic 속성과 방향성에 대해서 올바르게 생성이 되지만 세부적인 detail은 잘 잡아내지 못합니다. 이를 위해 마지막으로 fast finetuning 단계를 제안합니다. 이 단계를 통해, DreamBooth보다 훨씬 빠르지만 강한 subject fidelity, editability 그리고 style diversity를 동일하게 유지할 수 있습니다.
+먼저 HyperNetwork를 사용하여 개인화된 diffusion model 가중치를 예측합니다. 이후 diffusion model의 가중치를 초기화된 이미지 x와 함께 주어진 텍스트 지시어 c에 대한 diffusion noise loss $L(x)$ 를 최소화하도록 조정합니다. 여기서 주요한 점은 ***rank-relaxed*** 의 개념입니다. 이것은 초기 모델의 rank(주로 1)를 완화하여 더 높은 rank로 LoRA 모델을 fine tuning 하는 것을 의미합니다. 구체적으로, HyperNetwork의 예측된 가중치 모델의 전체 가중치에 추가하고 더 높은 rank로 LoRA fine tuning을 수행합니다. 이를 통해 모델은 주체의 고주파수 세부 사항을 더 잘 근사화할 수 있으며 이로 인해 다른 낮은 rank로 제한된 업데이트보다 더 높은 주제 충실도를 달성할 수 있습니다. 이러한 rank-relaxed의 개념은 HyperDreamBooth를 다른 방식보다 더 우수하게 만드는 요인입니다. 여기서도 동일한 Supervisory Text Prompt "a [V] face" 를 사용하는데 이 프롬프트는 이미지 개인화를 지원하며 모델이 얼굴에 관련된 다양한 특성과 스타일을 캡처하는 데 도움이 됩니다. 그리고 HyperNetwork의 초기화된 가중치를 고려할 때, fast finetuning 단계를 40번의 반복으로 완료할 수 있습니다. 이는 DreamBooth 및 LoRA DreamBooth와 비교했을 때 25배 빠른 속도라는 것을 의미합니다.
+
+## Experiments
+
+본 HyperDreamBooth는 Stable Diffusion v1.5 을 활용하여 구현했습니다. 이 모델에서는 Stable Diffusion v1.5의 다양한 요소 중 하나인 diffusion UNet의 cross and self-attention 레이어에 대한 LoRA 가중치를 예측합니다. 또한 텍스트 정보를 활용하기 위해 CLIP 텍스트 인코더도 예측합니다. 이미지 생성 모델을 개인화하기 위해 시각화에 사용되는 모든 얼굴 이미지는 SFHQ(Synthetic Face Headquarters) 데이터셋을 활용했습니다. 모델을 훈련시키기 위해 CelebA-HQ 데이터셋에서 15,000개의 실제 얼굴 이미지가 활용되었습니다.
+
+:::{figure-md}
+
+
+Result Gallery
+:::
+
+왼쪽 위에서 오른쪽 아래로 "인스타그램 셀카 [V] 얼굴", "Pixar 캐릭터 [V] 얼굴", "bark skin의 [V] 얼굴", "록 스타 [V] 얼굴", 가장 오른쪽: " 전문적인 [V] 얼굴 촬영" 프롬프트를 활용했습니다.
+
+:::{figure-md}
+
+
+Qualitative Comparison
+:::
+
+:::{figure-md}
+
+
+Comparisons Table
+:::
+
+## Comparisons
+
+Hyperdreambooth, DreamBooth 그리고 Textual Inversion의 무작위 생성된 샘플을 비교한 이미지와 표입니다. 정량적 평가를 위해 DINO와 같은 지표를 활용했습니다.
+
+:::{figure-md}
+
+
+Comparisons with DreamBooth
+:::
+
+위 표는 DreamBooth와 비교하는 부분입니다. DreamBooth의 hyperparameter를 다르게 조정하여 비교했습니다. 그 결과 학습률을 증가시키고 반복 횟수(iterations)를 감소시키면 결과의 저하가 있었습니다. DreamBooth-Agg-1은 400번의 반복을 시행하고, DreamBooth-Agg-2는 일반적인 Dreambooth의 1200번 대신 40번의 반복을 사용했습니다.
+
+
+:::{figure-md}
+
+
+HyperNetwork Ablation
+:::
+
+위 부분은 여러 가지 구성 요소로 나누어 실험한 표입니다. 실험 중에는 하이퍼네트워크를 사용하지 않는 경우, 하이퍼네트워크 예측만 사용하고 fast-finetuning을 사용하지 않은 경우, 반복 예측 없이 전체 방법을 1번만 사용한 경우를 비교합니다. 결과적으로 전체 방법이 모든 신뢰성 지표에서 가장 우수한 결과를 달성한다는 것을 보여주고 있습니다.
+
+:::{figure-md}
+
+
+User Study
+:::
+
+얼굴 인식 메트릭 이 특정 시나리오에서 상대적으로 약하다고 합니다. 얼굴 인식 네트워크가 실제 이미지에만 훈련되어 있고 다양한 스타일에서 동일한 사람을 인식하도록 훈련되어 있지 않기 때문이라고 주장하며 이를 보완하기 위해 user study를 진행했습니다. 여기서도 HyperDreamBooth, DreamBooth, Textual Inversion을 비교하고 사용자들의 평가를 받았습니다.
+
+## Follow-ups
+
+하지만 여전히 follow-ups가 존재합니다. 먼저 **semantic directional error** 라고 하는 초기 예측에서 잘못된 시맨틱 정보가 나올 수 있는 에러입니다. 잘못된 눈 색깔이나 헤어 타입, 성별 등이 나올 수 있습니다. 다음으로 **incorrect subject detail capture** 라는 오류가 있습니다. 다음은 **underfitting** 입니다. Fast finetuning 단계에서 identity는 지켜지더라도 유사하지 않은 샘플이 생성될 수 있습니다. 다음으로 HyperNetwork와 fast-finetuning 모두 일부 스타일에 대해 낮은 editability 가 나올 수 있습니다. 이러한 문제점은 빛, 포즈 등으로 인해 OOD인 샘플에서 나타날 수 있습니다.
+
+## Conclusion
+
본 연구에서는 HyperDreamBooth라는 새로운 방법을 소개했습니다. 이 방법은 텍스트에서 이미지로 변환하는 diffusion model을 빠르고 가벼운 방식으로 개인화하는 것을 목표로 합니다. HyperDreamBooth는 HyperNetwork라는 구성 요소를 활용하여 diffusion model의 가벼운 파라미터인 LiDB(Lightweight DreamBooth)파라미터를 생성하며, 이어서 DreamBooth 및 기타 최적화 기반 개인화 작업에 비해 크기와 속도를 상당히 줄이면서 fast rank-relaxed fine tuning을 수행합니다. 이를 통해 모델의 무결성을 유지하면서 다양한 스타일과 의미적 수정이 적용된 다양한 고품질 이미지를 생성할 수 있음을 입증하였습니다.
\ No newline at end of file
diff --git a/_sources/docs/review/I-DDPM.md b/_sources/docs/review/I-DDPM.md
index ea072620..e26ff1cc 100755
--- a/_sources/docs/review/I-DDPM.md
+++ b/_sources/docs/review/I-DDPM.md
@@ -1,220 +1,220 @@
-```{admonition} Information
-- **Title:** Improved Denoising Diffusion Probabilistic Models (CVPR 2021)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2102.09672](https://arxiv.org/abs/2102.09672)
-
-- **Author:** Seunghwan Ji
-
-- **Last updated on Aug. 6, 2023**
-```
-# I-DDPM
-
-## Abstract
-
-- DDPM을 약간 수정함으로써 High Quality를 유지하고, Log Likelihood수치도 개선할 수 있는 향상된 모델을 제안
-- Sampling시 Base 보다 더 적은 Step으로 비슷한 퀄리티의 결과를 낼 수 있는 방법을 제안
-- Model의 Scale과 Diffusion Step에 따른 Sample Quailty와 Likelihood 수치간의 관계를 연구
-
-## 1. Introduction
-
-- 최근 DDPM(Ho et al.) 모델은 Generate 분야에서 High Quality의 이미지를 생성해내는 수준까지 왔다.
-- 하지만, Image의 Quality에 반해 log-likelihood 수치는 다른 generative 모델에비해 현저히 떨어졌다. (e.g. VAE)
-- 또 DDPM이 Diversity가 낮은 Dataset(CIFAR-10, LSUN)에서는 잘 동작했지만, High Diversity Dataset에서의 동작은 증명되지 못했다.
-- I-DDPM에서는
- 1. Log-Likelihood 수치 개선
- 2. ImageNet같은 Diversity가 높은 Dataset에서도 잘 동작
- 3. Reverse Process에서의 Loss Term 개선
-
- 한 모델을 제안하였다.
-
-- 추가로 연구 과정 중, I-DDPM이 Base (DDPM) 모델에 비해 훨씬 더 적은 Step으로 비슷한 Quality를 내는 것을 확인
-
-**Log-Likelihood 값이 중요한 이유**
-
-- 기존 연구들에서 Loglikelihood 수치와 Sample의 Quality간의 연관성을 보이는 연구들이 많았다.
- - *Data의 Distribution에 대해 Model이 학습한 정도를 수치화한 느낌*
-- 수치가 좋아지면 Sample Quality도 따라 증가하는 경향을 보였다.
-- 따라서 DDPM에서도 LogLikelihood 수치를 개선한다면 Sample Quality도 따라서 더 증가할 가능성이 있지 않을까?
-- [https://angeloyeo.github.io/2020/07/17/MLE.html](https://angeloyeo.github.io/2020/07/17/MLE.html)
-
-## 2. Denoising Diffusion Probabilistic Models
-
-**DDPM**
-
-- Process
- - Forward Process
- :::{figure-md}
-
-
- Equation 1
- :::
- - Reverse Process
- :::{figure-md}
-
-
- Equation 2
- :::
-
-
-- Forward Process에서 입힌 Noise를 Neural Model의 Reverse Process로 예측하도록 학습하는 형태
-- 이 때 Noising & Denoising에 관한 (Hyper) Parameter로 ${B_{t}}$와 $\tilde{B_{t}}$를 사용
- - ${B_{t}}$ : time step 에 따른 noising할 정도
- - $\tilde{B_{t}}$ : Reverse Step에서 Denoising을 위한 Parameter로 아래와같이 정의
- :::{figure-md}
-
-
- Equation 3
- :::
-
-- 하지만 DDPM에서는 $\tilde{B_{t}}$ 대신 ${B_{t}}$를 사용해도 비슷한 수치를 보여서 ${B_{t}}$ (constant)로 고정
-
-## 3. Improving the Log-likelihood
-
-- 위의 문장 ($\tilde{B_{t}}$ 대신 ${B_{t}}$를 사용)에서 의문점
- - 사실 ${B_{t}}$와 $\tilde{B_{t}}$는 정 반대의 역할을 하는 Parameter인데 왜 비슷한 결과를 보였고, 결국 같은 값으로 Fix를 하는게 맞을까?
- :::{figure-md}
-
-
- Figure 1
- :::
-
- - Diffusion Step간 ${B_{t}}$와 $\tilde{B_{t}}$의 차이를 비교해보면 Diffusion Step이 커질수록 두개의 값은 거의 동일해진다. (Figure.1)
- :::{figure-md}
-
-
- Figure 2
- :::
-
- - 하지만 Figure.2를 보면 모델의 성능은 대부분 Step 초반에 결정되는데, Step 초반에는 두 값의 차이가 큰 것을 확인할 수 있다.
- - *Model의 성능이 결정되는 부분 = Loss 가 급격하게 떨어지는 부분*
-
- ⇒ 따라서, ${B_{t}}$와 $\tilde{B_{t}}$를 동일한 값으로 두고 $\tilde{B_{t}}$를 Non Trainable Parameter로 두는것은 설계의 Miss
-
- - 하지만, $\tilde{B_{t}}$ 자체를 학습하기에는 값의 범위가 너무 작아서 ${B_{t}}$와 $\tilde{B_{t}}$의 Interpolation 값을 Predict하도록 설계
- :::{figure-md}
-
-
- Figure 3
- :::
-
- - Hybrid Loss
- - $L_{hyprid} = L_{simple} + λL_{vlb}$
-- Noise Schedule
- - DDPM의 경우 High Resolution 이미지에대해 잘 동작하지만, Low-Resolution (e.g. 32x32, 64x64)의 이미지에 대해서는 잘 동작하지 않는것을 확인
- - Noise Scheduling에서 Linear mode의 Limitation이 있음을 지적
- :::{figure-md}
-
-
- Equation 4
- :::
-
- - Step이 거듭날수록 Linear schedule(상단)의 이미지가 너무 빠르게 Noisy해짐
- - 추가로 Reverse Process의 20%를 Skip해도 성능에 큰 영향이 없음을 확인
-
- ⇒ 결국 Linear mode를 사용하면 특정 Step 이후의 Noise는 학습에 의미있는 영향을 미치지 못한다.
-
- - I-DDPM에서는 이러한 scheduling Equation을 새로 정의
- :::{figure-md}
-
-
- Equation 5
- :::
-
- - 새로 정의한 식은 중간 단계에서는 Noise가 강하게 입혀지지만 0과 T 부근에서는 비교적 덜 Noisy해짐
- :::{figure-md}
-
-
- Figure 3
- :::
-
-- Gradient Noise
- - Model을 $L_{vlb}$를 Direct로 최적화하도록 설계하면 Best
- - 하지만 아래 이미지와같이 Loss 자체가 unstable해서 직접 최적화에는 어려움이 있음
- :::{figure-md}
-
-
- Figure 4
- :::
-
- - 따라서 $L_{vlb}$의 Variance를 줄이기위해(=stable) Importance Sampling 기법을 도입
- - 위 Fig.2에서 보면 학습 말기는 Loss의 변화에 큰 영향이 없으므로 확률적으로 학습 초반의 데이터를 좀더 sampling해서 학습하도록 설계
- - 실제로 적용해본 결과 $L_{hybrid}$보다 더 낮은 Loss 를 보임
- - $L_{hybrid}$에 Importance Sampling을 적용하면?
- - 적용 전보다 좋지 않은 결과를 보인다..
-
-**Result**
-
-:::{figure-md}
-
-
-Table 1
-:::
-
-:::{figure-md}
-
-
-Table 2
-:::
-
-- DDPM에서 다소 취약했던 ImageNet 64x64와 CIDAR-10 데이터를 기준
- - $L_{vlb}$의 경우 Importance sampling을 적용한 결과
-
-:::{figure-md}
-
-
-Table 3
-:::
-
-- Convolution 모델이나 Diffusion 모델중에서는 뛰어나지만, Fully Transformer 모델에 비해서는 다소 부족한 면이 있음
-
-## 4. Improcing Sampling Speed
-
-- Sampling Speed를 높이기 위한 방법을 제안
- - Training 시에는 전체 Step(1, … , T)을 학습
- - Sampling 시에는 몇몇 Step만 Sampling
-- 결과는?
-
-:::{figure-md}
-
-
-Figure 5
-:::
-
-:::{figure-md}
-
-
-Figure 6
-:::
-
-⇒ 100 Step만 가도 Full Model과 비슷한 FiD값을 보임
-
-## 5. Comparison to GANs
-
-- Class Conditional Generation + P&R Metric으로 GAN 모델(BigGAN)과 성능을 비교
- :::{figure-md}
-
-
- Figure 7
- :::
-
-
- - Big-GAN Deep 모델보다 생성 타겟에 대한 FiD 수치나 Recall metric에서 더 뛰어난 성능을 보임
-
-## 6. Scaling Model Size
-
-- 다양한 Capacity를 가진 모델의 FiD와 NLL 값을 비교
-
-:::{figure-md}
-
-
-Figure 8
-:::
-
-:::{figure-md}
-
-
-Figure 9
-:::
-
-⇒ 모델의 크기와 학습량 모두 Step에 어느정도 비례함
+```{admonition} Information
+- **Title:** Improved Denoising Diffusion Probabilistic Models (CVPR 2021)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2102.09672](https://arxiv.org/abs/2102.09672)
+
+- **Author:** Seunghwan Ji
+
+- **Last updated on Aug. 6, 2023**
+```
+# I-DDPM
+
+## Abstract
+
+- DDPM을 약간 수정함으로써 High Quality를 유지하고, Log Likelihood수치도 개선할 수 있는 향상된 모델을 제안
+- Sampling시 Base 보다 더 적은 Step으로 비슷한 퀄리티의 결과를 낼 수 있는 방법을 제안
+- Model의 Scale과 Diffusion Step에 따른 Sample Quailty와 Likelihood 수치간의 관계를 연구
+
+## 1. Introduction
+
+- 최근 DDPM(Ho et al.) 모델은 Generate 분야에서 High Quality의 이미지를 생성해내는 수준까지 왔다.
+- 하지만, Image의 Quality에 반해 log-likelihood 수치는 다른 generative 모델에비해 현저히 떨어졌다. (e.g. VAE)
+- 또 DDPM이 Diversity가 낮은 Dataset(CIFAR-10, LSUN)에서는 잘 동작했지만, High Diversity Dataset에서의 동작은 증명되지 못했다.
+- I-DDPM에서는
+ 1. Log-Likelihood 수치 개선
+ 2. ImageNet같은 Diversity가 높은 Dataset에서도 잘 동작
+ 3. Reverse Process에서의 Loss Term 개선
+
+ 한 모델을 제안하였다.
+
+- 추가로 연구 과정 중, I-DDPM이 Base (DDPM) 모델에 비해 훨씬 더 적은 Step으로 비슷한 Quality를 내는 것을 확인
+
+**Log-Likelihood 값이 중요한 이유**
+
+- 기존 연구들에서 Loglikelihood 수치와 Sample의 Quality간의 연관성을 보이는 연구들이 많았다.
+ - *Data의 Distribution에 대해 Model이 학습한 정도를 수치화한 느낌*
+- 수치가 좋아지면 Sample Quality도 따라 증가하는 경향을 보였다.
+- 따라서 DDPM에서도 LogLikelihood 수치를 개선한다면 Sample Quality도 따라서 더 증가할 가능성이 있지 않을까?
+- [https://angeloyeo.github.io/2020/07/17/MLE.html](https://angeloyeo.github.io/2020/07/17/MLE.html)
+
+## 2. Denoising Diffusion Probabilistic Models
+
+**DDPM**
+
+- Process
+ - Forward Process
+ :::{figure-md}
+
+
+ Equation 1
+ :::
+ - Reverse Process
+ :::{figure-md}
+
+
+ Equation 2
+ :::
+
+
+- Forward Process에서 입힌 Noise를 Neural Model의 Reverse Process로 예측하도록 학습하는 형태
+- 이 때 Noising & Denoising에 관한 (Hyper) Parameter로 ${B_{t}}$와 $\tilde{B_{t}}$를 사용
+ - ${B_{t}}$ : time step 에 따른 noising할 정도
+ - $\tilde{B_{t}}$ : Reverse Step에서 Denoising을 위한 Parameter로 아래와같이 정의
+ :::{figure-md}
+
+
+ Equation 3
+ :::
+
+- 하지만 DDPM에서는 $\tilde{B_{t}}$ 대신 ${B_{t}}$를 사용해도 비슷한 수치를 보여서 ${B_{t}}$ (constant)로 고정
+
+## 3. Improving the Log-likelihood
+
+- 위의 문장 ($\tilde{B_{t}}$ 대신 ${B_{t}}$를 사용)에서 의문점
+ - 사실 ${B_{t}}$와 $\tilde{B_{t}}$는 정 반대의 역할을 하는 Parameter인데 왜 비슷한 결과를 보였고, 결국 같은 값으로 Fix를 하는게 맞을까?
+ :::{figure-md}
+
+
+ Figure 1
+ :::
+
+ - Diffusion Step간 ${B_{t}}$와 $\tilde{B_{t}}$의 차이를 비교해보면 Diffusion Step이 커질수록 두개의 값은 거의 동일해진다. (Figure.1)
+ :::{figure-md}
+
+
+ Figure 2
+ :::
+
+ - 하지만 Figure.2를 보면 모델의 성능은 대부분 Step 초반에 결정되는데, Step 초반에는 두 값의 차이가 큰 것을 확인할 수 있다.
+ - *Model의 성능이 결정되는 부분 = Loss 가 급격하게 떨어지는 부분*
+
+ ⇒ 따라서, ${B_{t}}$와 $\tilde{B_{t}}$를 동일한 값으로 두고 $\tilde{B_{t}}$를 Non Trainable Parameter로 두는것은 설계의 Miss
+
+ - 하지만, $\tilde{B_{t}}$ 자체를 학습하기에는 값의 범위가 너무 작아서 ${B_{t}}$와 $\tilde{B_{t}}$의 Interpolation 값을 Predict하도록 설계
+ :::{figure-md}
+
+
+ Figure 3
+ :::
+
+ - Hybrid Loss
+ - $L_{hyprid} = L_{simple} + λL_{vlb}$
+- Noise Schedule
+ - DDPM의 경우 High Resolution 이미지에대해 잘 동작하지만, Low-Resolution (e.g. 32x32, 64x64)의 이미지에 대해서는 잘 동작하지 않는것을 확인
+ - Noise Scheduling에서 Linear mode의 Limitation이 있음을 지적
+ :::{figure-md}
+
+
+ Equation 4
+ :::
+
+ - Step이 거듭날수록 Linear schedule(상단)의 이미지가 너무 빠르게 Noisy해짐
+ - 추가로 Reverse Process의 20%를 Skip해도 성능에 큰 영향이 없음을 확인
+
+ ⇒ 결국 Linear mode를 사용하면 특정 Step 이후의 Noise는 학습에 의미있는 영향을 미치지 못한다.
+
+ - I-DDPM에서는 이러한 scheduling Equation을 새로 정의
+ :::{figure-md}
+
+
+ Equation 5
+ :::
+
+ - 새로 정의한 식은 중간 단계에서는 Noise가 강하게 입혀지지만 0과 T 부근에서는 비교적 덜 Noisy해짐
+ :::{figure-md}
+
+
+ Figure 3
+ :::
+
+- Gradient Noise
+ - Model을 $L_{vlb}$를 Direct로 최적화하도록 설계하면 Best
+ - 하지만 아래 이미지와같이 Loss 자체가 unstable해서 직접 최적화에는 어려움이 있음
+ :::{figure-md}
+
+
+ Figure 4
+ :::
+
+ - 따라서 $L_{vlb}$의 Variance를 줄이기위해(=stable) Importance Sampling 기법을 도입
+ - 위 Fig.2에서 보면 학습 말기는 Loss의 변화에 큰 영향이 없으므로 확률적으로 학습 초반의 데이터를 좀더 sampling해서 학습하도록 설계
+ - 실제로 적용해본 결과 $L_{hybrid}$보다 더 낮은 Loss 를 보임
+ - $L_{hybrid}$에 Importance Sampling을 적용하면?
+ - 적용 전보다 좋지 않은 결과를 보인다..
+
+**Result**
+
+:::{figure-md}
+
+
+Table 1
+:::
+
+:::{figure-md}
+
+
+Table 2
+:::
+
+- DDPM에서 다소 취약했던 ImageNet 64x64와 CIDAR-10 데이터를 기준
+ - $L_{vlb}$의 경우 Importance sampling을 적용한 결과
+
+:::{figure-md}
+
+
+Table 3
+:::
+
+- Convolution 모델이나 Diffusion 모델중에서는 뛰어나지만, Fully Transformer 모델에 비해서는 다소 부족한 면이 있음
+
+## 4. Improcing Sampling Speed
+
+- Sampling Speed를 높이기 위한 방법을 제안
+ - Training 시에는 전체 Step(1, … , T)을 학습
+ - Sampling 시에는 몇몇 Step만 Sampling
+- 결과는?
+
+:::{figure-md}
+
+
+Figure 5
+:::
+
+:::{figure-md}
+
+
+Figure 6
+:::
+
+⇒ 100 Step만 가도 Full Model과 비슷한 FiD값을 보임
+
+## 5. Comparison to GANs
+
+- Class Conditional Generation + P&R Metric으로 GAN 모델(BigGAN)과 성능을 비교
+ :::{figure-md}
+
+
+ Figure 7
+ :::
+
+
+ - Big-GAN Deep 모델보다 생성 타겟에 대한 FiD 수치나 Recall metric에서 더 뛰어난 성능을 보임
+
+## 6. Scaling Model Size
+
+- 다양한 Capacity를 가진 모델의 FiD와 NLL 값을 비교
+
+:::{figure-md}
+
+
+Figure 8
+:::
+
+:::{figure-md}
+
+
+Figure 9
+:::
+
+⇒ 모델의 크기와 학습량 모두 Step에 어느정도 비례함
diff --git a/_sources/docs/review/IP_Adapter.md b/_sources/docs/review/IP_Adapter.md
index ffe00058..96277950 100755
--- a/_sources/docs/review/IP_Adapter.md
+++ b/_sources/docs/review/IP_Adapter.md
@@ -1,385 +1,385 @@
-``` {admonition} Information
-- **Title:** IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2308.06721](https://arxiv.org/abs/2308.06721)
- - Code: [https://github.com/tencent-ailab/IP-Adapter](https://github.com/tencent-ailab/IP-Adapter)
- - Project Page : [https://ip-adapter.github.io](https://ip-adapter.github.io)
-
-- **Author:** Kyeongmin Yu
-
-- **Last updated on Sep. 21, 2024**
-```
-
-# IP-Adapter
-
-> 📌 문제상황 \
-> text-to-image diffusion model(T2I diffusion model)이 생성하는 이미지 품질은 훌륭하지만 text prompt를 통해 원하는 형태의 이미지를 생성하는 것이 어렵다. 복잡한 prompt engineering을 시도하거나, image prompt를 활용할 수도 있지만 사전학습된 모델을 fine-tuning하게 되면 많은 리소스가 필요할 뿐만 아니라 해당 방식은 범용성, 호환성도 떨어진다. \
-> \
-> 📌 해결방안 \
-> **cross-attention을 text features와 image features로 decoupling한다.** 기존 학습된 diffusion model은 text feature에 맞춰 학습된 상태이므로 기존 layer에 image feature를 넣게 되면 image feature와 text feature를 align을 수행하게 되므로 기존 cross-attention layer 하나를 통해 image-feature와 text-feature를 결합하는 것은 적절하지 않다. \
-> \
-> 📌 논문의 강점
-> - 어떤 모델 구조에도 활용가능하다.
-> - 적은 수의 파라미터(22M)만 추가적으로 학습하므로 가볍다.
-> - 기존 controllable tools에 덧붙여 쓸 수도 있다.
-
-:::{figure-md}
-
-
-IP-Adapter를 활용한 이미지 합성 [출처](https://arxiv.org/abs/2308.06721)
-:::
-
-# Introduction
-
-**:image prompt의 필요성과 기존 연구에서 image prompt를 사용해 이미지를 생성하려는 시도의 종류와 장단점을 말한다.**
-
-복잡한 scene이나 concept을 입력할때 이미지 형태로 입력하는 것이 간편하고 효과적이다.
-image prompt + text prompt(“an image is worth a thousand words”)
-
-
-:::{figure-md}
-
-
-“내츄럴 풍으로 카페를 꾸미고 여러 식물을 두어 장식하고 싶어. 내가 좋아하는 식물은 스노우 사파이어, 호야, 자미오쿨카스등 이고, 의자와 테이블은 원목을 선호해.”
-:::
-
-
-DALL-E2는 처음으로 image prompt를 지원한 모델으로, T2I prior model이 image embedding을 조건으로 이미지를 생성하도록 했다. 하지만 기존 대부분의 T2I 모델은 주로 text를 조건으로 이미지를 생성하는 방식이었다. 예를 들어 stable diffusion(SD) 모델의 경우 CLIP text encoder로 부터 text embedding을 뽑아내 사용했다.
-
-본 논문에서는 “image prompt를 기존 T2I 모델에서 사용할 수 있는지”, image prompt를 사용한 T2I 이미지 생성을 단순한 방식으로 가능케 한다.
-
-:::{figure-md}
-
-
-비교를 위한 DALL-E2(unCLIP) 구조 [출처](https://arxiv.org/abs/2204.06125)
-:::
-
-:::{figure-md}
-
-
-비교를 위한 Stable Diffusion의 구조 구조 [출처](https://arxiv.org/abs/2112.10752)
-:::
-
-
-SD Image Variations와 Stable UnCLIP과 같은 기존 연구에서 image prompt를 사용한 이미지 생성을 위해 text-conditioned diffusion models을 image embedding을 사용해 직접 fine-tuning하려는 시도를 했다. 하지만 많은 양의 컴퓨터 리소스 사용과 기존 T2I 생성능력 저하, 재사용성 저하라는 단점이 있었다. 또한 해당 방식은 ControlNet과 같은 기존 structural control tools과 호환되지 않았다. 이는 downstream application에 치명적이다.
-
-이를 피하기 위해 diffusion model 자체를 fine-tuning하지 않고 text encoder를 image encoder로 교체하는 방식도 있었지만 text prompt를 지원할 수 없게 되고 이미지 품질이 충분하지 않다는 단점이 있었다.
-
-최근에는 T2I base model을 건드리지 않고 추가적인 네트워크를 이용해 image prompt를 지원하는 연구들이 있었다. ControlNet, T2I-Adapter와 같은 연구들은 대부분 sketch, depth map, segmenation map 등의 추가적인 입력을 활용했다. 또한 T2I-Adapter나 Uni-ControlNet 같이reference image를 입력해 style 이나 concept을 전달하려는 시도도 있었다. 이런 흐름의 연구들은 CLIP image encoder에서 image embedding을 추출하여 추가 trainable network에 새로운 feature들을 mapping하여 text feature와 융합하고자 했다. 기존 text feature대신 text feature+image feature를 디퓨전 모델 내 UNet 구조에 넣어 prompt에 넣은 이미지에 적합한(faithful) 이미지를 생성하고자 했다. 이런 연구들을 통해 image prompt의 가능성을 볼수 있었지만 그 충실도가 충분하지 않았다. 또한 이미지 품질이 fine-tuning된 image prompt model보다 나빴다.
-
-
-:::{figure-md}
-
-
-기존 모델과 IP-Adapter 비교 [출처](https://arxiv.org/abs/2308.06721)
-:::
-
-
-**image prompt를 지원하는 기존 방식**
-
-- input image embedding to T2I model
-- base model fine-tuning
-- text encoder → image encoder
-- additional network
-
-본 논문에서는 앞서 언급한 문제점의 원인을 T2I model내의 cross-attention이라고 보고 있다. **사전학습된 cross-attention에서 key, value projection weights은 text feature에 맞게 훈련되어 잇는 상태이다.**
-결과적으로 image feature와 text feature를 cross-attention layer에서 합쳐지는데 이때 image-specific 특성들이 무시되어 reference image에 아주 충실한 이미지를 생성하지 못하고 coarse-grained controllable generation(e.g., image style)만 달성 가능해진다.
-
-마지막으로 앞선 연구의 문제점들을 극복한 효과적인 image prompt adapter, IP-Adapter를 제안한다. 특히 IP-Adapter의 경우 decoupled cross-attention mechanism을 사용해 text feature와 image feature를 분리한다. image feature를 위해 base model내 모든 UNet cross-attention layer에 cross-attention layer 를 추가하여 훈련단계에서는 적은 수의 파라미터(22M)만 훈련한다. 본 논문에서 제안하는 IP-Adapter는 매우 가볍고 효과적이다. 또한 일반화 능력(generalization capability)가 높고 text prompt와도 잘 어울린다(compatible).
-
-**IP-Adapter에서 제안하는 방식**
-
-- additional cross-attention layer in UNet of diffusion model
-- reusable and flexible (base + IP-Adapter + ControlNet가능)
-- multimodal compatibility (image prompt + text prompt)
-
-# Related Works
-
-### Text-to-Image Diffusion Models
-
-large T2I model은 크게 autoregressive models, diffusion models 두 부류로 나눌 수 있다. DALLE, CogView, Make-A-Scene과 같은 초기 연구들은 autoregressive model 이었다. autoregressive model은 VQ-VAE와 같은 image tokenizer를 사용해 image들을 token화 하여 autoregressive transformer에 text token을 이용해 image token을 예측하게 하는 방식으로 학습했다. 하지만 autoregressive model은 파라미터 수가 많고 고화질 이미지를 생성하기 위해 많은 리소스가 필요했다.
-
-최근에는 diffusion models(DM)이 등장하여 T2I 생성모델의 state-of-the-art를 달성했다. 이전에 GLIDE는 cascaded diffusion 구조를 통해 64x64 → 256x256 이미지를 생성했다.
-DALL-E2의 경우, text prompt로 이미지를 생성하도록 학습된 모델을 활용해 image embedding을 조건으로 이미지를 생성했다. DALL-E2는 text prompt를 통한 이미지 생성을 지원하지 않았다. text 이해도를 높이기 위해 Imagen은 거대 transformer language model인 T5를 도입했다. Re-Imagen의 경우 드물거나 학습한적없는 entity에 대한 image에 대한 충성도를 개선했다.
-SD는 latent diffusion model로 pixel space가 아닌 latent space상에서 동작하게 하여 diffusion model만 사용하여 고품질의 이미지를 생성할 수 있게 했다. text 일치도(alignment)를 높이기 위해 eDiff-I의 경우 T2I diffusion model과 유사한 디자인을 채택하여 T5 text, CLIP text embedding, CLIP image embedding등 멀티모달 조건을 활용했다. Versatile Diffusion은 unified multi-flow diffusion framework를 이용해 T2I, I2T, 등 다양한 생성방식을 하나의 모델로 가능하게 했다. controllable image 생성 면에서는 Composer가 image embedding을 활용한 joint fine-tuning을 시도했었다. RAPHAEL은 mixture of experts(MoEs) 전략을 사용해 T2I model의 이미지 품질을 향상시켰다.
-
-DALL-E2는 image prompt를 통해 해당 풍의 이미지들을 생성할 수 있다는 점에서 매력적이다. 또한 image prompt를 T2I model에서 지원하고자 하는 연구들이 있다. SD Image Variants model은 변경한 SD를 fine-tuning하여 text feature를 CLIP image encoder의 image embedding으로 교체할 수 있게 했다. Stable unCLIP 또한 SD를 fine-tuning하여 time embedding에 image embedding을 추가했다. 기존 모델을 fine-tuning하는 방식은 고품질의 이미지를 생성 할 수 있다는 장점이 있지만 비교적 training cost가 높으며 기존 tools(e.g.,ControlNet)과 호환되지 않는다는 단점이 있다.
-
-### Adapters for Large Models
-
-거대한 사전학습된 모델 전체를 fine-tuning하는 것은 비효율적이다. 이 대안으로 떠오르는 것이 adapter를 사용하는 것인데, 기존 모델은 freeze시켜 학습하는 파라미터 수를 줄일 수 있다. adapter는 NLP에서 오랫동안 사용되던 방식이다. 최근에는 LLM의 vision-language 이해를 위해 adapter를 사용하고 있다.
-
-T2I model의 최근 인기로 인해 adapter들도 여기에 추가적인 control을 주는 방향으로 사용되고 있다. ControlNet(아래 사진 참고)의 경우 사전학습된 T2I diffusion model에 task-specific한 입력
-(e.g.,canny edge)을 추가적으로 넣기위해 adapter를 사용할 수 있다는 것을 보여주었다. 유사한 시기에 T2I-Adapter(아래 사진 참고)도 등장했는데 보다 간단하고 가벼운 형태로 색이나 구조적인 면에서
-fine-grained control을 주고자 했다. fine-tuning에 사용되는 비용을 줄이기 위해 Uni-ControlNet은 multi-scale condition injection을 사용했다.
-
-structural control외에 이미지 집합을 통해 content나 style을 조절하고자 한 연구도 있다. ControlNet Shuffle의 경우 이미지들을 recompose하도록 학습하여 사용자가 제공한 이미지들을 바탕으로 이미지를 생성 할 수 있었다. 또한 ControlNet Reference-only의 경우, 학습없이 SD에 feature injection을 통해 이미지를 변형했다. T2I-Adapter의 최근 버전의 경우, CLIP image encoder로 부터 reference image의 image feature를 text feature에 더해줌으로서 style adapter로서의 역할도 가능하다. Uni-ControlNet(아래 사진 참고)의 global control adapter 또한 CLIP image encoder로 부터 추출한 image embedding을 작은 네트워크를 통해 projection하 condition embedding으로 projection하여 사용한다. SeeCoder(아래 사진 참고)는 기존 text encoder를 semantic context encoder로 교체하여 image variants를 생성하고자 했다.
-
-
-**ControlNet**
-
-:::{figure-md}
-
-
-비교를 위한 ControlNet의 작동 방식 [출처](https://arxiv.org/abs/2302.05543)
-:::
-
-:::{figure-md}
-
-
-ControlNet preprocessor[ContentShuffleDetector](https://github.com/pytorch/pytorch/blob/main/torch/nn/modules/pixelshuffle.py)
-:::
-
-**Uni-ControlNet**
-:::{figure-md}
-
-
-Uni-ControlNet Architecture [출처](https://arxiv.org/abs/2305.16322)
-:::
-
-**T2I-Adapter**
-
-:::{figure-md}
-
-
-비교를 위한 T2I Adapter의 작동 방식 [출처](https://arxiv.org/abs/2302.08453) [PixelUnshuffle](https://pytorch.org/docs/stable/generated/torch.nn.PixelUnshuffle.html)
-:::
-
-:::{figure-md}
-
-
-T2I Adapter의 장점 [출처](https://arxiv.org/abs/2302.08453)
-:::
-
-:::{figure-md}
-
-
-T2I-adapter의 결과는 기존 모델의 각 층의 feature map 크기가 맞도록 더해짐 [출처](https://arxiv.org/abs/2302.08453)
-:::
-
-**SeeCoder**
-:::{figure-md}
-
-
-SeeCoder Architecture [출처](https://arxiv.org/abs/2305.16223)
-:::
-
-# Method
-
-### Preliminaries
-
-
-> 📌 생성모델의 일종인 diffusion model의 이미지 생성단계
-> 1. **diffusion process (forward process)** \
- T step의 fixed Markov chain을 통해데이터에 gaussian noise를 점차 추가.
-> 2. **denoising process** \
- gaussian noise로 부터 learnable model을 통해 sample을 생성.
-
-
-일반적으로 noise 예측을 위한 diffusion model($\epsilon_\theta$)의 training objective는 아래와 같이 단순한 variant of variational bound 로 표현된다.
-
-$$
-L_{\text{simple}}=\Bbb E_{x_0, \epsilon\sim \mathcal N(0,I),c,t}\|\epsilon-\epsilon_\theta(x_t, \mathbf c,t)\|^2 \tag{1}
-$$
-
-$x_0$ 는 real data, $\mathbf c$ 는 추가조건, $t$ 는 time step을 말하며 $[0,T]$ 내에 속한다. $x_t=\alpha_t x_0+\sigma_t\epsilon$은 step t에 해당하는 noisy data를 말하고, $\alpha_t, \sigma_t$는 diffusino process를 결정하는 predefined function이다. $\epsilon_\theta$가 한번 학습되고 나면 랜덤 노이즈로부터 이미지를 반복적으로 생성할 수 있다. 일반적으로 생성 속도를 높이기 위해 DDIM, PNDM, DPM-solver와 같은 fast sampler를 inference시 사용한다.
-
-conditional diffusion model에서 classifier guidance를 통해 이미지 정확도(fidelity)와 다양성(sample diversity)를 밸런싱할 수 있다. 이는 따로 학습된 classifier의 gradient를 활용하는데, classifier를 따로 학습하는 번거로움을 지우기 위해 classifier-free guidance를 사용하기도 한다. 이런 접근에서 conditional, unconditional diffusion models는 학습시 랜덤하게 조건 $c$ 를 배제하여 합동 학습(joint training)된다. sampling단계 에서는 conditional model과 unconditional model의 prediction을 모두 이용하여 noise를 계산한다.
-
-$$
-\hat \epsilon_\theta(x_t,\mathbf c,t)=\mathcal w \epsilon_\theta(x_t,\mathbf c, t)+(1-\mathcal w)\epsilon_\theta(x_t,t) \tag{2}
-$$
-
-$\mathcal w$은 guidance scale 혹은 guidance weight로 불리는데 condition $c$의 영향력을 조절하기 위한 상수값이다. T2I diffusion model의 경우 image-text 일치성을 높이는데 classifier-free guidance가 큰 역할을 한다.
-
-본 논문에서는 open-source SD에 IP-Adapter를 덧붙여 실험을 진행했다. SD는 latent diffusion model로 frozen CLIP text encoder로 뽑아낸 text feature를 condition으로 사용한다. diffusion model은 Unet에 attention layer가 추가된 형태이다. Imagen과 같은 pixel-based diffusion model과 비교해 SD는 사전학습된 auto-encoder model을 활용해 latent space에서 동작하므로 효율적이다.
-
-### Image Prompt Adapter
-
-:::{figure-md}
-
-
-IP-Adapter의 동작방식 [출처](https://arxiv.org/abs/2308.06721)
-:::
-
-:::{figure-md}
-
-
-비교를 위한 Stable Diffusion의 구조 [출처](https://arxiv.org/abs/2112.10752)
-:::
-
-**Image Encoder**
-
-pretained CLIP image encoder를 사용해 image prompt에서 image feature를 뽑아냈다. CLIP은 multimodal model로 거대 image-text pair 데이터셋으로 contrastive learning시킨 모델이다. CLIP image encoder를 통해 global image embedding을 얻었다. 이는 image로 부터 풍부한 내용(content)와 스타일을 담은 image caption과 잘 조정되어(well-aligned) 있다. 학습단계에서 CLIP image encoder는 frozen되어 학습되지 않는다.
-
-**Decoupled Cross-Attention**
-
-image feature는 사전학습된 UNet에 decoupled cross-attention을 통해 결합된다. 초기 SD model에서는 CLIP text encoder를 통해 뽑아낸 text feature를 UNet의 cross-attention layer에 넣었다.
-
-$$
-\mathbf Z'=\text{Attention}(\mathbf{Q,K,V})=\text{Softmax}(\frac{\mathbf {QK}^T}{\sqrt{d}})\mathbf V, \tag{3}
-$$
-
-query feature는 $Z$, text feature는 $c_t$, cross-attention의 결과는 $Z’$이고, $\mathbf{Q=ZW_q, K=c_t W_k, V=c_t W_v}$는 attention 연산의 각각 query, key, value 행렬이다. $\mathbf{W_q, W_k, W_v}$는 linear projection layers의 학습가능한 weigth matrices다.
-
-image feature를 이미지 생성에 반영하는 직관적인 방법은 cross-attention시 text feature+image feature로 결합(concatenate)하여 처리하는 것이다. 하지만 이 방법은 충분하지 않다는 것을 발견하여 decoupled cross-attention을 제안한다. 이는 cross-attention 에서 image feature와 text feature를 따로 처리하는 것이다. 구체적으로는 기존 cross-attention layer가 존재하던 곳에 새로운 cross-attention layer를 추가하여 image feature를 처리하도록 했다. image feature $c_i$가 주어질때 새로운 attention layer의 결과는 다음과 같다.
-
-$$
-\mathbf Z''=\text{Attention}(\mathbf{Q,K',V'})=\text{Softmax}(\frac{\mathbf{Q(K')}^T}{\sqrt{d}})\mathbf V', \tag{4}
-$$
-
-$\mathbf{Q=ZW_q}$, $\mathbf{K'=c_t W'_k}$ , $\mathbf{V'=c_t W'_v}$ 는 image feature를 위한 query, key, value 행렬이다. 여기서 핵심은 text cross-attention과 image cross-attention에서 동일한 qeury를 사용했다는 점이다. 결과적으로는 각 cross-attention layer 마다 2개의 파라미터 $\mathbf{W'_k,W'_v}$ 를 추가하게 된다. 수렴속도를 높이기 위해 $\mathbf{W'_k,W'_v}$는 $\mathbf{W_k,W_v}$로 초기화했다. 그러면 두 cross-attention layer의 결과를 더함으로써 최종 결과를 구할 수 있다. decoupled cross-attention의 최종적인 형태는 다음과 같다.
-
-$$
-\mathbf Z^\text{new}=\text{Softmax}(\frac{\mathbf {QK}^T}{\sqrt{d}})\mathbf V + \text{Softmax}(\frac{\mathbf {Q(K')}^T}{\sqrt{d}})\mathbf V' \tag{5}
-$$
-
-$$ \text{where} \space \mathbf{Q=ZW}_q,\space \mathbf{k=c}_t\mathbf W_k,\space \mathbf{K'=c}_i\mathbf W'_k, \space \mathbf{V'=c}_i\mathbf W'_v
-$$
-
-사전학습한 UNet은 freeze시키고 훈련을 진행하므로 $\mathbf{W'_k,W'_v}$ **만** 학습된다.
-
-
-
-**Training and Inference**
-
-학습시 IP-Adapter만 최적화하고 기존 사전학습된 diffusion model은 고정한다. IP-Adapter는 image-text pair dataset으로 학습시키며 original SD와 동일한 objective를 사용한다.
-
-$$
-L_{\text{simple}}=\Bbb E_{x_0, \epsilon\sim \mathcal N(0,I),c_t,c_i,t}\|\epsilon-\epsilon_\theta(x_t,\mathbf {c_t,c_i},t)\|^2 \tag{6}
-$$
-
-또 random하게 image condition을 drop하여 inference 단계에서 classifier-free guidance를 사용할 수 있도록 한다.
-
-$$
-\hat \epsilon_\theta(x_t,\mathbf {c_t,c_i},t)=\mathcal w \epsilon_\theta(x_t,\mathbf {c_t,c_i}, t)+(1-\mathcal w)\epsilon_\theta(x_t,t) \tag{7}
-$$
-
-image condition이 drop되면 CLIP image embedding은 0으로 처리했다. text cross-attention과 image cross-attention을 detach되며 inference시 image condition의 가중치도 조절할 수 있다. $\lambda$ 가 0이 되면 기존 T2I 모델이 된다.
-
-$$
-\mathbf Z^\text{new}=\text{Softmax}(\mathbf {Q,K,V})+ \lambda\cdot\text{Softmax}(\mathbf {Q,K',V'})\tag{8}
-$$
-
-# Experiments
-
-### Experimental Setup
-
-| 항목 | 값 |
-|--------|:------:|
-| base model | SD v1.5 |
-| image encoder | OpenCLIP ViT-H/14 |
-| resolution | 512x512 (resized and center crop) |
-| optimizer | AdamW |
-| learning rate | 0.0001 |
-| weight decay | 0.01 |
-| libraries | Hugging Face diffusers,\\ DeepSpeed SeRO-2 |
-| GPU | 8 V100 |
-| training step | 1M |
-| batch size | 8 per GPU |
-| classifier-free guidance | 0.05 |
-| training data | LAION-2B, COYO-700M |
-| sampler for inference | DDIM (50steps) |
-| guidance scale | 7.5 |
-| $\lambda$ | 1.0 for only image prompt |
-
-### Comparison with Existing Methods
-
-**Quantitative Comparison**
-:::{figure-md}
-
-
-실험결과 [출처](https://arxiv.org/abs/2308.06721)
-:::
-
-**Qualitative Comparison**
-:::{figure-md}
-
-
-실험결과 [출처](https://arxiv.org/abs/2308.06721)
-:::
-
-(실험 결과를 보고 IP-Adapter를 활용해 생성한 이미지가 reference와 지나치게 유사하다는 생각이 들었습니다. 몇몇은 그냥 좌우반전을 한것처럼 느껴졌습니다. 흔히 GAN에서 말하는 Model Collapse와 같은 현상이 아닌가 싶어 다양성이 낮아보이는 결과가 의아했으나, conclusion에서 이 단점을 언급합니다.)
-
-### More Results
-
-**Generalizable to Custom Models**
-:::{figure-md}
-
-
-실험결과 [출처](https://arxiv.org/abs/2308.06721)
-:::
-
-**Structure Control**
-:::{figure-md}
-
-
-실험결과 [출처](https://arxiv.org/abs/2308.06721)
-:::
-
-**Image-to-Image Inpainting**
-:::{figure-md}
-
-
-실험결과 [출처](https://arxiv.org/abs/2308.06721)
-:::
-
-**Multimodal Prompts**
-:::{figure-md}
-
-
-실험결과 [출처](https://arxiv.org/abs/2308.06721)
-:::
-
-### Ablation Study
-
-**Importance of Decoupled Cross-Attention**
-:::{figure-md}
-
-
-실험결과 [출처](https://arxiv.org/abs/2308.06721)
-:::
-
-**Comparison of Fine-grained Features and Global Features**
-:::{figure-md}
-
-
-실험결과 [출처](https://arxiv.org/abs/2308.06721)
-:::
-
-IP-Adapter는 CLIP image encoder로 부터 추출한 global image embedding를 사용하기 때문에 reference image의 일부 특성을 잃어버릴 수 있다. 따라서 fine-grained feature를 위한 IP-Adapter를 디자인했다. 첫번째로 CLIP image encoder에서 penultimate layer에서 grid feature를 뽑아낸다. 이후 작은 query network를 이용해 feature를 학습한다. grid feature로 부터 정보를 뽑아내기 위해 lightweight transformer를 사용해 learnable 16 token들을 정의한다. 이 token feature들을 query network의 cross-attention layer에 입력으로 넣어준다.
-
-두 adapter의 생성 결과를 비교하면 finer-grained feature를 이용하면 보다 image prompt와 가까운 결과를 얻을 수 있다. finer-grained feature는 spatial structure information을 학습하여 생성된 이미지의 diversity를 낮추는 결과를 초래할 수 있으나 추가적인 조건(text prompt, structure map)을 활용하면 다양한 이미지를 만들 수 있다. 예를 들어 위의 그림과 같이 사진+pose를 통해 이미지를 생성 할 수 있다.
-
-# Conclusion
-
-본 연구에서는 사전 학습된 T2I diffusion model에 image prompt capability를 달성하기 위해 IP-Adapter를 제안한다. IP-Adapter의 핵심 디자인은 decoupled cross-attention으로 image feature를 분리하여 cross-attention을 수행한다. 고작 22M parameter가 추가된 IP-Adapter는 qualitative, quantitative experimental results 모두에서 비등하거나 나은 성능을 보인다. 또한 IP-Adapter는 확장성이 좋아 한번 훈련된 뒤, 다른 custom model, structural controllable tools에 곧바로 덧붙여 사용할 수도 있다. 더욱 중요한 점은 image prompt를 text prompt와 더애 멀티모달 이미지 생성을 가능케한다는 점이다.
-
-IP-Adapter는 효과적이지만 reference image와 content, style이 유사한 이미지만 생성할 수 있다는 단점이 있을 수 있다. 때문에 Textual Inversion이나 DreamBooth와 같이 특정 이미지 집합 풍의 이미지를 생성하지는 못한다. 미래에 consistency를 향상시킨 더 강력한 Image prompt adapter를 개발하는 것이 목표다.
-
-**Textural Inversion**
-:::{figure-md}
-
-
-Textural Inversion 동작방식 [출처](https://arxiv.org/abs/2308.06721)
-:::
-
-:::{figure-md}
-
-
-Textural Inversion 실험결과 [출처](https://arxiv.org/abs/2308.06721)
-:::
-
-**DreamBooth**
-:::{figure-md}
-
-
-DreamBooth 동작 방식 [출처](https://arxiv.org/abs/2308.06721)
-:::
-
-:::{figure-md}
-
-
-DreamBooth 실험결과 [출처](https://arxiv.org/abs/2308.06721)
+``` {admonition} Information
+- **Title:** IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2308.06721](https://arxiv.org/abs/2308.06721)
+ - Code: [https://github.com/tencent-ailab/IP-Adapter](https://github.com/tencent-ailab/IP-Adapter)
+ - Project Page : [https://ip-adapter.github.io](https://ip-adapter.github.io)
+
+- **Author:** Kyeongmin Yu
+
+- **Last updated on Sep. 21, 2024**
+```
+
+# IP-Adapter
+
+> 📌 문제상황 \
+> text-to-image diffusion model(T2I diffusion model)이 생성하는 이미지 품질은 훌륭하지만 text prompt를 통해 원하는 형태의 이미지를 생성하는 것이 어렵다. 복잡한 prompt engineering을 시도하거나, image prompt를 활용할 수도 있지만 사전학습된 모델을 fine-tuning하게 되면 많은 리소스가 필요할 뿐만 아니라 해당 방식은 범용성, 호환성도 떨어진다. \
+> \
+> 📌 해결방안 \
+> **cross-attention을 text features와 image features로 decoupling한다.** 기존 학습된 diffusion model은 text feature에 맞춰 학습된 상태이므로 기존 layer에 image feature를 넣게 되면 image feature와 text feature를 align을 수행하게 되므로 기존 cross-attention layer 하나를 통해 image-feature와 text-feature를 결합하는 것은 적절하지 않다. \
+> \
+> 📌 논문의 강점
+> - 어떤 모델 구조에도 활용가능하다.
+> - 적은 수의 파라미터(22M)만 추가적으로 학습하므로 가볍다.
+> - 기존 controllable tools에 덧붙여 쓸 수도 있다.
+
+:::{figure-md}
+
+
+IP-Adapter를 활용한 이미지 합성 [출처](https://arxiv.org/abs/2308.06721)
+:::
+
+# Introduction
+
+**:image prompt의 필요성과 기존 연구에서 image prompt를 사용해 이미지를 생성하려는 시도의 종류와 장단점을 말한다.**
+
+복잡한 scene이나 concept을 입력할때 이미지 형태로 입력하는 것이 간편하고 효과적이다.
+image prompt + text prompt(“an image is worth a thousand words”)
+
+
+:::{figure-md}
+
+
+“내츄럴 풍으로 카페를 꾸미고 여러 식물을 두어 장식하고 싶어. 내가 좋아하는 식물은 스노우 사파이어, 호야, 자미오쿨카스등 이고, 의자와 테이블은 원목을 선호해.”
+:::
+
+
+DALL-E2는 처음으로 image prompt를 지원한 모델으로, T2I prior model이 image embedding을 조건으로 이미지를 생성하도록 했다. 하지만 기존 대부분의 T2I 모델은 주로 text를 조건으로 이미지를 생성하는 방식이었다. 예를 들어 stable diffusion(SD) 모델의 경우 CLIP text encoder로 부터 text embedding을 뽑아내 사용했다.
+
+본 논문에서는 “image prompt를 기존 T2I 모델에서 사용할 수 있는지”, image prompt를 사용한 T2I 이미지 생성을 단순한 방식으로 가능케 한다.
+
+:::{figure-md}
+
+
+비교를 위한 DALL-E2(unCLIP) 구조 [출처](https://arxiv.org/abs/2204.06125)
+:::
+
+:::{figure-md}
+
+
+비교를 위한 Stable Diffusion의 구조 구조 [출처](https://arxiv.org/abs/2112.10752)
+:::
+
+
+SD Image Variations와 Stable UnCLIP과 같은 기존 연구에서 image prompt를 사용한 이미지 생성을 위해 text-conditioned diffusion models을 image embedding을 사용해 직접 fine-tuning하려는 시도를 했다. 하지만 많은 양의 컴퓨터 리소스 사용과 기존 T2I 생성능력 저하, 재사용성 저하라는 단점이 있었다. 또한 해당 방식은 ControlNet과 같은 기존 structural control tools과 호환되지 않았다. 이는 downstream application에 치명적이다.
+
+이를 피하기 위해 diffusion model 자체를 fine-tuning하지 않고 text encoder를 image encoder로 교체하는 방식도 있었지만 text prompt를 지원할 수 없게 되고 이미지 품질이 충분하지 않다는 단점이 있었다.
+
+최근에는 T2I base model을 건드리지 않고 추가적인 네트워크를 이용해 image prompt를 지원하는 연구들이 있었다. ControlNet, T2I-Adapter와 같은 연구들은 대부분 sketch, depth map, segmenation map 등의 추가적인 입력을 활용했다. 또한 T2I-Adapter나 Uni-ControlNet 같이reference image를 입력해 style 이나 concept을 전달하려는 시도도 있었다. 이런 흐름의 연구들은 CLIP image encoder에서 image embedding을 추출하여 추가 trainable network에 새로운 feature들을 mapping하여 text feature와 융합하고자 했다. 기존 text feature대신 text feature+image feature를 디퓨전 모델 내 UNet 구조에 넣어 prompt에 넣은 이미지에 적합한(faithful) 이미지를 생성하고자 했다. 이런 연구들을 통해 image prompt의 가능성을 볼수 있었지만 그 충실도가 충분하지 않았다. 또한 이미지 품질이 fine-tuning된 image prompt model보다 나빴다.
+
+
+:::{figure-md}
+
+
+기존 모델과 IP-Adapter 비교 [출처](https://arxiv.org/abs/2308.06721)
+:::
+
+
+**image prompt를 지원하는 기존 방식**
+
+- input image embedding to T2I model
+- base model fine-tuning
+- text encoder → image encoder
+- additional network
+
+본 논문에서는 앞서 언급한 문제점의 원인을 T2I model내의 cross-attention이라고 보고 있다. **사전학습된 cross-attention에서 key, value projection weights은 text feature에 맞게 훈련되어 잇는 상태이다.**
+결과적으로 image feature와 text feature를 cross-attention layer에서 합쳐지는데 이때 image-specific 특성들이 무시되어 reference image에 아주 충실한 이미지를 생성하지 못하고 coarse-grained controllable generation(e.g., image style)만 달성 가능해진다.
+
+마지막으로 앞선 연구의 문제점들을 극복한 효과적인 image prompt adapter, IP-Adapter를 제안한다. 특히 IP-Adapter의 경우 decoupled cross-attention mechanism을 사용해 text feature와 image feature를 분리한다. image feature를 위해 base model내 모든 UNet cross-attention layer에 cross-attention layer 를 추가하여 훈련단계에서는 적은 수의 파라미터(22M)만 훈련한다. 본 논문에서 제안하는 IP-Adapter는 매우 가볍고 효과적이다. 또한 일반화 능력(generalization capability)가 높고 text prompt와도 잘 어울린다(compatible).
+
+**IP-Adapter에서 제안하는 방식**
+
+- additional cross-attention layer in UNet of diffusion model
+- reusable and flexible (base + IP-Adapter + ControlNet가능)
+- multimodal compatibility (image prompt + text prompt)
+
+# Related Works
+
+### Text-to-Image Diffusion Models
+
+large T2I model은 크게 autoregressive models, diffusion models 두 부류로 나눌 수 있다. DALLE, CogView, Make-A-Scene과 같은 초기 연구들은 autoregressive model 이었다. autoregressive model은 VQ-VAE와 같은 image tokenizer를 사용해 image들을 token화 하여 autoregressive transformer에 text token을 이용해 image token을 예측하게 하는 방식으로 학습했다. 하지만 autoregressive model은 파라미터 수가 많고 고화질 이미지를 생성하기 위해 많은 리소스가 필요했다.
+
+최근에는 diffusion models(DM)이 등장하여 T2I 생성모델의 state-of-the-art를 달성했다. 이전에 GLIDE는 cascaded diffusion 구조를 통해 64x64 → 256x256 이미지를 생성했다.
+DALL-E2의 경우, text prompt로 이미지를 생성하도록 학습된 모델을 활용해 image embedding을 조건으로 이미지를 생성했다. DALL-E2는 text prompt를 통한 이미지 생성을 지원하지 않았다. text 이해도를 높이기 위해 Imagen은 거대 transformer language model인 T5를 도입했다. Re-Imagen의 경우 드물거나 학습한적없는 entity에 대한 image에 대한 충성도를 개선했다.
+SD는 latent diffusion model로 pixel space가 아닌 latent space상에서 동작하게 하여 diffusion model만 사용하여 고품질의 이미지를 생성할 수 있게 했다. text 일치도(alignment)를 높이기 위해 eDiff-I의 경우 T2I diffusion model과 유사한 디자인을 채택하여 T5 text, CLIP text embedding, CLIP image embedding등 멀티모달 조건을 활용했다. Versatile Diffusion은 unified multi-flow diffusion framework를 이용해 T2I, I2T, 등 다양한 생성방식을 하나의 모델로 가능하게 했다. controllable image 생성 면에서는 Composer가 image embedding을 활용한 joint fine-tuning을 시도했었다. RAPHAEL은 mixture of experts(MoEs) 전략을 사용해 T2I model의 이미지 품질을 향상시켰다.
+
+DALL-E2는 image prompt를 통해 해당 풍의 이미지들을 생성할 수 있다는 점에서 매력적이다. 또한 image prompt를 T2I model에서 지원하고자 하는 연구들이 있다. SD Image Variants model은 변경한 SD를 fine-tuning하여 text feature를 CLIP image encoder의 image embedding으로 교체할 수 있게 했다. Stable unCLIP 또한 SD를 fine-tuning하여 time embedding에 image embedding을 추가했다. 기존 모델을 fine-tuning하는 방식은 고품질의 이미지를 생성 할 수 있다는 장점이 있지만 비교적 training cost가 높으며 기존 tools(e.g.,ControlNet)과 호환되지 않는다는 단점이 있다.
+
+### Adapters for Large Models
+
+거대한 사전학습된 모델 전체를 fine-tuning하는 것은 비효율적이다. 이 대안으로 떠오르는 것이 adapter를 사용하는 것인데, 기존 모델은 freeze시켜 학습하는 파라미터 수를 줄일 수 있다. adapter는 NLP에서 오랫동안 사용되던 방식이다. 최근에는 LLM의 vision-language 이해를 위해 adapter를 사용하고 있다.
+
+T2I model의 최근 인기로 인해 adapter들도 여기에 추가적인 control을 주는 방향으로 사용되고 있다. ControlNet(아래 사진 참고)의 경우 사전학습된 T2I diffusion model에 task-specific한 입력
+(e.g.,canny edge)을 추가적으로 넣기위해 adapter를 사용할 수 있다는 것을 보여주었다. 유사한 시기에 T2I-Adapter(아래 사진 참고)도 등장했는데 보다 간단하고 가벼운 형태로 색이나 구조적인 면에서
+fine-grained control을 주고자 했다. fine-tuning에 사용되는 비용을 줄이기 위해 Uni-ControlNet은 multi-scale condition injection을 사용했다.
+
+structural control외에 이미지 집합을 통해 content나 style을 조절하고자 한 연구도 있다. ControlNet Shuffle의 경우 이미지들을 recompose하도록 학습하여 사용자가 제공한 이미지들을 바탕으로 이미지를 생성 할 수 있었다. 또한 ControlNet Reference-only의 경우, 학습없이 SD에 feature injection을 통해 이미지를 변형했다. T2I-Adapter의 최근 버전의 경우, CLIP image encoder로 부터 reference image의 image feature를 text feature에 더해줌으로서 style adapter로서의 역할도 가능하다. Uni-ControlNet(아래 사진 참고)의 global control adapter 또한 CLIP image encoder로 부터 추출한 image embedding을 작은 네트워크를 통해 projection하 condition embedding으로 projection하여 사용한다. SeeCoder(아래 사진 참고)는 기존 text encoder를 semantic context encoder로 교체하여 image variants를 생성하고자 했다.
+
+
+**ControlNet**
+
+:::{figure-md}
+
+
+비교를 위한 ControlNet의 작동 방식 [출처](https://arxiv.org/abs/2302.05543)
+:::
+
+:::{figure-md}
+
+
+ControlNet preprocessor[ContentShuffleDetector](https://github.com/pytorch/pytorch/blob/main/torch/nn/modules/pixelshuffle.py)
+:::
+
+**Uni-ControlNet**
+:::{figure-md}
+
+
+Uni-ControlNet Architecture [출처](https://arxiv.org/abs/2305.16322)
+:::
+
+**T2I-Adapter**
+
+:::{figure-md}
+
+
+비교를 위한 T2I Adapter의 작동 방식 [출처](https://arxiv.org/abs/2302.08453) [PixelUnshuffle](https://pytorch.org/docs/stable/generated/torch.nn.PixelUnshuffle.html)
+:::
+
+:::{figure-md}
+
+
+T2I Adapter의 장점 [출처](https://arxiv.org/abs/2302.08453)
+:::
+
+:::{figure-md}
+
+
+T2I-adapter의 결과는 기존 모델의 각 층의 feature map 크기가 맞도록 더해짐 [출처](https://arxiv.org/abs/2302.08453)
+:::
+
+**SeeCoder**
+:::{figure-md}
+
+
+SeeCoder Architecture [출처](https://arxiv.org/abs/2305.16223)
+:::
+
+# Method
+
+### Preliminaries
+
+
+> 📌 생성모델의 일종인 diffusion model의 이미지 생성단계
+> 1. **diffusion process (forward process)** \
+ T step의 fixed Markov chain을 통해데이터에 gaussian noise를 점차 추가.
+> 2. **denoising process** \
+ gaussian noise로 부터 learnable model을 통해 sample을 생성.
+
+
+일반적으로 noise 예측을 위한 diffusion model($\epsilon_\theta$)의 training objective는 아래와 같이 단순한 variant of variational bound 로 표현된다.
+
+$$
+L_{\text{simple}}=\Bbb E_{x_0, \epsilon\sim \mathcal N(0,I),c,t}\|\epsilon-\epsilon_\theta(x_t, \mathbf c,t)\|^2 \tag{1}
+$$
+
+$x_0$ 는 real data, $\mathbf c$ 는 추가조건, $t$ 는 time step을 말하며 $[0,T]$ 내에 속한다. $x_t=\alpha_t x_0+\sigma_t\epsilon$은 step t에 해당하는 noisy data를 말하고, $\alpha_t, \sigma_t$는 diffusino process를 결정하는 predefined function이다. $\epsilon_\theta$가 한번 학습되고 나면 랜덤 노이즈로부터 이미지를 반복적으로 생성할 수 있다. 일반적으로 생성 속도를 높이기 위해 DDIM, PNDM, DPM-solver와 같은 fast sampler를 inference시 사용한다.
+
+conditional diffusion model에서 classifier guidance를 통해 이미지 정확도(fidelity)와 다양성(sample diversity)를 밸런싱할 수 있다. 이는 따로 학습된 classifier의 gradient를 활용하는데, classifier를 따로 학습하는 번거로움을 지우기 위해 classifier-free guidance를 사용하기도 한다. 이런 접근에서 conditional, unconditional diffusion models는 학습시 랜덤하게 조건 $c$ 를 배제하여 합동 학습(joint training)된다. sampling단계 에서는 conditional model과 unconditional model의 prediction을 모두 이용하여 noise를 계산한다.
+
+$$
+\hat \epsilon_\theta(x_t,\mathbf c,t)=\mathcal w \epsilon_\theta(x_t,\mathbf c, t)+(1-\mathcal w)\epsilon_\theta(x_t,t) \tag{2}
+$$
+
+$\mathcal w$은 guidance scale 혹은 guidance weight로 불리는데 condition $c$의 영향력을 조절하기 위한 상수값이다. T2I diffusion model의 경우 image-text 일치성을 높이는데 classifier-free guidance가 큰 역할을 한다.
+
+본 논문에서는 open-source SD에 IP-Adapter를 덧붙여 실험을 진행했다. SD는 latent diffusion model로 frozen CLIP text encoder로 뽑아낸 text feature를 condition으로 사용한다. diffusion model은 Unet에 attention layer가 추가된 형태이다. Imagen과 같은 pixel-based diffusion model과 비교해 SD는 사전학습된 auto-encoder model을 활용해 latent space에서 동작하므로 효율적이다.
+
+### Image Prompt Adapter
+
+:::{figure-md}
+
+
+IP-Adapter의 동작방식 [출처](https://arxiv.org/abs/2308.06721)
+:::
+
+:::{figure-md}
+
+
+비교를 위한 Stable Diffusion의 구조 [출처](https://arxiv.org/abs/2112.10752)
+:::
+
+**Image Encoder**
+
+pretained CLIP image encoder를 사용해 image prompt에서 image feature를 뽑아냈다. CLIP은 multimodal model로 거대 image-text pair 데이터셋으로 contrastive learning시킨 모델이다. CLIP image encoder를 통해 global image embedding을 얻었다. 이는 image로 부터 풍부한 내용(content)와 스타일을 담은 image caption과 잘 조정되어(well-aligned) 있다. 학습단계에서 CLIP image encoder는 frozen되어 학습되지 않는다.
+
+**Decoupled Cross-Attention**
+
+image feature는 사전학습된 UNet에 decoupled cross-attention을 통해 결합된다. 초기 SD model에서는 CLIP text encoder를 통해 뽑아낸 text feature를 UNet의 cross-attention layer에 넣었다.
+
+$$
+\mathbf Z'=\text{Attention}(\mathbf{Q,K,V})=\text{Softmax}(\frac{\mathbf {QK}^T}{\sqrt{d}})\mathbf V, \tag{3}
+$$
+
+query feature는 $Z$, text feature는 $c_t$, cross-attention의 결과는 $Z’$이고, $\mathbf{Q=ZW_q, K=c_t W_k, V=c_t W_v}$는 attention 연산의 각각 query, key, value 행렬이다. $\mathbf{W_q, W_k, W_v}$는 linear projection layers의 학습가능한 weigth matrices다.
+
+image feature를 이미지 생성에 반영하는 직관적인 방법은 cross-attention시 text feature+image feature로 결합(concatenate)하여 처리하는 것이다. 하지만 이 방법은 충분하지 않다는 것을 발견하여 decoupled cross-attention을 제안한다. 이는 cross-attention 에서 image feature와 text feature를 따로 처리하는 것이다. 구체적으로는 기존 cross-attention layer가 존재하던 곳에 새로운 cross-attention layer를 추가하여 image feature를 처리하도록 했다. image feature $c_i$가 주어질때 새로운 attention layer의 결과는 다음과 같다.
+
+$$
+\mathbf Z''=\text{Attention}(\mathbf{Q,K',V'})=\text{Softmax}(\frac{\mathbf{Q(K')}^T}{\sqrt{d}})\mathbf V', \tag{4}
+$$
+
+$\mathbf{Q=ZW_q}$, $\mathbf{K'=c_t W'_k}$ , $\mathbf{V'=c_t W'_v}$ 는 image feature를 위한 query, key, value 행렬이다. 여기서 핵심은 text cross-attention과 image cross-attention에서 동일한 qeury를 사용했다는 점이다. 결과적으로는 각 cross-attention layer 마다 2개의 파라미터 $\mathbf{W'_k,W'_v}$ 를 추가하게 된다. 수렴속도를 높이기 위해 $\mathbf{W'_k,W'_v}$는 $\mathbf{W_k,W_v}$로 초기화했다. 그러면 두 cross-attention layer의 결과를 더함으로써 최종 결과를 구할 수 있다. decoupled cross-attention의 최종적인 형태는 다음과 같다.
+
+$$
+\mathbf Z^\text{new}=\text{Softmax}(\frac{\mathbf {QK}^T}{\sqrt{d}})\mathbf V + \text{Softmax}(\frac{\mathbf {Q(K')}^T}{\sqrt{d}})\mathbf V' \tag{5}
+$$
+
+$$ \text{where} \space \mathbf{Q=ZW}_q,\space \mathbf{k=c}_t\mathbf W_k,\space \mathbf{K'=c}_i\mathbf W'_k, \space \mathbf{V'=c}_i\mathbf W'_v
+$$
+
+사전학습한 UNet은 freeze시키고 훈련을 진행하므로 $\mathbf{W'_k,W'_v}$ **만** 학습된다.
+
+
+
+**Training and Inference**
+
+학습시 IP-Adapter만 최적화하고 기존 사전학습된 diffusion model은 고정한다. IP-Adapter는 image-text pair dataset으로 학습시키며 original SD와 동일한 objective를 사용한다.
+
+$$
+L_{\text{simple}}=\Bbb E_{x_0, \epsilon\sim \mathcal N(0,I),c_t,c_i,t}\|\epsilon-\epsilon_\theta(x_t,\mathbf {c_t,c_i},t)\|^2 \tag{6}
+$$
+
+또 random하게 image condition을 drop하여 inference 단계에서 classifier-free guidance를 사용할 수 있도록 한다.
+
+$$
+\hat \epsilon_\theta(x_t,\mathbf {c_t,c_i},t)=\mathcal w \epsilon_\theta(x_t,\mathbf {c_t,c_i}, t)+(1-\mathcal w)\epsilon_\theta(x_t,t) \tag{7}
+$$
+
+image condition이 drop되면 CLIP image embedding은 0으로 처리했다. text cross-attention과 image cross-attention을 detach되며 inference시 image condition의 가중치도 조절할 수 있다. $\lambda$ 가 0이 되면 기존 T2I 모델이 된다.
+
+$$
+\mathbf Z^\text{new}=\text{Softmax}(\mathbf {Q,K,V})+ \lambda\cdot\text{Softmax}(\mathbf {Q,K',V'})\tag{8}
+$$
+
+# Experiments
+
+### Experimental Setup
+
+| 항목 | 값 |
+|--------|:------:|
+| base model | SD v1.5 |
+| image encoder | OpenCLIP ViT-H/14 |
+| resolution | 512x512 (resized and center crop) |
+| optimizer | AdamW |
+| learning rate | 0.0001 |
+| weight decay | 0.01 |
+| libraries | Hugging Face diffusers,\\ DeepSpeed SeRO-2 |
+| GPU | 8 V100 |
+| training step | 1M |
+| batch size | 8 per GPU |
+| classifier-free guidance | 0.05 |
+| training data | LAION-2B, COYO-700M |
+| sampler for inference | DDIM (50steps) |
+| guidance scale | 7.5 |
+| $\lambda$ | 1.0 for only image prompt |
+
+### Comparison with Existing Methods
+
+**Quantitative Comparison**
+:::{figure-md}
+
+
+실험결과 [출처](https://arxiv.org/abs/2308.06721)
+:::
+
+**Qualitative Comparison**
+:::{figure-md}
+
+
+실험결과 [출처](https://arxiv.org/abs/2308.06721)
+:::
+
+(실험 결과를 보고 IP-Adapter를 활용해 생성한 이미지가 reference와 지나치게 유사하다는 생각이 들었습니다. 몇몇은 그냥 좌우반전을 한것처럼 느껴졌습니다. 흔히 GAN에서 말하는 Model Collapse와 같은 현상이 아닌가 싶어 다양성이 낮아보이는 결과가 의아했으나, conclusion에서 이 단점을 언급합니다.)
+
+### More Results
+
+**Generalizable to Custom Models**
+:::{figure-md}
+
+
+실험결과 [출처](https://arxiv.org/abs/2308.06721)
+:::
+
+**Structure Control**
+:::{figure-md}
+
+
+실험결과 [출처](https://arxiv.org/abs/2308.06721)
+:::
+
+**Image-to-Image Inpainting**
+:::{figure-md}
+
+
+실험결과 [출처](https://arxiv.org/abs/2308.06721)
+:::
+
+**Multimodal Prompts**
+:::{figure-md}
+
+
+실험결과 [출처](https://arxiv.org/abs/2308.06721)
+:::
+
+### Ablation Study
+
+**Importance of Decoupled Cross-Attention**
+:::{figure-md}
+
+
+실험결과 [출처](https://arxiv.org/abs/2308.06721)
+:::
+
+**Comparison of Fine-grained Features and Global Features**
+:::{figure-md}
+
+
+실험결과 [출처](https://arxiv.org/abs/2308.06721)
+:::
+
+IP-Adapter는 CLIP image encoder로 부터 추출한 global image embedding를 사용하기 때문에 reference image의 일부 특성을 잃어버릴 수 있다. 따라서 fine-grained feature를 위한 IP-Adapter를 디자인했다. 첫번째로 CLIP image encoder에서 penultimate layer에서 grid feature를 뽑아낸다. 이후 작은 query network를 이용해 feature를 학습한다. grid feature로 부터 정보를 뽑아내기 위해 lightweight transformer를 사용해 learnable 16 token들을 정의한다. 이 token feature들을 query network의 cross-attention layer에 입력으로 넣어준다.
+
+두 adapter의 생성 결과를 비교하면 finer-grained feature를 이용하면 보다 image prompt와 가까운 결과를 얻을 수 있다. finer-grained feature는 spatial structure information을 학습하여 생성된 이미지의 diversity를 낮추는 결과를 초래할 수 있으나 추가적인 조건(text prompt, structure map)을 활용하면 다양한 이미지를 만들 수 있다. 예를 들어 위의 그림과 같이 사진+pose를 통해 이미지를 생성 할 수 있다.
+
+# Conclusion
+
+본 연구에서는 사전 학습된 T2I diffusion model에 image prompt capability를 달성하기 위해 IP-Adapter를 제안한다. IP-Adapter의 핵심 디자인은 decoupled cross-attention으로 image feature를 분리하여 cross-attention을 수행한다. 고작 22M parameter가 추가된 IP-Adapter는 qualitative, quantitative experimental results 모두에서 비등하거나 나은 성능을 보인다. 또한 IP-Adapter는 확장성이 좋아 한번 훈련된 뒤, 다른 custom model, structural controllable tools에 곧바로 덧붙여 사용할 수도 있다. 더욱 중요한 점은 image prompt를 text prompt와 더애 멀티모달 이미지 생성을 가능케한다는 점이다.
+
+IP-Adapter는 효과적이지만 reference image와 content, style이 유사한 이미지만 생성할 수 있다는 단점이 있을 수 있다. 때문에 Textual Inversion이나 DreamBooth와 같이 특정 이미지 집합 풍의 이미지를 생성하지는 못한다. 미래에 consistency를 향상시킨 더 강력한 Image prompt adapter를 개발하는 것이 목표다.
+
+**Textural Inversion**
+:::{figure-md}
+
+
+Textural Inversion 동작방식 [출처](https://arxiv.org/abs/2308.06721)
+:::
+
+:::{figure-md}
+
+
+Textural Inversion 실험결과 [출처](https://arxiv.org/abs/2308.06721)
+:::
+
+**DreamBooth**
+:::{figure-md}
+
+
+DreamBooth 동작 방식 [출처](https://arxiv.org/abs/2308.06721)
+:::
+
+:::{figure-md}
+
+
+DreamBooth 실험결과 [출처](https://arxiv.org/abs/2308.06721)
:::
\ No newline at end of file
diff --git a/_sources/docs/review/LCM-LoRA.md b/_sources/docs/review/LCM-LoRA.md
index ef1f6dff..034d393e 100755
--- a/_sources/docs/review/LCM-LoRA.md
+++ b/_sources/docs/review/LCM-LoRA.md
@@ -1,217 +1,217 @@
-```{admonition} Information
-- **Title:** LCM-LoRA: A Universal Stable-Diffusion Acceleration Module
-
-- **Reference**
- - Paper: [https://arxiv.org/pdf/2403.12036](https://arxiv.org/pdf/2311.05556)
- - Code: [Official](https://github.com/luosiallen/latent-consistency-model)
-
-- **Author:** Donghyun Han
-
-- **Last updated on Oct. 02, 2024**
-```
-
-# LCM-LoRA: A Universal Stable-Diffusion Acceleration Module
-
-## Proposal
-
-- Latent Consistency Models(LCMs)에 Low Rank Adaptation (LoRA)을 적용하였다.
-- LoRA를 이용하여 Stable Diffusion에 대한 추가적인 학습 없이도 fine-tuning 가능. (Accelerate 효과 극대화)
-- 이전의 다양한 PF-ODE (Probability-Flow ODE) solver를 사용한 방법론들보다 더 generalized 된 성능
-
-## 1. Introduction
-
-### 기존 연구의 한계점
-
-Latent Diffusion Models(LDMs)은 image generation 분야에서 좋은 성능을 보이고 있다. 그러나 아직까지는 느린 reverse process 때문에 사용자가 직접 사용하기에는 무리가 있다.
-따라서 LDMs을 가속화(Accelerate)하기 위한 기법들이 제안되어 왔는데 크게 2가지로 나눌 수 있다:
-
-1. DDIM, DPM-Solver, DPM-Solver++ 등 **ODE-Solver 기반 방법론**.
-2. LDM을 경량화 하기 위한 **Distillation 기반 방법론**.
-
-ODE-Solver 방법론은 sampling step을 줄일 수 있지만 Classifier-free Guidance(CFG) 등을 사용할 때 Computation 적으로 Overhead가 있을 수 있다.
-Distillation 방법론 또한 Distillation 시 Computation적으로 Overhead가 있어 한계가 있다.
- ex)[Guided Distill](https://arxiv.org/pdf/2210.03142) : 2 stage의 distillation 방식 + high resolution image 생성 한계
-
-### LCMs 기반 연구
-
-이에 반해 Consistency Models(CMs)에서 영감을 받은 Latent Consistency Models(LCMs)은 매우 좋은 대안이다. backward process를 augmented Probability Flow ODE(PF-ODE) problem으로 접근하여 반복적인 step을 획기적으로 줄일 수 있었다. LCMs은 1~4 step만으로도 높은 퀄리티의 고해상도 이미지를 생성해낼 수 있으며 큰 리소스가 필요하지 않다.
-
-그러나 LCMs을 기반으로 하는 방법론은 새로운 데이터셋에 대해 finetuning이 필요하거나 pretrained LDMs을 필요로 하는 한계가 존재한다.
-
-따라서 본 연구는 추가 학습없이 Stable Diffusion(SD)이나 SD-LoRA 등에 plug-in 해서 사용할 수 있는 LCM-LoRA를 제안한다. LCM-LoRA는 새로운 종류의 neural network 기반 PF-ODE Solver이며, 강력한 일반화 성능을 보여준다.
-
-## 2. Related Work
-
-### Consistency Models
-
-CMs은 sampling step을 획기적으로 줄이면서도 Quality를 유지할 수 있는 방법론이다.
-
-:::{figure-md}
-
-
-Consistency Models
-:::
-
-CMs의 핵심은 PF-ODE의 궤적의 points가 solution에 mapping 되는 function $(f: (x_t,t) \mapsto x_\epsilon)$을 추정하는 것이다.
-쉽게 말해 어떤 step의 noise image 던지 $x_0$ (정확히는 $x_\epsilon$)의 결과가 나오는 function을 추정한다. 또한 각 timestep에 관한function의 결과값은 self-consistency를 만족해야 한다.
-
-$$
-f(x_t,t)=f(x_{t'},t'), \forall t, t' \in [\epsilon, T].
-$$
-
-$\epsilon$은 매우작은 양수 값이다. 이때 $f_\theta(x,\epsilon)=x$를 만족하는 model $f_\theta$는 다음과 같이 정의한다:
-
-$$
-f_\theta(x,t)=c_{skip}(t)x+c_{out}(t)F_\theta(x,t).
-$$
-
-$c_{skip}(\epsilon)=1$, $c_{out}(\epsilon)=0$ 이기 때문에 $f_\theta(x,\epsilon)=x$를 만족한다. 위 수식은 미분 가능함을 증명하기 위한 수식이다. $F_\theta$는 심층신경망을 의미한다.
-
-CMs은 scratch부터 학습하는 방식과 Distillation 방식으로 나뉘는데 보편적으로 Distillation이 사용된다. Distillation 방식은 지수평균이동(Exponential Moving Average, EMA)를 통해 self-consistency를 학습할 수 있다:
-
-$$
-L(\theta,\theta^-;\Phi)=\mathbb{E}_{x,t}\bigg[d\bigg(f_\theta(x_{t_{n+1}},t_{n+1}),f_{\theta^-}(\hat{x}^\phi_{t_n},t_n)\bigg)\bigg].
-$$
-
-$\theta^-$는 $\theta$에 대한 EMA를 의미하며 $d(\cdot, \cdot)$은 두 sample 사이의 거리를 측정하는 지표이다. $\hat{x}^{\phi}_{t_n}$는 $x_{t_{n+1}}$에 대한 $x_{t_n}$을 추정한 값으로 다음과 같다:
-
-$$
-\hat{x}^{\phi}_{t_n} \leftarrow x_{t_{n+1}}+(t_n-t_{n+1})\Phi(x_{t_{n+1}},t_{n+1};\phi)
-$$
-
-$\Phi$는 numerical PF-ODE를 의미한다. (보통 DDIM을 사용하는 것 같다) 즉 $x_{t_n}$을 PF-ODE로 예측한 값을 입력으로 하는 예측값과 $x_{t_{n+1}}$을 입력으로 하는 예측값이 같도록 self-consistency를 비교하는 것이 핵심이다.
-
-### Latent Consistency Models
-
-:::{figure-md}
-
-
-Latent Diffusion Models
-:::
-
-LCMs은 CMs에 condition을 추가해주고 $F_\theta(x,t)$를 $\epsilon-Prediction$의 수식으로 치환한다. ($\mu$나 $v$ prediction을 사용해도 됨.) 추가로 LDMs 기반이기 때문에 latent $z$에 대한 수식으로 변경해준다.
-
-$$f_\theta(z,c,t)=c_{skip}(t)z+c_{out}(t)\bigg(\frac{z-\sigma(t)\hat{\epsilon}_\theta(z,c,t)}{\alpha(t)}\bigg). (\epsilon-Prediction)$$
-$$L_{CD}(\theta,\theta^-;\psi)=\mathbb{E}_{z,c,n}\bigg[d\bigg(f_\theta(z_{t_{n+1}},c,t_{n+1}),f_{\theta^-}(\hat{z}^\psi_{t_n},c,t_n)\bigg)\bigg].$$
-$n$은 timestep이지만 기존$t$와는 다른 timestep $[t,T]$에 대한 하위 간격이다. $(t_1=\epsilon
-
-Low Rank Adaptation matrix
-:::
-
-위 그림처럼 기존에는 d x d의 매우 큰 weight를 finetuning 해야 했지만, LoRA는 r만큼 압축된 weight matrix만 finetuning 하면 되기 때문에 훨씬 효율적이고 때에 따라 Fully fine-tuning 하는 방법들보다 더 좋은 성능을 보여주기도 한다. (그림은 [이곳](https://ffighting.net/deep-learning-paper-review/language-model/lora/)을 참고하였습니다.)
-
-원본 논문의 LoRA는 LLM을 target으로 만들어졌기 때문에 Transformer의 query, key, value에 대한 parameter로 사용하였지만 Diffusion이나 다른 모델의 finetuning시에도 간단하게 사용 가능하다.
-
-## Task Arithmetic in Pretrained Models
-
-task Arithmetic은 특정 task에서 학습된 Model의 가중치를 task vector라 보고 각 task vector를 조합하여 새로운 task vector를 생성하는 방법론이다.
-
-:::{figure-md}
-
-
-Task Arithmetic
-:::
-
-pre-trained parameter를 $\theta_{pre}$, fine-tuning parameter를 $\theta_{ft}$라고 할때 task vector $\tau$는 $\theta_{ft}-\theta_{pre}$로 정의할 수 있다.
-이를 다양하게 조합하고 특히 d)처럼 task 간 analogy를 고려하여 연산하는 경우 새로운 task에 대한 성능을 높일 수 있다.
-
-# 3. LCM-LoRA
-
-## 3.1 LoRA Distillation for LCM
-
-LCMs의 Latent Consistency Distillation에 대한 pseudo code는 다음과 같다:
-
-:::{figure-md}
-
-
-Latent Consistency Distillation
-:::
-
-논문의 저자는 LCMs의 Distillation은 LDMs에 관한 일종의 fine-tuning으로 보고 LoRA를 적용하는 방법을 제안하였다.
-pre-trained 된 weight matrix $W_0$에 대하여 기울기 업데이트는 $W_0+\Delta W=W_0+BA, W_0\in \mathbb{R}^{d\times k}, B\in \mathbb{R}^{d\times r}, A\in \mathbb{R}^{r\times k}$ 로 표현할 수 있으며 rank $r \leq \min{(d,k)}$ 로 작은 값을 갖는다. $W_0$의 weight는 고정되며 input $x$ 에 대한 forward pass는 다음과 같다:
-
-$$h=W_0x+\Delta Wx=W_0x+BAx. \tag{1}$$
-
-위와같이 LCMs에 LoRA를 적용할 경우 학습 parameter를 크게 줄일 수 있어 효율적이다.
-
-:::{figure-md}
-
-
-compare trainable parameter
-:::
-
-따라서 LCM-loRA는 기존 LCMs 보다 더 큰 모델의 훈련과 실사용이 가능하다. LCMs의 경우 SD-V1.5나 SD-V2.1의 base Stable Diffusion을 사용했지만, LCM-LoRA는 SDXL과 SSD-1B(Segmind)을 확장하여 사용하였다. large Model에서도 LCD을 적용했을 때 잘 적응하는 모습을 볼 수 있었다.
-
-:::{figure-md}
-
-
-1024 x 1024 resolution image results with CFG scale w=7.5
-:::
-
-## 3.2 LCM-LoRA as Universal Acceleration Module
-
-LCM-LoRA는 sampling step을 줄이는 distillation에 LoRA를 적용하였다. LoRA는 이외에도 custionized datasets에 대해 fine-tuning할 때 주로 쓰이는데 이같은 style에 대한 LoRA와 LCM-LoRA가 추가 학습없이 바로 합쳐져 사용할 수 있음을 발견했다. 저자는 이 발견이 task arithmetic에 대한 관점으로 해석할 수 있다고 주장하였다.
-
-:::{figure-md}
-
-
-Style LoRA with LCM-LoRA
-:::
-
-LCM-LoRA의 fine-tuned parameter를 $\tau_{LCM}$이라 할 때, $\tau_{LCM}$은 acceleration vector라 할수 있다. 그리고 custom dataset에서 학습한 LoRA의 fine-tuned parameter를 $\tau'$이라 할 때, $\tau'$은 style vector라 할 수 있다. LCMs를 통해 custom dataset에 대한 image를 생성할 때, 파라미터는 다음과 같이 조합된다:
-
-$$\theta'_{LCM}=\theta_{pre}+\tau'_{LCM} \tag{2}$$
-$$\tau'_{LCM}=\lambda_1\tau'+\lambda_2\tau_{LCM} \tag{3}$$
-
-파라미터는 단순한 선형 결합을 통해 이루어지며 $\lambda_1$과 $\lambda_2$는 하이퍼파라미터다. 추가적인 학습없이 다음과 같은 결과를 얻을 수 있었다:
-
-:::{figure-md}
-
-
-fine-tuning with LCM-LoRA
-:::
-
-# 4. Conclusion
-
-- training-free acceleration module인 LCM-LoRA를 제안.
-- PF-ODE를 예측하며 Stable Diffusion 및 SD LoRA에 fast inference, minimal step을 제공함.
-- 강력한 일반화 성능 증명.
+```{admonition} Information
+- **Title:** LCM-LoRA: A Universal Stable-Diffusion Acceleration Module
+
+- **Reference**
+ - Paper: [https://arxiv.org/pdf/2403.12036](https://arxiv.org/pdf/2311.05556)
+ - Code: [Official](https://github.com/luosiallen/latent-consistency-model)
+
+- **Author:** Donghyun Han
+
+- **Last updated on Oct. 02, 2024**
+```
+
+# LCM-LoRA: A Universal Stable-Diffusion Acceleration Module
+
+## Proposal
+
+- Latent Consistency Models(LCMs)에 Low Rank Adaptation (LoRA)을 적용하였다.
+- LoRA를 이용하여 Stable Diffusion에 대한 추가적인 학습 없이도 fine-tuning 가능. (Accelerate 효과 극대화)
+- 이전의 다양한 PF-ODE (Probability-Flow ODE) solver를 사용한 방법론들보다 더 generalized 된 성능
+
+## 1. Introduction
+
+### 기존 연구의 한계점
+
+Latent Diffusion Models(LDMs)은 image generation 분야에서 좋은 성능을 보이고 있다. 그러나 아직까지는 느린 reverse process 때문에 사용자가 직접 사용하기에는 무리가 있다.
+따라서 LDMs을 가속화(Accelerate)하기 위한 기법들이 제안되어 왔는데 크게 2가지로 나눌 수 있다:
+
+1. DDIM, DPM-Solver, DPM-Solver++ 등 **ODE-Solver 기반 방법론**.
+2. LDM을 경량화 하기 위한 **Distillation 기반 방법론**.
+
+ODE-Solver 방법론은 sampling step을 줄일 수 있지만 Classifier-free Guidance(CFG) 등을 사용할 때 Computation 적으로 Overhead가 있을 수 있다.
+Distillation 방법론 또한 Distillation 시 Computation적으로 Overhead가 있어 한계가 있다.
+ ex)[Guided Distill](https://arxiv.org/pdf/2210.03142) : 2 stage의 distillation 방식 + high resolution image 생성 한계
+
+### LCMs 기반 연구
+
+이에 반해 Consistency Models(CMs)에서 영감을 받은 Latent Consistency Models(LCMs)은 매우 좋은 대안이다. backward process를 augmented Probability Flow ODE(PF-ODE) problem으로 접근하여 반복적인 step을 획기적으로 줄일 수 있었다. LCMs은 1~4 step만으로도 높은 퀄리티의 고해상도 이미지를 생성해낼 수 있으며 큰 리소스가 필요하지 않다.
+
+그러나 LCMs을 기반으로 하는 방법론은 새로운 데이터셋에 대해 finetuning이 필요하거나 pretrained LDMs을 필요로 하는 한계가 존재한다.
+
+따라서 본 연구는 추가 학습없이 Stable Diffusion(SD)이나 SD-LoRA 등에 plug-in 해서 사용할 수 있는 LCM-LoRA를 제안한다. LCM-LoRA는 새로운 종류의 neural network 기반 PF-ODE Solver이며, 강력한 일반화 성능을 보여준다.
+
+## 2. Related Work
+
+### Consistency Models
+
+CMs은 sampling step을 획기적으로 줄이면서도 Quality를 유지할 수 있는 방법론이다.
+
+:::{figure-md}
+
+
+Consistency Models
+:::
+
+CMs의 핵심은 PF-ODE의 궤적의 points가 solution에 mapping 되는 function $(f: (x_t,t) \mapsto x_\epsilon)$을 추정하는 것이다.
+쉽게 말해 어떤 step의 noise image 던지 $x_0$ (정확히는 $x_\epsilon$)의 결과가 나오는 function을 추정한다. 또한 각 timestep에 관한function의 결과값은 self-consistency를 만족해야 한다.
+
+$$
+f(x_t,t)=f(x_{t'},t'), \forall t, t' \in [\epsilon, T].
+$$
+
+$\epsilon$은 매우작은 양수 값이다. 이때 $f_\theta(x,\epsilon)=x$를 만족하는 model $f_\theta$는 다음과 같이 정의한다:
+
+$$
+f_\theta(x,t)=c_{skip}(t)x+c_{out}(t)F_\theta(x,t).
+$$
+
+$c_{skip}(\epsilon)=1$, $c_{out}(\epsilon)=0$ 이기 때문에 $f_\theta(x,\epsilon)=x$를 만족한다. 위 수식은 미분 가능함을 증명하기 위한 수식이다. $F_\theta$는 심층신경망을 의미한다.
+
+CMs은 scratch부터 학습하는 방식과 Distillation 방식으로 나뉘는데 보편적으로 Distillation이 사용된다. Distillation 방식은 지수평균이동(Exponential Moving Average, EMA)를 통해 self-consistency를 학습할 수 있다:
+
+$$
+L(\theta,\theta^-;\Phi)=\mathbb{E}_{x,t}\bigg[d\bigg(f_\theta(x_{t_{n+1}},t_{n+1}),f_{\theta^-}(\hat{x}^\phi_{t_n},t_n)\bigg)\bigg].
+$$
+
+$\theta^-$는 $\theta$에 대한 EMA를 의미하며 $d(\cdot, \cdot)$은 두 sample 사이의 거리를 측정하는 지표이다. $\hat{x}^{\phi}_{t_n}$는 $x_{t_{n+1}}$에 대한 $x_{t_n}$을 추정한 값으로 다음과 같다:
+
+$$
+\hat{x}^{\phi}_{t_n} \leftarrow x_{t_{n+1}}+(t_n-t_{n+1})\Phi(x_{t_{n+1}},t_{n+1};\phi)
+$$
+
+$\Phi$는 numerical PF-ODE를 의미한다. (보통 DDIM을 사용하는 것 같다) 즉 $x_{t_n}$을 PF-ODE로 예측한 값을 입력으로 하는 예측값과 $x_{t_{n+1}}$을 입력으로 하는 예측값이 같도록 self-consistency를 비교하는 것이 핵심이다.
+
+### Latent Consistency Models
+
+:::{figure-md}
+
+
+Latent Diffusion Models
+:::
+
+LCMs은 CMs에 condition을 추가해주고 $F_\theta(x,t)$를 $\epsilon-Prediction$의 수식으로 치환한다. ($\mu$나 $v$ prediction을 사용해도 됨.) 추가로 LDMs 기반이기 때문에 latent $z$에 대한 수식으로 변경해준다.
+
+$$f_\theta(z,c,t)=c_{skip}(t)z+c_{out}(t)\bigg(\frac{z-\sigma(t)\hat{\epsilon}_\theta(z,c,t)}{\alpha(t)}\bigg). (\epsilon-Prediction)$$
+$$L_{CD}(\theta,\theta^-;\psi)=\mathbb{E}_{z,c,n}\bigg[d\bigg(f_\theta(z_{t_{n+1}},c,t_{n+1}),f_{\theta^-}(\hat{z}^\psi_{t_n},c,t_n)\bigg)\bigg].$$
+$n$은 timestep이지만 기존$t$와는 다른 timestep $[t,T]$에 대한 하위 간격이다. $(t_1=\epsilon
+
+Low Rank Adaptation matrix
+:::
+
+위 그림처럼 기존에는 d x d의 매우 큰 weight를 finetuning 해야 했지만, LoRA는 r만큼 압축된 weight matrix만 finetuning 하면 되기 때문에 훨씬 효율적이고 때에 따라 Fully fine-tuning 하는 방법들보다 더 좋은 성능을 보여주기도 한다. (그림은 [이곳](https://ffighting.net/deep-learning-paper-review/language-model/lora/)을 참고하였습니다.)
+
+원본 논문의 LoRA는 LLM을 target으로 만들어졌기 때문에 Transformer의 query, key, value에 대한 parameter로 사용하였지만 Diffusion이나 다른 모델의 finetuning시에도 간단하게 사용 가능하다.
+
+## Task Arithmetic in Pretrained Models
+
+task Arithmetic은 특정 task에서 학습된 Model의 가중치를 task vector라 보고 각 task vector를 조합하여 새로운 task vector를 생성하는 방법론이다.
+
+:::{figure-md}
+
+
+Task Arithmetic
+:::
+
+pre-trained parameter를 $\theta_{pre}$, fine-tuning parameter를 $\theta_{ft}$라고 할때 task vector $\tau$는 $\theta_{ft}-\theta_{pre}$로 정의할 수 있다.
+이를 다양하게 조합하고 특히 d)처럼 task 간 analogy를 고려하여 연산하는 경우 새로운 task에 대한 성능을 높일 수 있다.
+
+# 3. LCM-LoRA
+
+## 3.1 LoRA Distillation for LCM
+
+LCMs의 Latent Consistency Distillation에 대한 pseudo code는 다음과 같다:
+
+:::{figure-md}
+
+
+Latent Consistency Distillation
+:::
+
+논문의 저자는 LCMs의 Distillation은 LDMs에 관한 일종의 fine-tuning으로 보고 LoRA를 적용하는 방법을 제안하였다.
+pre-trained 된 weight matrix $W_0$에 대하여 기울기 업데이트는 $W_0+\Delta W=W_0+BA, W_0\in \mathbb{R}^{d\times k}, B\in \mathbb{R}^{d\times r}, A\in \mathbb{R}^{r\times k}$ 로 표현할 수 있으며 rank $r \leq \min{(d,k)}$ 로 작은 값을 갖는다. $W_0$의 weight는 고정되며 input $x$ 에 대한 forward pass는 다음과 같다:
+
+$$h=W_0x+\Delta Wx=W_0x+BAx. \tag{1}$$
+
+위와같이 LCMs에 LoRA를 적용할 경우 학습 parameter를 크게 줄일 수 있어 효율적이다.
+
+:::{figure-md}
+
+
+compare trainable parameter
+:::
+
+따라서 LCM-loRA는 기존 LCMs 보다 더 큰 모델의 훈련과 실사용이 가능하다. LCMs의 경우 SD-V1.5나 SD-V2.1의 base Stable Diffusion을 사용했지만, LCM-LoRA는 SDXL과 SSD-1B(Segmind)을 확장하여 사용하였다. large Model에서도 LCD을 적용했을 때 잘 적응하는 모습을 볼 수 있었다.
+
+:::{figure-md}
+
+
+1024 x 1024 resolution image results with CFG scale w=7.5
+:::
+
+## 3.2 LCM-LoRA as Universal Acceleration Module
+
+LCM-LoRA는 sampling step을 줄이는 distillation에 LoRA를 적용하였다. LoRA는 이외에도 custionized datasets에 대해 fine-tuning할 때 주로 쓰이는데 이같은 style에 대한 LoRA와 LCM-LoRA가 추가 학습없이 바로 합쳐져 사용할 수 있음을 발견했다. 저자는 이 발견이 task arithmetic에 대한 관점으로 해석할 수 있다고 주장하였다.
+
+:::{figure-md}
+
+
+Style LoRA with LCM-LoRA
+:::
+
+LCM-LoRA의 fine-tuned parameter를 $\tau_{LCM}$이라 할 때, $\tau_{LCM}$은 acceleration vector라 할수 있다. 그리고 custom dataset에서 학습한 LoRA의 fine-tuned parameter를 $\tau'$이라 할 때, $\tau'$은 style vector라 할 수 있다. LCMs를 통해 custom dataset에 대한 image를 생성할 때, 파라미터는 다음과 같이 조합된다:
+
+$$\theta'_{LCM}=\theta_{pre}+\tau'_{LCM} \tag{2}$$
+$$\tau'_{LCM}=\lambda_1\tau'+\lambda_2\tau_{LCM} \tag{3}$$
+
+파라미터는 단순한 선형 결합을 통해 이루어지며 $\lambda_1$과 $\lambda_2$는 하이퍼파라미터다. 추가적인 학습없이 다음과 같은 결과를 얻을 수 있었다:
+
+:::{figure-md}
+
+
+fine-tuning with LCM-LoRA
+:::
+
+# 4. Conclusion
+
+- training-free acceleration module인 LCM-LoRA를 제안.
+- PF-ODE를 예측하며 Stable Diffusion 및 SD LoRA에 fast inference, minimal step을 제공함.
+- 강력한 일반화 성능 증명.
diff --git a/_sources/docs/review/LLM_grounded_Diffusion.md b/_sources/docs/review/LLM_grounded_Diffusion.md
index add227e1..98313f1e 100755
--- a/_sources/docs/review/LLM_grounded_Diffusion.md
+++ b/_sources/docs/review/LLM_grounded_Diffusion.md
@@ -1,223 +1,223 @@
-``` {admonition} Information
-- **Title:** LLM-grounded Diffusion: Enhancing Prompt Understanding of Text-to-Image Diffusion Models with Large Language Models
-- **Reference**
- - Paper: [https://arxiv.org/pdf/2305.13655]
- - Code: [https://github.com/TonyLianLong/LLM-groundedDiffusion](https://github.com/TonyLianLong/LLM-groundedDiffusion)
- - Project Page: [https://llm-grounded-diffusion.github.io/](https://llm-grounded-diffusion.github.io/)
-- **Author:** Sehwan Park
-- **Last updated on May. 24, 2024**
-```
-
-
-
-# LLM Grounded Diffusion
-
-## Abstract
-
-최근의 text-to-image generation 모델을 큰 발전을 이루었다. 하지만 이러한 모델들은 여전히 numeracy와 spatial reasoning을 요구하는 복잡한 프롬프트를 잘 반영하지 못하고 이미지를 생성하는 문제들이 있다. 그래서 본 논문에서는 LLM과 레이아웃 기반 이미지 생성모델을 활용하여 Diffusion model에서 프롬프트 이해 능력을 향상시키는 방법을 제안한다.
-
-## Introduction
-
-:::{figure-md}
-
-
-
-Limitation in Diffusion Model
-:::
-
-Diffusion model의 등장과 발전에 따라 T2I(Text to Image) generation 모델은 크게 발전되어왔다. 최근의 SDXL 모델을 보면 상당한 quality의 이미지를 생성하는 것을 볼 수 있다. 그럼에도 불구하고, diffusion model은 복잡한 프롬프트를 잘 반영해서 이미지를 생성하는 것에 취약한 점을 보인다. 위의 figure를 보면 크게 Negation, Generative Numeracy, Attribute Binding, Spatial Relationships에서 큰 문제점을 보임을 알 수 있다.
-
-가장 단순히 위의 문제를 해결하는 방법은 복잡한 프롬프트가 포함된 대규모의 multi-modal dataset을 가지고 모델을 훈련하는 방법이다. 하지만 이러한 방법은 시간과 리소스 측면에서 좋지못한 면이 있으며, 좋은 quality의 multi-modal dataset을 대규모로 확보하는 것 조차 쉽지 않은 일이다.
-
-이러한 문제를 피하면서 위의 figure의 대표적인 문제점을 해결하기 위해 본 논문에서는 LLM 및 Layout to Image Generation 모델을 활용하여 training-free 방법으로 접근한다.
-
-:::{figure-md}
-
-
-
-Overview of LLM-Grounded Diffusion
-:::
-
-* Stage1
-
- 주어진 prompt에 대해서 LLM을 활용하여 표현되어야 할 foreground object에 대한 layout을 생성한다. prompt로 부터 foreground object들을 해당 attribute과 함께 parsing을 하고 reasoning을 통해 올바른 bounding box coordinate을 얻는 것이 목표인 단계이다. LLM의 In-Context Learning(7-shot)을 활용하여 LLM을 Layout Generator로써 활용한다.
-
-* Stage2
-
- Stage1으로 부터 각각의 foreground object에 대한 caption과 bounding box coordinate을 기반으로 실제 해당 bounding box에 해당 caption이 생성되도록 하는 단계이다. 이 과정에서 training-free 방법을 적용하기 위해 Stable Diffusion의 inference과정에서 attention map을 manipulate 하는 방법을 통해 Layout to image generation을 가능케한다.
-
-본 논문의 main contribution은 다음과 같다.
-
-1. We propose a training-free two-stage generation pipeline that introduces LLMs to improve the prompt understanding ability of text-to-image diffusion models.
-2. We introduce layout-grounded Stable Diffusion, a novel controller that steers an off-the-shelf diffusion model to generate images grounded on instance-level box layouts from the LLM.
-3. LMD enables instruction-based scene specification and allows broader language support in the prompts.
-4. We propose a benchmark to assess the prompt understanding ability of a text-to-image model and demonstrate the superior performance of LMD over recent baselines.
-
-
-
-## LLM-grounded Diffusion
-
-1. LLM-based Layout Generation
-
- 이 단계는 위의 stage1과 같은 단계로써 LLM을 통해 prompt로 부터 각 foreground object의 caption과 bounding box의 coordinate을 얻는 단계이다.
-
- :::{figure-md}
-
-
-
- Overview Prompt
- :::
-
- 우선 이 단계에서의 prompt는 다음과 같이 구성되어 있다. prompt의 가장 윗단인 Instruction을 보면 LLM에게 정보를 주는 말들로 이루어져 있으며 Task specification과 supporting details로 이루어져 있음을 알 수 있다. LLM에게 직접적으로 해야할 일들과 정보를 주는 prompt라고 볼 수 있다.
-
- :::{figure-md}
-
-
-
- In-context Examples
- :::
-
- Overview Prompt의 In-context Examples에 관련된 부분이다. 이 부분을 통해 input prompt로 부터 원하는 형태로 output값을 얻을 수 있다. LLM을 직접 학습시키지 않고 few shot example을 통해 LLM으로 부터 원하는 결과를 이끌어내는 방법을 취한 부분이다. Gpt 3.5같은 경우에는 7-shot을 사용했고, Gpt4 같은 경우는 1-shot만으로도 충분히 원하는 형태로 결과를 얻을 수 있었다고 한다. 결과는 Objects 부분에 나와있다. Foreground Object에 대한 caption값과 해당 bounding box의 coordinate값으로 이루어져 있음을 알 수 있다.
-
-2. Layout-grounded Stable Diffusion
-
- 이 단계에서는 LLM이 생성한 레이아웃을 기반으로 이미지 생성을 하기 위해 컨트롤러를 도입한다. 이전의 training-free 방법을 택했던 work들의 경우, regional denoising 혹은 inference과정에서의 단순한 attention manipulation을 통해 semantic guidance를 적용하지만, 이러한 방법들은 의미 있는 영역 내 객체의 수(generative numeracy)를 제어하는 능력이 부족하다. 이는 다른 인스턴스들간의 구별이 latent space나 attention map에서 어렵기 때문에 발생하며, 이는 인스턴스 수준의 control을 힘들게 하는 요인이다. 반면, LMD(LLM-grounded Diffusion)는 각 개별 경계 상자에 대해 마스킹된 잠재 변수를 먼저 생성하고, 이러한 마스킹된 잠재 변수를 prior로 사용하여 전체 이미지 생성을 안내함으로써 인스턴스 수준의 control이 가능토록 한다. 이를통해 각 객체 인스턴스의 정확한 배치와 속성 결합을 허용한다.
-
- :::{figure-md}
-
-
-
- Overall image generation with masked latents as priors
- :::
-
- Stage2는 크게 step1,2로 나눠진다. step1의 경우에는 stage1에서 구한 각각의 box들에 대해서 box내의 object들에 대한 latent map을 구하는 과정이다. stage2는 stage1에서 구한 각 box에 대한 latent map을 compose하여 전체적인 image를 생성하는 과정이다.
-
- * step1
-
- 예를 들어, 위의 그림처럼 gray cat에 관한 bounding box가 stage1을 통해 구해졌다면, box안에 gray cat이 그려지도록 유도를 할 수 있을 것이다. 그러는 과정에서 저 box에 gray cat이 생성되도록 하는 마치 Ground Truth latent map을 얻을 수 있게 된다. 모든 object들에 대해 이러한 방법으로 denoising 과정에서 모든 step의 latent map을 구하는 것이다. 모든 단일 box에 대해 그 box에 해당 caption object가 생성되도록 하는 GT latent map을 구하는 게 step1의 과정이라고 생각하면 된다. 사실 상 LMD의 핵심은 step1에서 진행된다고 볼 수 있다.
-
- 크게 보자면, 각 foreground object에 대해서 $Z_T$ 부터 $Z_0$까지 denoising을 거치면서 모든 step t에 대한 latent map을 구하면 된다. 이 때, 가장 중요한 것은 foreground object가 실제 box안에서 잘 생성되도록 하는것이 선행이 되어야 한다. 이를 유도하기 위해 저자들은 각 denoising step마다 box내부에 해당 foreground object가 생성되도록 attention manipulation을 진행한다.
-
-
- $$
- A_{uv}^{(i)} = Softmax(q_u^TK_v)
- $$
-
- 식(1)과 같이 pixel값들과 prompt내에서의 text token 간의 cross-attention map을 나타낼 수 있다. u는 이미지 내의 모든 각 pixel들을 의미하고 v는 각 text token을 의미한다.
-
- 구성되는 프롬프트에 대해 예시를 들어 정리하자면, 전체 프롬프트가 "A realistic photo of a gray cat and an orange dog on the grass" 였다고 하자. 그러면 각 foreground object에 대해서 프롬프트를 따로 생성한다. “[background prompt] with [box caption]” (e.g., “a realistic image of an indoor scene with a gray cat”) 형태로 각 foreground object에 대한 프롬프트를 구성한다.
-
- :::{figure-md}
-
-
-
- Overview of attention manipulation
- :::
-
- Object와 Bounding box를 align하기 위해서는 위의 그림에서 보이듯이 box 내부 pixel의 object에 관한 token과의 attention은 증가되고 다른 token과의 attention은 감소되면 된다. 위의 그림을 예시로 보면 "a gray cat"이라는 token과는 box내부 pixel들이 attention이 증가하고, 다른 token과는 attention이 감소하도록 유도되면 된다. 이 방법을 유도 하기 위해 본 논문의 저자들은 energy function을 사용한다.
-
-
- $$
- E(A_i, i, v) = -\text{Topk}_u (A_{uv} \cdot b^{(i)}) + \omega \text{Topk}_u (A_{uv} \cdot (1 - b^{(i)}))
- $$
- 식(2)의 Energy function을 보면 foreground object i에 대한 token v가 정해져 있을 때, box 내부 pixel이 token v와의 attention값이 크고 box 외부 pixel이 token v와의 attention값이 작으면 Energy function값이 최소가 됨을 알 수 있다. 정리하자면 위의 Energy function값이 최대한 작아지면 box 내부의 pixel들의 object token에 대한 attention이 증가되고, box와 foreground object간의 align이 잘 이루어지게 되는 것이다.
-
-
- $$
- z^{(i)}_t \leftarrow z^{(i)}_t - \eta \nabla z^{(i)}_t \sum_{v \in V_i} E(A^{(i)}, i, v)
- $$
-
- $$
- z^{(i)}_{t-1} \leftarrow \text{Denoise}(z^{(i)}_t)
- $$
-
-
-
- Energy function이 최소가 되도록 하기 위해 본 논문은 식(3)과 같은 optimize과정을 거친다. 방법은 단순하다. Gradient Descent를 생각해보면 parameter로 loss function을 표현하고 loss function이 최소가 되도록 parameter들을 optimize하면서 유도한다. 이 방법 역시 같다. Energy function을 최소로 만드는 것이 목표이기에 이는 loss function과 같은 역할을 하게 된다. 그리고 Energy function의 식들은 $z_t$에 대해 표현이 가능하기에, Energy function을 통해 z_t를 optimize하여 Energy function이 최소화가 되도록 유도한다. Energy function 최소화는 각 denoising timestep마다 5회 반복되며, denoising 단계가 다섯 번 진행될 때마다 선형적으로 감소하여 반복 횟수가 1회로 줄어든다. 또한, 30step 후에는 guidance를 수행하지 않는다.
-
- guidance가 진행되면서 denoising이 다 끝나고 나면 모든 step에 대한 latent map을 얻을 수 있게 되고, attention map을 얻을 수 있게 된다. 이 때 attention map을 SAM을 통해 segment를 진행하거나 threshold값을 설정하여 Foreground mask를 구하게 된다. 이후에 구한 모든 time step에 대한 latent map에 Foreground Mask와 pixel wise곱을 해주어서 masked latent를 구하게 된다.
-
- * step2
-
- step2에서는 step1에서 구한 각 foreground object들을 compose하여 처음에 주어진 prompt에 대한 이미지를 잘 생성하는 것이 목표인 단계이다. 기존 work에 의하면 diffusion model은 denoising의 초기 단계에서 semantic한 정보들을 생성하며, 이후 단계에서부터 fine-detail한 부분을 생성한다. 이 점을 이용해서 compose를 하는 step2에서는 단순히 latent map을 compose한다음 denoising을 진행하는 것이 아니라, step의 절반 지점까지는 latent map을 compose하면서 step1과 마찬가지로 optimize를 진행하며 foreground object들이 실제로 원하는 위치에 생성되도록 유도를 하게 된다. 이후부터는 fine-detail한 부분을 생성하여 자연스러운 이미지를 만들기 위해 compose나 optimize를 하지 않고 이미지를 생성하게 된다. Compose관련 식과 optimize를 위한 step2에서의 Energy function은 아래와 같다.
-
-
- $$
- z^{(\text{comp})}_t \leftarrow \text{LatentCompose}(z^{(\text{comp})}_t, \hat{z}^{(i)}_t, m^{(i)}) \quad \forall i
- $$
-
- $$
- E^{(\text{comp})}(A^{(\text{comp})}, A^{(i)}, i, v) = E(A^{(\text{comp})}, i, v) + \lambda \sum_{u \in V'_i} \left| A^{(\text{comp})}_{uv} - A^{(i)}_{uv} \right|
- $$
-
- 최종적으로 denoising이 다 진행된 이후, decoder를 통해 latent space에서 pixel space로 변환되어 최종 이미지가 생성된다.
-
-## Evaluation
-
-Evaluation 같은 경우는 Qualitive한 결과와 Quantitive한 결과로 나누어서 보여준다. Introduction에서 소개한 기존 T2I model의 문제점 4가지를 잘 해결하고자 하는 것이 이 work의 목표이었기에 4가지 항목에 대해 평가를 진행한다. 데이터 같은 경우는 Negation, Attribute Binding, Generative Numeracy, Spatial Relationships를 각각 평가하기 위한 100개씩의 데이터를 수집해서 진행을 하였다고 한다. Evaluation metric이 존재하진 않고 Quantitive한 결과를 위해서 OWL-VIT detector를 활용하여 object들에 대한 bounding box값을 얻은 후에, 생성된 이미지가 prompt에 잘 맞게 생성되어있는지를 확인하였다고 한다. 추가적으로 Ablation study에 대한 다양한 결과들도 포함되어 있다.
-
-:::{figure-md}
-
-
-
-Qualititive Results1 of LMD
-:::
-
-:::{figure-md}
-
-
-
-Qualititive Results2 of LMD
-:::
-
-기존 Stable Diffusion XL 모델과 비교하여 LMD가 얼마나 prompt에 잘 대응하는 이미지를 생성하는지를 보여주는 결과이다. Introduction에서 언급했듯이 기존 SDXL모델은 이미지의 전반적인 부분은 잘 생성하지만 numarcy, spatial relationship, attribute matching등을 잘 만족시키지 못하는 경우가 발생한다. 하지만 LMD는 이러한 문제점들을 잘 해결하고 있는 것으로 보인다.
-
-:::{figure-md}
-
-
-
-Quantitive Results of LMD & LMD+
-:::
-
-위의 result는 기존 Stable Diffusion과 이 논문에서 제시하는 LMD 방법 그리고 기존 layout to image generation model인 GLIGEN의 adapter를 가져와서 통합한 방법인 LMD+ 세가지를 비교한다. LMD & LMD+ 모두 기존 SD에 비해 월등한 결과를 보임을 알 수 있다.
-
-:::{figure-md}
-
-
-
-Ablation of LMD & LMD+
-:::
-
-Ablation study의 결과를 보면, 앞선 결과와 마찬가지로 LMD가 훨씬 더 좋은 성능임을 알 수 있다. LMD의 Baseline model로 SDv1.5, SDv2.1을 각각 써본 결과 둘의 차이는 거의 없었다고 한다. 또한 Foreground mask를 구하기 위해 SAM을 사용했을 경우와 SAM을 사용하지 않고 Threshold를 사용해서 구한 결과도 보여주었는데 이는 LMD일때와 LMD+일때가 서로 다른 결과를 보인다. LMD에서는 attention기반의 guidance가 layout box와 관련하여 공간적으로 정확하지 않기 때문에, SAM은 객체를 커버하는 올바른 마스크를 얻는 데 도움을 준다. 따라서 SAM을 제거하면 LMD에서 약간의 성능 저하가 발생하게 된다. 반면에 LMD+에서는 기존 잘 훈련된 GLIGEN 모델을 가져와 이용하기 때문에 대부분의 경우 SAM이 필요하지 않게된다. 오히려, SAM은 때때로 배경을 포함하는 영역을 선택하여 혼란을 일으키고 성능을 저하시키게 되어 SAM을 제거하면 LMD+에서는 결과가 오히려 개선되는 효과가 있었다고 한다.
-
-:::{figure-md}
-
-
-
-Ablations on layout-to-image methods as stage 2 with LMD's LLM layout generator as stage 1
-:::
-
-위의 결과는 Stage1과 Stage2에 어떤 방법을 가져왔느냐에 따른 전체적인 Quantative한 결과를 보여준다. 우선 Stage1 즉, object에 대한 개별 bounding box를 생성하는 부분에 대해서는 이 논문의 LMD기법을 다 사용을 하였다. 생성된 box를 기반으로 이미지를 생성하는 Stage 2에 대해서 training-free 방법 즉, guidance를 주는 방법을 사용한 경우와 기존 pretrain된 layout to image generation model, 여기에 LMD기법을 추가적으로 더한 방법인 training-based 방법을 나누어서 비교한다. 우선 training-free 방법의 경우, 다른 guidance 기법에 비해 이 논문에서 제시한 stage2의 방법이 훨씬 더 뛰어난 성능을 보임을 알 수 있다. training-based 방법의 경우, 기존 layout to image generation model인 GLIGEN을 그대로 가져온 경우, GLIGEN에 이 논문의 stage2 기법을 적용한 LMD+, LMD+ 에서 GPT3.5대신 GPT4를 사용한 경우로 나누어서 비교를 한다. 사실상 LMD+가 가장 좋은 성능을 보임을 알 수 있다. GPT 버전을 GPT4로 바꾼 경우는 Numeracy에서는 성능이 살짝 감소하지만, 다른 부분에 대해서는 성능이 좀 더 많이 증가한 모습을 확인할 수 있다.
-
-:::{figure-md}
-
-
-
-Ablations on GPT version + Compare with SD
-:::
-
-GPT같은 경우 GPT3.5-turbo를 사용한 경우와 GPT4를 사용한 경우를 나누어서 실험을 진행하였다. GPT4의 경우 1-shot으로 진행을 해도 layout을 잘 만드는 모습을 보였고, GPT3.5의 경우 7shots으로 진행을 해야 완벽하게 layout을 생성하는 결과를 보임을 알 수 있다.
-
-:::{figure-md}
-
-
-
-Ablations on different LLM and same LLM with different size
-:::
-
-서로 다른 LLM을 사용해서 진행을 해본 결과, 다른 open-source model에 비해 gpt4가 확실히 좋은 성능을 보였음을 알 수 있다. 또한 똑같은 open-source model을 다른 크기로 적용해본결과 더 큰 규모의 model이 더 좋은 성능을 보임을 알 수 있다.
-
-## Summary
-
-LMD는 text-to-image generation diffusion model이 prompt를 더 잘 반영해서 이미지를 생성할 수 있도록 한 방법이다. 추가적인 Training을 하지 않고 prompt를 더 잘이해할 수 있도록 기존 Text to Image에서 intermediate representation인 layout을 활용한 방법이 특징이라고 할 수 있다. 두 가지 stage로 나눠 LLM-based text-grounded layout generation과 layout-grounded image generation을 통해 문제를 해결하고자 한 논문이다.
-
+``` {admonition} Information
+- **Title:** LLM-grounded Diffusion: Enhancing Prompt Understanding of Text-to-Image Diffusion Models with Large Language Models
+- **Reference**
+ - Paper: [https://arxiv.org/pdf/2305.13655]
+ - Code: [https://github.com/TonyLianLong/LLM-groundedDiffusion](https://github.com/TonyLianLong/LLM-groundedDiffusion)
+ - Project Page: [https://llm-grounded-diffusion.github.io/](https://llm-grounded-diffusion.github.io/)
+- **Author:** Sehwan Park
+- **Last updated on May. 24, 2024**
+```
+
+
+
+# LLM Grounded Diffusion
+
+## Abstract
+
+최근의 text-to-image generation 모델을 큰 발전을 이루었다. 하지만 이러한 모델들은 여전히 numeracy와 spatial reasoning을 요구하는 복잡한 프롬프트를 잘 반영하지 못하고 이미지를 생성하는 문제들이 있다. 그래서 본 논문에서는 LLM과 레이아웃 기반 이미지 생성모델을 활용하여 Diffusion model에서 프롬프트 이해 능력을 향상시키는 방법을 제안한다.
+
+## Introduction
+
+:::{figure-md}
+
+
+
+Limitation in Diffusion Model
+:::
+
+Diffusion model의 등장과 발전에 따라 T2I(Text to Image) generation 모델은 크게 발전되어왔다. 최근의 SDXL 모델을 보면 상당한 quality의 이미지를 생성하는 것을 볼 수 있다. 그럼에도 불구하고, diffusion model은 복잡한 프롬프트를 잘 반영해서 이미지를 생성하는 것에 취약한 점을 보인다. 위의 figure를 보면 크게 Negation, Generative Numeracy, Attribute Binding, Spatial Relationships에서 큰 문제점을 보임을 알 수 있다.
+
+가장 단순히 위의 문제를 해결하는 방법은 복잡한 프롬프트가 포함된 대규모의 multi-modal dataset을 가지고 모델을 훈련하는 방법이다. 하지만 이러한 방법은 시간과 리소스 측면에서 좋지못한 면이 있으며, 좋은 quality의 multi-modal dataset을 대규모로 확보하는 것 조차 쉽지 않은 일이다.
+
+이러한 문제를 피하면서 위의 figure의 대표적인 문제점을 해결하기 위해 본 논문에서는 LLM 및 Layout to Image Generation 모델을 활용하여 training-free 방법으로 접근한다.
+
+:::{figure-md}
+
+
+
+Overview of LLM-Grounded Diffusion
+:::
+
+* Stage1
+
+ 주어진 prompt에 대해서 LLM을 활용하여 표현되어야 할 foreground object에 대한 layout을 생성한다. prompt로 부터 foreground object들을 해당 attribute과 함께 parsing을 하고 reasoning을 통해 올바른 bounding box coordinate을 얻는 것이 목표인 단계이다. LLM의 In-Context Learning(7-shot)을 활용하여 LLM을 Layout Generator로써 활용한다.
+
+* Stage2
+
+ Stage1으로 부터 각각의 foreground object에 대한 caption과 bounding box coordinate을 기반으로 실제 해당 bounding box에 해당 caption이 생성되도록 하는 단계이다. 이 과정에서 training-free 방법을 적용하기 위해 Stable Diffusion의 inference과정에서 attention map을 manipulate 하는 방법을 통해 Layout to image generation을 가능케한다.
+
+본 논문의 main contribution은 다음과 같다.
+
+1. We propose a training-free two-stage generation pipeline that introduces LLMs to improve the prompt understanding ability of text-to-image diffusion models.
+2. We introduce layout-grounded Stable Diffusion, a novel controller that steers an off-the-shelf diffusion model to generate images grounded on instance-level box layouts from the LLM.
+3. LMD enables instruction-based scene specification and allows broader language support in the prompts.
+4. We propose a benchmark to assess the prompt understanding ability of a text-to-image model and demonstrate the superior performance of LMD over recent baselines.
+
+
+
+## LLM-grounded Diffusion
+
+1. LLM-based Layout Generation
+
+ 이 단계는 위의 stage1과 같은 단계로써 LLM을 통해 prompt로 부터 각 foreground object의 caption과 bounding box의 coordinate을 얻는 단계이다.
+
+ :::{figure-md}
+
+
+
+ Overview Prompt
+ :::
+
+ 우선 이 단계에서의 prompt는 다음과 같이 구성되어 있다. prompt의 가장 윗단인 Instruction을 보면 LLM에게 정보를 주는 말들로 이루어져 있으며 Task specification과 supporting details로 이루어져 있음을 알 수 있다. LLM에게 직접적으로 해야할 일들과 정보를 주는 prompt라고 볼 수 있다.
+
+ :::{figure-md}
+
+
+
+ In-context Examples
+ :::
+
+ Overview Prompt의 In-context Examples에 관련된 부분이다. 이 부분을 통해 input prompt로 부터 원하는 형태로 output값을 얻을 수 있다. LLM을 직접 학습시키지 않고 few shot example을 통해 LLM으로 부터 원하는 결과를 이끌어내는 방법을 취한 부분이다. Gpt 3.5같은 경우에는 7-shot을 사용했고, Gpt4 같은 경우는 1-shot만으로도 충분히 원하는 형태로 결과를 얻을 수 있었다고 한다. 결과는 Objects 부분에 나와있다. Foreground Object에 대한 caption값과 해당 bounding box의 coordinate값으로 이루어져 있음을 알 수 있다.
+
+2. Layout-grounded Stable Diffusion
+
+ 이 단계에서는 LLM이 생성한 레이아웃을 기반으로 이미지 생성을 하기 위해 컨트롤러를 도입한다. 이전의 training-free 방법을 택했던 work들의 경우, regional denoising 혹은 inference과정에서의 단순한 attention manipulation을 통해 semantic guidance를 적용하지만, 이러한 방법들은 의미 있는 영역 내 객체의 수(generative numeracy)를 제어하는 능력이 부족하다. 이는 다른 인스턴스들간의 구별이 latent space나 attention map에서 어렵기 때문에 발생하며, 이는 인스턴스 수준의 control을 힘들게 하는 요인이다. 반면, LMD(LLM-grounded Diffusion)는 각 개별 경계 상자에 대해 마스킹된 잠재 변수를 먼저 생성하고, 이러한 마스킹된 잠재 변수를 prior로 사용하여 전체 이미지 생성을 안내함으로써 인스턴스 수준의 control이 가능토록 한다. 이를통해 각 객체 인스턴스의 정확한 배치와 속성 결합을 허용한다.
+
+ :::{figure-md}
+
+
+
+ Overall image generation with masked latents as priors
+ :::
+
+ Stage2는 크게 step1,2로 나눠진다. step1의 경우에는 stage1에서 구한 각각의 box들에 대해서 box내의 object들에 대한 latent map을 구하는 과정이다. stage2는 stage1에서 구한 각 box에 대한 latent map을 compose하여 전체적인 image를 생성하는 과정이다.
+
+ * step1
+
+ 예를 들어, 위의 그림처럼 gray cat에 관한 bounding box가 stage1을 통해 구해졌다면, box안에 gray cat이 그려지도록 유도를 할 수 있을 것이다. 그러는 과정에서 저 box에 gray cat이 생성되도록 하는 마치 Ground Truth latent map을 얻을 수 있게 된다. 모든 object들에 대해 이러한 방법으로 denoising 과정에서 모든 step의 latent map을 구하는 것이다. 모든 단일 box에 대해 그 box에 해당 caption object가 생성되도록 하는 GT latent map을 구하는 게 step1의 과정이라고 생각하면 된다. 사실 상 LMD의 핵심은 step1에서 진행된다고 볼 수 있다.
+
+ 크게 보자면, 각 foreground object에 대해서 $Z_T$ 부터 $Z_0$까지 denoising을 거치면서 모든 step t에 대한 latent map을 구하면 된다. 이 때, 가장 중요한 것은 foreground object가 실제 box안에서 잘 생성되도록 하는것이 선행이 되어야 한다. 이를 유도하기 위해 저자들은 각 denoising step마다 box내부에 해당 foreground object가 생성되도록 attention manipulation을 진행한다.
+
+
+ $$
+ A_{uv}^{(i)} = Softmax(q_u^TK_v)
+ $$
+
+ 식(1)과 같이 pixel값들과 prompt내에서의 text token 간의 cross-attention map을 나타낼 수 있다. u는 이미지 내의 모든 각 pixel들을 의미하고 v는 각 text token을 의미한다.
+
+ 구성되는 프롬프트에 대해 예시를 들어 정리하자면, 전체 프롬프트가 "A realistic photo of a gray cat and an orange dog on the grass" 였다고 하자. 그러면 각 foreground object에 대해서 프롬프트를 따로 생성한다. “[background prompt] with [box caption]” (e.g., “a realistic image of an indoor scene with a gray cat”) 형태로 각 foreground object에 대한 프롬프트를 구성한다.
+
+ :::{figure-md}
+
+
+
+ Overview of attention manipulation
+ :::
+
+ Object와 Bounding box를 align하기 위해서는 위의 그림에서 보이듯이 box 내부 pixel의 object에 관한 token과의 attention은 증가되고 다른 token과의 attention은 감소되면 된다. 위의 그림을 예시로 보면 "a gray cat"이라는 token과는 box내부 pixel들이 attention이 증가하고, 다른 token과는 attention이 감소하도록 유도되면 된다. 이 방법을 유도 하기 위해 본 논문의 저자들은 energy function을 사용한다.
+
+
+ $$
+ E(A_i, i, v) = -\text{Topk}_u (A_{uv} \cdot b^{(i)}) + \omega \text{Topk}_u (A_{uv} \cdot (1 - b^{(i)}))
+ $$
+ 식(2)의 Energy function을 보면 foreground object i에 대한 token v가 정해져 있을 때, box 내부 pixel이 token v와의 attention값이 크고 box 외부 pixel이 token v와의 attention값이 작으면 Energy function값이 최소가 됨을 알 수 있다. 정리하자면 위의 Energy function값이 최대한 작아지면 box 내부의 pixel들의 object token에 대한 attention이 증가되고, box와 foreground object간의 align이 잘 이루어지게 되는 것이다.
+
+
+ $$
+ z^{(i)}_t \leftarrow z^{(i)}_t - \eta \nabla z^{(i)}_t \sum_{v \in V_i} E(A^{(i)}, i, v)
+ $$
+
+ $$
+ z^{(i)}_{t-1} \leftarrow \text{Denoise}(z^{(i)}_t)
+ $$
+
+
+
+ Energy function이 최소가 되도록 하기 위해 본 논문은 식(3)과 같은 optimize과정을 거친다. 방법은 단순하다. Gradient Descent를 생각해보면 parameter로 loss function을 표현하고 loss function이 최소가 되도록 parameter들을 optimize하면서 유도한다. 이 방법 역시 같다. Energy function을 최소로 만드는 것이 목표이기에 이는 loss function과 같은 역할을 하게 된다. 그리고 Energy function의 식들은 $z_t$에 대해 표현이 가능하기에, Energy function을 통해 z_t를 optimize하여 Energy function이 최소화가 되도록 유도한다. Energy function 최소화는 각 denoising timestep마다 5회 반복되며, denoising 단계가 다섯 번 진행될 때마다 선형적으로 감소하여 반복 횟수가 1회로 줄어든다. 또한, 30step 후에는 guidance를 수행하지 않는다.
+
+ guidance가 진행되면서 denoising이 다 끝나고 나면 모든 step에 대한 latent map을 얻을 수 있게 되고, attention map을 얻을 수 있게 된다. 이 때 attention map을 SAM을 통해 segment를 진행하거나 threshold값을 설정하여 Foreground mask를 구하게 된다. 이후에 구한 모든 time step에 대한 latent map에 Foreground Mask와 pixel wise곱을 해주어서 masked latent를 구하게 된다.
+
+ * step2
+
+ step2에서는 step1에서 구한 각 foreground object들을 compose하여 처음에 주어진 prompt에 대한 이미지를 잘 생성하는 것이 목표인 단계이다. 기존 work에 의하면 diffusion model은 denoising의 초기 단계에서 semantic한 정보들을 생성하며, 이후 단계에서부터 fine-detail한 부분을 생성한다. 이 점을 이용해서 compose를 하는 step2에서는 단순히 latent map을 compose한다음 denoising을 진행하는 것이 아니라, step의 절반 지점까지는 latent map을 compose하면서 step1과 마찬가지로 optimize를 진행하며 foreground object들이 실제로 원하는 위치에 생성되도록 유도를 하게 된다. 이후부터는 fine-detail한 부분을 생성하여 자연스러운 이미지를 만들기 위해 compose나 optimize를 하지 않고 이미지를 생성하게 된다. Compose관련 식과 optimize를 위한 step2에서의 Energy function은 아래와 같다.
+
+
+ $$
+ z^{(\text{comp})}_t \leftarrow \text{LatentCompose}(z^{(\text{comp})}_t, \hat{z}^{(i)}_t, m^{(i)}) \quad \forall i
+ $$
+
+ $$
+ E^{(\text{comp})}(A^{(\text{comp})}, A^{(i)}, i, v) = E(A^{(\text{comp})}, i, v) + \lambda \sum_{u \in V'_i} \left| A^{(\text{comp})}_{uv} - A^{(i)}_{uv} \right|
+ $$
+
+ 최종적으로 denoising이 다 진행된 이후, decoder를 통해 latent space에서 pixel space로 변환되어 최종 이미지가 생성된다.
+
+## Evaluation
+
+Evaluation 같은 경우는 Qualitive한 결과와 Quantitive한 결과로 나누어서 보여준다. Introduction에서 소개한 기존 T2I model의 문제점 4가지를 잘 해결하고자 하는 것이 이 work의 목표이었기에 4가지 항목에 대해 평가를 진행한다. 데이터 같은 경우는 Negation, Attribute Binding, Generative Numeracy, Spatial Relationships를 각각 평가하기 위한 100개씩의 데이터를 수집해서 진행을 하였다고 한다. Evaluation metric이 존재하진 않고 Quantitive한 결과를 위해서 OWL-VIT detector를 활용하여 object들에 대한 bounding box값을 얻은 후에, 생성된 이미지가 prompt에 잘 맞게 생성되어있는지를 확인하였다고 한다. 추가적으로 Ablation study에 대한 다양한 결과들도 포함되어 있다.
+
+:::{figure-md}
+
+
+
+Qualititive Results1 of LMD
+:::
+
+:::{figure-md}
+
+
+
+Qualititive Results2 of LMD
+:::
+
+기존 Stable Diffusion XL 모델과 비교하여 LMD가 얼마나 prompt에 잘 대응하는 이미지를 생성하는지를 보여주는 결과이다. Introduction에서 언급했듯이 기존 SDXL모델은 이미지의 전반적인 부분은 잘 생성하지만 numarcy, spatial relationship, attribute matching등을 잘 만족시키지 못하는 경우가 발생한다. 하지만 LMD는 이러한 문제점들을 잘 해결하고 있는 것으로 보인다.
+
+:::{figure-md}
+
+
+
+Quantitive Results of LMD & LMD+
+:::
+
+위의 result는 기존 Stable Diffusion과 이 논문에서 제시하는 LMD 방법 그리고 기존 layout to image generation model인 GLIGEN의 adapter를 가져와서 통합한 방법인 LMD+ 세가지를 비교한다. LMD & LMD+ 모두 기존 SD에 비해 월등한 결과를 보임을 알 수 있다.
+
+:::{figure-md}
+
+
+
+Ablation of LMD & LMD+
+:::
+
+Ablation study의 결과를 보면, 앞선 결과와 마찬가지로 LMD가 훨씬 더 좋은 성능임을 알 수 있다. LMD의 Baseline model로 SDv1.5, SDv2.1을 각각 써본 결과 둘의 차이는 거의 없었다고 한다. 또한 Foreground mask를 구하기 위해 SAM을 사용했을 경우와 SAM을 사용하지 않고 Threshold를 사용해서 구한 결과도 보여주었는데 이는 LMD일때와 LMD+일때가 서로 다른 결과를 보인다. LMD에서는 attention기반의 guidance가 layout box와 관련하여 공간적으로 정확하지 않기 때문에, SAM은 객체를 커버하는 올바른 마스크를 얻는 데 도움을 준다. 따라서 SAM을 제거하면 LMD에서 약간의 성능 저하가 발생하게 된다. 반면에 LMD+에서는 기존 잘 훈련된 GLIGEN 모델을 가져와 이용하기 때문에 대부분의 경우 SAM이 필요하지 않게된다. 오히려, SAM은 때때로 배경을 포함하는 영역을 선택하여 혼란을 일으키고 성능을 저하시키게 되어 SAM을 제거하면 LMD+에서는 결과가 오히려 개선되는 효과가 있었다고 한다.
+
+:::{figure-md}
+
+
+
+Ablations on layout-to-image methods as stage 2 with LMD's LLM layout generator as stage 1
+:::
+
+위의 결과는 Stage1과 Stage2에 어떤 방법을 가져왔느냐에 따른 전체적인 Quantative한 결과를 보여준다. 우선 Stage1 즉, object에 대한 개별 bounding box를 생성하는 부분에 대해서는 이 논문의 LMD기법을 다 사용을 하였다. 생성된 box를 기반으로 이미지를 생성하는 Stage 2에 대해서 training-free 방법 즉, guidance를 주는 방법을 사용한 경우와 기존 pretrain된 layout to image generation model, 여기에 LMD기법을 추가적으로 더한 방법인 training-based 방법을 나누어서 비교한다. 우선 training-free 방법의 경우, 다른 guidance 기법에 비해 이 논문에서 제시한 stage2의 방법이 훨씬 더 뛰어난 성능을 보임을 알 수 있다. training-based 방법의 경우, 기존 layout to image generation model인 GLIGEN을 그대로 가져온 경우, GLIGEN에 이 논문의 stage2 기법을 적용한 LMD+, LMD+ 에서 GPT3.5대신 GPT4를 사용한 경우로 나누어서 비교를 한다. 사실상 LMD+가 가장 좋은 성능을 보임을 알 수 있다. GPT 버전을 GPT4로 바꾼 경우는 Numeracy에서는 성능이 살짝 감소하지만, 다른 부분에 대해서는 성능이 좀 더 많이 증가한 모습을 확인할 수 있다.
+
+:::{figure-md}
+
+
+
+Ablations on GPT version + Compare with SD
+:::
+
+GPT같은 경우 GPT3.5-turbo를 사용한 경우와 GPT4를 사용한 경우를 나누어서 실험을 진행하였다. GPT4의 경우 1-shot으로 진행을 해도 layout을 잘 만드는 모습을 보였고, GPT3.5의 경우 7shots으로 진행을 해야 완벽하게 layout을 생성하는 결과를 보임을 알 수 있다.
+
+:::{figure-md}
+
+
+
+Ablations on different LLM and same LLM with different size
+:::
+
+서로 다른 LLM을 사용해서 진행을 해본 결과, 다른 open-source model에 비해 gpt4가 확실히 좋은 성능을 보였음을 알 수 있다. 또한 똑같은 open-source model을 다른 크기로 적용해본결과 더 큰 규모의 model이 더 좋은 성능을 보임을 알 수 있다.
+
+## Summary
+
+LMD는 text-to-image generation diffusion model이 prompt를 더 잘 반영해서 이미지를 생성할 수 있도록 한 방법이다. 추가적인 Training을 하지 않고 prompt를 더 잘이해할 수 있도록 기존 Text to Image에서 intermediate representation인 layout을 활용한 방법이 특징이라고 할 수 있다. 두 가지 stage로 나눠 LLM-based text-grounded layout generation과 layout-grounded image generation을 통해 문제를 해결하고자 한 논문이다.
+
diff --git a/_sources/docs/review/Latent_Diffusion_Model.md b/_sources/docs/review/Latent_Diffusion_Model.md
index 7e9512a1..22e50f56 100755
--- a/_sources/docs/review/Latent_Diffusion_Model.md
+++ b/_sources/docs/review/Latent_Diffusion_Model.md
@@ -1,191 +1,191 @@
-```{admonition} Information
-- **Title:** High-Resolution Image Synthesis with Latent Diffusion Models (CVPR 2022)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2112.10752](https://arxiv.org/abs/2112.10752)
- - Code: [https://github.com/CompVis/latent-diffusion](https://github.com/CompVis/latent-diffusion)
-
-- **Author:** Namkyeong Cho
-
-- **Last updated on May. 31, 2023**
-```
-
-
-# Introduction
-latent diffusion model이 어떻게 학습하는지 rate-distortion trade-off로 분석할 수 있다.
-:::{figure-md}
-
-
-Analysis of Latent Diffusion Model with rate-distortion trade-off
-:::
-
-학습 단계는 크게 2단계로 나눌 수 있다.
-- Perceptual Compression
- - Autoencoder를 학습하는 단계
- - perceptual : 인간의 인지와 관련된 것. 예를 들면 고양이 하면 고양이 귀, 꼬리 등 우리가 인지한 객체.
- - 압축 과정에서 일정 부분을 넘어가면 비트를 많이 써도 사람이 인지할 수 없는 것에 대해 사용됨. (Rate가 0.5 이후 넘어가는 것을 보면 다른 것이 인지 안됨)
- - 비트를 많이 씀 : 1비트(흑,백)로 표현하는 것을 8비트 등으로 표현 ⇒ 다양한 색상을 사용하여 색, 텍스쳐 등을 다양하게 표현할 수 있음. 이는 파라미터 수의 증가 등 모델 사이즈의 증가로 볼 수 있음.
- - Autoencoder를 통해 이미지 차원을 압축하여 사용할 비트를 줄임으로써 불필요한(사람이 인지할 수 없는) 것을 학습하지 않도록 함.
-- Semantic Compression
- - Diffusion model을 학습하는 단계로 이미지의 의미와 문맥을 이해하고 이를 바탕으로 압축하는 것을 말함. 예를 들어, 이미지 속의 개가 어디에 위치하는지, 배경이 무엇인지, 어떤 상황인지 등을 학습함.
-
-
-# Related Work
-생성 모델의 기존 모델은 다음과 같다.
-- GAN : 좋은 perceptual quality를 가진 고해상도 image의 sampling을 효율적으로 수행하나 최적화나 full data distribution을 찾기 어렵다.
- - 학습 불안정성(생성자, 판별자 기반의 손실함수), Mode Collapse(제한된 유형의 샘플만 생성하는 현상) 등 발생.
-- VAE, flow-based model : 고해상도 image의 효율적인 합성을 수행할 수 있으나 GAN보다 sample quality가 떨어진다.
- - flow-based model : Flow는 복잡한 분포를 모델링하기 위해 일련의 가역적인 비선형 변환을 사용하는 방법론.
- - 기본 아이디어 : 간단한 분포(예: 가우시안 분포)에서 복잡한 데이터 분포로 변환하는 일련의 함수들을 학습하는 것.
- - data를 잠재변수로 변환하는, 반대로 잠재변수를 data로 변환하는(역변환) 양방향 변환기를 학습시켜 잠재변수로부터 data를 generative 할 수 있도록 함.
-- Autoregressive : density 추정에서 강력한 performance를 달성하나 계산 비용과 sequential sampling process로 인해 저해상도 image로 제약된다.
-- pixel 기반의 image representation은 거의 인지하기 어려운 이미지의 detail한 부분을 포함하여 maximum-likelihood 학습은 이를 학습하는데 많은 용량과 시간을 소비한다.
-- Diffusion Probabilistic Models : sample quality 등에서 좋은 성능을 보이나 pixel 단위에서의 평가와 최적화는 낮은 inference speed와 높은 train cost를 유발한다.
-- VQ-VAEs : 기존 VAE 방법에 벡터 양자화(Vector Quantisation)를 도입한 방법이다. latent space의 연속형 벡터를 사전에 정한 codebook 벡터와의 거리를 계산하여 제일 유사한 값으로 변환한다.
- - 데이터 압축, 샘플링이 유용하면서 생성 모델의 품질을 높일 수도 있음.
-- VQ-GAN : VQ-VAE의 원리를 GAN에 적용한 방법이다. latent space의 연속형 벡터를 양자화하여 변환하면서 학습은 GAN의 adversarial loss를 추가로 활용한다.
- - 데이터 압축, 샘플링이 유용하면서 생성 모델의 품질을 높일 수도 있음.
-
-
-# Latent Diffusion Model
-
-오늘 알아볼 모델은 Latent Diffusion Model이다.
-기존에 다뤘던 Diffusion Model과 유사하게 동작하는 생성 모델이다. 이 논문에서는 컴퓨터 자원의 소모를 줄이면서 Diffusion Model과 유사한 성능을 얻는것이 그 목표이다.
-
-Latent Diffusion Model은 전반적으로 아래와 같은 구조를 가진다.
-
-:::{figure-md}
-
-
-Structure of Latent Diffusion Model
-:::
-$x \in \mathbb{R}^{H\times W \times 3}$이 input으로 주어졌을때 이를 encoder $\mathcal{E}$를 통해서 $z=\mathcal{E}(x) \in \mathbb{R}^{h\times w\times c }$로 인코딩 하고 $\hat{x}=\mathcal{D}(z)$
-로 디코딩을 한다. 이 논문에서 $f=H/h=W/w=2^m$, $m\in \mathbb{N}$이 되도록 여러 $m$에 대해서 테스트를 진행하였다. 또한 Latent space에서 분산이 커지지 않도록 KL divergence와 vector quantization(VQ)을 활용하였다.
-이미지외 텍스트나, sematic map과 같이 추가적인 정보는 $\tau_\theta$를 통해서 전달을 하였고,
-
-$$ Q=W^{(i)}_Q \phi_i(z_i), K=W^{(i)}_K \phi_i(z_i), V=W^{(i)}_V \phi_i(z_i) $$
-
-로 정의되고 $\phi_i(z_i)$는 $U$-Net 중간의 representation, $W^{i}_V, W^{i}_K, W^{i}_Q$는 학습 가능한 projection matrix이다.
-$Q, K, V$ 는 attention의 query, key, value에 해당하며
-
-$$
-Attention(Q, K, V) = softmax(\frac{QK^T}{\sqrt{d}})\cdot V
-$$
-
-로 연산이 진행된다. 학습을 위한 loss 함수는 다음과 같이 표현된다.
-
-$$
-\mathcal{L}_{LDM} = \mathbb{E}_{\mathcal{E}(x),
-\epsilon \sim \mathcal{N}(0,1),t} \left[ \|\epsilon-\epsilon_{\theta}(z_t,t) \|_{2}^{2}\right].
-$$
-
-여기서 주목할만한 부분은 기존 Diffusion Model에서
-
-$$
-\mathcal{L}_{DM} = \mathbb{E}_{x,
-\epsilon \sim \mathcal{N}(0,1),t} \left[ \|\epsilon-\epsilon_{\theta}(x_t,t) \|_{2}^{2}\right].
-$$
-
-와 같은 loss function으로 학습을 진행시키는데 $x_t$를 $z_t$로 바꾸면서 연산의 양을 줄였다는 점이다.
-
-위의 "Introduction"과 연관지으면 다음과 같이 생각 해볼 수 있다.
-- encoder $\varepsilon$, decoder $D$ 로 구성된 perceptual compression model(학습된)를 바탕으로 효율적인, 낮은 차원의 latent space(high-frequency, imperceptible detail이 제거된)를 가지게 됨
-- 고차원 공간과 비교했을 때 이 latent space는 likelihood-based generative model에 더 적합함
- - 데이터에 중요한 semantic bit에 집중할 수 있고 더 낮은 차원에서 효율적으로 학습 가능
-
-
-# Experiments
-
-## 4.1. On Perceptual Compression Tradeoffs
-- different downsampling factor $f \in \{1,2,4,8,16,32\}$ 에 대한 분석
- - latent space 차원 개수에 따른 차이 분석
- - LDM-1 : pixel-based DMs
-- computational resource : single NVIDIA A100 1대로 함
-- 전체 같은 parameter 개수와 step을 기준으로 함
-
-:::{figure-md}
-
-:::
-- 위의 표는 autoencoder 차원에 따른 hyperparameter, loss에 따른 실험 결과를 보임
-
-- 위의 그래프는 모델이 수렴하는데 소요되는 step을 분석함
-- $f$ 값이 너무 크면 약간의 학습 후 fidelty(학습 데이터와 실제 데이터의 유사도)가 정체된 것을 볼 수 있음
- - 이는 아래 사진의 결과와 perceptual과 bit ratio 부분을 생각해보면 대부분의 perceptual compression은 diffusion에 있으며 encoder와 decoder 부분에서 압축이 지나치게 되어 정보 손실이 발생하여 달성할 수 있는 품질이 제한됨
-
-:::{figure-md}
-
-:::
-
-
-:::{figure-md}
-
-:::
-
-- 위의 그래프는 CelebA-HQ와 ImageNet에서 학습된 모델을 DDIM sampler를 사용하여 다양한 step의 denoising에 대한 샘플링 속도 측면에서 FID 점수와 비교함
- - ImageNet이 CelebA-HQ 대비 더 복잡한 dataset임
-- point가 총 5개인데 오른쪽부터 왼쪽으로 step 수가 {10,20,50,100,200}을 의미함
-- LDM-{4-8}이 outperform을 발휘함
-- LDM-1은 낮은 FID를 가지고 sampling 속도도 느림
-
-## 4.2. Image Generation with Latent Diffusion
-- 256x256 image의 unconditional model을 CelebA-HQ, FFHQ, LSUN-Churches, Bedrooms로 학습하고 sample quality, data manifold의 coverage(FID, Precision-and-Recall) 평가
-:::{figure-md}
-
-:::
-- CelebA-HQ
- - 제안한 모델이 최고 성능
- - LSGM : encoder, decoder를 UNet과 동시에 학습시킨 결과
-- LSUN-Bedrooms : ADM보다 절반의 parameter와 짧은 train 시간으로 유사한 score(?)를 얻음
-- 제안한 방법인 LDM은 GAN-based methods을 지속적으로 개선해 adversarial 방식에 비해 mode-covering likelihood-based training의 이점을 Precision과 Recall을 통해 볼 수 있음. (아래 그림은 정성적 결과)
-:::{figure-md}
-
-:::
-
-## 4.3. Conditional Latent Diffusion
-### 4.3.1 Transformer Encoders for LDMs
-- text-to-image modeling : 1.45B parameter KL-regularized LDM
- - LAION-400M으로 language prompt 수행
- - BERT-tokenizer
- - $\tau_{\theta}$ : transformer
-:::{figure-md}
-
-
-text to image on LAION
-:::
-
-- 아래 사진은 Layout이 주어졌을 때, 이를 기반으로 image를 생성하는 layout-to-image의 샘플 결과임
-:::{figure-md}
-
-
-layout-to-image
-:::
-
-- class-conditional ImageNet model 결과
-:::{figure-md}
-
-:::
-
-### 4.3.2 Convolutional Sampling Beyond 256x256
-- spatially aligned conditioning information(semantic map 등)을 input에 연결했을 때 image-to-image translation model 목적 수행 가능
- - semantic synthesis, super-resolution, inpainting에 실험
-- semantic synthesis
- - dataset : semantic map을 가진 landscape image
- - semantic map의 downsampled version을 $f=4$ 인 model의 input으로 사용(VQ-reg)
- - input resolution : 256x256(crop from 384x384)
-- 아래 실험은 input 크기 대비 더 큰 image 생성 가능한 것을 보여줌
-:::{figure-md}
-
-:::
-
-## 4.4. Super-Resolution with Latent Diffusion
-- OpenImages로 사전학습된 $f=4$ autoencoding model(VQ-reg) 사용
-- low-resolution data가 input으로 들어감
-:::{figure-md}
-
-:::
-
-## 4.5. Inpainting with Latent Diffusion
-- 원본 이미지에서 원하는 물체를 제거한 뒤 이미지가 잘 복구된 것을 볼 수 있음
-:::{figure-md}
-
-:::
+```{admonition} Information
+- **Title:** High-Resolution Image Synthesis with Latent Diffusion Models (CVPR 2022)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2112.10752](https://arxiv.org/abs/2112.10752)
+ - Code: [https://github.com/CompVis/latent-diffusion](https://github.com/CompVis/latent-diffusion)
+
+- **Author:** Namkyeong Cho
+
+- **Last updated on May. 31, 2023**
+```
+
+
+# Introduction
+latent diffusion model이 어떻게 학습하는지 rate-distortion trade-off로 분석할 수 있다.
+:::{figure-md}
+
+
+Analysis of Latent Diffusion Model with rate-distortion trade-off
+:::
+
+학습 단계는 크게 2단계로 나눌 수 있다.
+- Perceptual Compression
+ - Autoencoder를 학습하는 단계
+ - perceptual : 인간의 인지와 관련된 것. 예를 들면 고양이 하면 고양이 귀, 꼬리 등 우리가 인지한 객체.
+ - 압축 과정에서 일정 부분을 넘어가면 비트를 많이 써도 사람이 인지할 수 없는 것에 대해 사용됨. (Rate가 0.5 이후 넘어가는 것을 보면 다른 것이 인지 안됨)
+ - 비트를 많이 씀 : 1비트(흑,백)로 표현하는 것을 8비트 등으로 표현 ⇒ 다양한 색상을 사용하여 색, 텍스쳐 등을 다양하게 표현할 수 있음. 이는 파라미터 수의 증가 등 모델 사이즈의 증가로 볼 수 있음.
+ - Autoencoder를 통해 이미지 차원을 압축하여 사용할 비트를 줄임으로써 불필요한(사람이 인지할 수 없는) 것을 학습하지 않도록 함.
+- Semantic Compression
+ - Diffusion model을 학습하는 단계로 이미지의 의미와 문맥을 이해하고 이를 바탕으로 압축하는 것을 말함. 예를 들어, 이미지 속의 개가 어디에 위치하는지, 배경이 무엇인지, 어떤 상황인지 등을 학습함.
+
+
+# Related Work
+생성 모델의 기존 모델은 다음과 같다.
+- GAN : 좋은 perceptual quality를 가진 고해상도 image의 sampling을 효율적으로 수행하나 최적화나 full data distribution을 찾기 어렵다.
+ - 학습 불안정성(생성자, 판별자 기반의 손실함수), Mode Collapse(제한된 유형의 샘플만 생성하는 현상) 등 발생.
+- VAE, flow-based model : 고해상도 image의 효율적인 합성을 수행할 수 있으나 GAN보다 sample quality가 떨어진다.
+ - flow-based model : Flow는 복잡한 분포를 모델링하기 위해 일련의 가역적인 비선형 변환을 사용하는 방법론.
+ - 기본 아이디어 : 간단한 분포(예: 가우시안 분포)에서 복잡한 데이터 분포로 변환하는 일련의 함수들을 학습하는 것.
+ - data를 잠재변수로 변환하는, 반대로 잠재변수를 data로 변환하는(역변환) 양방향 변환기를 학습시켜 잠재변수로부터 data를 generative 할 수 있도록 함.
+- Autoregressive : density 추정에서 강력한 performance를 달성하나 계산 비용과 sequential sampling process로 인해 저해상도 image로 제약된다.
+- pixel 기반의 image representation은 거의 인지하기 어려운 이미지의 detail한 부분을 포함하여 maximum-likelihood 학습은 이를 학습하는데 많은 용량과 시간을 소비한다.
+- Diffusion Probabilistic Models : sample quality 등에서 좋은 성능을 보이나 pixel 단위에서의 평가와 최적화는 낮은 inference speed와 높은 train cost를 유발한다.
+- VQ-VAEs : 기존 VAE 방법에 벡터 양자화(Vector Quantisation)를 도입한 방법이다. latent space의 연속형 벡터를 사전에 정한 codebook 벡터와의 거리를 계산하여 제일 유사한 값으로 변환한다.
+ - 데이터 압축, 샘플링이 유용하면서 생성 모델의 품질을 높일 수도 있음.
+- VQ-GAN : VQ-VAE의 원리를 GAN에 적용한 방법이다. latent space의 연속형 벡터를 양자화하여 변환하면서 학습은 GAN의 adversarial loss를 추가로 활용한다.
+ - 데이터 압축, 샘플링이 유용하면서 생성 모델의 품질을 높일 수도 있음.
+
+
+# Latent Diffusion Model
+
+오늘 알아볼 모델은 Latent Diffusion Model이다.
+기존에 다뤘던 Diffusion Model과 유사하게 동작하는 생성 모델이다. 이 논문에서는 컴퓨터 자원의 소모를 줄이면서 Diffusion Model과 유사한 성능을 얻는것이 그 목표이다.
+
+Latent Diffusion Model은 전반적으로 아래와 같은 구조를 가진다.
+
+:::{figure-md}
+
+
+Structure of Latent Diffusion Model
+:::
+$x \in \mathbb{R}^{H\times W \times 3}$이 input으로 주어졌을때 이를 encoder $\mathcal{E}$를 통해서 $z=\mathcal{E}(x) \in \mathbb{R}^{h\times w\times c }$로 인코딩 하고 $\hat{x}=\mathcal{D}(z)$
+로 디코딩을 한다. 이 논문에서 $f=H/h=W/w=2^m$, $m\in \mathbb{N}$이 되도록 여러 $m$에 대해서 테스트를 진행하였다. 또한 Latent space에서 분산이 커지지 않도록 KL divergence와 vector quantization(VQ)을 활용하였다.
+이미지외 텍스트나, sematic map과 같이 추가적인 정보는 $\tau_\theta$를 통해서 전달을 하였고,
+
+$$ Q=W^{(i)}_Q \phi_i(z_i), K=W^{(i)}_K \phi_i(z_i), V=W^{(i)}_V \phi_i(z_i) $$
+
+로 정의되고 $\phi_i(z_i)$는 $U$-Net 중간의 representation, $W^{i}_V, W^{i}_K, W^{i}_Q$는 학습 가능한 projection matrix이다.
+$Q, K, V$ 는 attention의 query, key, value에 해당하며
+
+$$
+Attention(Q, K, V) = softmax(\frac{QK^T}{\sqrt{d}})\cdot V
+$$
+
+로 연산이 진행된다. 학습을 위한 loss 함수는 다음과 같이 표현된다.
+
+$$
+\mathcal{L}_{LDM} = \mathbb{E}_{\mathcal{E}(x),
+\epsilon \sim \mathcal{N}(0,1),t} \left[ \|\epsilon-\epsilon_{\theta}(z_t,t) \|_{2}^{2}\right].
+$$
+
+여기서 주목할만한 부분은 기존 Diffusion Model에서
+
+$$
+\mathcal{L}_{DM} = \mathbb{E}_{x,
+\epsilon \sim \mathcal{N}(0,1),t} \left[ \|\epsilon-\epsilon_{\theta}(x_t,t) \|_{2}^{2}\right].
+$$
+
+와 같은 loss function으로 학습을 진행시키는데 $x_t$를 $z_t$로 바꾸면서 연산의 양을 줄였다는 점이다.
+
+위의 "Introduction"과 연관지으면 다음과 같이 생각 해볼 수 있다.
+- encoder $\varepsilon$, decoder $D$ 로 구성된 perceptual compression model(학습된)를 바탕으로 효율적인, 낮은 차원의 latent space(high-frequency, imperceptible detail이 제거된)를 가지게 됨
+- 고차원 공간과 비교했을 때 이 latent space는 likelihood-based generative model에 더 적합함
+ - 데이터에 중요한 semantic bit에 집중할 수 있고 더 낮은 차원에서 효율적으로 학습 가능
+
+
+# Experiments
+
+## 4.1. On Perceptual Compression Tradeoffs
+- different downsampling factor $f \in \{1,2,4,8,16,32\}$ 에 대한 분석
+ - latent space 차원 개수에 따른 차이 분석
+ - LDM-1 : pixel-based DMs
+- computational resource : single NVIDIA A100 1대로 함
+- 전체 같은 parameter 개수와 step을 기준으로 함
+
+:::{figure-md}
+
+:::
+- 위의 표는 autoencoder 차원에 따른 hyperparameter, loss에 따른 실험 결과를 보임
+
+- 위의 그래프는 모델이 수렴하는데 소요되는 step을 분석함
+- $f$ 값이 너무 크면 약간의 학습 후 fidelty(학습 데이터와 실제 데이터의 유사도)가 정체된 것을 볼 수 있음
+ - 이는 아래 사진의 결과와 perceptual과 bit ratio 부분을 생각해보면 대부분의 perceptual compression은 diffusion에 있으며 encoder와 decoder 부분에서 압축이 지나치게 되어 정보 손실이 발생하여 달성할 수 있는 품질이 제한됨
+
+:::{figure-md}
+
+:::
+
+
+:::{figure-md}
+
+:::
+
+- 위의 그래프는 CelebA-HQ와 ImageNet에서 학습된 모델을 DDIM sampler를 사용하여 다양한 step의 denoising에 대한 샘플링 속도 측면에서 FID 점수와 비교함
+ - ImageNet이 CelebA-HQ 대비 더 복잡한 dataset임
+- point가 총 5개인데 오른쪽부터 왼쪽으로 step 수가 {10,20,50,100,200}을 의미함
+- LDM-{4-8}이 outperform을 발휘함
+- LDM-1은 낮은 FID를 가지고 sampling 속도도 느림
+
+## 4.2. Image Generation with Latent Diffusion
+- 256x256 image의 unconditional model을 CelebA-HQ, FFHQ, LSUN-Churches, Bedrooms로 학습하고 sample quality, data manifold의 coverage(FID, Precision-and-Recall) 평가
+:::{figure-md}
+
+:::
+- CelebA-HQ
+ - 제안한 모델이 최고 성능
+ - LSGM : encoder, decoder를 UNet과 동시에 학습시킨 결과
+- LSUN-Bedrooms : ADM보다 절반의 parameter와 짧은 train 시간으로 유사한 score(?)를 얻음
+- 제안한 방법인 LDM은 GAN-based methods을 지속적으로 개선해 adversarial 방식에 비해 mode-covering likelihood-based training의 이점을 Precision과 Recall을 통해 볼 수 있음. (아래 그림은 정성적 결과)
+:::{figure-md}
+
+:::
+
+## 4.3. Conditional Latent Diffusion
+### 4.3.1 Transformer Encoders for LDMs
+- text-to-image modeling : 1.45B parameter KL-regularized LDM
+ - LAION-400M으로 language prompt 수행
+ - BERT-tokenizer
+ - $\tau_{\theta}$ : transformer
+:::{figure-md}
+
+
+text to image on LAION
+:::
+
+- 아래 사진은 Layout이 주어졌을 때, 이를 기반으로 image를 생성하는 layout-to-image의 샘플 결과임
+:::{figure-md}
+
+
+layout-to-image
+:::
+
+- class-conditional ImageNet model 결과
+:::{figure-md}
+
+:::
+
+### 4.3.2 Convolutional Sampling Beyond 256x256
+- spatially aligned conditioning information(semantic map 등)을 input에 연결했을 때 image-to-image translation model 목적 수행 가능
+ - semantic synthesis, super-resolution, inpainting에 실험
+- semantic synthesis
+ - dataset : semantic map을 가진 landscape image
+ - semantic map의 downsampled version을 $f=4$ 인 model의 input으로 사용(VQ-reg)
+ - input resolution : 256x256(crop from 384x384)
+- 아래 실험은 input 크기 대비 더 큰 image 생성 가능한 것을 보여줌
+:::{figure-md}
+
+:::
+
+## 4.4. Super-Resolution with Latent Diffusion
+- OpenImages로 사전학습된 $f=4$ autoencoding model(VQ-reg) 사용
+- low-resolution data가 input으로 들어감
+:::{figure-md}
+
+:::
+
+## 4.5. Inpainting with Latent Diffusion
+- 원본 이미지에서 원하는 물체를 제거한 뒤 이미지가 잘 복구된 것을 볼 수 있음
+:::{figure-md}
+
+:::
diff --git a/_sources/docs/review/LoRA.md b/_sources/docs/review/LoRA.md
index 246ef429..02e3ce3c 100755
--- a/_sources/docs/review/LoRA.md
+++ b/_sources/docs/review/LoRA.md
@@ -1,290 +1,290 @@
-```{admonition} Information
-- **Title:** Denoising Diffusion Probabilistic Models (ICLR 2021)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2006.11239](https://arxiv.org/abs/2006.11239)
- - Code: [PyTorch implementation:](https://github.com/lucidrains/denoising-diffusion-pytorch)
- - Review: [PR-409: Denoising Diffusion Probabilistic Models](https://www.youtube.com/watch?v=1j0W_lu55nc)
-
-- **Author:** Beomsoo Park
-
-- **Last updated on Apr. 19, 2023**
-```
-
-
-# LoRA
-
-# 0. Abstract
-
-LoRA는 **PEFT(Parameter Effecient Fine-Tuning)의 기법 중 하나**이다. Pre-trained model의 weight는 고정한 채로, **몇 개의 dense(fc) layer만 학습시켜 downstream task의 연산량을 줄일 수 있다.** GPT-3을 기준으로 parameter는 10000배, GPU 메모리는 3배를 줄일 수 있다. 또한 inference 과정에서 추가적인 latency가 없음
-
-> - PEFT: 모델의 모든 파라미터를 튜닝하는 것이 아닌 일부 파라미터만을 튜닝함으로써 모델의 성능을 적은 자원으로도 높게 유지하는 방법론
-- Downstream task: pre-trained model을 사용해, 어떤 문제를 해결하기 위해 fine-tuning 하는것
-- Upstream task: Pre-train model을 학습시키는것
-- Latency: 어떤 요청의 시작부터 완료까지 걸리는 시간
-
----
-
-# 1. Introduction
-
-LLM은 기본적으로 pre-trained model을 특정 task에 맞게 fine-tuning을 시킴. 하지만 fine-tuning에서 모든 weight를 다시 학습시키면 GPT-2, GPT-3, RoBERTa 등 큰 모델의 경우 학습에 몇 달이 걸림.
-
-이전 연구에서 over-parameterized model들은 low intrinsic dimension에 기반하고 있다는 사실에 기반해, 저자는 학습 과정에서도 모델은 `low intrinsic rank`을 갖고 있을 것이라 가정함.
-
-**LoRA는 기존 pre-trained weight는 고정하고, 몇 개의 dense layer만 rank decomposition matrices를 최적화하는 방식으로 학습**시키기로 함.
-
-:::{figure-md}
-
-
-LoRA structure
-:::
-
-:::{figure-md}
-
-
-LoRA structure 2
-:::
-
-
-위 그림처럼 **기존 pre-trained weight $W$는 고정하고 low rank decomposition된 weight $A, B$만 학습시켜 $W$에 더해줌**. $A, B$의 크기는 $W$보다 작아 time, computational cost를 최대 3배까지 줄일 수 있음. 또한 task에 따라 LoRA module($A, B$)만 바꿔주면 되기 때문에 storage requirement, task-switching overhead를 줄일 수 있음. 이 외에도 추가적인 inference latency가 없다, 다른 기법들과 함께 적용이 가능하다는 장점이 있음.
-
-## 1.1. Terminologies and Conventions
-
-- $d_{model}$: Transformer의 input/output dimension size
-- $W_q, W_k, W_v, W_o$: Self-attention module의 query/key/value/output projection matrices
-- $W, W_0$: Pre-trained weight
-- $\Delta W$: Adaptation 중 accumulated된 gradient update
-- $r$: LoRA module의 rank
-- 이전 연구의 convention을 사용하고 optimizer는 Adam을 이용
-- Transformer MLP feedforward dimension $d_{ffn} = 4 \times d_{model}$
-
----
-
-# 2. Problem Statement
-
-LoRA는 agnostic하지만 본 논문에서는 language model에 집중함.
-
-> - agnostic: model에 구애받지 않고 해석이 가능함
-
-$$
-\max _{\Phi} \sum_{(x, y) \in \mathcal{Z}} \sum_{t=1}^{|y|} \log \left(P_{\Phi}\left(y_t \mid x, y_{
-
-Performance on BERT
-:::
-
-:::{figure-md}
-
-
-Performance on GPT-2
-:::
-
-:::{figure-md}
-
-
-Performance on GPT-3
-:::
-
-
-대부분의 경우에서 성능이 좋음
-
-:::{figure-md}
-
-
-Validation accuracy table with different hyper-parameters
-:::
-
-:::{figure-md}
-
-
-Validation accuracy table with different hyper-parameters
-:::
-
-Transformer에서 한 projection matrix에 큰 r을 적용하는 것보다 모든 matrices에 작은 r을 적용하는 것이 더 성능이 좋았음.
-
----
-# +a) IA3
-
-:::{figure-md}
-
-
-IA3 structure
-:::
-
-뉴럴네트워크의 Inner Activation을 줄이기도하고 늘리기도하는 어댑터를 중간에 삽입하는 방법론. 기존에 공개된 LoRA보다 적은 파라미터를 사용하면서 높은 성능을 내는 것으로 알려져있으며, GPT-3를 in-context learning 했을때 보다도 성능이 좋다 라고 주장하고 있음. 학습시간도 매우 짧아 A100 GPU 하나로 30분만에 튜닝할 수 있었다고 함.
-
----
-# +aa) LoRA 사용법
-
-1. `loralib` 설치
-
-```python
-pip install loralib
-# Alternatively
-# pip install git+https://github.com/microsoft/LoRA
-```
-
-2. 기존 `nn.Linear`, `nn.Embedding`, `nn.Conv2d`를 `lora.~`로 대체
-
-```python
-# ===== Before =====
-# layer = nn.Linear(in_features, out_features)
-
-# ===== After ======
-import loralib as lora
-# Add a pair of low-rank adaptation matrices with rank r=16
-layer = lora.Linear(in_features, out_features, r=16)
-```
-
-3. 학습 전, lora parameter만 학습 가능하게 설정
-```python
-import loralib as lora
-model = BigModel()
-# This sets requires_grad to False for all parameters without the string "lora_" in their names
-lora.mark_only_lora_as_trainable(model)
-# Training loop
-for batch in dataloader:
- ...
-```
-
-4. checkpoint를 저장할 때엔 `state_dict`가 LoRA parameter만 저장하게 함.
-```python
-# ===== Before =====
-# torch.save(model.state_dict(), checkpoint_path)
-# ===== After =====
-torch.save(lora.lora_state_dict(model), checkpoint_path)
-```
-
-5. checkpoint를 불러올 때엔 `load_state_dict`에서 `strict=False`로 설정.
-```python
-# Load the pretrained checkpoint first
-model.load_state_dict(torch.load('ckpt_pretrained.pt'), strict=False)
-# Then load the LoRA checkpoint
-model.load_state_dict(torch.load('ckpt_lora.pt'), strict=False)
-```
-
-
----
-# Reference
-
-- [LoRA 논문 리뷰](https://da2so.tistory.com/79)
-- [LLM 모델 튜닝, 하나의 GPU로 가능할까? Parameter Efficient Fine-Tuning(PEFT)을 소개합니다!](https://devocean.sk.com/blog/techBoardDetail.do?ID=164779&boardType=techBlog)
-- [Stable Diffusion LoRA 생성 및 사용법](https://zzambab98.tistory.com/226)
-- [Stable Diffusion - LoRA 모델 사용법
-](https://www.internetmap.kr/entry/How-to-LoRA-Model)
-- [LoRA github](https://github.com/microsoft/LoRA)
-- https://www.youtube.com/watch?v=dA-NhCtrrVE
+```{admonition} Information
+- **Title:** Denoising Diffusion Probabilistic Models (ICLR 2021)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2006.11239](https://arxiv.org/abs/2006.11239)
+ - Code: [PyTorch implementation:](https://github.com/lucidrains/denoising-diffusion-pytorch)
+ - Review: [PR-409: Denoising Diffusion Probabilistic Models](https://www.youtube.com/watch?v=1j0W_lu55nc)
+
+- **Author:** Beomsoo Park
+
+- **Last updated on Apr. 19, 2023**
+```
+
+
+# LoRA
+
+# 0. Abstract
+
+LoRA는 **PEFT(Parameter Effecient Fine-Tuning)의 기법 중 하나**이다. Pre-trained model의 weight는 고정한 채로, **몇 개의 dense(fc) layer만 학습시켜 downstream task의 연산량을 줄일 수 있다.** GPT-3을 기준으로 parameter는 10000배, GPU 메모리는 3배를 줄일 수 있다. 또한 inference 과정에서 추가적인 latency가 없음
+
+> - PEFT: 모델의 모든 파라미터를 튜닝하는 것이 아닌 일부 파라미터만을 튜닝함으로써 모델의 성능을 적은 자원으로도 높게 유지하는 방법론
+- Downstream task: pre-trained model을 사용해, 어떤 문제를 해결하기 위해 fine-tuning 하는것
+- Upstream task: Pre-train model을 학습시키는것
+- Latency: 어떤 요청의 시작부터 완료까지 걸리는 시간
+
+---
+
+# 1. Introduction
+
+LLM은 기본적으로 pre-trained model을 특정 task에 맞게 fine-tuning을 시킴. 하지만 fine-tuning에서 모든 weight를 다시 학습시키면 GPT-2, GPT-3, RoBERTa 등 큰 모델의 경우 학습에 몇 달이 걸림.
+
+이전 연구에서 over-parameterized model들은 low intrinsic dimension에 기반하고 있다는 사실에 기반해, 저자는 학습 과정에서도 모델은 `low intrinsic rank`을 갖고 있을 것이라 가정함.
+
+**LoRA는 기존 pre-trained weight는 고정하고, 몇 개의 dense layer만 rank decomposition matrices를 최적화하는 방식으로 학습**시키기로 함.
+
+:::{figure-md}
+
+
+LoRA structure
+:::
+
+:::{figure-md}
+
+
+LoRA structure 2
+:::
+
+
+위 그림처럼 **기존 pre-trained weight $W$는 고정하고 low rank decomposition된 weight $A, B$만 학습시켜 $W$에 더해줌**. $A, B$의 크기는 $W$보다 작아 time, computational cost를 최대 3배까지 줄일 수 있음. 또한 task에 따라 LoRA module($A, B$)만 바꿔주면 되기 때문에 storage requirement, task-switching overhead를 줄일 수 있음. 이 외에도 추가적인 inference latency가 없다, 다른 기법들과 함께 적용이 가능하다는 장점이 있음.
+
+## 1.1. Terminologies and Conventions
+
+- $d_{model}$: Transformer의 input/output dimension size
+- $W_q, W_k, W_v, W_o$: Self-attention module의 query/key/value/output projection matrices
+- $W, W_0$: Pre-trained weight
+- $\Delta W$: Adaptation 중 accumulated된 gradient update
+- $r$: LoRA module의 rank
+- 이전 연구의 convention을 사용하고 optimizer는 Adam을 이용
+- Transformer MLP feedforward dimension $d_{ffn} = 4 \times d_{model}$
+
+---
+
+# 2. Problem Statement
+
+LoRA는 agnostic하지만 본 논문에서는 language model에 집중함.
+
+> - agnostic: model에 구애받지 않고 해석이 가능함
+
+$$
+\max _{\Phi} \sum_{(x, y) \in \mathcal{Z}} \sum_{t=1}^{|y|} \log \left(P_{\Phi}\left(y_t \mid x, y_{
+
+Performance on BERT
+:::
+
+:::{figure-md}
+
+
+Performance on GPT-2
+:::
+
+:::{figure-md}
+
+
+Performance on GPT-3
+:::
+
+
+대부분의 경우에서 성능이 좋음
+
+:::{figure-md}
+
+
+Validation accuracy table with different hyper-parameters
+:::
+
+:::{figure-md}
+
+
+Validation accuracy table with different hyper-parameters
+:::
+
+Transformer에서 한 projection matrix에 큰 r을 적용하는 것보다 모든 matrices에 작은 r을 적용하는 것이 더 성능이 좋았음.
+
+---
+# +a) IA3
+
+:::{figure-md}
+
+
+IA3 structure
+:::
+
+뉴럴네트워크의 Inner Activation을 줄이기도하고 늘리기도하는 어댑터를 중간에 삽입하는 방법론. 기존에 공개된 LoRA보다 적은 파라미터를 사용하면서 높은 성능을 내는 것으로 알려져있으며, GPT-3를 in-context learning 했을때 보다도 성능이 좋다 라고 주장하고 있음. 학습시간도 매우 짧아 A100 GPU 하나로 30분만에 튜닝할 수 있었다고 함.
+
+---
+# +aa) LoRA 사용법
+
+1. `loralib` 설치
+
+```python
+pip install loralib
+# Alternatively
+# pip install git+https://github.com/microsoft/LoRA
+```
+
+2. 기존 `nn.Linear`, `nn.Embedding`, `nn.Conv2d`를 `lora.~`로 대체
+
+```python
+# ===== Before =====
+# layer = nn.Linear(in_features, out_features)
+
+# ===== After ======
+import loralib as lora
+# Add a pair of low-rank adaptation matrices with rank r=16
+layer = lora.Linear(in_features, out_features, r=16)
+```
+
+3. 학습 전, lora parameter만 학습 가능하게 설정
+```python
+import loralib as lora
+model = BigModel()
+# This sets requires_grad to False for all parameters without the string "lora_" in their names
+lora.mark_only_lora_as_trainable(model)
+# Training loop
+for batch in dataloader:
+ ...
+```
+
+4. checkpoint를 저장할 때엔 `state_dict`가 LoRA parameter만 저장하게 함.
+```python
+# ===== Before =====
+# torch.save(model.state_dict(), checkpoint_path)
+# ===== After =====
+torch.save(lora.lora_state_dict(model), checkpoint_path)
+```
+
+5. checkpoint를 불러올 때엔 `load_state_dict`에서 `strict=False`로 설정.
+```python
+# Load the pretrained checkpoint first
+model.load_state_dict(torch.load('ckpt_pretrained.pt'), strict=False)
+# Then load the LoRA checkpoint
+model.load_state_dict(torch.load('ckpt_lora.pt'), strict=False)
+```
+
+
+---
+# Reference
+
+- [LoRA 논문 리뷰](https://da2so.tistory.com/79)
+- [LLM 모델 튜닝, 하나의 GPU로 가능할까? Parameter Efficient Fine-Tuning(PEFT)을 소개합니다!](https://devocean.sk.com/blog/techBoardDetail.do?ID=164779&boardType=techBlog)
+- [Stable Diffusion LoRA 생성 및 사용법](https://zzambab98.tistory.com/226)
+- [Stable Diffusion - LoRA 모델 사용법
+](https://www.internetmap.kr/entry/How-to-LoRA-Model)
+- [LoRA github](https://github.com/microsoft/LoRA)
+- https://www.youtube.com/watch?v=dA-NhCtrrVE
diff --git a/_sources/docs/review/MVDream.md b/_sources/docs/review/MVDream.md
new file mode 100755
index 00000000..0a4888f1
--- /dev/null
+++ b/_sources/docs/review/MVDream.md
@@ -0,0 +1,265 @@
+
+``` {admonition} Information
+
+- **Title:** **MVDream: Multi-view Diffusion for 3D Generation**
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2308.16512](https://arxiv.org/abs/2308.16512)
+ - Code: [https://github.com/bytedance/MVDream](https://github.com/bytedance/MVDream)
+ - Project Page : [https://mv-dream.github.io/](https://mv-dream.github.io/)
+
+- **Presentor :** Geonhak Song
+
+- **Last updated on November. 6, 2024**
+
+```
+
+# **MVDream: Multi-view Diffusion for 3D Generation**
+
+## 1. Introduction
+
+3D Object Generation의 3가지 Types
+
+(1) template-based generation pipeline
+
+(2) 3D generative models
+
+(3) 2D-lifting methods
+
+(1), (2) 한계 : 3D model과 대규모 데이터 복잡도로 인해 임의의 객체 생성을 효율적으로 일반화하는데 어려움이 있음.
+
+(3)은 pre-trained 2D diffusion model을 사용하는 방식으로 특히 SDS(Score distillation sampling)을 통한 3D 표현 최적화 진행.
+
+e.g. Dreamfusion & Magic3D
+
+(3) 한계 : score distillation 도중 포괄적인 multi-view knowledge 혹은 3D-awareness의 부족으로 문제 발생
+
+
+
+(3) - (1) : multi-face Janus issue
+
+(3) - (2) : content Drift across different view
+
+이에 대한 이유로 사람은 객체에 대해 여러 각도에 대해 평가할 수 있지만, 2D diffusion model은 다양한 각도에서 객체를 평가할 수 없어 중복적이거나 일관적이지 않은 content 생성된다.
+
+그럼에도 불구하고 large scale 2D data로 학습시킨 2D diffusion model은 3D 생성 일반화에 중요한 역할이기 때문에 3D prior를 기반한 3D 표현 multi-view diffusion model인 MVDream을 제안
+
+방안 :multi 3D view images와 2D image-text pair data 기반으로 모델 학습 + score distillation
+
+이를 통해 더 안정적이며 일반화 성능을 높일 수 있음
+
+## 2. Related work
+
+### **2.1 3D Generative Models**
+
+Dreamfusion, Magic3D, Rodin, Point-E, HoldDiffusion, Shap-E, ProlificDreamer
+
+### **2.2 Diffusion Models for Object Novel View Synthesis**
+
+SparseFusion, Zero-1-to-3, GeNVS, Viewset Diffusion, MVDiffusion
+
+### **2.3 Lifting 2D diffusion for 3D Generation**
+
+DreamFusion, SJC(Score Jacobian Chaining), Magic3D, Make-it-3D, Fantasia3D, ProlificDreamer, Dreamtime
+
+## 3. Methods
+
+### 3.1 Multi-view Diffusion Model
+
+
+
+2D lifting diffusion model의 multi-view consistency 향상을 위한 기존 해결법은 viewpoint-awareness 향상 방안 제공이다.
+
+e.g. **text condition viewpoint 묘사 추가**, **camera parameter 통합**
+
+그러나 이 방법들조차 문제를 해결하기에는 충분하지 않음.
+
+영감 : video diffusion model
+
+인간은 3D 센서 없이 모든 각도에서 물체를 관찰하며 3D 객체를 인식하듯이, video diffusion model도 temporally consistent content 생성을 위한 방법을 통해 장면을 생성
+
+그러나 이 방식을 바로 3D 방식에 도입시
+
+문제 (1) : temporal consistency 대비 **geometric consistency의 유지** 어려움으로 인해 content drift 문제가 발생.
+
+문제 (2) : dynamic scene을 훈련한 video diffusion model 대비 **static scene를 생성**하는 domain gap에 발생
+
+이에 따라 저자들은 **3D render data를 활용**하여 정확한 camera parameter로 static scene를 생성하도록 multi-view diffusion model 학습이 중요함을 발견. 3D dataset를 통해 consistent multi view image render 가능
+
+Given
+
+noisy image : $x_t \in R ^{F \times H \times W \times C}$
+
+text prompt : $y$
+
+extrinsic camera parameter ($F$ different view angles) : $c \in R^{F \times 16}$
+
+After Multi-view Diffusion model Training, images : $x_0 \in R ^{F \times H \times W \times C}$
+
+훈련 이후 해당 model은 SDS와 함께 3D 생성을 위한 multi-view prior로 사용
+
+2D diffusion model의 일반화 성질을 상속받기 위해 fine-tuning 진행 필요
+
+그러나, 2D diffusion model은 한 번에 하나의 이미지를 생성 & camera condition을 입력으로 사용하지 않기에 아래 질문에 답을 해야함.
+
+(1) how to generate a set of consistent images from the same text prompt (Sec. 3.1.1)
+
+(2) how to add the camera pose control (Sec. 3.1.2)
+
+(3) how to maintain the quality and generalizability (Sec. 3.1.3).
+
+**3.1.1 Multi-view Consistent Generation with Inflated 3D Self-Attention**
+
+
+
+video diffusion model과 같이 단순 temporal attention layer 적용 : multi-view consistency 학습 실패 & content drift 발생
+
+3D attention 사용 (기존 2D self-attention 속 다른 view를 연결함으로써 3D로 inflate)
+
+입력 tensor : $B \times F \times H \times W \times C$ -> $B \times FHW \times C$
+
+기존 Self-Attention weight 상속
+
+cf) 새로운 3D Self-Attention을 사용하는 방식은 품질 저하가 나타남을 실험을 통해 확인
+
+**3.1.2 Camera Embeddings**
+
+다른 view를 구분하기 위해 position encoding 필요
+
+relative position encoding, rotary embeddings, absolute camera parameter 중 2 layer MLP embedding camera parameter 성능이 가장 좋음
+
+
+
+2가지 embedding 방식 고민
+
+(1) adding camera embeddings to time embeddings as residuals
+
+(2) appending camera embeddings to text embeddings for cross attention.
+
+(1) 방법이 text와 덜 묶이기(less entangled) 때문에 더 강건함을 보임
+
+**3.1.3 Training Loss Function**
+
+일반화 성능을 높이기 위해, 3D 렌더링 데이터와 대규모 2D 텍스트-이미지 데이터(예: LAION 데이터셋)를 결합하여 훈련
+
+Fine-tuning
+
+base model : Stable Diffusion v2.1 base model (512x512 -> 256x256)
+
+setting : 기존 optimizer, $\epsilon$-prediction 유지
+
+$\mathcal{X}$ : text-image dataset
+
+$\mathcal{X}_{mv}$ : multi-view dataset
+
+
+
+70% : 3D 렌더링 데이터로 훈련
+
+30% : 3D attention과 camera embedding을 꺼둔 상태로 LAION dataset로 2D text-to-image model 훈련
+
+### 3.2 Text-to-3D Generation
+
+3D 생성을 위한 multi-view diffusion model 활용 2가지 방안 고려
+
+(1) 생성된 multi-view 이미지를 few-shot 3D reconstruction 입력으로 사용하는 것
+
+(2) SDS의 prior로 multi-view diffusion model을 사용하는 것
+
+제출 당시 강건한 few-shot 3D reconstruction의 어려움이 있으므로, 본 논문은 (2)에 초점을 맞춰 진행
+
+SDS pipeline 내 SD model을 저자들의 multi-view diffusion model로 교체
+
+수정 2가지
+
+(1) camera sampling strategy 변경
+
+(2) camera parameter를 입력으로 주입
+
+- direction-annotated prompt를 사용했던 Dreamfusion과 달리 추출한 text embedding의 original prompt 사용
+
+content 풍성함와 texture 품질 향상을 위한 추가 기술 3가지 제안
+
+(1) SDS를 위한 최대, 최소 timestep linearly annealing (최적화 목적)
+
+(2) SDS를 위한 소수의 고정 negative prompts 추가 (저품질 3D 모델 스타일 생성 방지)
+
+(3) dynamic thresholding 또는 CFG rescale과 같은 clamping techniques 적용 (color saturation 완화 목적)
+
+$x_0$ reconstruction loss
+
+
+
+$x_0$ reconstruction loss는 기존 SDS와 동일하게 작동할 뿐 아니라 CFG rescale trick 적용후 color saturation 완화할 수 있음.
+
+자세한 내용 : Appendisx A.2 $x_0$ reconstruction loss for SDS 참조
+
+
+
+다른 regularization loss 통합
+
+point lighting (Dreamfusion), soft shading (Magic3D) (기하학적 결과물 향상)
+
+orientation loss (Dreamfusion)
+
+전경과 배경 분리를 위한 sparsity loss 사용하지 않으며 배경은 랜덤 색상으로 교체
+
+이론적으로 다른 SDS variant와 조합할 수 있음. (SJC, VSD etc)
+
+
+
+### 3.3 Multi-view Dreambooth for 3D Generation
+
+3D Dreambooth application 확장
+
+image fine-tuning loss & paramter preservation loss
+
+
+
+$L_{LDM}$ : LDM loss
+
+$\theta_0$ : multi-view diffusion 초기 parameter
+
+$N_{\theta}$ : parameter 수
+
+$\lambda$ : balancing parameter , set 1
+
+3D model을 얻기 위해 diffusion model을 DreamBooth 모델로 교체 및 진행
+
+multi-view DreamBooth 모델 학습 후 3D NeRF 최적화 진행
+
+## 4. Experiments
+
+32 A100 GPU - 3 days
+
+
+
+temporal self-attention still suffers from content drift
+
+Adding new 3D attention leads to severe quality degradation without learning consistency.
+
+inflated 2D self-attention achieves the best consistency among all without losing generation quality.
+
+
+
+combining 3D data with a 2D dataset (LAION) for joint training mitigates the problem
+
+
+
+our multi-view model can generate images from unseen prompts
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
\ No newline at end of file
diff --git a/_sources/docs/review/Make_A_Video.md b/_sources/docs/review/Make_A_Video.md
index 2d519d35..15c2f1b4 100755
--- a/_sources/docs/review/Make_A_Video.md
+++ b/_sources/docs/review/Make_A_Video.md
@@ -1,401 +1,401 @@
-```{admonition} Information
-- **Title:** Make-A-Video: Text-to-Video Generation without Text-Video Data
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2209.14792](https://arxiv.org/abs/2209.14792)
-
-- **Author:** [Jeonghwa Yoo](https://www.linkedin.com/in/jeonghwa-yoo-8403a716b)
-
-- **Last updated on Nov. 26, 2023**
-```
-
-# Make A Video
-- 참고 코드: [https://github.com/lucidrains/make-a-video-pytorch](https://github.com/lucidrains/make-a-video-pytorch)
-
-
-
-
-## 1. Introduction
-
-### Make-A-video 제안 배경
-
-- T2I 모델링을 할 수 있는 데이터는 인터넷을 통해 확보될 수 있으나, 비슷한 규모의 텍스트 비디오 데이터셋을 수집하기는 어렵다.
-- T2I 모델이 존재하는데 T2V 모델을 처음부터 학습 시키는 것은 낭비일 수 있다.
-- 비지도 학습을 사용하여 더 많은 데이터를 학습할 수 있다.
-
-### Make-A-video 특성
-
-- T2I 모델을 활용하여, 레이블이 지정되지 않은 비디오 데이터에 대해 비지도 학습을 사용하여 학습한다 → 페어링된 텍스트-비디오 데이터 없이도 텍스트에서 비디오를 생성할 수 있다.
-- 텍스트 없이도 비지도 비디오만으로 세상의 다양한 개체가 어떻게 움직이고 상호 작용하는지 학습할 수 있다.
-
-### Contribution
-
-- 디퓨전 기반의 T2I 모델을 T2V로 확장하는 효과적인 방법인 Make-A-Video를 소개한다.
-- Text-to-image 를 prior로 사용하여 text-video 데이터의 필요성을 우회한다.
-- 고화질, 고프레임률 비디오를 생성하는 super-resolution 전략을 제안한다.
-- Make-A-Video를 기존 T2V 시스템과 비교하여 평가한다. 또한, 제로샷 T2V human evaluation을 위해 300개의 프롬프트 테스트 세트를 수집하여 공개할 계획이다.
-
-## 2. Previous Work
-
-## 3. Method
-
-- Make-A-Video의 주요 요소
- 1. 텍스트-이미지 쌍으로 학습된 base T2I 모델
- 2. 신경망의 블록을 시간 차원으로 확장하는 시공간 convolution 및 attention layer
- 3. 두 시공간 layer로 구성된 시공간 신경망과 높은 프레임 속도 생성을 위한 frame interpolation network
-
-- Make-A-Video의 최종 inference 수식
-
- :::{figure-md}
-
-
- 최종 inference 수식
- :::
-
- - $SR_h$: spatial super-resolution network
- - $SR^t_l$: spatiotemporal super-resolution network
- - $\uparrow_{F}$: frame interpolation network
- - $D^t$: spatiotemporal decoder
- - $P$: prior network
- - $\hat{x}$: BPE-encoded text
- - $C_x$: CLIP text encoder
- - $x$: input text
-
-### 3.1. Text-To-Image Model
-
-- [“Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding(Imagen)”](https://arxiv.org/abs/2205.11487)와 연구 내용을 공유하였다.
-- Imagen
-
- :::{figure-md}
-
-
- Imagen 구조
- :::
-
-
-- 고해상도 이미지를 만들기 위해 사용한 네트워크
- - A prior Network $P$: 텍스트 임베딩 $x_e$와 BPE encoded text tokens $\hat{x}$이 주어졌을 때 이미지 임베딩 $y_e$를 생성하는 네트워크
- - Decoder Network $D$: 이미지 임베딩 $y_e$로부터 저해상도 64X64 RGB 이미지 $\hat{y}_l$를 생성하는 네트워크
- - Super-resolution network $SR_l$, $SR_h$: D에서 생성된 이미지 64X64 저해상도 이미지 $\hat{y}_l$를 256X256, 768X768 픽셀로 증가시켜 최종 이미지 $\hat{y}$를 만드는 네트워크
-
- :::{figure-md}
-
-
- text $x$가 prior $P$를 통해 image embedding 변환된다.
- fps: desired frame rate
- :::
-
-
-### 3.2. Spatiotemporal Layers
-
-- 2차원 조건부 네트워크를 시간적 차원으로 확장하기 위해 다음의 구성 요소를 수정한다.
- - Convolutional layers
- - Attention layers
-- Fully-connected layers는 특별한 수정을 할 필요 없이 시간 정보만 추가해주면 된다.
-- 구성 요소 수정 결과 $D^t$는 64X64 사이즈의 16 RGB frame을 만들게 된다.
-- Frame interpolation network $\uparrow_{F}$가 생성된 16개의 프레임과 super-resolution 네트워크 $SR^t_l$ 사이를 보간하여 프레임 속도를 증가시킨다.
-- Super-resolution 네트워크에는 hallucinating information(환각 정보)가 포함 된다. 깜박이는 잔상이 생기지 않으려면, 환각이 프레임 전체에 걸쳐 일관성을 유지해야 한다.
- - Hallucinating information
-
- 실제로 존재하지 않는 정보나 세부 사항을 생성하거나 가상으로 추가하는 것
-
-- 프레임당 super resolution을 수행하는 것보다 spatiotemporal 모듈인 $SR^t_l$가 더 좋은 성능을 보였다.
-- 하지만, $SR_h$를 위와 같은 모듈로 만들기엔 메모리 및 컴퓨팅 제약과 고해상도 비디오 데이터의 부족으로 $SR_h$를 위와 같이 시간적 차원으로 확장하는 것은 어려웠다 → $SR_h$는 공간적 차원에서 작동한다.( 각 프레임에 대해 동일한 노이즈 초기화를 사용하여 프레임 전반에 걸쳐 일관된 환각을 제공함)
-
-#### 3.2.1 Pseudo-3D convolutional layers
-
-:::{figure-md}
-
-
-Architecture of Pseudo-3D convolutional layers
-:::
-
-- 2D 컨벌루션 레이어 다음에 1D 컨벌루션을 쌓는다 (Cf:separable convolution)
- - 3D 컨벌루션의 계산 load를 줄일 수 있다.
- - 사전 학습된 2D 컨볼루션 레이어와 새로 초기화된 1D 컨벌루션 레이어 사이에 명확한 경계를 생성하여, spatial information을 유지한 채 temporal convolution을 처음부터 학습할 수 있게 한다.
-- Pseudo-3D convolutional layer
-
- :::{figure-md}
-
-
- Pseudo-3D convolutional layer
- :::
-
- - $h$: 입력 텐서 (dimension: $B$(batch),$C$(channels),$F$(frames),$H$(height),$W$(width))
- - $\text{o}T$: transpose operator (spatial ↔ temporal)
- - $Conv_{2_D}$는 pretrained T2I 모델에서 초기화 되고, $Conv_{1_D}$는 identity 함수로 초기화 된다.
-
-#### 3.2.2. Psuedo-3D attention layers
-
-:::{figure-md}
-
-
-Architecture of Pseudo-3D attention layers
-:::
-
-- [“Video Diffusion Models**”**](https://arxiv.org/abs/2204.03458)에 영감을 받아 dimension decomposition 전략을 attention layer에 확장하였다.
-- Pseudo-3D convolutional layer처럼 각각의 spatial attenion layer를 쌓아, 전체 spatiotemporal attention layer를 근사화하는 temporal attention layer를 쌓는다.
-- Pseudo-3D attention layer
- :::{figure-md}
-
-
- Pseudo-3D attention layer
- :::
-
- - $h$: 입력 텐서 (dimension: $B$(batch),$C$(channels),$F$(frames),$H$(height),$W$(width))
- - flatten: spatial dimension 축에 대해 flatten하는 연산 (결과 dimension: $B$,$C$,$F$,$HW$)
- - $ATTN_{2D}$는 pretrained T2I 모델에서 초기화되고, $ATTN_{1D}$는 identity function으로 초기화 된다.
- - Code
-
- ```python
- class SpatioTemporalAttention(nn.Module):
- def __init__(
- self,
- dim,
- *,
- dim_head = 64,
- heads = 8,
- add_feed_forward = True,
- ff_mult = 4,
- pos_bias = True,
- flash = False,
- causal_time_attn = False
- ):
- super().__init__()
- assert not (flash and pos_bias), 'learned positional attention bias is not compatible with flash attention'
-
- self.spatial_attn = Attention(dim = dim, dim_head = dim_head, heads = heads, flash = flash)
- self.spatial_rel_pos_bias = ContinuousPositionBias(dim = dim // 2, heads = heads, num_dims = 2) if pos_bias else None
-
- self.temporal_attn = Attention(dim = dim, dim_head = dim_head, heads = heads, flash = flash, causal = causal_time_attn)
- self.temporal_rel_pos_bias = ContinuousPositionBias(dim = dim // 2, heads = heads, num_dims = 1) if pos_bias else None
-
- self.has_feed_forward = add_feed_forward
- if not add_feed_forward:
- return
-
- self.ff = FeedForward(dim = dim, mult = ff_mult)
-
- def forward(
- self,
- x,
- enable_time = True
- ):
- b, c, *_, h, w = x.shape
- is_video = x.ndim == 5
- enable_time &= is_video
-
- if is_video:
- x = rearrange(x, 'b c f h w -> (b f) (h w) c') #[bXf, hXw, c]
- else:
- x = rearrange(x, 'b c h w -> b (h w) c')#[b, hXw, c]
-
- space_rel_pos_bias = self.spatial_rel_pos_bias(h, w) if exists(self.spatial_rel_pos_bias) else None
-
- x = self.spatial_attn(x, rel_pos_bias = space_rel_pos_bias) + x
-
- if is_video:
- x = rearrange(x, '(b f) (h w) c -> b c f h w', b = b, h = h, w = w)
- else:
- x = rearrange(x, 'b (h w) c -> b c h w', h = h, w = w)
-
- if enable_time:
-
- x = rearrange(x, 'b c f h w -> (b h w) f c') #[bXhXw, f, c]
-
- time_rel_pos_bias = self.temporal_rel_pos_bias(x.shape[1]) if exists(self.temporal_rel_pos_bias) else None
-
- x = self.temporal_attn(x, rel_pos_bias = time_rel_pos_bias) + x
-
- x = rearrange(x, '(b h w) f c -> b c f h w', w = w, h = h)
-
- if self.has_feed_forward:
- x = self.ff(x, enable_time = enable_time) + x
-
- return x
- ```
-
-- Frame rate conditioning
- - 비디오의 초당 프레임 수를 나타내는 추가 컨디셔닝 파라미터 $fps$를 추가한다.
-
-### 3.3 Frame Interpolation Network
-
-- ↑F (Frame Interpolation Network)란?
- - 생성된 프레임 수를 증가시켜, 생성된 비디오를 더 부드럽게 만들고 비디오 길이를 연장 시킬 수 있는 네트워크
- - 프레임을 보간하고 extrapolation을 하는 네트워크
- - Extrapolation: 주어진 데이터 또는 정보를 사용하여 미래의 값을 예측하거나 확장
-- ↑F (Frame Interpolation Network) 동작
- - Spatialtemporal decoder $D^t$에서 마스크 처리된 입력 프레임을 제로 패딩하고 비디오 업샘플링을 적용하여 masked frame interpolation을 파인 튜닝한다.
- - 파인 튜닝할 때 U-Net의 입력에 4개의 채널을 추가한다.
- - RGB 마스킹 비디오 입력을 위한 3개의 채널과 마스킹되는 프레임을 나타내는 추가 바이너리 채널
- - 다양한 frame-skips과 $fps$에 대해 파인튜닝하여 추론시 여러 temporal upsample rate를 제공한다.
-- 본 논문의 모든 실험에서는 ↑F를 frame skip 5로 적용하여 16프레임 비디오를 76프레임((16-1)X5+1)으로 업샘플링 하였다.
-- 비디오 시작 또는 끝 프레임을 마스킹하여 비디오 추정 또는 이미지 애니메이션에도 사용할 수 있다.
-
-### 3.4 Training
-
-- 위에서 설명한 구성 요소들은 독립적으로 학습 된다.
-- 훈련 과정
- 1. Prior $P$ 훈련 (text-image 데이터 이용)
-
- → 텍스트를 입력으로 받는 prior $P$는 text-image 데이터에 대해서만 학습 되고 비디오에 대해서는 파인 튜닝하지 않는다.
-
- 2. 이미지를 이용한 학습
-
- → Decoder, prior, 두개의 super-resolution 요소들은 먼저 텍스트 없이 이미지 만으로 학습 된다.
-
- → Decoder는 Clip image embedding을 입력으로 받고, super-resolution 요소들은 학습 중에 입력으로 들어온 downsampled image를 입력으로 받는다.
-
- 3. 비디오를 이용한 학습
- - 이미지에 대한 훈련이 끝나면 새로운 시간 레이어를 추가하고 초기화하여 레이블이 지정되지 않은 비디오 데이터에 대해 파인 튜닝한다.
- - 원본 비디오에서 16프레임이 샘플링 되며, 1에서 30 사이의 랜덤 $fps$를 사용한다.
- - 디코더를 학습하는 동안 훈련 초기에는 더 높은 $fps$ 범위(모션이 적은)에서 시작하고, 이후에는 더 작은 $fps$ 범위(모션이 많은)로 전환한다.
- - Masked-frame interpolation 네트워크는 temporal 디코더로부터 파인 튜닝된다.
-
-## 4. Experiments
-
-### 4.1 Dataset and Settings
-
-#### Datasets
-
-- Image, Text
- - LAION-5B 데이터셋의 일부 2.3B의 데이터를 사용하였다.
- - NSFW 이미지, 텍스트의 유해한 단어 또는 워터마크 확률이 0.5보다 큰 이미지가 있는 샘플 쌍을 필터링하였다. ****
- - NSFW: Not Safe For Work, 선정적이거나 음란하거나 폭력적인 내용을 포함한 콘텐츠
-- Video
- - WebVid-10M과, HD-VILA-100M 데이터셋의 일부 10M 데이터를 사용하였다.
- - Decoder $D^t$, interpolation 모델 → WebVid-10M을 이용하여 학습
- - $SR^t_l$ → WebVid-10M, HD-VILA-100M을 이용하여 학습
-- Zero-shot test 데이터
- - UCF-101, MSR-VTT
- - UCF-101: 액션 인식 연구를 위해 고안되었으며, 다양한 동작 및 환경에서 촬영된 비디오 클립 데이터셋
- - MSR-VTT: 비디오와 해당 비디오에 대한 텍스트 설명 또는 캡션을 포함하는 데이터셋
-
-#### Automatic Metrics
-
-- UCF-101
- - 각 클래스에 대해 하나의 템플릿 문장을 작성하고 평가를 위해 수정한다.
- - 10K 샘플에 대해 Fretchet Video Distance(FVD)와 Inception Score(IS)를 측정한다.
- - Train셋과 동일한 클래스 분포를 따르는 샘플을 생성한다.
-- MSR-VTT
- - 테스트 세트의 모든 59,794 캡션에 대한 FID와 CLIPSIM(비디오 프레임과 텍스트 간의 평균 CLIP 유사도)를 측정한다.
-
-#### Human Evaluation Set and Metrics
-
-- Amazon Mechanical Turk(AMT)에서 300개의 프롬프트로 이루어진 평가 세트를 수집하였다.
-- Annotator들에게 T2V 시스템이 있다면 어떤 것을 생성하고 싶은지 물어봤다.
-- 불완전하거나, 너무 추상적이거나, 불쾌감을 주는 프롬프트를 필터링 하였다.
-- 5가지 카테고리(동물, 판타지, 사람, 자연 및 풍경, 음식 및 음료)를 식별하고 해당 카테고리에 맞는 프롬프트를 선택하였다.
-- 이러한 프롬프트는 동영상을 만드는 데에 사용되지 않고 선택 되었으며, 고정된 상태로 유지했다.
-- Human evaluation을 위해 Imagen의 DrawBench 프롬프트도 사용하였다.
-- 비디오 품질과 text-vedio faithfulness를 평가하였다.
- - 비디오 품질 → 두 개의 비디오를 랜덤 순서로 보여주고 어떤 비디오의 품질이 더 좋은지 annotator에게 물어본다.
- - Text-vdeio faithfulness → 텍스트를 추가로 보여주고 어떤 비디오가 텍스트와 더 잘 일치하는지 annotator에게 물어본다.
-- 보간 모델과 FILM의 비디오 모션 사실감을 비교하기 위한 평가도 진행하였다.
-- 5명의 각기 다른 annotator의 다수 득표를 최종 결과로 사용하였다.
-
-### 4.2 Quantitative Results
-
-#### Automatic Evaluaton on MSR-VTT
-
-- MSR-VTT에 대해 성능을 보고하는 GODIVA, NUWA 외에도, 중국어와 영어를 모두 입력으로 받는 CogVideo 모델에 대해서도 추론을 수행하였다.
-
-:::{figure-md}
-
-
-Automatic Evaluaton on MSR-VTT
-:::
-
-
-→ 가장 우수한 성능을 보인다.
-
-### Automatic Evluation on UCF-101
-
-:::{figure-md}
-
-
-Automatic Evluation on UCF-101
-:::
-
-→ Make-A-Video의 제로 샷 성능이 다른 방법보다 우수하다. Finetunning을 한 결과에서도 SOTA를 달성하였다.
-
-
-#### Human Evaluation
-
-- DrawBench와 테스트셋에 대해서 CogVideo와 성능을 비교한다.
-- 또한, VDM의 웹 페이지에 표시된 28개의 동영상에 대해서도 평가한다.
-- 각 입력에 대해 8개의 동영상을 무작위로 생성하고, 8번 평가하여 평균 결과를 낸다.
-- 사람의 평가를 위해 76x256x256 해상도로 동영상을 생성한다.
-
-:::{figure-md}
-
-
-Human Evaluation
-:::
-
-→ 평가자가 Make-A-Video 모델의 결과가 더 낫다고 투표한 퍼센트 비율. 대부분 평가자가 모든 벤치마크에서 Make-A-Video가 더 낫다고 평가하였다.
-
-- Frame Interpolation Network와 FILM을 비교 평가하기
- - DrawBench의 텍스트 프롬프트와 평가 세트에서 저프레임률 비디오(1 FPS)를 생성한 다음, 4FPS까지 업샘플링한다.
- - 평가자들은 eval set에 대해서는 62%, DrawBench에 대해서는 54%로 Make-A-Video가 더 낫다고 평가하였다.
- - 프레임 간의 차이가 커서 물체가 어떻게 움직이는지에 대한 real-world 지식이 중요한 경우에는 본 논문에 방법이 더 뛰어난 것으로 관찰 되었다.
-
-### 4.3 Qualitative Results
-
-:::{figure-md}
-
-
-T2V Generation 결과. 맨 위: VDM, 가운데: CogVideo, 맨 아래: Make-A-Video
-→ Make-A-Video가 모션의 일관성을 유지하면서 더 풍부한 콘텐츠를 생성할 수 있다.
-:::
-
-:::{figure-md}
-
-
-이미지에 mask frame interpolation 및 extrpolation network ↑F를 적용한 결과.
-가장 왼쪽에 입력 이미지가 주어지면, 이를 동영상으로 애니메이션화 함.
-사용자는 자신의 이미지를 사용하여 동영상을 생성할 수 있으며, 생성된 동영상을 개인화하고 직접 제어할 수 있음.
-:::
-
-:::{figure-md}
-
-
-두 이미지 사이의 interpolation 결과. 왼쪽: FILM, 오른쪽: 본 논문의 approach
-FILM → 실제 움직이는 object에 대한 이해 없이 프레임을 부드럽게 전환하기만 함.
-본 논문의 approach → 의미론적으로 더 의미있는 interpolation을 만듬.
-:::
-
-:::{figure-md}
-
-
-비디오 변형 예시. 위: 원본 비디오, 아래: 새로운 비디오
-:::
-
-
-- 기타 결과: [https://make-a-video.github.io/](https://make-a-video.github.io/)
-
-## 5. 결론
-
-- 주변 세계로부터 지식을 배우는 human intelligence처럼 generative system도 인간의 학습 방식을 모방할 수 있다면, 더욱 창의적이고 유용할 것이다.
-- 연구자들은 비지도 학습을 통해 훨씬 더 많은 동영상에서 세계의 dynamic을 학습함으로써 기존의 한계를 극복할 수 있다.
+```{admonition} Information
+- **Title:** Make-A-Video: Text-to-Video Generation without Text-Video Data
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2209.14792](https://arxiv.org/abs/2209.14792)
+
+- **Author:** [Jeonghwa Yoo](https://www.linkedin.com/in/jeonghwa-yoo-8403a716b)
+
+- **Last updated on Nov. 26, 2023**
+```
+
+# Make A Video
+- 참고 코드: [https://github.com/lucidrains/make-a-video-pytorch](https://github.com/lucidrains/make-a-video-pytorch)
+
+
+
+
+## 1. Introduction
+
+### Make-A-video 제안 배경
+
+- T2I 모델링을 할 수 있는 데이터는 인터넷을 통해 확보될 수 있으나, 비슷한 규모의 텍스트 비디오 데이터셋을 수집하기는 어렵다.
+- T2I 모델이 존재하는데 T2V 모델을 처음부터 학습 시키는 것은 낭비일 수 있다.
+- 비지도 학습을 사용하여 더 많은 데이터를 학습할 수 있다.
+
+### Make-A-video 특성
+
+- T2I 모델을 활용하여, 레이블이 지정되지 않은 비디오 데이터에 대해 비지도 학습을 사용하여 학습한다 → 페어링된 텍스트-비디오 데이터 없이도 텍스트에서 비디오를 생성할 수 있다.
+- 텍스트 없이도 비지도 비디오만으로 세상의 다양한 개체가 어떻게 움직이고 상호 작용하는지 학습할 수 있다.
+
+### Contribution
+
+- 디퓨전 기반의 T2I 모델을 T2V로 확장하는 효과적인 방법인 Make-A-Video를 소개한다.
+- Text-to-image 를 prior로 사용하여 text-video 데이터의 필요성을 우회한다.
+- 고화질, 고프레임률 비디오를 생성하는 super-resolution 전략을 제안한다.
+- Make-A-Video를 기존 T2V 시스템과 비교하여 평가한다. 또한, 제로샷 T2V human evaluation을 위해 300개의 프롬프트 테스트 세트를 수집하여 공개할 계획이다.
+
+## 2. Previous Work
+
+## 3. Method
+
+- Make-A-Video의 주요 요소
+ 1. 텍스트-이미지 쌍으로 학습된 base T2I 모델
+ 2. 신경망의 블록을 시간 차원으로 확장하는 시공간 convolution 및 attention layer
+ 3. 두 시공간 layer로 구성된 시공간 신경망과 높은 프레임 속도 생성을 위한 frame interpolation network
+
+- Make-A-Video의 최종 inference 수식
+
+ :::{figure-md}
+
+
+ 최종 inference 수식
+ :::
+
+ - $SR_h$: spatial super-resolution network
+ - $SR^t_l$: spatiotemporal super-resolution network
+ - $\uparrow_{F}$: frame interpolation network
+ - $D^t$: spatiotemporal decoder
+ - $P$: prior network
+ - $\hat{x}$: BPE-encoded text
+ - $C_x$: CLIP text encoder
+ - $x$: input text
+
+### 3.1. Text-To-Image Model
+
+- [“Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding(Imagen)”](https://arxiv.org/abs/2205.11487)와 연구 내용을 공유하였다.
+- Imagen
+
+ :::{figure-md}
+
+
+ Imagen 구조
+ :::
+
+
+- 고해상도 이미지를 만들기 위해 사용한 네트워크
+ - A prior Network $P$: 텍스트 임베딩 $x_e$와 BPE encoded text tokens $\hat{x}$이 주어졌을 때 이미지 임베딩 $y_e$를 생성하는 네트워크
+ - Decoder Network $D$: 이미지 임베딩 $y_e$로부터 저해상도 64X64 RGB 이미지 $\hat{y}_l$를 생성하는 네트워크
+ - Super-resolution network $SR_l$, $SR_h$: D에서 생성된 이미지 64X64 저해상도 이미지 $\hat{y}_l$를 256X256, 768X768 픽셀로 증가시켜 최종 이미지 $\hat{y}$를 만드는 네트워크
+
+ :::{figure-md}
+
+
+ text $x$가 prior $P$를 통해 image embedding 변환된다.
+ fps: desired frame rate
+ :::
+
+
+### 3.2. Spatiotemporal Layers
+
+- 2차원 조건부 네트워크를 시간적 차원으로 확장하기 위해 다음의 구성 요소를 수정한다.
+ - Convolutional layers
+ - Attention layers
+- Fully-connected layers는 특별한 수정을 할 필요 없이 시간 정보만 추가해주면 된다.
+- 구성 요소 수정 결과 $D^t$는 64X64 사이즈의 16 RGB frame을 만들게 된다.
+- Frame interpolation network $\uparrow_{F}$가 생성된 16개의 프레임과 super-resolution 네트워크 $SR^t_l$ 사이를 보간하여 프레임 속도를 증가시킨다.
+- Super-resolution 네트워크에는 hallucinating information(환각 정보)가 포함 된다. 깜박이는 잔상이 생기지 않으려면, 환각이 프레임 전체에 걸쳐 일관성을 유지해야 한다.
+ - Hallucinating information
+
+ 실제로 존재하지 않는 정보나 세부 사항을 생성하거나 가상으로 추가하는 것
+
+- 프레임당 super resolution을 수행하는 것보다 spatiotemporal 모듈인 $SR^t_l$가 더 좋은 성능을 보였다.
+- 하지만, $SR_h$를 위와 같은 모듈로 만들기엔 메모리 및 컴퓨팅 제약과 고해상도 비디오 데이터의 부족으로 $SR_h$를 위와 같이 시간적 차원으로 확장하는 것은 어려웠다 → $SR_h$는 공간적 차원에서 작동한다.( 각 프레임에 대해 동일한 노이즈 초기화를 사용하여 프레임 전반에 걸쳐 일관된 환각을 제공함)
+
+#### 3.2.1 Pseudo-3D convolutional layers
+
+:::{figure-md}
+
+
+Architecture of Pseudo-3D convolutional layers
+:::
+
+- 2D 컨벌루션 레이어 다음에 1D 컨벌루션을 쌓는다 (Cf:separable convolution)
+ - 3D 컨벌루션의 계산 load를 줄일 수 있다.
+ - 사전 학습된 2D 컨볼루션 레이어와 새로 초기화된 1D 컨벌루션 레이어 사이에 명확한 경계를 생성하여, spatial information을 유지한 채 temporal convolution을 처음부터 학습할 수 있게 한다.
+- Pseudo-3D convolutional layer
+
+ :::{figure-md}
+
+
+ Pseudo-3D convolutional layer
+ :::
+
+ - $h$: 입력 텐서 (dimension: $B$(batch),$C$(channels),$F$(frames),$H$(height),$W$(width))
+ - $\text{o}T$: transpose operator (spatial ↔ temporal)
+ - $Conv_{2_D}$는 pretrained T2I 모델에서 초기화 되고, $Conv_{1_D}$는 identity 함수로 초기화 된다.
+
+#### 3.2.2. Psuedo-3D attention layers
+
+:::{figure-md}
+
+
+Architecture of Pseudo-3D attention layers
+:::
+
+- [“Video Diffusion Models**”**](https://arxiv.org/abs/2204.03458)에 영감을 받아 dimension decomposition 전략을 attention layer에 확장하였다.
+- Pseudo-3D convolutional layer처럼 각각의 spatial attenion layer를 쌓아, 전체 spatiotemporal attention layer를 근사화하는 temporal attention layer를 쌓는다.
+- Pseudo-3D attention layer
+ :::{figure-md}
+
+
+ Pseudo-3D attention layer
+ :::
+
+ - $h$: 입력 텐서 (dimension: $B$(batch),$C$(channels),$F$(frames),$H$(height),$W$(width))
+ - flatten: spatial dimension 축에 대해 flatten하는 연산 (결과 dimension: $B$,$C$,$F$,$HW$)
+ - $ATTN_{2D}$는 pretrained T2I 모델에서 초기화되고, $ATTN_{1D}$는 identity function으로 초기화 된다.
+ - Code
+
+ ```python
+ class SpatioTemporalAttention(nn.Module):
+ def __init__(
+ self,
+ dim,
+ *,
+ dim_head = 64,
+ heads = 8,
+ add_feed_forward = True,
+ ff_mult = 4,
+ pos_bias = True,
+ flash = False,
+ causal_time_attn = False
+ ):
+ super().__init__()
+ assert not (flash and pos_bias), 'learned positional attention bias is not compatible with flash attention'
+
+ self.spatial_attn = Attention(dim = dim, dim_head = dim_head, heads = heads, flash = flash)
+ self.spatial_rel_pos_bias = ContinuousPositionBias(dim = dim // 2, heads = heads, num_dims = 2) if pos_bias else None
+
+ self.temporal_attn = Attention(dim = dim, dim_head = dim_head, heads = heads, flash = flash, causal = causal_time_attn)
+ self.temporal_rel_pos_bias = ContinuousPositionBias(dim = dim // 2, heads = heads, num_dims = 1) if pos_bias else None
+
+ self.has_feed_forward = add_feed_forward
+ if not add_feed_forward:
+ return
+
+ self.ff = FeedForward(dim = dim, mult = ff_mult)
+
+ def forward(
+ self,
+ x,
+ enable_time = True
+ ):
+ b, c, *_, h, w = x.shape
+ is_video = x.ndim == 5
+ enable_time &= is_video
+
+ if is_video:
+ x = rearrange(x, 'b c f h w -> (b f) (h w) c') #[bXf, hXw, c]
+ else:
+ x = rearrange(x, 'b c h w -> b (h w) c')#[b, hXw, c]
+
+ space_rel_pos_bias = self.spatial_rel_pos_bias(h, w) if exists(self.spatial_rel_pos_bias) else None
+
+ x = self.spatial_attn(x, rel_pos_bias = space_rel_pos_bias) + x
+
+ if is_video:
+ x = rearrange(x, '(b f) (h w) c -> b c f h w', b = b, h = h, w = w)
+ else:
+ x = rearrange(x, 'b (h w) c -> b c h w', h = h, w = w)
+
+ if enable_time:
+
+ x = rearrange(x, 'b c f h w -> (b h w) f c') #[bXhXw, f, c]
+
+ time_rel_pos_bias = self.temporal_rel_pos_bias(x.shape[1]) if exists(self.temporal_rel_pos_bias) else None
+
+ x = self.temporal_attn(x, rel_pos_bias = time_rel_pos_bias) + x
+
+ x = rearrange(x, '(b h w) f c -> b c f h w', w = w, h = h)
+
+ if self.has_feed_forward:
+ x = self.ff(x, enable_time = enable_time) + x
+
+ return x
+ ```
+
+- Frame rate conditioning
+ - 비디오의 초당 프레임 수를 나타내는 추가 컨디셔닝 파라미터 $fps$를 추가한다.
+
+### 3.3 Frame Interpolation Network
+
+- ↑F (Frame Interpolation Network)란?
+ - 생성된 프레임 수를 증가시켜, 생성된 비디오를 더 부드럽게 만들고 비디오 길이를 연장 시킬 수 있는 네트워크
+ - 프레임을 보간하고 extrapolation을 하는 네트워크
+ - Extrapolation: 주어진 데이터 또는 정보를 사용하여 미래의 값을 예측하거나 확장
+- ↑F (Frame Interpolation Network) 동작
+ - Spatialtemporal decoder $D^t$에서 마스크 처리된 입력 프레임을 제로 패딩하고 비디오 업샘플링을 적용하여 masked frame interpolation을 파인 튜닝한다.
+ - 파인 튜닝할 때 U-Net의 입력에 4개의 채널을 추가한다.
+ - RGB 마스킹 비디오 입력을 위한 3개의 채널과 마스킹되는 프레임을 나타내는 추가 바이너리 채널
+ - 다양한 frame-skips과 $fps$에 대해 파인튜닝하여 추론시 여러 temporal upsample rate를 제공한다.
+- 본 논문의 모든 실험에서는 ↑F를 frame skip 5로 적용하여 16프레임 비디오를 76프레임((16-1)X5+1)으로 업샘플링 하였다.
+- 비디오 시작 또는 끝 프레임을 마스킹하여 비디오 추정 또는 이미지 애니메이션에도 사용할 수 있다.
+
+### 3.4 Training
+
+- 위에서 설명한 구성 요소들은 독립적으로 학습 된다.
+- 훈련 과정
+ 1. Prior $P$ 훈련 (text-image 데이터 이용)
+
+ → 텍스트를 입력으로 받는 prior $P$는 text-image 데이터에 대해서만 학습 되고 비디오에 대해서는 파인 튜닝하지 않는다.
+
+ 2. 이미지를 이용한 학습
+
+ → Decoder, prior, 두개의 super-resolution 요소들은 먼저 텍스트 없이 이미지 만으로 학습 된다.
+
+ → Decoder는 Clip image embedding을 입력으로 받고, super-resolution 요소들은 학습 중에 입력으로 들어온 downsampled image를 입력으로 받는다.
+
+ 3. 비디오를 이용한 학습
+ - 이미지에 대한 훈련이 끝나면 새로운 시간 레이어를 추가하고 초기화하여 레이블이 지정되지 않은 비디오 데이터에 대해 파인 튜닝한다.
+ - 원본 비디오에서 16프레임이 샘플링 되며, 1에서 30 사이의 랜덤 $fps$를 사용한다.
+ - 디코더를 학습하는 동안 훈련 초기에는 더 높은 $fps$ 범위(모션이 적은)에서 시작하고, 이후에는 더 작은 $fps$ 범위(모션이 많은)로 전환한다.
+ - Masked-frame interpolation 네트워크는 temporal 디코더로부터 파인 튜닝된다.
+
+## 4. Experiments
+
+### 4.1 Dataset and Settings
+
+#### Datasets
+
+- Image, Text
+ - LAION-5B 데이터셋의 일부 2.3B의 데이터를 사용하였다.
+ - NSFW 이미지, 텍스트의 유해한 단어 또는 워터마크 확률이 0.5보다 큰 이미지가 있는 샘플 쌍을 필터링하였다. ****
+ - NSFW: Not Safe For Work, 선정적이거나 음란하거나 폭력적인 내용을 포함한 콘텐츠
+- Video
+ - WebVid-10M과, HD-VILA-100M 데이터셋의 일부 10M 데이터를 사용하였다.
+ - Decoder $D^t$, interpolation 모델 → WebVid-10M을 이용하여 학습
+ - $SR^t_l$ → WebVid-10M, HD-VILA-100M을 이용하여 학습
+- Zero-shot test 데이터
+ - UCF-101, MSR-VTT
+ - UCF-101: 액션 인식 연구를 위해 고안되었으며, 다양한 동작 및 환경에서 촬영된 비디오 클립 데이터셋
+ - MSR-VTT: 비디오와 해당 비디오에 대한 텍스트 설명 또는 캡션을 포함하는 데이터셋
+
+#### Automatic Metrics
+
+- UCF-101
+ - 각 클래스에 대해 하나의 템플릿 문장을 작성하고 평가를 위해 수정한다.
+ - 10K 샘플에 대해 Fretchet Video Distance(FVD)와 Inception Score(IS)를 측정한다.
+ - Train셋과 동일한 클래스 분포를 따르는 샘플을 생성한다.
+- MSR-VTT
+ - 테스트 세트의 모든 59,794 캡션에 대한 FID와 CLIPSIM(비디오 프레임과 텍스트 간의 평균 CLIP 유사도)를 측정한다.
+
+#### Human Evaluation Set and Metrics
+
+- Amazon Mechanical Turk(AMT)에서 300개의 프롬프트로 이루어진 평가 세트를 수집하였다.
+- Annotator들에게 T2V 시스템이 있다면 어떤 것을 생성하고 싶은지 물어봤다.
+- 불완전하거나, 너무 추상적이거나, 불쾌감을 주는 프롬프트를 필터링 하였다.
+- 5가지 카테고리(동물, 판타지, 사람, 자연 및 풍경, 음식 및 음료)를 식별하고 해당 카테고리에 맞는 프롬프트를 선택하였다.
+- 이러한 프롬프트는 동영상을 만드는 데에 사용되지 않고 선택 되었으며, 고정된 상태로 유지했다.
+- Human evaluation을 위해 Imagen의 DrawBench 프롬프트도 사용하였다.
+- 비디오 품질과 text-vedio faithfulness를 평가하였다.
+ - 비디오 품질 → 두 개의 비디오를 랜덤 순서로 보여주고 어떤 비디오의 품질이 더 좋은지 annotator에게 물어본다.
+ - Text-vdeio faithfulness → 텍스트를 추가로 보여주고 어떤 비디오가 텍스트와 더 잘 일치하는지 annotator에게 물어본다.
+- 보간 모델과 FILM의 비디오 모션 사실감을 비교하기 위한 평가도 진행하였다.
+- 5명의 각기 다른 annotator의 다수 득표를 최종 결과로 사용하였다.
+
+### 4.2 Quantitative Results
+
+#### Automatic Evaluaton on MSR-VTT
+
+- MSR-VTT에 대해 성능을 보고하는 GODIVA, NUWA 외에도, 중국어와 영어를 모두 입력으로 받는 CogVideo 모델에 대해서도 추론을 수행하였다.
+
+:::{figure-md}
+
+
+Automatic Evaluaton on MSR-VTT
+:::
+
+
+→ 가장 우수한 성능을 보인다.
+
+### Automatic Evluation on UCF-101
+
+:::{figure-md}
+
+
+Automatic Evluation on UCF-101
+:::
+
+→ Make-A-Video의 제로 샷 성능이 다른 방법보다 우수하다. Finetunning을 한 결과에서도 SOTA를 달성하였다.
+
+
+#### Human Evaluation
+
+- DrawBench와 테스트셋에 대해서 CogVideo와 성능을 비교한다.
+- 또한, VDM의 웹 페이지에 표시된 28개의 동영상에 대해서도 평가한다.
+- 각 입력에 대해 8개의 동영상을 무작위로 생성하고, 8번 평가하여 평균 결과를 낸다.
+- 사람의 평가를 위해 76x256x256 해상도로 동영상을 생성한다.
+
+:::{figure-md}
+
+
+Human Evaluation
+:::
+
+→ 평가자가 Make-A-Video 모델의 결과가 더 낫다고 투표한 퍼센트 비율. 대부분 평가자가 모든 벤치마크에서 Make-A-Video가 더 낫다고 평가하였다.
+
+- Frame Interpolation Network와 FILM을 비교 평가하기
+ - DrawBench의 텍스트 프롬프트와 평가 세트에서 저프레임률 비디오(1 FPS)를 생성한 다음, 4FPS까지 업샘플링한다.
+ - 평가자들은 eval set에 대해서는 62%, DrawBench에 대해서는 54%로 Make-A-Video가 더 낫다고 평가하였다.
+ - 프레임 간의 차이가 커서 물체가 어떻게 움직이는지에 대한 real-world 지식이 중요한 경우에는 본 논문에 방법이 더 뛰어난 것으로 관찰 되었다.
+
+### 4.3 Qualitative Results
+
+:::{figure-md}
+
+
+T2V Generation 결과. 맨 위: VDM, 가운데: CogVideo, 맨 아래: Make-A-Video
+→ Make-A-Video가 모션의 일관성을 유지하면서 더 풍부한 콘텐츠를 생성할 수 있다.
+:::
+
+:::{figure-md}
+
+
+이미지에 mask frame interpolation 및 extrpolation network ↑F를 적용한 결과.
+가장 왼쪽에 입력 이미지가 주어지면, 이를 동영상으로 애니메이션화 함.
+사용자는 자신의 이미지를 사용하여 동영상을 생성할 수 있으며, 생성된 동영상을 개인화하고 직접 제어할 수 있음.
+:::
+
+:::{figure-md}
+
+
+두 이미지 사이의 interpolation 결과. 왼쪽: FILM, 오른쪽: 본 논문의 approach
+FILM → 실제 움직이는 object에 대한 이해 없이 프레임을 부드럽게 전환하기만 함.
+본 논문의 approach → 의미론적으로 더 의미있는 interpolation을 만듬.
+:::
+
+:::{figure-md}
+
+
+비디오 변형 예시. 위: 원본 비디오, 아래: 새로운 비디오
+:::
+
+
+- 기타 결과: [https://make-a-video.github.io/](https://make-a-video.github.io/)
+
+## 5. 결론
+
+- 주변 세계로부터 지식을 배우는 human intelligence처럼 generative system도 인간의 학습 방식을 모방할 수 있다면, 더욱 창의적이고 유용할 것이다.
+- 연구자들은 비지도 학습을 통해 훨씬 더 많은 동영상에서 세계의 dynamic을 학습함으로써 기존의 한계를 극복할 수 있다.
diff --git a/_sources/docs/review/MimicBrush.md b/_sources/docs/review/MimicBrush.md
index 9a1e22d7..1a29de67 100755
--- a/_sources/docs/review/MimicBrush.md
+++ b/_sources/docs/review/MimicBrush.md
@@ -1,198 +1,198 @@
-```{admonition} Information
-- **Title:** MimicBrush: Zero-shot Image Editing with Reference Imitation
-
-- **Reference**
- - Paper: [https://arxiv.org/pdf/2406.07547](https://arxiv.org/pdf/2406.07547)
- - Code: [Official](https://github.com/ali-vilab/MimicBrush)
-
-- **Author:** Chanyeong Shin
-
-- **Last updated on Nov. 05, 2024**
-```
-
-# MimicBrush: Zero-shot Image Editing with Reference Imitation
-
-## Three Lines Summary
-
-1. Edited Image 로 어떻게 자연스럽게 변해야 할지에 관한 **“imitative editing” 에 관한 아이디어**
-2. **Source Image 와 Reference Image 간의 correspondence** 를 이용해 바뀌어야 할 부분을 잘 가져오는 방법인 MimicBrush 라고 명명한 generative training framework 제안
-3. **SOTA 인 동시에 앞으로의 imitative editing 연구를 위한 evaluation benchmark** 제안
-
-## 1. Introduction
-
-- Image editing 분야 자체가 굉장히 수많은 요구 조건과 시나리오를 만족하면서 수행되어야 했기에 기존의 방법들이 여전히 challenging 한 문제를 풀고 있음
-- 기존의 방법들은 현재 source image 와 함께 해당 mask 를 input 으로 넣어주고 있음 (이건 공통)
- - Inpainting method
- - editing 이라는 task 를 **“Text Prompt”** 하나로만 해결하고자 했는데 이건 원하는 결과를 뽑아내기에는 적절하지 않음
- - My thoughts : 실제로 inpainting 은 refining 과 같이 자연스럽게 만들어주는 것 외에는 실무에서 잘 사용하지는 않았던 것 같음
- - Composition method
- - ref image 와 ref mask/box 를 이용해 이를 해결하고자 하였는데, 아무래도 **“individual object” 를 insertion** 하는 작업처럼 느껴 모델이 어려워 할 만 했음
- - shoe soles 이나 hair 와 같은 local components 나 로고나 texture 같은 local patterns
- - 또한, Image 로부터 reference area 를 완벽하게 잘 추출하는 방법이 필요했음
- - Local components 들은 또 전체 image 에 잘 어우러지게 하는 것도 고려해야 했고, 학습 과정에서 같은 object 인데 frame 에 따라 모양도 조금씩 달라서 이런 다양한 문제들을 풀어야 했음
-- 앞선 문제들을 해결하기 위해서, editing 을 할 수 있는 novel pipeline 인 **imitative editing** 을 제안
- - Ref image 에서 mask 는 사용하지 않고 source image 의 mask area 부분을 ref image 에서 어디에 해당하는지 자동으로 찾고 모방할 수 있도록 하였음
-
-- Imitative editing 을 하기 위해서 **MimicBrush 라고 하는 dual diffusion U-Nets network framework** 를 제안
- - self-supervised manner 로 학습함 → 같은 video 에서 source / ref image 를 뽑아서 학습에 활용하는 방식
- - 당연히 같은 video 에서 추출했기 때문에 semantic correspondence 와 visual variations 를 가지고 있을 것
- - masked source image 는 imitative U-Net 으로 / reference image 는 reference U-Net 으로 통과 → 이후 reference U-Net 의 attention K,V 를 imitative U-Net 에 injection 시키는 방식
-- 이 Image editing 방식을 이용하여 학습된 model 은 구도, 조명, 카테고리 자체가 달라도 잘 변환이 되는 결과를 보였으며, ref image 의 visual concepts 의 detail 도 잘 유지한 채로 가져오는 것을 확인하였음
-- 조금 더 comprehensive 한 evaluation 을 위해서 imitative editing 의 benchmark 까지 제안
- - part composition : 얼마나 part 구성이 자연스럽게 잘 되었는가?
- - texture transfer : 느낌을 얼마나 잘 유지하면서 texture 가 변환됐는가?
-
-## 2. Method
-
-:::{figure-md}
-
-
-The training process of MimicBrush
-:::
-
-### Overall Pipeline
-
-- **Dual diffusion models architecture + self-supervised manner**
-- Video data 에는 consistent content 를 가지고 있고 visual variations 까지 있기 때문에 이를 활용
- - 랜덤하게 video clip 에서 two frames 를 뽑아서 학습 sample 로 활용
-- source image 는 masking 시키고, ref image 는 masked source image 를 recover 할 수 있도록 도움을 주도록 넣음
-- 결국 MimicBrush 는 dog’s face 와 같은 corresponding visual information 이 위치하는 것을 학습하고 source image 의 masked area 를 repaint 시킴
-- 또한 source image 의 빈 부분을 채우는 과정에서 자연스럽게 blending 시켜야 하기 때문에 visual content 를 같은 환경의 포즈, 조명, 시점으로 변환하는 것도 학습
-
-- 앞서 언급했던 것처럼 dual branch 의 U-Nets 구조를 활용 → imitative and reference U-Net
- - attention layers 의 K,V 는 서로 share 하고(실질적으로는 concat) reference image 로부터 indications 을 찾아 masked source image 를 만들도록 함
-- 추가로, source & ref image 에 variation 을 증가시키기 위해 augmentation 도 적용
-- 또한, optional condition 으로 imitative U-Net 에 depth map 도 줌
- - inference 단계에서 object 의 shape 가 잘 유지됐는지 depth map 을 활용할지 말지를 결정할 수도 있게 하였음
-
-
-### Model Structure
-
-- Imitative U-Net
- - Base : SD-1.5 inpainting model
- - Input : 13 channels tensor
- - image latent → 4 channels
- - binary mask → 1 channel
- - background latent → 4 channels
- - depth latent → 4 channels
- - (Figure 에는 나와있지 않지만) 기존 original U-Net 은 CLIP 을 text embedding 으로 활용하는데, 본 논문은 CLIP 을 reference image 으로부터 뽑아낸 image embedding 을 cross-attention 에 활용
- - image embedding 이후에 projection layer 을 거쳐 들어감
- - 학습은 imitative U-Net 과 CLIP projection layer 의 parameters 들이 학습..
-
-- Reference U-Net
- - 최근에 굉장히 많은 연구들이 reference image 로부터 fine-grained features 를 뽑아내기 위해 additional U-Net 을 활용하는 것이 훨씬 더 효율적이라는 것을 증명하였음
- - Base : SD-1.5
- - reference features 를 imitative U-Net 의 middle & upper stages 에 K,V 를 injection (concat) 시킴
- - 이를 통해, imitative U-Net 이 reference image 의 content 를 활용해 source image 의 masking 된 부분을 완성시킴
-
-- Depth Model
- - Depth Anything 으로 unmasked source image 의 depth map 을 뽑도록 했음
- - Depth model 자체는 freeze 시키고, trainable projector 를 넣어 depth map 을 depth latent 인 4-channel 로 projection 시킬 수 있도록 함
- - 학습 중에는 depth model 의 input 을 0.5 확률로 drop 시킴으로써 inference 중에 optional 하게 shape control 을 가능하도록 함
- - My thoughts : 아마 texture transfer task 를 위함 일듯
-
-### Training Strategy
-
-- MimicBrush 의 cross-image imitation ability (서로 다른 카테고리에서 잘 모방해오는 능력 정도로 이해하면 됨) 를 끌어올리기 위해서는 조금 더 적합한 training sample 을 모아서 학습할 수 있는 방법이 필요했음
-- Training data 를 구축하는 과정에서 두 가지의 철학을 지키려 하였음
- 1. source / reference images 들 간의 correspondence relation 이 존재해야 한다.
- 2. robustness 를 위해 source / reference image 사이의 large variations 을 기대할 수 있어야 한다.
-- Data selection
- - 학습 중에는 같은 비디오로부터 frame 2개를 sampling 해서 뽑았음
- - SSIM 을 이용해 video frames 간의 similarity 를 측정했고 너무 그 값이 크거나 작으면 filtering 했음
-- Data augmentation
- - source & reference image 의 variation 을 증가시키기 위해서, 강력한 data augmentation 을 활용
- - color jitter, rotation, resizing, flipping, 심지어는 random projection transformation 으로 더욱 강한 deformation 도 수행
-- Masking strategy
- - 가장 간단하게는 image 를 N x N grid 로 나누고 랜덤하게 masking 시키는 방법인데 저자들은 이렇게 랜덤하게 가져가면 easy cases 들이 많은 portion 을 차지한다는 것을 발견
- - ex. 배경 같은 큰 area 를 차지하는 것들은 계속 반복되는 content/textures 이기 때문에 도움이 안됨
- - SIFT matching 을 이용해서 source & ref image 의 matching points 를 얻고 그 matched feature points 의 grids 들을 좀 더 masking 하도록 하였음
- - video 보다 high-quality image 를 찾는 것이 더 쉬웠기 때문에 static image 한 장을 가지고 augmentation 시킨 다음, seg map 가지고 masking 시키는 방식으로도 활용 → robustness 를 증가시키는 효과를 불러일으킴
-
-### Evaluation Benchmark
-
-:::{figure-md}
-
-
-Evaluation Benchmark
-:::
-
-- Imitative editing 은 굉장히 novel 한 task 이기 때문에 본 논문에서 성능을 evaluation 할 수 있는 benchmark 까지 제공
-- Part composition
- - source / ref image 간의 semantic correspondence 를 찾고 composition 시키는 task
- - Inter-ID track
- - Fashion, animal, product, scenario 등 다양한 data 를 각 topic 마다 30 장씩 모았음
- - 수동으로 source mask 를 다 그리고, 생성된 결과 GT 도 없기 때문에 직접 reference regions 과 text prompt 까지 다 annotation 시킴 = 노가다 했음
- - reference region 과 생성된 region 사이의 similarity 도 DINO 와 CLIP image sim score 를 계산하도록 했고 edited image 와 text prompt 사이의 CLIP text similarity 도 report 해놓음
- - Inner-ID track
- - DreamBooth 로부터 30 image paris 가져와서 source image masking 다 함
- - GT 와는 SSIM, PSNR, LPIPS score 활용
-- Texture transfer
- - ref image 의 texture 나 pattern 을 얼마나 잘 transfer 했는지에 관한 task
- - Additional condition 으로 depth map 을 활용
- - Part composition 은 semantic correspondence 를 찾도록 하지만, 이 task 는 source shape 는 유지하면서 reference 의 texture 를 얼마나 잘 가져오는지를 판단하도록 objects 전체를 masking
-
-
-## Experiments
-
-### Implementation Details
-
-- Hyperparameters
- - 512x512 image 로 resolution 다 맞추도록 해서 학습
- - Adam optimizer & lr : 1e-5
- - grid number N : 3~10 에서 randomly choose
- - masking 은 SIFT-matched features points 는 75% 고르도록 하고, 나머지는 50% 고르도록 하였음
- - Reference U-Net 에는 CFG 10% 확률로 drop 하도록 하였고, inference 시에 guidance scale 은 5
-- Training data
- - Pexels 같은 websites 에서 100k video
- - diversity 증가시키기 위해서 SAM dataset 도 활용 → 여기서 static image augmentation 적용
- - 학습 중에는 Pexels 70% , SAM 30%
-
-### Comparisons with Other Works
-
-:::{figure-md}
-
-
-Qualitative Result
-:::
-
-:::{figure-md}
-
-
-Quantitative Result
-:::
-
-### Ablation Studies
-
-:::{figure-md}
-
-
-Ablation Studies
-:::
-
-### Qualitative Analysis
-
-:::{figure-md}
-
-
-Qualitative Analysis
-:::
-
-## Limitations
-
-- Robust performance.. But, region 이 너무 작거나 multiple candidates 가 있게 되면 실패하는 경우가 생기긴 했음
- - 이럴 때는 zoom in 을 해서 하는 것을 추천한다고 함
-- 여전히 유해한 content 들을 editing 하는 경우도 있기 때문에 이를 필터링 할 수 있는 방법이 고안되어야 한다고 주장
-
-## Review
-
-
+```{admonition} Information
+- **Title:** MimicBrush: Zero-shot Image Editing with Reference Imitation
+
+- **Reference**
+ - Paper: [https://arxiv.org/pdf/2406.07547](https://arxiv.org/pdf/2406.07547)
+ - Code: [Official](https://github.com/ali-vilab/MimicBrush)
+
+- **Author:** Chanyeong Shin
+
+- **Last updated on Nov. 05, 2024**
+```
+
+# MimicBrush: Zero-shot Image Editing with Reference Imitation
+
+## Three Lines Summary
+
+1. Edited Image 로 어떻게 자연스럽게 변해야 할지에 관한 **“imitative editing” 에 관한 아이디어**
+2. **Source Image 와 Reference Image 간의 correspondence** 를 이용해 바뀌어야 할 부분을 잘 가져오는 방법인 MimicBrush 라고 명명한 generative training framework 제안
+3. **SOTA 인 동시에 앞으로의 imitative editing 연구를 위한 evaluation benchmark** 제안
+
+## 1. Introduction
+
+- Image editing 분야 자체가 굉장히 수많은 요구 조건과 시나리오를 만족하면서 수행되어야 했기에 기존의 방법들이 여전히 challenging 한 문제를 풀고 있음
+- 기존의 방법들은 현재 source image 와 함께 해당 mask 를 input 으로 넣어주고 있음 (이건 공통)
+ - Inpainting method
+ - editing 이라는 task 를 **“Text Prompt”** 하나로만 해결하고자 했는데 이건 원하는 결과를 뽑아내기에는 적절하지 않음
+ - My thoughts : 실제로 inpainting 은 refining 과 같이 자연스럽게 만들어주는 것 외에는 실무에서 잘 사용하지는 않았던 것 같음
+ - Composition method
+ - ref image 와 ref mask/box 를 이용해 이를 해결하고자 하였는데, 아무래도 **“individual object” 를 insertion** 하는 작업처럼 느껴 모델이 어려워 할 만 했음
+ - shoe soles 이나 hair 와 같은 local components 나 로고나 texture 같은 local patterns
+ - 또한, Image 로부터 reference area 를 완벽하게 잘 추출하는 방법이 필요했음
+ - Local components 들은 또 전체 image 에 잘 어우러지게 하는 것도 고려해야 했고, 학습 과정에서 같은 object 인데 frame 에 따라 모양도 조금씩 달라서 이런 다양한 문제들을 풀어야 했음
+- 앞선 문제들을 해결하기 위해서, editing 을 할 수 있는 novel pipeline 인 **imitative editing** 을 제안
+ - Ref image 에서 mask 는 사용하지 않고 source image 의 mask area 부분을 ref image 에서 어디에 해당하는지 자동으로 찾고 모방할 수 있도록 하였음
+
+- Imitative editing 을 하기 위해서 **MimicBrush 라고 하는 dual diffusion U-Nets network framework** 를 제안
+ - self-supervised manner 로 학습함 → 같은 video 에서 source / ref image 를 뽑아서 학습에 활용하는 방식
+ - 당연히 같은 video 에서 추출했기 때문에 semantic correspondence 와 visual variations 를 가지고 있을 것
+ - masked source image 는 imitative U-Net 으로 / reference image 는 reference U-Net 으로 통과 → 이후 reference U-Net 의 attention K,V 를 imitative U-Net 에 injection 시키는 방식
+- 이 Image editing 방식을 이용하여 학습된 model 은 구도, 조명, 카테고리 자체가 달라도 잘 변환이 되는 결과를 보였으며, ref image 의 visual concepts 의 detail 도 잘 유지한 채로 가져오는 것을 확인하였음
+- 조금 더 comprehensive 한 evaluation 을 위해서 imitative editing 의 benchmark 까지 제안
+ - part composition : 얼마나 part 구성이 자연스럽게 잘 되었는가?
+ - texture transfer : 느낌을 얼마나 잘 유지하면서 texture 가 변환됐는가?
+
+## 2. Method
+
+:::{figure-md}
+
+
+The training process of MimicBrush
+:::
+
+### Overall Pipeline
+
+- **Dual diffusion models architecture + self-supervised manner**
+- Video data 에는 consistent content 를 가지고 있고 visual variations 까지 있기 때문에 이를 활용
+ - 랜덤하게 video clip 에서 two frames 를 뽑아서 학습 sample 로 활용
+- source image 는 masking 시키고, ref image 는 masked source image 를 recover 할 수 있도록 도움을 주도록 넣음
+- 결국 MimicBrush 는 dog’s face 와 같은 corresponding visual information 이 위치하는 것을 학습하고 source image 의 masked area 를 repaint 시킴
+- 또한 source image 의 빈 부분을 채우는 과정에서 자연스럽게 blending 시켜야 하기 때문에 visual content 를 같은 환경의 포즈, 조명, 시점으로 변환하는 것도 학습
+
+- 앞서 언급했던 것처럼 dual branch 의 U-Nets 구조를 활용 → imitative and reference U-Net
+ - attention layers 의 K,V 는 서로 share 하고(실질적으로는 concat) reference image 로부터 indications 을 찾아 masked source image 를 만들도록 함
+- 추가로, source & ref image 에 variation 을 증가시키기 위해 augmentation 도 적용
+- 또한, optional condition 으로 imitative U-Net 에 depth map 도 줌
+ - inference 단계에서 object 의 shape 가 잘 유지됐는지 depth map 을 활용할지 말지를 결정할 수도 있게 하였음
+
+
+### Model Structure
+
+- Imitative U-Net
+ - Base : SD-1.5 inpainting model
+ - Input : 13 channels tensor
+ - image latent → 4 channels
+ - binary mask → 1 channel
+ - background latent → 4 channels
+ - depth latent → 4 channels
+ - (Figure 에는 나와있지 않지만) 기존 original U-Net 은 CLIP 을 text embedding 으로 활용하는데, 본 논문은 CLIP 을 reference image 으로부터 뽑아낸 image embedding 을 cross-attention 에 활용
+ - image embedding 이후에 projection layer 을 거쳐 들어감
+ - 학습은 imitative U-Net 과 CLIP projection layer 의 parameters 들이 학습..
+
+- Reference U-Net
+ - 최근에 굉장히 많은 연구들이 reference image 로부터 fine-grained features 를 뽑아내기 위해 additional U-Net 을 활용하는 것이 훨씬 더 효율적이라는 것을 증명하였음
+ - Base : SD-1.5
+ - reference features 를 imitative U-Net 의 middle & upper stages 에 K,V 를 injection (concat) 시킴
+ - 이를 통해, imitative U-Net 이 reference image 의 content 를 활용해 source image 의 masking 된 부분을 완성시킴
+
+- Depth Model
+ - Depth Anything 으로 unmasked source image 의 depth map 을 뽑도록 했음
+ - Depth model 자체는 freeze 시키고, trainable projector 를 넣어 depth map 을 depth latent 인 4-channel 로 projection 시킬 수 있도록 함
+ - 학습 중에는 depth model 의 input 을 0.5 확률로 drop 시킴으로써 inference 중에 optional 하게 shape control 을 가능하도록 함
+ - My thoughts : 아마 texture transfer task 를 위함 일듯
+
+### Training Strategy
+
+- MimicBrush 의 cross-image imitation ability (서로 다른 카테고리에서 잘 모방해오는 능력 정도로 이해하면 됨) 를 끌어올리기 위해서는 조금 더 적합한 training sample 을 모아서 학습할 수 있는 방법이 필요했음
+- Training data 를 구축하는 과정에서 두 가지의 철학을 지키려 하였음
+ 1. source / reference images 들 간의 correspondence relation 이 존재해야 한다.
+ 2. robustness 를 위해 source / reference image 사이의 large variations 을 기대할 수 있어야 한다.
+- Data selection
+ - 학습 중에는 같은 비디오로부터 frame 2개를 sampling 해서 뽑았음
+ - SSIM 을 이용해 video frames 간의 similarity 를 측정했고 너무 그 값이 크거나 작으면 filtering 했음
+- Data augmentation
+ - source & reference image 의 variation 을 증가시키기 위해서, 강력한 data augmentation 을 활용
+ - color jitter, rotation, resizing, flipping, 심지어는 random projection transformation 으로 더욱 강한 deformation 도 수행
+- Masking strategy
+ - 가장 간단하게는 image 를 N x N grid 로 나누고 랜덤하게 masking 시키는 방법인데 저자들은 이렇게 랜덤하게 가져가면 easy cases 들이 많은 portion 을 차지한다는 것을 발견
+ - ex. 배경 같은 큰 area 를 차지하는 것들은 계속 반복되는 content/textures 이기 때문에 도움이 안됨
+ - SIFT matching 을 이용해서 source & ref image 의 matching points 를 얻고 그 matched feature points 의 grids 들을 좀 더 masking 하도록 하였음
+ - video 보다 high-quality image 를 찾는 것이 더 쉬웠기 때문에 static image 한 장을 가지고 augmentation 시킨 다음, seg map 가지고 masking 시키는 방식으로도 활용 → robustness 를 증가시키는 효과를 불러일으킴
+
+### Evaluation Benchmark
+
+:::{figure-md}
+
+
+Evaluation Benchmark
+:::
+
+- Imitative editing 은 굉장히 novel 한 task 이기 때문에 본 논문에서 성능을 evaluation 할 수 있는 benchmark 까지 제공
+- Part composition
+ - source / ref image 간의 semantic correspondence 를 찾고 composition 시키는 task
+ - Inter-ID track
+ - Fashion, animal, product, scenario 등 다양한 data 를 각 topic 마다 30 장씩 모았음
+ - 수동으로 source mask 를 다 그리고, 생성된 결과 GT 도 없기 때문에 직접 reference regions 과 text prompt 까지 다 annotation 시킴 = 노가다 했음
+ - reference region 과 생성된 region 사이의 similarity 도 DINO 와 CLIP image sim score 를 계산하도록 했고 edited image 와 text prompt 사이의 CLIP text similarity 도 report 해놓음
+ - Inner-ID track
+ - DreamBooth 로부터 30 image paris 가져와서 source image masking 다 함
+ - GT 와는 SSIM, PSNR, LPIPS score 활용
+- Texture transfer
+ - ref image 의 texture 나 pattern 을 얼마나 잘 transfer 했는지에 관한 task
+ - Additional condition 으로 depth map 을 활용
+ - Part composition 은 semantic correspondence 를 찾도록 하지만, 이 task 는 source shape 는 유지하면서 reference 의 texture 를 얼마나 잘 가져오는지를 판단하도록 objects 전체를 masking
+
+
+## Experiments
+
+### Implementation Details
+
+- Hyperparameters
+ - 512x512 image 로 resolution 다 맞추도록 해서 학습
+ - Adam optimizer & lr : 1e-5
+ - grid number N : 3~10 에서 randomly choose
+ - masking 은 SIFT-matched features points 는 75% 고르도록 하고, 나머지는 50% 고르도록 하였음
+ - Reference U-Net 에는 CFG 10% 확률로 drop 하도록 하였고, inference 시에 guidance scale 은 5
+- Training data
+ - Pexels 같은 websites 에서 100k video
+ - diversity 증가시키기 위해서 SAM dataset 도 활용 → 여기서 static image augmentation 적용
+ - 학습 중에는 Pexels 70% , SAM 30%
+
+### Comparisons with Other Works
+
+:::{figure-md}
+
+
+Qualitative Result
+:::
+
+:::{figure-md}
+
+
+Quantitative Result
+:::
+
+### Ablation Studies
+
+:::{figure-md}
+
+
+Ablation Studies
+:::
+
+### Qualitative Analysis
+
+:::{figure-md}
+
+
+Qualitative Analysis
+:::
+
+## Limitations
+
+- Robust performance.. But, region 이 너무 작거나 multiple candidates 가 있게 되면 실패하는 경우가 생기긴 했음
+ - 이럴 때는 zoom in 을 해서 하는 것을 추천한다고 함
+- 여전히 유해한 content 들을 editing 하는 경우도 있기 때문에 이를 필터링 할 수 있는 방법이 고안되어야 한다고 주장
+
+## Review
+
+
diff --git a/_sources/docs/review/Muse.md b/_sources/docs/review/Muse.md
index 1e547cf6..d10acdad 100755
--- a/_sources/docs/review/Muse.md
+++ b/_sources/docs/review/Muse.md
@@ -1,235 +1,235 @@
-```{admonition} Information
-- **Title:** Muse: Text-To-Image Generation via Masked Generative Transformers
-
-- **Reference**
- - Paper: [https://arxiv.org/pdf/2301.00704.pdf](https://arxiv.org/pdf/2301.00704.pdf)
- - Code: X
-
-- **Author:** Jun-Hyoung Lee
-
-- **Last updated on Mar. 25. 2024**
-```
-
-# Muse
-
-:::{figure-md}
-
-
-Figure 1
-:::
-
-- **Muse: T2I transformer model + Masked Modeling**
- - diffusion, autoregressive model 보다 효과적인 성능을 냄
- - **discrete token space 에서 masked modeling 방식으로 학습**
- - pretrained LLM(***T5-XXL***) 으로 부터 추출된 text embedding이 주어지고, 랜덤하게 masked image token 을 예측하는 방식으로 학습
- - Imagen, DALL-E 2 와 비교할 때, sampling iteration이 적어 **빠른 inference** 수행 가능
- - LLM 을 사용해 **fine-grained 한 정보**를 추출하여 high-fidelity 이미지 생성을 할 수 있고, 시각적 concept(object, spatial 관계, 자세, 등)을 더 잘 이해할 수 있음
- - Muse-900M, CC3M 에서 SOTA 달성, FID 6.06
- - Muse-3B, zero-shot COCO 에서 FID 7.88 달성, CLIP score 0.32
- - 따로 **파인튜닝 없이** inpainting, outpainting, mask-free editing 이 가능함
-
-## 1. Masked modeling
-
-- [22.02] MaskGIT: Masked Generative Image Transformer
-
- - CVPR 2022, Google Research
-
-:::{figure-md}
-
-
-maskgit 1
-:::
-
-:::{figure-md}
-
-
-maskgit 2
-:::
-
-- **VQGAN** 사용, **non-autoregressive** 디코딩 방식
-- inference 시에 모든 마스킹된 토큰을 예측하지만, 신뢰도가 높은 토큰만 실제 디코딩됨
- - 따라서 autoregressive 모델의 **256 step → 8 step** 으로 줄여 inference 속도가 향상
-
-## 2. Model Architecture
-
-:::{figure-md}
-
-
-Figure 3
-:::
-
-1. **VQGAN tokenizer model 사용**
- - input image 가 discrete token 으로 인코딩되고, 그 후 디코딩되어 input 이미지와 유사하게 잘 복원되는 모델
- - 두 개의 VQGAN 사용 (256x256 저해상도 + 512x512 고해상도)
- - 첫 학습은 **256x256 저해상도**(16x16 latent) 학습
- - 이후 **512x512 고해상도**(64x64 latent) 학습 진행
-2. **Masked image model 사용**
- - Muse 파라미터의 대부분이 masked image model 파라미터로 구성
- - unmaked 토큰과 T5XXL text embedding 을 condition으로 masked 저해상도 토큰에 대해 예측 진행
-3. **“Super-res” transformer model 사용**
- - T5XXL text embedding 을 condition으로 저해상도 토큰을 고해상도 토큰으로 바꾸는데 사용
-
-### 2.1. Pre-trained Text Encoders
-
-- [Imagen](https://arxiv.org/abs/2205.11487) 에서 pretrained LLM 사용하면 효과적인 high-quality 의 이미지 생성 가능
-- **풍부한 visual, semantic 정보를 추출**할 수 있는 T5-XXL 사용
- - objects (nouns), actions (verbs), visual properties (adjectives), spatial relationships (prepositions)
- - Muse 가 이러한 정보를 이미지 생성을 위한 LLM embedding 에서 잘 mapping 을 할 수 있을 것이라고 가정
- - [Linearly mapping from image to text space](https://arxiv.org/abs/2209.15162) 에서 선행 연구 진행
-- 인코딩 과정
- 1. 4096 차원의 embedding vector를 얻음
- 2. linearly projection 진행되어 base, super-res transformer에 입력되게 차원을 맞춤
-
-### 2.2. Semantic Tokenization using VQGAN
-
-- VQGAN
- - encoder + decoder
- - encoder feature 를 vector quantization 이 진행된 후, codebook 으로 부터 매핑을 통해 디코딩이 진행
-- 다른 해상도의 이미지를 인코딩할 수 있도록 encoder와 decoder 모두 **convolutional layer** 로 구성
-- 256x256 픽셀 이미지에 맞는 VQGAN 모델(base model)과 512x512 픽셀 이미지에 맞는 VQGAN 모델(super-res model) 구성
-- [Taming transformers for high-resolution image synthesis](https://arxiv.org/abs/2012.09841) 에서 **인코딩된 discrete 토큰이 low level noise를 무시하면서 high level semantic 함을 더 잘 capture 한다는 것을 연구 진행**
- - 이 때문에, **cross-entropy loss 를 통해 masked 토큰을 예측**하는데 사용할 수 있게됨
-
-### 2.3. Base Model
-
-- base model
- - projected T5 embedding + 이미지 토큰을 입력으로 한 [masked transformer](https://arxiv.org/abs/2202.04200) 로 구성
- - text embedding 은 unmasked, 이미지 토큰은 랜덤하게 masking 진행 → [MASK] 토큰으로 교체
-- 이미지 토큰을 embedding 으로 선형적으로 mapping 진행(transformer 의 input/hidden 사이즈에 맞게) + positional embedding 도 포함
-- transformer layer는 self-attention, cross-attention, MLP 블럭이 포함
- - MLP 는 masked image embedding 을 logit 값으로 변경하는데 사용되고
- - cross-entropy loss 는 ground truth 토큰과 함께 오차를 계산함
-- 학습 때, base model은 각 step 마다 모든 masked tokens를 예측하지만,
- - inference 에서는 퀄리티를 증가하기 위한 iterative 방식으로 mask 예측 진행
-
-### 2.4. Super-Resolution Model
-
-:::{figure-md}
-
-
-Figure 4
-:::
-
-- 바로 512x512 로 예측하도록 모델을 구성했을 때, **low level detail 에 더 포커싱**되어 학습이 진행됨. → 따라서 위의 그림과 같이 계층적으로 설계했음
-
-- base model은 16x16 latent map 을 생성하고, super resolution 모델이 base latent map 을 **64x64 latent map 으로 upsampling** 함
-
- - base 모델이 학습이 완료되면, 그 이후에 super resolution 모델 학습 진행
-
-- Architecture
-
- :::{figure-md}
-
-
- Table 6
- :::
-
-### 2.5. Decoder Finetuning
-
-- 디테일을 높이기 위해 residual layer를 더 추가하고 channel 늘림
- - residual layer: **2개 → 4개**, channel: **128 → 256**
-- encoder weight, codebook, base, super-res transformer 모델은 freezing
-
-:::{figure-md}
-
-
-Figure 13
-:::
-
-- 해당 그림에서는 표지판이 더 finetuned decoder 가 복원이 잘 됐음
-
-### 2.7. Classifier Free Guidance
-
-- 이미지 생성 퀄리티와 text-image alignment 향상을 위해 도입
-- 학습 때, 랜덤하게 10% 만 text conditioning 을 제거
- - inference
- - $\ell_g=(1+t) \ell_c-t \ell_u$
- - $l_c$: conditional logit / $l_u$: unconditional logit / $t$: guidance scale
-- **CFG 는 diversity ↔ fidelity 의 trade-off 관계**
- - Muse 에서는 t 를 선형적으로 증가시키는 샘플링 과정을 거쳐 diversity 의 한계를 극복
- - 초반에는 guidance 가 없거나 낮게 해서 logit 값을 설정하고, 후반에는 conditional prompt 가 가능하게 많은 가중치를 주게 된다.
- - unconditional logit → negative prompt 로도 사용 가능
-
-### 2.8. Iterative Parallel Decoding at Inference
-
-- Muse 의 시간 효율성
- - parallel decoding 으로 인해 **한 번의 foward 연산으로 multiple token 을 예측**하는 방식으로 동작함
- - Markovian 속성: 많은 토큰이 주어진 다른 토큰에 대해 conditionally independent 함
- → parallel decoding 가능
-- [Maskgit](https://arxiv.org/abs/2202.04200) 논문 에서 Decoding 은 cosine schedule 에 의해 수행됨
- - 해당 step 에서 예측되는 가장 높은 신뢰도의 masked 토큰을 선택해 decoding 진행됨
- - 그 후 decoding 된 것은 masking 이 해제되는 방식
-- 이러한 절차를 따라서, Muse 에서는 base 모델의 256 토큰은 24 step 을 사용하고, super-res 모델의 4096 토큰은 8 step 만 사용
- - [Scaling Autoregressive Models for Content-Rich Text-to-Image Generation](https://arxiv.org/pdf/2206.10789.pdf) 에서는 256 or 4096 step 이 필요하고,
- - diffusion 모델에서는 수백번의 step 이 필요한 것에 비해 Muse 가 빠른 inference 를 수행 가능
-
-:::{figure-md}
-
-
-Figure 5
-:::
-
-## 3. Results
-
-- Imagen dataset
- - 460M text-image pairs
-- train step: 1M
-- train time: 1 week
-- batch size: 512 on 512-core TPU-v4 chips
-- Adafactor optimizer
-
-:::{figure-md}
-
-
-Figure 6
-:::
-
-- cardinality: 동일한 객체를 여러 번 생성할 때, Muse 는 크기, 색상, 회전된 모습
-
-:::{figure-md}
-
-
-Figure 7
-:::
-
-- 정량적 평가
-
- :::{figure-md}
- Table 6
- :::
-
-- FID(diversity) ↔ CLIP score(image-text alignment)
-
- :::{figure-md}
-
-
- Figure 8
- :::
-
-- inpainting, outpainting
-
- :::{figure-md}
-
-
- Figure 10
- :::
-
-# Contribution
-
-1. **FID, CLIP score** 기반으로 text-to-image 모델에 대한 SOTA 를 달성
- - 이미지 생성 퀄리티, 다양성, text prompt와의 alignment 측정했음
-2. quantized 이미지 토큰과 **parallel decoding** 으로 인해 **빠른 inference** 가 가능
-3. inpainting, outpainting, mask-free editing 을 포함한 **zero-shot editing** 가능
-
-# Q&A
-
-1. Muse 와 같은 transformer 기반의 generation 모델에서는 어떻게 **diversity** 한 결과를 가져올 수 있나요?
- 1. 아무래도 Muse 는 random latent 에서 생성하는 것이 아니라 text-to-image 모델이라, text 에 따라서 다양한 이미지 생성 결과가 나타날 수 있을 것 같습니다.
-2. Muse 는 결국 GAN 모델인가요?
- 1. 기준점이 어떻냐에 따라 GAN 이다, 아니다, 라고 정하기 어려울 것 같습니다. VQGAN을 사용해서 GAN이라고 생각할 수 도 있고, GAN 처럼 random latent 결과에 따라 이미지 생성이 달라질 수 있는 관점에서 생각하면 아니다라고 말할 수 있을 것 같습니다.
-3. Token 은 어떤 의미를 갖나요?
- 1. VQGAN에서 input 이미지를 인코딩하고, vector-quantization 과정을 거쳐 압축 후, codebook의 값을 가져와 feature를 구성하는데요, 이때 feature에 포함되어 있는 하나의 포인트에 해당하는 것이 token이라고 생각하시면 될 것 같습니다.
-4. 텍스트 프롬프트를 넣었을때 실제 이미지 생성은 어떻게 이뤄지나요? Inference에서는 입력 이미지가 없는데 base transformer에 입력 이미지에 대한 masked token대신 뭐가 들어가게 되나요?
- 1. 실제 inference 과정에서는 input 이미지가 없기 때문에 모두 마스크된 형태로 입력되게 됩니다. text prompt 의 condition 에 따라 각 step을 거쳐 decoding 이 수행됩니다.
-5. text embedding이 어떻게 objective function 수식에 들어가나요?
- 1. base transformer 에 대해 text embedding 값이 key, value로 입력되어 cross-attention 이 수행되게 됩니다. 그렇게 예측된 feature와 GT의 feature 끼리 cross entropy loss를 통해 마스크 예측할 수 있는 base transformer 가 학습이 됩니다.
+```{admonition} Information
+- **Title:** Muse: Text-To-Image Generation via Masked Generative Transformers
+
+- **Reference**
+ - Paper: [https://arxiv.org/pdf/2301.00704.pdf](https://arxiv.org/pdf/2301.00704.pdf)
+ - Code: X
+
+- **Author:** Jun-Hyoung Lee
+
+- **Last updated on Mar. 25. 2024**
+```
+
+# Muse
+
+:::{figure-md}
+
+
+Figure 1
+:::
+
+- **Muse: T2I transformer model + Masked Modeling**
+ - diffusion, autoregressive model 보다 효과적인 성능을 냄
+ - **discrete token space 에서 masked modeling 방식으로 학습**
+ - pretrained LLM(***T5-XXL***) 으로 부터 추출된 text embedding이 주어지고, 랜덤하게 masked image token 을 예측하는 방식으로 학습
+ - Imagen, DALL-E 2 와 비교할 때, sampling iteration이 적어 **빠른 inference** 수행 가능
+ - LLM 을 사용해 **fine-grained 한 정보**를 추출하여 high-fidelity 이미지 생성을 할 수 있고, 시각적 concept(object, spatial 관계, 자세, 등)을 더 잘 이해할 수 있음
+ - Muse-900M, CC3M 에서 SOTA 달성, FID 6.06
+ - Muse-3B, zero-shot COCO 에서 FID 7.88 달성, CLIP score 0.32
+ - 따로 **파인튜닝 없이** inpainting, outpainting, mask-free editing 이 가능함
+
+## 1. Masked modeling
+
+- [22.02] MaskGIT: Masked Generative Image Transformer
+
+ - CVPR 2022, Google Research
+
+:::{figure-md}
+
+
+maskgit 1
+:::
+
+:::{figure-md}
+
+
+maskgit 2
+:::
+
+- **VQGAN** 사용, **non-autoregressive** 디코딩 방식
+- inference 시에 모든 마스킹된 토큰을 예측하지만, 신뢰도가 높은 토큰만 실제 디코딩됨
+ - 따라서 autoregressive 모델의 **256 step → 8 step** 으로 줄여 inference 속도가 향상
+
+## 2. Model Architecture
+
+:::{figure-md}
+
+
+Figure 3
+:::
+
+1. **VQGAN tokenizer model 사용**
+ - input image 가 discrete token 으로 인코딩되고, 그 후 디코딩되어 input 이미지와 유사하게 잘 복원되는 모델
+ - 두 개의 VQGAN 사용 (256x256 저해상도 + 512x512 고해상도)
+ - 첫 학습은 **256x256 저해상도**(16x16 latent) 학습
+ - 이후 **512x512 고해상도**(64x64 latent) 학습 진행
+2. **Masked image model 사용**
+ - Muse 파라미터의 대부분이 masked image model 파라미터로 구성
+ - unmaked 토큰과 T5XXL text embedding 을 condition으로 masked 저해상도 토큰에 대해 예측 진행
+3. **“Super-res” transformer model 사용**
+ - T5XXL text embedding 을 condition으로 저해상도 토큰을 고해상도 토큰으로 바꾸는데 사용
+
+### 2.1. Pre-trained Text Encoders
+
+- [Imagen](https://arxiv.org/abs/2205.11487) 에서 pretrained LLM 사용하면 효과적인 high-quality 의 이미지 생성 가능
+- **풍부한 visual, semantic 정보를 추출**할 수 있는 T5-XXL 사용
+ - objects (nouns), actions (verbs), visual properties (adjectives), spatial relationships (prepositions)
+ - Muse 가 이러한 정보를 이미지 생성을 위한 LLM embedding 에서 잘 mapping 을 할 수 있을 것이라고 가정
+ - [Linearly mapping from image to text space](https://arxiv.org/abs/2209.15162) 에서 선행 연구 진행
+- 인코딩 과정
+ 1. 4096 차원의 embedding vector를 얻음
+ 2. linearly projection 진행되어 base, super-res transformer에 입력되게 차원을 맞춤
+
+### 2.2. Semantic Tokenization using VQGAN
+
+- VQGAN
+ - encoder + decoder
+ - encoder feature 를 vector quantization 이 진행된 후, codebook 으로 부터 매핑을 통해 디코딩이 진행
+- 다른 해상도의 이미지를 인코딩할 수 있도록 encoder와 decoder 모두 **convolutional layer** 로 구성
+- 256x256 픽셀 이미지에 맞는 VQGAN 모델(base model)과 512x512 픽셀 이미지에 맞는 VQGAN 모델(super-res model) 구성
+- [Taming transformers for high-resolution image synthesis](https://arxiv.org/abs/2012.09841) 에서 **인코딩된 discrete 토큰이 low level noise를 무시하면서 high level semantic 함을 더 잘 capture 한다는 것을 연구 진행**
+ - 이 때문에, **cross-entropy loss 를 통해 masked 토큰을 예측**하는데 사용할 수 있게됨
+
+### 2.3. Base Model
+
+- base model
+ - projected T5 embedding + 이미지 토큰을 입력으로 한 [masked transformer](https://arxiv.org/abs/2202.04200) 로 구성
+ - text embedding 은 unmasked, 이미지 토큰은 랜덤하게 masking 진행 → [MASK] 토큰으로 교체
+- 이미지 토큰을 embedding 으로 선형적으로 mapping 진행(transformer 의 input/hidden 사이즈에 맞게) + positional embedding 도 포함
+- transformer layer는 self-attention, cross-attention, MLP 블럭이 포함
+ - MLP 는 masked image embedding 을 logit 값으로 변경하는데 사용되고
+ - cross-entropy loss 는 ground truth 토큰과 함께 오차를 계산함
+- 학습 때, base model은 각 step 마다 모든 masked tokens를 예측하지만,
+ - inference 에서는 퀄리티를 증가하기 위한 iterative 방식으로 mask 예측 진행
+
+### 2.4. Super-Resolution Model
+
+:::{figure-md}
+
+
+Figure 4
+:::
+
+- 바로 512x512 로 예측하도록 모델을 구성했을 때, **low level detail 에 더 포커싱**되어 학습이 진행됨. → 따라서 위의 그림과 같이 계층적으로 설계했음
+
+- base model은 16x16 latent map 을 생성하고, super resolution 모델이 base latent map 을 **64x64 latent map 으로 upsampling** 함
+
+ - base 모델이 학습이 완료되면, 그 이후에 super resolution 모델 학습 진행
+
+- Architecture
+
+ :::{figure-md}
+
+
+ Table 6
+ :::
+
+### 2.5. Decoder Finetuning
+
+- 디테일을 높이기 위해 residual layer를 더 추가하고 channel 늘림
+ - residual layer: **2개 → 4개**, channel: **128 → 256**
+- encoder weight, codebook, base, super-res transformer 모델은 freezing
+
+:::{figure-md}
+
+
+Figure 13
+:::
+
+- 해당 그림에서는 표지판이 더 finetuned decoder 가 복원이 잘 됐음
+
+### 2.7. Classifier Free Guidance
+
+- 이미지 생성 퀄리티와 text-image alignment 향상을 위해 도입
+- 학습 때, 랜덤하게 10% 만 text conditioning 을 제거
+ - inference
+ - $\ell_g=(1+t) \ell_c-t \ell_u$
+ - $l_c$: conditional logit / $l_u$: unconditional logit / $t$: guidance scale
+- **CFG 는 diversity ↔ fidelity 의 trade-off 관계**
+ - Muse 에서는 t 를 선형적으로 증가시키는 샘플링 과정을 거쳐 diversity 의 한계를 극복
+ - 초반에는 guidance 가 없거나 낮게 해서 logit 값을 설정하고, 후반에는 conditional prompt 가 가능하게 많은 가중치를 주게 된다.
+ - unconditional logit → negative prompt 로도 사용 가능
+
+### 2.8. Iterative Parallel Decoding at Inference
+
+- Muse 의 시간 효율성
+ - parallel decoding 으로 인해 **한 번의 foward 연산으로 multiple token 을 예측**하는 방식으로 동작함
+ - Markovian 속성: 많은 토큰이 주어진 다른 토큰에 대해 conditionally independent 함
+ → parallel decoding 가능
+- [Maskgit](https://arxiv.org/abs/2202.04200) 논문 에서 Decoding 은 cosine schedule 에 의해 수행됨
+ - 해당 step 에서 예측되는 가장 높은 신뢰도의 masked 토큰을 선택해 decoding 진행됨
+ - 그 후 decoding 된 것은 masking 이 해제되는 방식
+- 이러한 절차를 따라서, Muse 에서는 base 모델의 256 토큰은 24 step 을 사용하고, super-res 모델의 4096 토큰은 8 step 만 사용
+ - [Scaling Autoregressive Models for Content-Rich Text-to-Image Generation](https://arxiv.org/pdf/2206.10789.pdf) 에서는 256 or 4096 step 이 필요하고,
+ - diffusion 모델에서는 수백번의 step 이 필요한 것에 비해 Muse 가 빠른 inference 를 수행 가능
+
+:::{figure-md}
+
+
+Figure 5
+:::
+
+## 3. Results
+
+- Imagen dataset
+ - 460M text-image pairs
+- train step: 1M
+- train time: 1 week
+- batch size: 512 on 512-core TPU-v4 chips
+- Adafactor optimizer
+
+:::{figure-md}
+
+
+Figure 6
+:::
+
+- cardinality: 동일한 객체를 여러 번 생성할 때, Muse 는 크기, 색상, 회전된 모습
+
+:::{figure-md}
+
+
+Figure 7
+:::
+
+- 정량적 평가
+
+ :::{figure-md}
+ Table 6
+ :::
+
+- FID(diversity) ↔ CLIP score(image-text alignment)
+
+ :::{figure-md}
+
+
+ Figure 8
+ :::
+
+- inpainting, outpainting
+
+ :::{figure-md}
+
+
+ Figure 10
+ :::
+
+# Contribution
+
+1. **FID, CLIP score** 기반으로 text-to-image 모델에 대한 SOTA 를 달성
+ - 이미지 생성 퀄리티, 다양성, text prompt와의 alignment 측정했음
+2. quantized 이미지 토큰과 **parallel decoding** 으로 인해 **빠른 inference** 가 가능
+3. inpainting, outpainting, mask-free editing 을 포함한 **zero-shot editing** 가능
+
+# Q&A
+
+1. Muse 와 같은 transformer 기반의 generation 모델에서는 어떻게 **diversity** 한 결과를 가져올 수 있나요?
+ 1. 아무래도 Muse 는 random latent 에서 생성하는 것이 아니라 text-to-image 모델이라, text 에 따라서 다양한 이미지 생성 결과가 나타날 수 있을 것 같습니다.
+2. Muse 는 결국 GAN 모델인가요?
+ 1. 기준점이 어떻냐에 따라 GAN 이다, 아니다, 라고 정하기 어려울 것 같습니다. VQGAN을 사용해서 GAN이라고 생각할 수 도 있고, GAN 처럼 random latent 결과에 따라 이미지 생성이 달라질 수 있는 관점에서 생각하면 아니다라고 말할 수 있을 것 같습니다.
+3. Token 은 어떤 의미를 갖나요?
+ 1. VQGAN에서 input 이미지를 인코딩하고, vector-quantization 과정을 거쳐 압축 후, codebook의 값을 가져와 feature를 구성하는데요, 이때 feature에 포함되어 있는 하나의 포인트에 해당하는 것이 token이라고 생각하시면 될 것 같습니다.
+4. 텍스트 프롬프트를 넣었을때 실제 이미지 생성은 어떻게 이뤄지나요? Inference에서는 입력 이미지가 없는데 base transformer에 입력 이미지에 대한 masked token대신 뭐가 들어가게 되나요?
+ 1. 실제 inference 과정에서는 input 이미지가 없기 때문에 모두 마스크된 형태로 입력되게 됩니다. text prompt 의 condition 에 따라 각 step을 거쳐 decoding 이 수행됩니다.
+5. text embedding이 어떻게 objective function 수식에 들어가나요?
+ 1. base transformer 에 대해 text embedding 값이 key, value로 입력되어 cross-attention 이 수행되게 됩니다. 그렇게 예측된 feature와 GT의 feature 끼리 cross entropy loss를 통해 마스크 예측할 수 있는 base transformer 가 학습이 됩니다.
diff --git a/_sources/docs/review/NeRF.md b/_sources/docs/review/NeRF.md
index d9673869..0be36f36 100755
--- a/_sources/docs/review/NeRF.md
+++ b/_sources/docs/review/NeRF.md
@@ -1,458 +1,458 @@
-```{admonition} Information
-- **Title:** NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2003.08934](https://arxiv.org/abs/2003.08934)
- - Project: [https://github.com/bmild/nerf](https://github.com/bmild/nerf)
-
-- **Author:** Jeongin Lee
-
-- **Last updated on May. 22, 2024**
-```
-
-# NeRF : Representing Scenes as Neural Radiance Fields for View Synthesis
-
-[](https://www.youtube.com/watch?v=JuH79E8rdKc)
-
-- 기존의 3D object 자체를 구성하여 렌더링하는 explicit method → 저장 용량이 많이 소요
-- NeRF 는 3D object 자체를 구성하지 않는, **synthesizing novel views**
-좌표를 mlp에 넣어 픽셀 별 색상 및 밀도 값을 얻는 implicit method
-- **synthesizing novel views**
- 특정한 장면(Scene)에서 여러 각도로 찍은 일부의 사진들을 가지고 완전 새로운 각도의 모습을 유추하는 task
-
-
-
-## 0. Abstract
-
-- **NeRF**
- - 한정된 수의 입력 뷰 이미지들을 사용
- - continous volumetric scene 함수 최적화를 통해 **synthesizing novel views** 에서 SOTA 달성
-
-- **Algorithm**
- - **FC layer 사용 (non-convolutional)**
- - **input** : 5 차원 좌표 (공간적 위치$(x, y, z)$ & 바라보는 방향$(\theta, \phi))$
- - **output** : volume density와 해당 방향에 대한 색상 값
- - 5 차원 좌표 입력 → 카메라 광선을 따라 RGB 값, Volume density 예측
- → 고전적 Volume rendering 기술을 사용하여 image 로 합성
-
-- 복잡한 구조 및 외형을 갖는 scene 에 대한 **Novel views rendering** 을 위해 **NeRF** 를 최적화하는 방법을 제시 (+ Positional Encoding, Hierarchical volume sampling)
-
-- 실험을 통해 기존 작업을 능가하는 결과를 입증
-
-- **Keywords :** scene representation, view synthesis, image-based rendering,
- volume rendering, 3D deep learning
-
- :::{figure-md}
-
-
- method that optimizes a continuous 5D neural radiance field representation \ (source: {https://arxiv.org/pdf/2003.08934v2})
- :::
-
-
-
-## 1. Introduction
-
-캡처된 이미지들의 렌더링 오차를 최소화하기 위해 연속적인 $5 \mathrm{D}$ scene 함수의 파라미터를 직접 최적화하여 View synthesis 분야의 오랜 문제를 새로운 방식으로 해결함
-
----
-
-- **정적 장면 → 연속적인 $5 \mathrm{D}$ 함수로 표현**
- - FC layer = Regression Function :
- a single $5 \mathrm{D}$ coord $(x, y, z, \theta, \phi)$ → density, view-dependent RGB color
-
-- **Output**
- - 공간 상의 각 지점 $(x, y, z)$에서 각 방향 $(\theta, \phi)$ 으로 방출된 색상
- - 각 지점 $(x, y, z)$ 의 밀도(density) = $\sigma$
- - 밀도의 누적값을 통해 얼마나 많은 빛이 $(𝑥,𝑦,𝑧)$ 를 통과하는 광선에 의해 누적되는지를 표현
-
----
-
-- **특정 시점으로부터의 NeRF 렌더링**
-
- 1. 광선을 따라 이동하여 샘플링된 $3 \mathrm{D}$ 포인트 집합을 생성
- 2. 해당 포인트들과 이에 해당하는 $2 \mathrm{D}$ 시점 방향을 신경망에 대한 입력으로 사용하여 색상과 밀도의 집합을 생성
- 3. 고전적 Volume rendering 기술을 사용하여 $2 \mathrm{D}$ image 로 합성
-
----
-
-- **Optimization**
- - 미분 가능, gradient descent 를 통한 최적화
- - 각 관찰된 이미지와 렌더링된 해당 **views**사이의 오차를 최소화
- - 다양한 views 에서 오차 최소화를 통해 실제 장면의 cotents 가 포함된 위치에 **높은 밀도**와 **정확한 색상**을 할당하여 장면의 일관된 모델을 예측
-
----
-
-- **NeRF 최적화의 Basic implementation의 한계 및 대안**
- 1. **복잡한 장면에 대해서 충분히 고해상도 표현으로 수렴되지 않음**
- - positional encoding 으로 입력 5D 좌표를 변환
- - MLP가 더 높은 주파수의 함수를 나타낼 수 있음.
- 2. **카메라 광선당 요구되는 샘플링 수가 비효율적**
- - 계층적 샘플링 절차를 제안
- - 고주파수의 장면 표현을 적절하게 샘플링하기 위해 필요한 쿼리 수를 감소시킴
-
----
-
-- **본 논문의 접근 방식은 volumetric 표현의 이점을 상속**
- - 복잡한 실세계의 기하학적 형태와 외형을 표현 가능
- - 투영된 이미지를 사용한 Gradient-based 최적화에 적합
- - 고해상도에서 복잡한 장면을 모델링할 때 이산화된 복셀 그리드의 엄청난 저장 비용을 극복
-
- - **Voxel (Volume + Pixel)**
- 3차원 공간에서 체적의 기본 단위 (2차원의 경우에선 pixe)
- 위치 정보와 함께 밀도, 색상, 투과성 등의 속성을 가질 수 있음
-
- - **Volumne Rendering**
- 3차원 공간에서 정의된 데이터(체적 데이터)를 2차원 이미지로 변환하는 과정
- 예시) CT, MRI
-
- - **Volumetric Data (체적 데이터)**
- 3차원 공간에서 샘플링된 데이터
-
-
----
-
-
-- **Technical contributions**
- - 복잡한 기하학과 소재를 가진 연속적인 장면을 5차원 NeRF 로 나타내는 접근 방법, 기본 MLP 네트워크로 매개변수화
- - 고전적인 볼륨 렌더링 기법을 기반으로 한 미분 가능한 렌더링 절차를 사용하여 이러한 표현을 표준 RGB 이미지로부터 최적화하는 방법을 제안
- - hierarchical sampling strategy : MLP’s capacity 를 시각적인 장면 내용이 있는 공간으로 할당 (물체가 있을 확률이 높은 부분을 모델이 집중적으로 학습)
- - Positional encoding : 입력 5차원 좌표를 고차원 공간으로 매핑하기 위해 NeRF를 성공적으로 최적화하여 고주파의 장면 콘텐츠를 표현가능
-- 최초의 **continuous neural scene representation** 제안
-
-:::{figure-md}
-
-
-An overview of our neural radiance field scene representation and differentiable rendering procedure \ (source: {https://arxiv.org/pdf/2003.08934v2})
-:::
-
-
-
-## 2. Related Work
-
-- **Neural 3D shape representations**
-- **View synthesis and image-based rendering**
-
-
-
-## 3. Neural Radiance Field Scene Representation
-
-- 5차원 벡터 함수 (MLP) $F_{\Theta}:(\mathbf{x}, \mathbf{d}) \rightarrow(\mathbf{c}, \sigma)$
-
- - **input** : $3 \mathrm{D}$ location $\mathbf{x}=(x, y, z)$ , $2 \mathrm{D}$ viewing direction $\mathbf{d}=(\theta, \phi)$
- - **(practically) direction** as a $3 \mathrm{D}$ Cartesian unit vector $\mathbf{d}$
- - 벡터 $\mathbf{d} =(𝑑_𝑥,𝑑_𝑦,𝑑_𝑧)$ 는 방향을 나타내며, 이는 단위 벡터(길이가 1)로 정규화
- - **output** : emitted color $\mathbf{c}=(r, g, b)$, volume density $\sigma$
-
-- $\mathbf{x}$ → $\sigma$ , $(\mathbf{x, d})$ → RGB 색상 $\mathbf{c}$ 를 예측하도록 권장 (색상은 view dependent 이므로)
-
- 1. MLP $F_{\Theta}$ 는 먼저 8개의 fully-connected layer (ReLU, 256개 채널 사용) 로
- 입력 3D 좌표 $\mathbf{x}$ → $\sigma$ , 256차원 feature 벡터를 출력
- 2. **a** 의 feature 벡터는 카메라 광선의 시점 방향과 concat
- 3. 뷰에 따른 RGB 색상을 출력하는 하나의 추가 fully-connected layer (ReLU,128개 채널 사용)로 전달됨
-
- :::{figure-md}
-
-
- fully-connected network architecture\ (source: {https://arxiv.org/pdf/2003.08934v2})
- :::
-
-
-- **View 를 고려하여 색상을 예측해야 하는 이유 : non-Lambertian effects**
- - **Lambertian 효과**
- - 물체의 표면에서 나오는 광선이 균일하게 반사되는 현상
- - 표면의 방향과 상관없이 광선이 표면에서 나오는 각도에 따라 반사되는 광량이 일정하다는 원리를 기반
- - Fig. 3 : 입력 시선 방향을 사용하여 non-Lambertian effects 를 표현한 예시
- :::{figure-md}
-
-
- :::
-
- - Fig. 4 : view dependence 를 고려하지 않고 (only $\mathbf{x}$ input) 학습된 모델은 반사성(specularity)을 표현하는데 어려움이 있음
- :::{figure-md}
-
-
- :::
-
-
-
-## 4. Volume Rendering with Radiance Fields
-
-- **5D NeRF 는 장면을 volume density 와 특정 포인트에서 방출된 빛(색상)으로 표현**
-- **볼륨 렌더링 : scene 을 통과하는 모든 광선의 색상을 렌더링**
- - NeRF 로부터 View 를 렌더링하려면 원하는 가상 카메라의 각 픽셀을 거쳐 추적된 카메라 광선에 대해 적분값 $C(\mathbf{r})$ 을 추정을 요구
- - $\mathbf{r}(t)=\mathbf{o}+t \mathbf{d}$ : 카메라 광선
- - $C(\mathbf{r})$ : near bound $t_n$ , far bound $t_f$ 에서 카메라 광선 $\mathbf{r}(t)$ 의 예측된 색상
- - $T(t)$ : ray 를 따라 $t_n$ 부터 $t$ 까지 누적된 투과율(transmittance)
-
-$$
-C(\mathbf{r})=\int_{t_n}^{t_f} T(t) \sigma(\mathbf{r}(t)) \mathbf{c}(\mathbf{r}(t), \mathbf{d}) d t, \text { where } T(t)=\exp \left(-\int_{t_n}^t \sigma(\mathbf{r}(s)) d s\right)
-$$
-
-- **Quadrature (구적법) 을 통해 연속적 적분값을 수치적으로 추정**
- - 이산화된 ****voxel grids 렌더링에 사용되는 **결정론적 구적법**의 한계
- - 일반적으로 이산화된 복셀 그리드를 렌더링하는 데 사용되는 결정론적 구적법은 MLP가 **고정된 이산 위치 집합**에서만 쿼리되기 때문에 표현의 해상도를 제한
-
-
-- ➡️ **대안으로 Stratified sampling (계층적 표집) 접근법을 사용.**
-- $\left[t_n, t_f\right]$ 를 $N$ 개의 균일한 간격의 bin으로 분할한 Partition 생성
-- 각 bin 내에서 하나의 샘플을 무작위로 추출
-
- $$
- t_i \sim \mathcal{U}\left[t_n+\frac{i-1}{N}\left(t_f-t_n\right), t_n+\frac{i}{N}\left(t_f-t_n\right)\right].
- $$
-
-- 여전히 적분값 추정을 위해 이산화된 표본들을 사용하더라도,
-계층적 표집 방법을 통해 continuous scene 표현이 가능
-- 다양한 position sample에 대해 최적화가 가능하므로, 최적화 과정에서 MLP가 연속적인 위치들에서 평가되도록 하는 효과
-
-
-- 위의 샘플링 방법을 통해 뽑은 샘플들로 [[26]에서 리뷰](https://courses.cs.duke.edu/spring03/cps296.8/papers/max95opticalModelsForDirectVolumeRendering.pdf)된 볼륨 렌더링에서 논의된 구적법으로 $C(\mathbf{r})$ 을 추정 (적분을 sample sum 으로)
-
- $$
- \hat{C}(\mathbf{r})=\sum_{i=1}^N T_i\left(1-\exp \left(-\sigma_i \delta_i\right)\right) \mathbf{c}_i, \\ \text { where } T_i=\exp \left(-\sum_{j=1}^{i-1} \sigma_j \delta_j\right),
- $$
-
- - $\delta_i=t_{i+1}-t_i$ is the distance between adjacent samples ($dt$ 를 대체)
- - $\left(\mathbf{c}_i, \sigma_i\right)$ 의 집합으로부터 $\hat{C}(\mathbf{r})$ 을 계산하는 함수는 쉽게 미분 가능하며
- $\alpha_i=1-\exp \left(-\sigma_i \delta_i\right)$ 를 사용한 전통적인 **alpha compositing**
- - **alpha compositing (**알파 합성)
- - 여러 이미지 또는 픽셀을 결합하여 하나의 이미지로 만드는 기술
- - ex) 투명한 이미지(유리, 그림자)를 배경 이미지 위에 겹칠 때 알파 컴포지팅을 사용하여 자연스러운 합성 수행
-
-
-
-## 5. Optimizing a Neural Radiance Field
-
-**[REMIND]**
-
-- 지금까지 **NeRF 로 scene 을 모델링하는 것, 이 표현으로 새로운 views 를 렌더링 하는 것** 에 필요한 핵심적인 구성요소를 다룸
- - 하지만 해당 요소들로 SOTA 성능을 달성하기에는 한계 존재
- - 고해상도 + 복잡한 scene 을 표현 가능하게 하는 두개의 개선점을 도입
-
-1. Positional encoding of the input coordinates
-that assists the MLP in representing high-frequency functions
-2. hierarchical sampling procedure
-that allows us to efficiently sample this high-frequency representation.
-
-### 5.1 Positional encoding
-
-- Neural network $F_{\Theta}$ 가 직접 **$(x, y, z, \theta, \phi)$ input coordinates** 에서 직접 연산하는 경우, 색상과 형태에서 고주파 변동을 표현하는데 성능이 좋지 않았음
-- [[35] On the spectral bias of neural networks](https://arxiv.org/abs/1806.08734) 논문 결과와 동일,
- - 깊은 신경망이 저주파 함수를 학습하는 쪽으로 편향되었음을 보여줌
- - 신경망을 통과하기 전 고주파 함수를 사용하여 **입력을 고차원 공간으로 맵핑**하는 것은 고주파 변동이 포함된 데이터를 더 잘 적합 가능하게 함을 제시
- - 저자들은 Neural scene representations 에서 위의 결과를 이용
-- **→ $F_{\Theta}$ 를 두개의 함수로 구성 $F_{\Theta}=F_{\Theta}^{\prime} \circ \gamma$ 성능을 상당히 개선 ($\gamma$ : 학습 X)**
-
- $$
- \gamma(p)=\left(\sin \left(2^0 \pi p\right), \cos \left(2^0 \pi p\right), \cdots, \sin \left(2^{L-1} \pi p\right), \cos \left(2^{L-1} \pi p\right)\right) .
- $$
-
- - $\gamma$ : mapping $\mathbb{R}$ → $\mathbb{R}^{2 L}$, $F_{\Theta}^{\prime}$ : Regular MLP
- - $\gamma(\cdot)$ : $\mathbf{x}$ 의 각 세개의 좌표값과 Cartesian 시점 방향 벡터 $\mathbf{d}$ 의 세 성분에 $[-1,1]$사이로 정규화 후 개별적으로 적용에 분리되어 적용됨
- - Experiments : $L=10$ for $\gamma(\mathbf{x})$ and $L=4$ for $\gamma(\mathbf{d})$
-
-
-### 5.2 Hierarchical volume sampling
-
-- **Stratified Sampling**
- - 비효율적
- - 렌더링된 이미지에 기여하지 않는 여유 공간(비어있는 부분) 막혀있는(가려진) 영역이 여전히 반복적으로 샘플링됨.
-- **Hierarchical volume sampling**
- - 최종 렌더링에 대한 예상 효과에 비례하여 샘플을 할당
- - 렌더링 효율성을 증가시킴
-
- **➡️ Content가 더 있을 것 같은 곳을 더 뽑자 !**
-
-- scene 표현을 위해 단순히 단일 네트워크를 사용하는 것 대신에 우리는 동시에 2개의 네트워크를 최적화
-
- **Step 1. Coarse**
-
- **Step 2. Fine**
-
----
-
-1. **Coarse**
-
- **Stratified sampling** → $N_c$ 개의 위치 집합을 샘플링, 이 위치에서 $\hat{C(r)}$ 을 예측하여 **Coarse network** 를 평가
-
-2. **Fine**
- 1. 1에서 주어진 Coarse 네트워크의 출력을 바탕으로 더 많은 정보에 기반한 포인트 샘플링을 생성 (더 많은 정보에 기반한 포인트 샘플링을 생성)
- 2. Coarse 네트워크에서의 알파 합성 색상 $\hat{C}_c(\mathbf{r})$을 광선을 따라 샘플링된 모든 컬러 $c_i$들의 가중합 형태로 다시 씀
-
- $$
- \hat{C}_c(\mathbf{r})=\sum_{i=1}^{N_c} w_i c_i, \quad w_i=T_i\left(1-\exp \left(-\sigma_i \delta_i\right)\right) .
- $$
-
-3. **piecewise-constant PDF**
-
- Normalizing weight 를 통해 생성
-
-
-$$
-\hat{w}i= \dfrac{w_i}{\sum_{j=1}^{N_c} w_j}
-$$
-
-- 역변환 샘플링을 통해 확률 밀도함수 값에 기반한 2번째 샘플집합의 샘플 $N_f$ 개를 샘플링
-- 첫 번째와 두 번째 샘플 집합의 합집합에서 fine 네트워크를 평가
-- 모든 $N_c+N_f$ 샘플을 사용하여 광선의 최종 렌더링된 색상 $\hat{C}_f(\mathbf{r})$ 를 계산
-- 이 절차에서는 관측 가능한 content가 포함될 것으로 예상되는 영역에 더 많은 샘플을 할당
-
-### 5.3 Implementation details
-
-- **각 Scene 에 대해 네트워크 를 별도로 최적화**
-
- scene이 캡처된 RGB 이미지, extrinsic parameter(해당 카메라 포즈), intrinsic parameter, 장면 경계로 구성된 데이터셋이 필요
-
- - **extrinsic parameter, intrinsic parameter**
-
- - **Extrinsic Parameter**
- 3D 공간 내에서 카메라가 어디에 위치(3D Translation)하고 있고, 어디를 바라보고 있는지(3D Rotation)에 대한 Parameter
-
- - **Intrinsic Parameter**
- 카메라 렌즈와 센서 위치에 의해서 결정되어지는 항목으로, 이미지 패널이 얼마나 이동(2D Translation)하고, 얼마나 확대하고(2D Scaling), 얼마나 기울어졌는지(2D Shear) 대한 intrinsic parameter
-
- :::{figure-md}
-
-
- intrinsic prameter and extrinsic parameter
- :::
-
- - 카메라 영상 : 3차원 공간상의 점들을 2차원 이미지 평면에 투사(perspective projection)
-
-- **Training**
-
- 1. 각 최적화 iteration에서 데이터셋의 모든 픽셀 집합에서 카메라 광선 batch를 무작위로 샘플링
- 2. 계층적 샘플링을 따라 coarse 네트워크의 $N_c$ 개의 샘플과 fine 네트워크의$N_c + N_f$개의 샘플을 쿼리
- 3. volume rendering 절차를 사용하여 두샘플 집합 모두에서 광선의 색상을 렌더링
-
-- **Loss**
- coarse 렌더링과 fine 렌더링의 색상 vs 실제 픽셀 색상 간의 총 제곱 오차
-
- $$
- \mathcal{L}=\sum_{\mathbf{r} \in \mathcal{R}}\left[\left\|\hat{C}_c(\mathbf{r})-C(\mathbf{r})\right\|_2^2+\left\|\hat{C}_f(\mathbf{r})-C(\mathbf{r})\right\|_2^2\right]
- $$
-
- - $\mathcal{R}$ : 각 batch 의 광선의 집합
- - $C(\mathbf{r})$ : Ray $\mathbf{r}$ 에 대한 Ground Truth RGB colors
- - $\hat{C}_c(\mathbf{r})$ : Ray $\mathbf{r}$ 에 대한 Coarse volume predicted RGB colors
- - $\hat{C}_f(\mathbf{r})$ : Ray $\mathbf{r}$ 에 대한 Fine volume predicted RGB colors
- - 최종 렌더링은 $\hat{C}_f(\mathbf{r})$ 이지만, $\hat{C}_c(\mathbf{r})$ 의 Loss 역시 최소화
- - Coarse 네트워크의 weight 분포가 fine network 의 샘플링의 기반이 되기 때문
-
-## 5.4 Experiments detail
-
-- a batch size of 4096 rays
-- sampling coordinates :
- - $N_c=64$ in the coarse volume
- - $N_f=128$ in the fine volume
-- Optimizer : Adam, lr : $5 \times 10^{-4}$ → $5 \times 10^{-5}$ (exponentially decay learning rate)
- - Default : $\beta_1=0.9, \beta_2=0.999$,
-- iteration: 한 장면 당 10~30만 iter (NVIDIA V100 GPU 1개로 1~2일 소요)
-
-
-
-## 6. Results
-
-### 6.1 Datasets
-
-- **Synthetic renderings of object**
-:::{figure-md}
-
-
-Diffuse Synthetic : Lambertian, Realistic Synthetic : non-Lambertian
-:::
-
-1. **Diffuse Synthetic** $360 \degree$
-
- 1. 총 4개의 Lambertian 물체가 간단한 geometry로 구성
- 2. object : **512×512**
- 3. 상반구에 대한 viewpoint 를 렌더링
- 4. Train : 479, Test : 1000
-
-2. **Real Synthetic** $360 \degree$, **Forward-Facing**
-
- 1. 총 8개의 non-Lambertian 물체 8개,
- 2. 각각의 pathtraced image 를 포함한 형태의 데이터 셋을 구성
- 3. object : **800×800**
- 4. 6 Scenes : 상반구에 대한 viewpoint 를 렌더링, 2 Scenes : 구 전체에 대한 viewpoint 를 렌더링
- 5. Train : 100, Test : 200
-
-3. **Real Forward-Facing**
-
- 1. 복잡한 형태의 현실 scene을 앞쪽에서 본 모습을 사용
- 2. 총 8개의 scene, (5 scenes : LLFF paper 3 scenes : 직접 캡처)
- 3. object : **$1008 \times 756$**
- 4. Train : Test = 7 : 1
-
-### 6.2 Comparisons
-
-- **Models**
- - **Neural Volumes (NV)**
- - **Scene Representation Networks (SRN)**
- - **Local Light Field Fusion (LLFF)**
-
-### 6.3 Discussion
-
-1. comparison : Diffuse Synthetic : Lambertian, Realistic Synthetic : non-Lambertian
-- $\text{Nerf}$ : 미세 디테일, 기하학적 구조, 외양, nonLambertian 반사 반영
-- $\text{LLFF}$ : ghosting artifact (ship, lego)
-- $\text{SRN}$ : blurry and distorted rendering
-- $\text{NV}$ : detail 및 기하적 구조 반영 실패
-
- :::{figure-md}
-
-
- Diffuse Synthetic : Lambertian, Realistic Synthetic : non-Lambertian
- :::
-
-- **Ghosting :** 렌더링에서의 객체 겹침 혹은 번짐
-- **Lambertian :** 모든 각도에서 동일한 밝기
-- **Non-Lambertian :** 각도에 따라 밝기와 색상 변화 / 광택, 반사, 투명도 등을 가짐
-
-2. comparison : reconstruction partially occluded regions
- :::{figure-md}
-
-
- NeRF also correctly reconstructs partially occluded regions
- :::
-
-### 6.4 Ablation studies
-
-- Realistic Synthetic 360도 scene
-- 위치 인코딩(PE), 시점 의존성(VD), 계층적 샘플링(H)
-- 최대 주파수 $L$ 의 선택
- - 5→10 (성능 향상), 10→15 (성능 감소)
- - $2^L$ 이 샘플링 된 입력 이미지에서 존재하는 최대 주파수(본 데이터는 1024)를 초과할 때 추가적인 성능 향상에 제한
-
- :::{figure-md}
-
-
- ablation study
- :::
-
-
-
----
-
-## (Appendix) A. Additional Implementation Details
-
-1. **Volume Bounds**
-For experiments with synthetic images, we scale the scene so that it lies within a **cube of
-side length 2 centered at the origin**, and only query the representation within this bounding volume. we use normalized device coordinates **to map the depth range of these points into [−1, 1]**.
-
-2. **Training Details**
-adding random Gaussian noise with zero mean and unit variance to the **output σ values** during optimization
-
-3. **Rendering Details**
-
- :::{figure-md}
- >
-
- fully-connected network architecture \ (source: {https://arxiv.org/pdf/2003.08934v2})
- :::
-
-- Coarse network 64 + fine network 128 = 192
-- fully-connected network 구조
-- positional encoding이 더해진 형태의 위치 정보**$(\gamma(x))$** 를 input으로 투입
-- 256 채널과 ReLU로 엮인 총 8개의 네트워크를 통과하게 된다. 해당 논문에서는 DeepSDF 구조를 따르고, skip connection을 5번째 layer의 activation에 투입
-- 추가 레이어는 volume density 를 output으로 산출
+```{admonition} Information
+- **Title:** NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2003.08934](https://arxiv.org/abs/2003.08934)
+ - Project: [https://github.com/bmild/nerf](https://github.com/bmild/nerf)
+
+- **Author:** Jeongin Lee
+
+- **Last updated on May. 22, 2024**
+```
+
+# NeRF : Representing Scenes as Neural Radiance Fields for View Synthesis
+
+[](https://www.youtube.com/watch?v=JuH79E8rdKc)
+
+- 기존의 3D object 자체를 구성하여 렌더링하는 explicit method → 저장 용량이 많이 소요
+- NeRF 는 3D object 자체를 구성하지 않는, **synthesizing novel views**
+좌표를 mlp에 넣어 픽셀 별 색상 및 밀도 값을 얻는 implicit method
+- **synthesizing novel views**
+ 특정한 장면(Scene)에서 여러 각도로 찍은 일부의 사진들을 가지고 완전 새로운 각도의 모습을 유추하는 task
+
+
+
+## 0. Abstract
+
+- **NeRF**
+ - 한정된 수의 입력 뷰 이미지들을 사용
+ - continous volumetric scene 함수 최적화를 통해 **synthesizing novel views** 에서 SOTA 달성
+
+- **Algorithm**
+ - **FC layer 사용 (non-convolutional)**
+ - **input** : 5 차원 좌표 (공간적 위치$(x, y, z)$ & 바라보는 방향$(\theta, \phi))$
+ - **output** : volume density와 해당 방향에 대한 색상 값
+ - 5 차원 좌표 입력 → 카메라 광선을 따라 RGB 값, Volume density 예측
+ → 고전적 Volume rendering 기술을 사용하여 image 로 합성
+
+- 복잡한 구조 및 외형을 갖는 scene 에 대한 **Novel views rendering** 을 위해 **NeRF** 를 최적화하는 방법을 제시 (+ Positional Encoding, Hierarchical volume sampling)
+
+- 실험을 통해 기존 작업을 능가하는 결과를 입증
+
+- **Keywords :** scene representation, view synthesis, image-based rendering,
+ volume rendering, 3D deep learning
+
+ :::{figure-md}
+
+
+ method that optimizes a continuous 5D neural radiance field representation \ (source: {https://arxiv.org/pdf/2003.08934v2})
+ :::
+
+
+
+## 1. Introduction
+
+캡처된 이미지들의 렌더링 오차를 최소화하기 위해 연속적인 $5 \mathrm{D}$ scene 함수의 파라미터를 직접 최적화하여 View synthesis 분야의 오랜 문제를 새로운 방식으로 해결함
+
+---
+
+- **정적 장면 → 연속적인 $5 \mathrm{D}$ 함수로 표현**
+ - FC layer = Regression Function :
+ a single $5 \mathrm{D}$ coord $(x, y, z, \theta, \phi)$ → density, view-dependent RGB color
+
+- **Output**
+ - 공간 상의 각 지점 $(x, y, z)$에서 각 방향 $(\theta, \phi)$ 으로 방출된 색상
+ - 각 지점 $(x, y, z)$ 의 밀도(density) = $\sigma$
+ - 밀도의 누적값을 통해 얼마나 많은 빛이 $(𝑥,𝑦,𝑧)$ 를 통과하는 광선에 의해 누적되는지를 표현
+
+---
+
+- **특정 시점으로부터의 NeRF 렌더링**
+
+ 1. 광선을 따라 이동하여 샘플링된 $3 \mathrm{D}$ 포인트 집합을 생성
+ 2. 해당 포인트들과 이에 해당하는 $2 \mathrm{D}$ 시점 방향을 신경망에 대한 입력으로 사용하여 색상과 밀도의 집합을 생성
+ 3. 고전적 Volume rendering 기술을 사용하여 $2 \mathrm{D}$ image 로 합성
+
+---
+
+- **Optimization**
+ - 미분 가능, gradient descent 를 통한 최적화
+ - 각 관찰된 이미지와 렌더링된 해당 **views**사이의 오차를 최소화
+ - 다양한 views 에서 오차 최소화를 통해 실제 장면의 cotents 가 포함된 위치에 **높은 밀도**와 **정확한 색상**을 할당하여 장면의 일관된 모델을 예측
+
+---
+
+- **NeRF 최적화의 Basic implementation의 한계 및 대안**
+ 1. **복잡한 장면에 대해서 충분히 고해상도 표현으로 수렴되지 않음**
+ - positional encoding 으로 입력 5D 좌표를 변환
+ - MLP가 더 높은 주파수의 함수를 나타낼 수 있음.
+ 2. **카메라 광선당 요구되는 샘플링 수가 비효율적**
+ - 계층적 샘플링 절차를 제안
+ - 고주파수의 장면 표현을 적절하게 샘플링하기 위해 필요한 쿼리 수를 감소시킴
+
+---
+
+- **본 논문의 접근 방식은 volumetric 표현의 이점을 상속**
+ - 복잡한 실세계의 기하학적 형태와 외형을 표현 가능
+ - 투영된 이미지를 사용한 Gradient-based 최적화에 적합
+ - 고해상도에서 복잡한 장면을 모델링할 때 이산화된 복셀 그리드의 엄청난 저장 비용을 극복
+
+ - **Voxel (Volume + Pixel)**
+ 3차원 공간에서 체적의 기본 단위 (2차원의 경우에선 pixe)
+ 위치 정보와 함께 밀도, 색상, 투과성 등의 속성을 가질 수 있음
+
+ - **Volumne Rendering**
+ 3차원 공간에서 정의된 데이터(체적 데이터)를 2차원 이미지로 변환하는 과정
+ 예시) CT, MRI
+
+ - **Volumetric Data (체적 데이터)**
+ 3차원 공간에서 샘플링된 데이터
+
+
+---
+
+
+- **Technical contributions**
+ - 복잡한 기하학과 소재를 가진 연속적인 장면을 5차원 NeRF 로 나타내는 접근 방법, 기본 MLP 네트워크로 매개변수화
+ - 고전적인 볼륨 렌더링 기법을 기반으로 한 미분 가능한 렌더링 절차를 사용하여 이러한 표현을 표준 RGB 이미지로부터 최적화하는 방법을 제안
+ - hierarchical sampling strategy : MLP’s capacity 를 시각적인 장면 내용이 있는 공간으로 할당 (물체가 있을 확률이 높은 부분을 모델이 집중적으로 학습)
+ - Positional encoding : 입력 5차원 좌표를 고차원 공간으로 매핑하기 위해 NeRF를 성공적으로 최적화하여 고주파의 장면 콘텐츠를 표현가능
+- 최초의 **continuous neural scene representation** 제안
+
+:::{figure-md}
+
+
+An overview of our neural radiance field scene representation and differentiable rendering procedure \ (source: {https://arxiv.org/pdf/2003.08934v2})
+:::
+
+
+
+## 2. Related Work
+
+- **Neural 3D shape representations**
+- **View synthesis and image-based rendering**
+
+
+
+## 3. Neural Radiance Field Scene Representation
+
+- 5차원 벡터 함수 (MLP) $F_{\Theta}:(\mathbf{x}, \mathbf{d}) \rightarrow(\mathbf{c}, \sigma)$
+
+ - **input** : $3 \mathrm{D}$ location $\mathbf{x}=(x, y, z)$ , $2 \mathrm{D}$ viewing direction $\mathbf{d}=(\theta, \phi)$
+ - **(practically) direction** as a $3 \mathrm{D}$ Cartesian unit vector $\mathbf{d}$
+ - 벡터 $\mathbf{d} =(𝑑_𝑥,𝑑_𝑦,𝑑_𝑧)$ 는 방향을 나타내며, 이는 단위 벡터(길이가 1)로 정규화
+ - **output** : emitted color $\mathbf{c}=(r, g, b)$, volume density $\sigma$
+
+- $\mathbf{x}$ → $\sigma$ , $(\mathbf{x, d})$ → RGB 색상 $\mathbf{c}$ 를 예측하도록 권장 (색상은 view dependent 이므로)
+
+ 1. MLP $F_{\Theta}$ 는 먼저 8개의 fully-connected layer (ReLU, 256개 채널 사용) 로
+ 입력 3D 좌표 $\mathbf{x}$ → $\sigma$ , 256차원 feature 벡터를 출력
+ 2. **a** 의 feature 벡터는 카메라 광선의 시점 방향과 concat
+ 3. 뷰에 따른 RGB 색상을 출력하는 하나의 추가 fully-connected layer (ReLU,128개 채널 사용)로 전달됨
+
+ :::{figure-md}
+
+
+ fully-connected network architecture\ (source: {https://arxiv.org/pdf/2003.08934v2})
+ :::
+
+
+- **View 를 고려하여 색상을 예측해야 하는 이유 : non-Lambertian effects**
+ - **Lambertian 효과**
+ - 물체의 표면에서 나오는 광선이 균일하게 반사되는 현상
+ - 표면의 방향과 상관없이 광선이 표면에서 나오는 각도에 따라 반사되는 광량이 일정하다는 원리를 기반
+ - Fig. 3 : 입력 시선 방향을 사용하여 non-Lambertian effects 를 표현한 예시
+ :::{figure-md}
+
+
+ :::
+
+ - Fig. 4 : view dependence 를 고려하지 않고 (only $\mathbf{x}$ input) 학습된 모델은 반사성(specularity)을 표현하는데 어려움이 있음
+ :::{figure-md}
+
+
+ :::
+
+
+
+## 4. Volume Rendering with Radiance Fields
+
+- **5D NeRF 는 장면을 volume density 와 특정 포인트에서 방출된 빛(색상)으로 표현**
+- **볼륨 렌더링 : scene 을 통과하는 모든 광선의 색상을 렌더링**
+ - NeRF 로부터 View 를 렌더링하려면 원하는 가상 카메라의 각 픽셀을 거쳐 추적된 카메라 광선에 대해 적분값 $C(\mathbf{r})$ 을 추정을 요구
+ - $\mathbf{r}(t)=\mathbf{o}+t \mathbf{d}$ : 카메라 광선
+ - $C(\mathbf{r})$ : near bound $t_n$ , far bound $t_f$ 에서 카메라 광선 $\mathbf{r}(t)$ 의 예측된 색상
+ - $T(t)$ : ray 를 따라 $t_n$ 부터 $t$ 까지 누적된 투과율(transmittance)
+
+$$
+C(\mathbf{r})=\int_{t_n}^{t_f} T(t) \sigma(\mathbf{r}(t)) \mathbf{c}(\mathbf{r}(t), \mathbf{d}) d t, \text { where } T(t)=\exp \left(-\int_{t_n}^t \sigma(\mathbf{r}(s)) d s\right)
+$$
+
+- **Quadrature (구적법) 을 통해 연속적 적분값을 수치적으로 추정**
+ - 이산화된 ****voxel grids 렌더링에 사용되는 **결정론적 구적법**의 한계
+ - 일반적으로 이산화된 복셀 그리드를 렌더링하는 데 사용되는 결정론적 구적법은 MLP가 **고정된 이산 위치 집합**에서만 쿼리되기 때문에 표현의 해상도를 제한
+
+
+- ➡️ **대안으로 Stratified sampling (계층적 표집) 접근법을 사용.**
+- $\left[t_n, t_f\right]$ 를 $N$ 개의 균일한 간격의 bin으로 분할한 Partition 생성
+- 각 bin 내에서 하나의 샘플을 무작위로 추출
+
+ $$
+ t_i \sim \mathcal{U}\left[t_n+\frac{i-1}{N}\left(t_f-t_n\right), t_n+\frac{i}{N}\left(t_f-t_n\right)\right].
+ $$
+
+- 여전히 적분값 추정을 위해 이산화된 표본들을 사용하더라도,
+계층적 표집 방법을 통해 continuous scene 표현이 가능
+- 다양한 position sample에 대해 최적화가 가능하므로, 최적화 과정에서 MLP가 연속적인 위치들에서 평가되도록 하는 효과
+
+
+- 위의 샘플링 방법을 통해 뽑은 샘플들로 [[26]에서 리뷰](https://courses.cs.duke.edu/spring03/cps296.8/papers/max95opticalModelsForDirectVolumeRendering.pdf)된 볼륨 렌더링에서 논의된 구적법으로 $C(\mathbf{r})$ 을 추정 (적분을 sample sum 으로)
+
+ $$
+ \hat{C}(\mathbf{r})=\sum_{i=1}^N T_i\left(1-\exp \left(-\sigma_i \delta_i\right)\right) \mathbf{c}_i, \\ \text { where } T_i=\exp \left(-\sum_{j=1}^{i-1} \sigma_j \delta_j\right),
+ $$
+
+ - $\delta_i=t_{i+1}-t_i$ is the distance between adjacent samples ($dt$ 를 대체)
+ - $\left(\mathbf{c}_i, \sigma_i\right)$ 의 집합으로부터 $\hat{C}(\mathbf{r})$ 을 계산하는 함수는 쉽게 미분 가능하며
+ $\alpha_i=1-\exp \left(-\sigma_i \delta_i\right)$ 를 사용한 전통적인 **alpha compositing**
+ - **alpha compositing (**알파 합성)
+ - 여러 이미지 또는 픽셀을 결합하여 하나의 이미지로 만드는 기술
+ - ex) 투명한 이미지(유리, 그림자)를 배경 이미지 위에 겹칠 때 알파 컴포지팅을 사용하여 자연스러운 합성 수행
+
+
+
+## 5. Optimizing a Neural Radiance Field
+
+**[REMIND]**
+
+- 지금까지 **NeRF 로 scene 을 모델링하는 것, 이 표현으로 새로운 views 를 렌더링 하는 것** 에 필요한 핵심적인 구성요소를 다룸
+ - 하지만 해당 요소들로 SOTA 성능을 달성하기에는 한계 존재
+ - 고해상도 + 복잡한 scene 을 표현 가능하게 하는 두개의 개선점을 도입
+
+1. Positional encoding of the input coordinates
+that assists the MLP in representing high-frequency functions
+2. hierarchical sampling procedure
+that allows us to efficiently sample this high-frequency representation.
+
+### 5.1 Positional encoding
+
+- Neural network $F_{\Theta}$ 가 직접 **$(x, y, z, \theta, \phi)$ input coordinates** 에서 직접 연산하는 경우, 색상과 형태에서 고주파 변동을 표현하는데 성능이 좋지 않았음
+- [[35] On the spectral bias of neural networks](https://arxiv.org/abs/1806.08734) 논문 결과와 동일,
+ - 깊은 신경망이 저주파 함수를 학습하는 쪽으로 편향되었음을 보여줌
+ - 신경망을 통과하기 전 고주파 함수를 사용하여 **입력을 고차원 공간으로 맵핑**하는 것은 고주파 변동이 포함된 데이터를 더 잘 적합 가능하게 함을 제시
+ - 저자들은 Neural scene representations 에서 위의 결과를 이용
+- **→ $F_{\Theta}$ 를 두개의 함수로 구성 $F_{\Theta}=F_{\Theta}^{\prime} \circ \gamma$ 성능을 상당히 개선 ($\gamma$ : 학습 X)**
+
+ $$
+ \gamma(p)=\left(\sin \left(2^0 \pi p\right), \cos \left(2^0 \pi p\right), \cdots, \sin \left(2^{L-1} \pi p\right), \cos \left(2^{L-1} \pi p\right)\right) .
+ $$
+
+ - $\gamma$ : mapping $\mathbb{R}$ → $\mathbb{R}^{2 L}$, $F_{\Theta}^{\prime}$ : Regular MLP
+ - $\gamma(\cdot)$ : $\mathbf{x}$ 의 각 세개의 좌표값과 Cartesian 시점 방향 벡터 $\mathbf{d}$ 의 세 성분에 $[-1,1]$사이로 정규화 후 개별적으로 적용에 분리되어 적용됨
+ - Experiments : $L=10$ for $\gamma(\mathbf{x})$ and $L=4$ for $\gamma(\mathbf{d})$
+
+
+### 5.2 Hierarchical volume sampling
+
+- **Stratified Sampling**
+ - 비효율적
+ - 렌더링된 이미지에 기여하지 않는 여유 공간(비어있는 부분) 막혀있는(가려진) 영역이 여전히 반복적으로 샘플링됨.
+- **Hierarchical volume sampling**
+ - 최종 렌더링에 대한 예상 효과에 비례하여 샘플을 할당
+ - 렌더링 효율성을 증가시킴
+
+ **➡️ Content가 더 있을 것 같은 곳을 더 뽑자 !**
+
+- scene 표현을 위해 단순히 단일 네트워크를 사용하는 것 대신에 우리는 동시에 2개의 네트워크를 최적화
+
+ **Step 1. Coarse**
+
+ **Step 2. Fine**
+
+---
+
+1. **Coarse**
+
+ **Stratified sampling** → $N_c$ 개의 위치 집합을 샘플링, 이 위치에서 $\hat{C(r)}$ 을 예측하여 **Coarse network** 를 평가
+
+2. **Fine**
+ 1. 1에서 주어진 Coarse 네트워크의 출력을 바탕으로 더 많은 정보에 기반한 포인트 샘플링을 생성 (더 많은 정보에 기반한 포인트 샘플링을 생성)
+ 2. Coarse 네트워크에서의 알파 합성 색상 $\hat{C}_c(\mathbf{r})$을 광선을 따라 샘플링된 모든 컬러 $c_i$들의 가중합 형태로 다시 씀
+
+ $$
+ \hat{C}_c(\mathbf{r})=\sum_{i=1}^{N_c} w_i c_i, \quad w_i=T_i\left(1-\exp \left(-\sigma_i \delta_i\right)\right) .
+ $$
+
+3. **piecewise-constant PDF**
+
+ Normalizing weight 를 통해 생성
+
+
+$$
+\hat{w}i= \dfrac{w_i}{\sum_{j=1}^{N_c} w_j}
+$$
+
+- 역변환 샘플링을 통해 확률 밀도함수 값에 기반한 2번째 샘플집합의 샘플 $N_f$ 개를 샘플링
+- 첫 번째와 두 번째 샘플 집합의 합집합에서 fine 네트워크를 평가
+- 모든 $N_c+N_f$ 샘플을 사용하여 광선의 최종 렌더링된 색상 $\hat{C}_f(\mathbf{r})$ 를 계산
+- 이 절차에서는 관측 가능한 content가 포함될 것으로 예상되는 영역에 더 많은 샘플을 할당
+
+### 5.3 Implementation details
+
+- **각 Scene 에 대해 네트워크 를 별도로 최적화**
+
+ scene이 캡처된 RGB 이미지, extrinsic parameter(해당 카메라 포즈), intrinsic parameter, 장면 경계로 구성된 데이터셋이 필요
+
+ - **extrinsic parameter, intrinsic parameter**
+
+ - **Extrinsic Parameter**
+ 3D 공간 내에서 카메라가 어디에 위치(3D Translation)하고 있고, 어디를 바라보고 있는지(3D Rotation)에 대한 Parameter
+
+ - **Intrinsic Parameter**
+ 카메라 렌즈와 센서 위치에 의해서 결정되어지는 항목으로, 이미지 패널이 얼마나 이동(2D Translation)하고, 얼마나 확대하고(2D Scaling), 얼마나 기울어졌는지(2D Shear) 대한 intrinsic parameter
+
+ :::{figure-md}
+
+
+ intrinsic prameter and extrinsic parameter
+ :::
+
+ - 카메라 영상 : 3차원 공간상의 점들을 2차원 이미지 평면에 투사(perspective projection)
+
+- **Training**
+
+ 1. 각 최적화 iteration에서 데이터셋의 모든 픽셀 집합에서 카메라 광선 batch를 무작위로 샘플링
+ 2. 계층적 샘플링을 따라 coarse 네트워크의 $N_c$ 개의 샘플과 fine 네트워크의$N_c + N_f$개의 샘플을 쿼리
+ 3. volume rendering 절차를 사용하여 두샘플 집합 모두에서 광선의 색상을 렌더링
+
+- **Loss**
+ coarse 렌더링과 fine 렌더링의 색상 vs 실제 픽셀 색상 간의 총 제곱 오차
+
+ $$
+ \mathcal{L}=\sum_{\mathbf{r} \in \mathcal{R}}\left[\left\|\hat{C}_c(\mathbf{r})-C(\mathbf{r})\right\|_2^2+\left\|\hat{C}_f(\mathbf{r})-C(\mathbf{r})\right\|_2^2\right]
+ $$
+
+ - $\mathcal{R}$ : 각 batch 의 광선의 집합
+ - $C(\mathbf{r})$ : Ray $\mathbf{r}$ 에 대한 Ground Truth RGB colors
+ - $\hat{C}_c(\mathbf{r})$ : Ray $\mathbf{r}$ 에 대한 Coarse volume predicted RGB colors
+ - $\hat{C}_f(\mathbf{r})$ : Ray $\mathbf{r}$ 에 대한 Fine volume predicted RGB colors
+ - 최종 렌더링은 $\hat{C}_f(\mathbf{r})$ 이지만, $\hat{C}_c(\mathbf{r})$ 의 Loss 역시 최소화
+ - Coarse 네트워크의 weight 분포가 fine network 의 샘플링의 기반이 되기 때문
+
+## 5.4 Experiments detail
+
+- a batch size of 4096 rays
+- sampling coordinates :
+ - $N_c=64$ in the coarse volume
+ - $N_f=128$ in the fine volume
+- Optimizer : Adam, lr : $5 \times 10^{-4}$ → $5 \times 10^{-5}$ (exponentially decay learning rate)
+ - Default : $\beta_1=0.9, \beta_2=0.999$,
+- iteration: 한 장면 당 10~30만 iter (NVIDIA V100 GPU 1개로 1~2일 소요)
+
+
+
+## 6. Results
+
+### 6.1 Datasets
+
+- **Synthetic renderings of object**
+:::{figure-md}
+
+
+Diffuse Synthetic : Lambertian, Realistic Synthetic : non-Lambertian
+:::
+
+1. **Diffuse Synthetic** $360 \degree$
+
+ 1. 총 4개의 Lambertian 물체가 간단한 geometry로 구성
+ 2. object : **512×512**
+ 3. 상반구에 대한 viewpoint 를 렌더링
+ 4. Train : 479, Test : 1000
+
+2. **Real Synthetic** $360 \degree$, **Forward-Facing**
+
+ 1. 총 8개의 non-Lambertian 물체 8개,
+ 2. 각각의 pathtraced image 를 포함한 형태의 데이터 셋을 구성
+ 3. object : **800×800**
+ 4. 6 Scenes : 상반구에 대한 viewpoint 를 렌더링, 2 Scenes : 구 전체에 대한 viewpoint 를 렌더링
+ 5. Train : 100, Test : 200
+
+3. **Real Forward-Facing**
+
+ 1. 복잡한 형태의 현실 scene을 앞쪽에서 본 모습을 사용
+ 2. 총 8개의 scene, (5 scenes : LLFF paper 3 scenes : 직접 캡처)
+ 3. object : **$1008 \times 756$**
+ 4. Train : Test = 7 : 1
+
+### 6.2 Comparisons
+
+- **Models**
+ - **Neural Volumes (NV)**
+ - **Scene Representation Networks (SRN)**
+ - **Local Light Field Fusion (LLFF)**
+
+### 6.3 Discussion
+
+1. comparison : Diffuse Synthetic : Lambertian, Realistic Synthetic : non-Lambertian
+- $\text{Nerf}$ : 미세 디테일, 기하학적 구조, 외양, nonLambertian 반사 반영
+- $\text{LLFF}$ : ghosting artifact (ship, lego)
+- $\text{SRN}$ : blurry and distorted rendering
+- $\text{NV}$ : detail 및 기하적 구조 반영 실패
+
+ :::{figure-md}
+
+
+ Diffuse Synthetic : Lambertian, Realistic Synthetic : non-Lambertian
+ :::
+
+- **Ghosting :** 렌더링에서의 객체 겹침 혹은 번짐
+- **Lambertian :** 모든 각도에서 동일한 밝기
+- **Non-Lambertian :** 각도에 따라 밝기와 색상 변화 / 광택, 반사, 투명도 등을 가짐
+
+2. comparison : reconstruction partially occluded regions
+ :::{figure-md}
+
+
+ NeRF also correctly reconstructs partially occluded regions
+ :::
+
+### 6.4 Ablation studies
+
+- Realistic Synthetic 360도 scene
+- 위치 인코딩(PE), 시점 의존성(VD), 계층적 샘플링(H)
+- 최대 주파수 $L$ 의 선택
+ - 5→10 (성능 향상), 10→15 (성능 감소)
+ - $2^L$ 이 샘플링 된 입력 이미지에서 존재하는 최대 주파수(본 데이터는 1024)를 초과할 때 추가적인 성능 향상에 제한
+
+ :::{figure-md}
+
+
+ ablation study
+ :::
+
+
+
+---
+
+## (Appendix) A. Additional Implementation Details
+
+1. **Volume Bounds**
+For experiments with synthetic images, we scale the scene so that it lies within a **cube of
+side length 2 centered at the origin**, and only query the representation within this bounding volume. we use normalized device coordinates **to map the depth range of these points into [−1, 1]**.
+
+2. **Training Details**
+adding random Gaussian noise with zero mean and unit variance to the **output σ values** during optimization
+
+3. **Rendering Details**
+
+ :::{figure-md}
+ >
+
+ fully-connected network architecture \ (source: {https://arxiv.org/pdf/2003.08934v2})
+ :::
+
+- Coarse network 64 + fine network 128 = 192
+- fully-connected network 구조
+- positional encoding이 더해진 형태의 위치 정보**$(\gamma(x))$** 를 input으로 투입
+- 256 채널과 ReLU로 엮인 총 8개의 네트워크를 통과하게 된다. 해당 논문에서는 DeepSDF 구조를 따르고, skip connection을 5번째 layer의 activation에 투입
+- 추가 레이어는 volume density 를 output으로 산출
diff --git a/_sources/docs/review/Point_E.md b/_sources/docs/review/Point_E.md
index 1cbb6f5f..8b640317 100755
--- a/_sources/docs/review/Point_E.md
+++ b/_sources/docs/review/Point_E.md
@@ -1,335 +1,335 @@
-```{admonition} Information
-- **Title:** Point-E: A System for Generating 3D Point Clouds from Complex Prompts (Arxiv 2022)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2212.08751](https://arxiv.org/abs/2212.08751)
- - Project: [https://openai.com/index/point-e/](https://openai.com/index/point-e/)
-
-- **Author:** [Jeonghwa Yoo](https://www.linkedin.com/in/jeonghwa-yoo-8403a716b)
-
-- **Last updated on Sep. 11, 2024**
-```
-
-# Point-E: A System for Generating 3D Point Clouds from Complex Prompts (Arxiv 2022)
-
-
-
-
-# Abstract
-
-- 제안 배경
- - 최근 텍스트 조건부 3D 객체 생성 기술(text-conditional 3D object generation)이 놀라운 발전을 보이고 있다.
- - 하지만, SOTA 모델들은 여전히 하나의 샘플을 만들기 위해 여러 GPU 시간을 요구하고 있다.
- - 본 논문에서는 단일 GPU에서 1~2분만에 3D 모델을 생성하는 3D 객체 생성을 위한 방법을 탐색한다.
-- 접근법
- - 텍스트-이미지 디퓨전 모델을 사용하여 단일 합성 뷰를 생성한 다음 두 번째 디퓨전 모델을 사용하여 3D 포인트 클라우드를 생성한다.
-- 결과
- - 샘플 품질 측면에서 SOTA 성능이 아니지만, 샘플링 속도가 1~2배 더 빠르다.
-
-# 1. Introduction
-
-- Text-to-image 생성 모델에서 text-to-vide/3D로의 발전
- - 최근 text-to-image 생성 모델이 폭발적으로 증가함에 따라 몇 초만에 자연어에서 고품질 이미지를 생성하고 수정할 수 있게 되었다.
- - 이러한 결과에 영감을 받아 최근 연구에서는 비디오나 3D 객체와 같은 다른 도메인에서의 텍스트 조건부 생성을 탐색하고 있다.
- - 본 논문도 text-to-3D 생성 문제에 중점을 둔다.
-- 최근 text-to-3D 합성의 분류
- - 최근 text-to-3D 합성은 일반적으로 다음의 두 카테고리 중 하나에 속한다.
- 1. 쌍을 이룬(paired)(ex: text, 3D) 데이터 또는 레이블이 없는(unlabeld) 3D 데이터에서 생성 모델을 직접(directly) 학습 시키는 방법
- 1. 장점: 기존 생성 모델링 접근 방식을 활용하여 샘플을 효율적으로 생성할 수 있다.
- 2. 단점: 대규모 3D 데이터셋이 없기 때문에 다양하고 복잡한 텍스트 프롬프트로 확장하기 어렵다. → 데이터셋의 한계, 확장성의 어려움
- 2. 사전 학습된 text-to-image 모델을 활용하여 미분가능한(differentiable) 3D 표현법들(representations)을 최적화하는 방법
- 1. 장점: 복잡하고 다양한 텍스트 프롬프트를 처리할 수 있다.
- 2. 단점:
- 1. 각 샘플에 대해 최적화 과정을 거쳐야 하기 때문에 계산 비용이 많이 들고 시간이 오래 걸릴 수 있다. 샘플을 생성하는 데 비용이 많이 드는 최적화 프로세스가 필요하다.
- 2. 강력한 3D prior가 없기 때문에 의미 있거나 일관된 3D 개체에 해당하지 않는 local minima에 빠질 수 있다.
-- 본 논문의 접근법
-
- :::{figure-md}
-
-
- Point-E 파이프라인 개요
- :::
-
- - Text-to-image 모델과 image-to-3D 모델을 결합하여 두카테고리의 장점을 합치는 것을 목표로 한다.
- - 본 논문의 text-to-image 모델
- - 대규모(텍스트, 이미지)쌍 데이터를 활용하여 다양하고 복잡한 프롬프트를 따를 수 있게 한다.
- - 3D 렌더링에 대해 파인튜닝된 GLIDE 버전을 사용한다.
- - 본 논문의 image-to-3D 모델
- - 소규모의(이미지,3D)쌍 데이터로 학습된다.
- - RGB 포인트 클라우드를 생성하는 디퓨전 모델의 스택을 사용한다. (새로운 transformer 기반 아키텍처 사용)
- - 생성된 포인트 클라우드에서 메쉬를 생성하기 위해 회귀 기반(regression-based) 접근 방식을 사용한다.
- - 먼저 text-to-image 모델을 사용하여 이미지를 샘플링하고, 샘플링된 이미지를 조건으로 넣어 3D 객체를 샘플링한다.
- - 이 두 단계 모두 몇 초 내에 수행될 수 있으며, 비용이 많이 드는 최적화 과정을 필요로 하지 않는다.
-- 본 논문의 결과
- - 간단한 텍스트 프롬프트뿐만 아니라 복잡한 텍스트 프롬프트와도 일치하는 컬러 3D 포인트 클라우드를 생성할 수 있었다.
-
- → 포인트 클라우드를 효율적으로 생성한다는 의미에서 본 논문의 시스템을 Point E라고 명칭하였다.
-
-
-# 2. Background
-
-- 디퓨전 모델 개요:
- - 점진적으로 Gaussian 노이즈를 추가하는 과정을 통해 데이터를 변형한다.
- - 본 논문에서는 Ho et al. (2020)의 Gaussian 확산 설정을 따른다.
-- 노이즈 프로세스
- - 노이즈 프로세스는 시간 단계 t마다 신호에 Gaussian 노이즈를 추가한다.
- - 최종 단계에서는 샘플이 거의 정보를 포함하지 않게 된다.
-- 역 노이즈 프로세스
- - 랜던 가우시안 노이즈 $x_T$에서 시작하여 점진적으로 노이즈 프로세스를 역으로 진행하여 잡음이 없는 샘플 $x_0$에 도달할 수 있다.
-- 모델 학습
- - q(xt−1|xt)를 신경망 pθ(xt−1|xt)로 근사하여 학습한다.
- - Nichol & Dhariwal (2021)은 평균뿐만 아니라 분산도 예측하여 더 나은 성능을 얻었다.
-- 샘플링
- - 디퓨전 샘플링은 미분 방정식 관점에서 설명될 수 있으며, 이를 통해 다양한 SDE 및 ODE 해석기를 사용하여 이러한 모델에서 샘플링할 수 있다.
- - 본 논문에서는 Karras et al. (2022)의 2차 ODE 해석기를 사용한다.
-- 가이드 전략
- - Dhariwal & Nichol (2021)은 분류기 가이던스(classifier guidance)를 도입하여 생성 충실도를 높였다.
- - Ho & Salimans (2021)은 분류기 없는 가이던스(classifier-free guidance)를 도입하여 조건부 정보를 무작위로 삭제한다.
- - 본 논문에서는 학습 시 드롭 확률 0.1을 사용하여 이 기술을 적용한다.
-
-# 3. Related Work
-
-- 포인트 클라우드 생성 모델:
- - 다양한 연구들이 GAN, VAE, 플로우 모델, 디퓨전 모델 등을 사용하여 포인트 클라우드를 생성한다.
- - 본 논문의 연구와 가장 유사한 PVD 모델은 단일 디퓨전 모델을 사용하여 포인트 클라우드 직접 생성한다.
- - 본 논문에서는 더 간단한 트랜스포머 기반 아키텍처를 사용하며, RGB 채널을 함께 생성하는 점에서 차별점을 가진다.
-- 다른 3D 표현을 사용한 모델 생성:
- - 2D 이미지 데이터셋에서 3D 인식 GAN을 학습하거나, 직접 3D 메쉬를 생성하는 연구들이 있다.
- - 이러한 연구들은 주로 새로운 뷰 합성 문제에 초점을 맞추지만, 전체 360도 뷰를 재구성하려고 하지는 않는다.
-- 텍스트 조건부 3D 생성:
- - 몇몇 연구들은 텍스트-이미지 매칭 목표에 따라 3D 표현을 최적화하는 접근 방식을 탐구한다.
- - 이러한 접근 방식들은 다양한 복잡한 객체나 장면을 생성할 수 있지만, 최적화 절차가 매우 시간이 많이 걸린다.
-- 텍스트-3D 데이터 활용:
- - 텍스트-3D 쌍 데이터를 사용하여 텍스트 조건부 3D 모델을 생성하는 연구들도 있다.
- - 많은 연구들이 단순한 프롬프트나 좁은 객체 카테고리에 한정되지만, 본 논문에서는 사전 학습된 텍스트-이미지 모델을 활용하여 이러한 문제를 해결한다.
-- 이미지 기반 3D 재구성:
- - 단일 또는 소수의 이미지에서 3D 모델을 재구성하는 회귀 기반 및 생성 접근 방식이 있.
- - 이들 접근 방식은 불충분한 문제를 다루면서도 유망한 결과를 보여주고 있다.
-
-# 4. Method
-
-- 텍스트를 조건으로 받아 단일 생성 모델로 포인트 클라우드를 직접 생성하는 대신 생성 프로세스를 세 단계로 나눈다.
- 1. ‘텍스트 캡션’을 조건으로 받아 ‘합성 뷰’를 생성한다. → *4.2 내용*
- 1. GLIDE 모델 사용
- 2. 렌더링된 3D 모델로 파인튜닝
- 2. ‘합성 뷰’를 조건으로 받아 ‘대략적인(coarse) 포인트 클라우드(1024개의 포인트)’를 생성한다 → *4.3 내용*
- 1. 조건부 순열 불변 디퓨전 모델(conditional, permutation invariant diffusion model) 사용
- 3. ‘저해상도 포인트 클라우드와 합성 뷰’를 조건으로 받아 ‘고해상도 포인트 클라우드(4096 포인트)’를 생성한다. → *4.4 내용*
- 1. 2에서 사용된 모델과 유사하지만 저해상도 포인트 클라우드를 조건으로 하는 더 작은 디퓨전 모델을 사용
-- 수백만 개의 3D 모델과 관련 메타데이터로 구성된 데이터셋에서 모델을 훈련시킨다.
-- 데이터셋을 렌더링된 뷰, 텍스트 설명, 그리고 각 점에 대한 RGB 색상을 포함하는 3D 포인트 클라우드로 처리한다.
-
-## 4-1. Dataset
-
-- 수백만 개의 3D 모델은 데이터 형식과 품질이 데이터셋 전반에 걸쳐 매우 다양했고, 더 높은 데이터 품질을 보장하기 위해 다양한 후처리 단계가 필요했다.
-- 후처리 단계
- 1. Blender를 사용하여 모든 데이터를 하나의 일반적인 형식(RGBAD 이미지)으로 변환한다.
- 1. Blender: 다양한 3D 형식을 지원하며 최적화된 렌더링 엔진을 제공하는 프로그램
- 2. RGBAD 이미지: RGB 이미지에 깊이(Depth)와 알파(Alpha) 채널이 추가된 형식의 이미지
- 3. 20개의 랜덤한 카메라 각도에서 각 3D 모델을 경계 상자(bounding cube)로 정규화하고 표준 조명 설정을 구성한 후, blender의 내장된 실시간 렌더링 엔진을 사용하여 RGBAD 이미지를 내보냈다.
- 2. 각 객체를 렌더링을 사용해 색상이 있는 포인트 클라우드로 변환한다.
- 1. 각 RGBAD 이미지의 각 픽셀에 대한 점을 계산하여 각 객체에 대한 밀집된(dense) 포인트 클라우드를 구성한다.
- 2. 이러한 포인트 클라우드는 일반적으로 고르게 분포되어 있지 않으므로, 가장 먼 점 샘플링을 사용하여 4K 점의 균일한 클라우드를 생성한다.
- 3. 렌더링에서 직접 포인트 클라우드를 구성함으로써, 3D 메쉬에서 직접 점을 샘플링할 때 발생할 수 있는 여러 가지 문제를 피할 수 있었다. (모델 내부에 포함된 점을 샘플링하는 문제, 이상한 파일 형식의 3D 모델로 인한 문제)
- 3. 저품질 모델을 제거하기 위해 다양한 휴리스틱을 사용한다.
- 1. 각 포인트 클라우드의 SVD를 계산하고, 가장 작은 특이값이 일정 임계값(threshold) 이상인 경우에만 유지함으로써 평평한 객체를 제거했다.
- 2. 다음으로, CLIP 특성에 따라 데이터셋을 클러스터링 했다. (일부 클러스터는 많은 저품질 모델 카테고리를 포함하는 반면, 다른 클러스터는 더 다양하거나 해석 가능한 것으로 나타났음)
- 3. 클러스터를 여러 가지 품질의 버킷으로 나누고, 최종 데이터셋으로서 결과 버킷의 가중치 혼합을 사용했다.
-
-## 4.2 View Synthesis GLIDE Model
-
-- ‘텍스트 캡션’을 조건으로 받아 ‘합성 뷰’를 생성하는 모델
-- 4.3에서 설명할 포인트 클라우드 모델은 모두 동일한 렌더러와 동일한 조명 설정을 사용하여 생성된 데이터셋의 렌더링된 뷰를 조건으로 받는다.
-- 따라서 해당 파트에서는 데이터셋의 분포와 일치하는 3D 렌더를 명시적으로 생성하고자 하였다.
-- 이를 위해 GLIDE를 원래의 데이터셋과 저자들의 3D 렌더링 데이터셋을 혼합하여 파인튜닝 하였다.
- - 저자들의 3D 렌더링 데이터셋이 원래 GLIDE 학습셋에 비해 작기 때문에 3D 렌더링 데이터셋에서 이미지를 샘플링하는 비율을 5%로만 설정하고, 나머지 95%는 원래의 데이터셋을 사용했다.
- - 반복(iterations) 횟수는 100,000번의 설정 하였으며, 이는 모델이 3D 데이터셋을 여러 번 거치는 학습을 진행했음을 의미한다. (단, 동일한 렌더링된 시점을 두 번 사용하지 않았다.)
-- 테스트 시간에는 항상 분포 내 렌더를 샘플링하기 위해, 모든 3D 렌더의 텍스트 프롬프트에 특별한 토큰을 추가하여 이 토큰을 사용하여 샘플링을 수행하였다.
-
-## 4.3 **Point Cloud Diffusion**
-
-- ‘합성 뷰’를 조건으로 받아 ‘대략적인(coarse) 포인트 클라우드(1024개의 포인트)’를 생성하는 모델
-- 디퓨전을 이용해 포인트 클라우드를 사용하기 위해 [3D Shape Generation and Completion through Point-Voxel Diffusion](https://arxiv.org/abs/2104.03670)에서 사용한 프레임워크를 확장하여 포인트 클라우드의 각 포인트에 RGB 색상을 포함시켰다.
-- 포인트 클라우드를 K x 6 형태의 텐서로 나타내며 (K: 포인트 수), 내부 차원은 (x,y,z) 좌표와 (R,G,B) 색상을 포함한다.
-- 모든 좌표와 색상은 [-1, 1] 범위로 정규화 된다.
-- K x 6 형태의 랜덤한 노이즈에서 시작하여 이를 점진적으로 디노이징하여 텐서를 직접 생성한다.
-- 기존 3D 전용 구조를 활용하던 이전 방법들과 달리, 본 논문에서는 트랜스포머 기반 모델을 사용한다. 모델은
-이미지, 타임 스텝 t, 노이즈가 있는 포인트 클라우드 $x_t$를 조건으로 받아 $\epsilon$과 $\sum$을 예측한다.
-- 모델 구조
-
- :::{figure-md}
-
-
- Point-E 모델 구조
- :::
-
- - 포인트 클라우드의 각 포인트를 출력 차원이 D인 선형 레이어(linear layer)에 넣어 K×D 입력 텐서를 얻고 모델에 입력 컨텍스트로 사용한다. 또한 작은 MLP에 타임스텝 t를 넣어 컨텍스트 앞에 추가할 다른 D차원 벡터를 얻는다.
- - 이미지를 조건으로 입력 받기 위해, 사전 학습된 ViT-L/14 CLIP 모델에 이미지를 입력하고 이 CLIP 모델의 마지막 레이어의 임베딩을 가져온다. (shape: 256xD’), 이를 선형 투사(lienarly project)하여 256xD shape의 또 다른 텐서를 얻고 이를 트랜스포머 컨텍스트 앞에 추가한다. → 이 방법이 단일 CLIP 이미지 또는 텍스트 임베딩을 사용하는 것보다 우수했다.
- - 최종 입력 컨텍스트는 (K+257) x D의 shape가 된다. 길이 K의 최종 출력 시퀀스를 얻기 위해 최종 토큰 K개를 가져오고 이를 프로젝션하여 입력 포인트 K개에 대한 ε와 Σ 예측을 얻는다.
-
-
-
-- 이 모델에서는 positional encoding을 사용하지 않는다. 따라서 모델 자체는 입력 포인트 클라우드에 대해 순열 분별(permutation-invariant)하다.
-
-## 4.4 **Point Cloud Upsampler**
-
-- 이미지 디퓨전 모델에서의 계층 구조
- - 이미지 디퓨전 모델의 경우 가장 좋은 품질은 일반적으로 계층 구조를 사용하는 방식으로 달성된다.
- - 이 방식에서는 저해상도의 기본 모델이 출력을 생성한 후, 이를 다른 모델이 업샘플한다.
-
- → 포인트 클라우드 생성에 이 접근 방식을 사용
-
-- 포인트 클라우드 생성에서의 계층 구조
- - 큰 베이스 모델로 1K 포인트를 생성한 후, 작은 업샘플링 모델을 사용하여 4K 포인트로 업샘플링 한다.
- - 모델 크기가 같을 때, 4K 포인트를 생성하는 데에는 1K 포인트를 생성할 때보다 네 배 더 많은 연산을 필요로 한다.
-- 업샘플러
- - 업샘플러는 베이스 모델과 동일한 아키텍처를 사용한다.
- - 모델은 저해상도 포인트 클라우드 모델과 동일한 아키텍처를 사용한다.
- - 저해상도 포인트 클라우드를 입력 받기 위한 추가 컨디셔닝 토큰이 있다.
- - 1K 포인트를 조건으로 입력 받아 추가로 3K 포인트를 생성하여 저해상도 포인트 클라우드에 추가한다.
- - $x_t$에 사용된 레이어가 아닌 별도의 선형 임베딩 레이어를 통해 저해상도 포인트를 전달하여, 모델이 positional encoding을 사용할 필요 없이 조건부 정보와 새로운 포인트를 구별할 수 있도록 한다.
-
-## 4.5 Producing Meshes
-
-- 렌더링 기반 평가를 위해 생성된 포인트 클라우드를 직접 렌더링하지 않는다.
-- 대신, 포인트 클라우드를 텍스처가 입혀진 메쉬로 변환하고 Blender를 사용해 이러한 메쉬를 렌더링한다.
-- 포인트 클라우드에서 메쉬를 생성하는 것은 때때로 어렵고, 본 논문의 모델이 생성한 포인트 클라우드는 종종 균열, 이상치 또는 기타 유형의 노이즈를 가지고 있어 더욱 어렵다.
-- 포인트 클라우드에서 메쉬를 생성하기 위해 사전 학습된 SAP모델을 사용해봣으나 포인트 클라우드에 존재했던 큰 부분이나 중요한 세부 사항을 잃어버리는 경우가 있었다.
-- 따라서 본 논문에서는 회귀(regression) 기반 모델을 사용하여 signed distance field를 예측하고, 이를 merching cube 알고리즘을 적용하여 메쉬를 추출했다.
-- 그런 다음 원래 포인트 클라우드에서 가장 가까운 점의 색을 사용하여 메쉬의 각 버텍스에 색을 할당했다.
-
-
-
-# 5. Results
-
-- 평가 지표: CLIP R-Precision, P-IS, P-FID
- - CLIP R-Precision
- - 특정 객체를 기준으로 하여 모델이 텍스트 설명과 얼마나 잘 일치하는지를 평가하는 지표
- - 계산하는 과정
- - 생성된 이미지와 텍스트 프롬프트를 기반으로 CLIP 모델을 사용하여 각 이미지의 텍스트 임베딩을 계산한다.
- - CLIP 모델에서 계산된 텍스트 임베딩과 이미지 임베딩 간의 유사도를 계산한다.
- - 유사도가 가장 높은 상위 R개의 이미지 중 실제로 맞는 이미지의 비율을 계산한다.
- - P-IS, P-FID
- - 포인트 클라우드의 Inception Score와 FID를 평가하기 위해 본 논문에서 도입한 지표
- - 수정된 PointNet++ 모델을 사용하여 포인트 클라우드에서 특징을 추출하고 클래스 확률을 에측
-
-## 5.1 **Model Scaling and Ablations**
-
-저자들은 다음과 같은 베이스 모델에 대하여 학습 중에 생성한 샘플들로 평가하였다.
-
-- 40M (uncond.): 어떠한 조건 정보도 없는 작은 모델
-- 40M (text vec.): 텍스트 캡션에만 의존하는 작은 모델 (이미지 사용 x), 파인튜닝된 GLIDE 모델 활용 x
-- 40M (image vec.): 렌더링된 이미지의 CLIP 이미지 임베딩에 의존하는 작은 모델, 단일 CLIP 임베딩 사용
-- 40M: CLIP 잠재 그리드(latent grid)를 통한 전체 이미지 조건을 사용하는 작은 모델
-- 300M: CLIP 잠재 그리드를 통한 전체 이미지 조건을 사용하는 중간 모델
-- 1B: CLIP 잠재 그리드를 통한 전체 이미지 조건을 사용하는 큰 모델
-
-평가 결과는 아래 그래프와 같다.
-
-:::{figure-md}
-
-
-평가 결과
-:::
-
-- 결과
- - 텍스트 조건만 사용하고 텍스트에서 이미지로의 단계가 없는 경우 CLIP R-Precision이 매우 나쁘게 나오는 것을 발견
- - 이미지를 조건으로 사용할 때 단일 CLIP 임베딩보다 임베딩 그리드를 사용하는 것이 성능이 더 나은 것을 발견 → 조건 이미지에 대해 더 많은 (공간적인) 정보를 보는 것이 포인트 클라우드 모델에 이점이 있음을 시사
- - 모델의 스케일을 증가시키면 P-FID 수렴 속도가 향상되고 최종 CLIP R-Precision이 증가하는 것을 발견
-
-## 5.2 Qualitative Results
-
-- 포인트 클라우드 생성 결과
- :::{figure-md}
-
-
- 포인트클라우드 생성 결과
- :::
-
-
-- Point·E 모델이 복잡한 프롬프트에 대해 종종 일관된 고품질의 3D 형상을 생성할 수 있다는 것을 발견했다.
-- 때때로 포인트 클라우드 디퓨전 모델은 조건화된 이미지를 이해하지 못하거나 예측할 수 없는 경우가 있다. 이는 주로 두 가지 문제 중 하나로 인해 발생한다.
-
- :::{figure-md}
-
-
- 잘못 추론한 예시
- :::
-
-
- 1. 모델이 이미지에 나타난 객체의 모양을 잘못 해석하는 경우
- 2. 모델이 이미지에서 가려진 형상의 일부를 잘못 추론하는 경우
-
-## **5.3 Comparison to Other Methods**
-
-- CLIP-R-Precision 지표를 이용하여 Point·E를 다른 3D 생성 기술과 비교했다.
-
- :::{figure-md}
-
-
- CLIP-R-Precision 성능
- :::
-
-- Point·E는 state-of-the-art 기술(DreamFusion)보다 성능이 좋지 않지만, 이 불일치의 일부를 설명할 수 있는 이 평가의 두 가지 미묘한 점에 주목해야 한다.
- 1. DreamFusion과 같은 멀티뷰 최적화 기반 방법과 달리 Point·E는 텍스트 프롬프트와 일치하도록 모든뷰를 명시적으로 최적화하지 않는다. 특정 객체가 모든 각도에서 쉽게 식별되지 않을 수 있기 때문에 CLIP R-Precision이 낮아질 수 있다.
- 2. 본 논문의 방법은 렌더링 전에 포인트 클라우드를 전처리해야 하는데, 포인트 클라우드를 메쉬로 변환하는 것은 어려운 문제다. 본 논문이 사용하는 접근 방식은 때때로 포인트 클라우드 자체에 있는 정보를 잃을 수 있다.
-- Point·E는 최신 테크닉보다 이 평가에서 성능이 좋지 않지만 짧은 시간 내에 샘플을 생성한다.
-- 이를 통해 보다 실용적으로 응용 프로그램을 만들거나 많은 개체를 샘플링하고 최상의 개체를 휴리스틱을 따라 선택하여 고품질 3D 개체를 찾을 수 있다.
-
-# **6. Limitations and Future Work**
-
-- 합성 렌더링을 필요로 한다. → 향후 실제 세계 이미지를 조건으로 하는 3D 생성기를 훈련시켜 해결할 수 있을 것
-- 색상이 있는 3D 형태를 생성하지만, 이 과정은 비교적 낮은 해상도의 3D 형식(포인트 클라우드)로 이루어진다. 형상이나 질감의 세부 사항을 캡처하지 못한다. → 메쉬나 NeRF와 같은 고해상도 3D 표현을 생성하도록 확장하면 해결할 수 있을 것
-- 최적화 기반 기술(optimization-based techniques)을 초기화하여 초기 수렴 속도를 높이는 데 사용할 수 있다.
-- 이 모델이 DALL·E 2 시스템과 많은 제한 사항을 공유할 것으로 예상한다. (데이터셋에서 야기된 많은 편향을 포함할 수 있다)
-- 모델이 생성한 3D 모델이 실제로 물리적으로 제작될 때, 그 제품이 위험할 수 있는 물체의 청사진을 생성할 수 있다.
-
- :::{figure-md}
-
-
- Figure 6
- :::
-
-
-# 7. Conclusion
-
-- Point·E는 합성된 뷰를 생성하고 이를 기반으로 조건화된 색상 포인트 클라우드를 생성하는 텍스트 조건 합성 시스템이다.
-- Point·E가 텍스트 프롬프트에 의해 조건화된 다양하고 복잡한 3D 형상을 효율적으로 생성할 수 있는 능력을 갖추고 있다는 것을 발견했다.
+```{admonition} Information
+- **Title:** Point-E: A System for Generating 3D Point Clouds from Complex Prompts (Arxiv 2022)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2212.08751](https://arxiv.org/abs/2212.08751)
+ - Project: [https://openai.com/index/point-e/](https://openai.com/index/point-e/)
+
+- **Author:** [Jeonghwa Yoo](https://www.linkedin.com/in/jeonghwa-yoo-8403a716b)
+
+- **Last updated on Sep. 11, 2024**
+```
+
+# Point-E: A System for Generating 3D Point Clouds from Complex Prompts (Arxiv 2022)
+
+
+
+
+# Abstract
+
+- 제안 배경
+ - 최근 텍스트 조건부 3D 객체 생성 기술(text-conditional 3D object generation)이 놀라운 발전을 보이고 있다.
+ - 하지만, SOTA 모델들은 여전히 하나의 샘플을 만들기 위해 여러 GPU 시간을 요구하고 있다.
+ - 본 논문에서는 단일 GPU에서 1~2분만에 3D 모델을 생성하는 3D 객체 생성을 위한 방법을 탐색한다.
+- 접근법
+ - 텍스트-이미지 디퓨전 모델을 사용하여 단일 합성 뷰를 생성한 다음 두 번째 디퓨전 모델을 사용하여 3D 포인트 클라우드를 생성한다.
+- 결과
+ - 샘플 품질 측면에서 SOTA 성능이 아니지만, 샘플링 속도가 1~2배 더 빠르다.
+
+# 1. Introduction
+
+- Text-to-image 생성 모델에서 text-to-vide/3D로의 발전
+ - 최근 text-to-image 생성 모델이 폭발적으로 증가함에 따라 몇 초만에 자연어에서 고품질 이미지를 생성하고 수정할 수 있게 되었다.
+ - 이러한 결과에 영감을 받아 최근 연구에서는 비디오나 3D 객체와 같은 다른 도메인에서의 텍스트 조건부 생성을 탐색하고 있다.
+ - 본 논문도 text-to-3D 생성 문제에 중점을 둔다.
+- 최근 text-to-3D 합성의 분류
+ - 최근 text-to-3D 합성은 일반적으로 다음의 두 카테고리 중 하나에 속한다.
+ 1. 쌍을 이룬(paired)(ex: text, 3D) 데이터 또는 레이블이 없는(unlabeld) 3D 데이터에서 생성 모델을 직접(directly) 학습 시키는 방법
+ 1. 장점: 기존 생성 모델링 접근 방식을 활용하여 샘플을 효율적으로 생성할 수 있다.
+ 2. 단점: 대규모 3D 데이터셋이 없기 때문에 다양하고 복잡한 텍스트 프롬프트로 확장하기 어렵다. → 데이터셋의 한계, 확장성의 어려움
+ 2. 사전 학습된 text-to-image 모델을 활용하여 미분가능한(differentiable) 3D 표현법들(representations)을 최적화하는 방법
+ 1. 장점: 복잡하고 다양한 텍스트 프롬프트를 처리할 수 있다.
+ 2. 단점:
+ 1. 각 샘플에 대해 최적화 과정을 거쳐야 하기 때문에 계산 비용이 많이 들고 시간이 오래 걸릴 수 있다. 샘플을 생성하는 데 비용이 많이 드는 최적화 프로세스가 필요하다.
+ 2. 강력한 3D prior가 없기 때문에 의미 있거나 일관된 3D 개체에 해당하지 않는 local minima에 빠질 수 있다.
+- 본 논문의 접근법
+
+ :::{figure-md}
+
+
+ Point-E 파이프라인 개요
+ :::
+
+ - Text-to-image 모델과 image-to-3D 모델을 결합하여 두카테고리의 장점을 합치는 것을 목표로 한다.
+ - 본 논문의 text-to-image 모델
+ - 대규모(텍스트, 이미지)쌍 데이터를 활용하여 다양하고 복잡한 프롬프트를 따를 수 있게 한다.
+ - 3D 렌더링에 대해 파인튜닝된 GLIDE 버전을 사용한다.
+ - 본 논문의 image-to-3D 모델
+ - 소규모의(이미지,3D)쌍 데이터로 학습된다.
+ - RGB 포인트 클라우드를 생성하는 디퓨전 모델의 스택을 사용한다. (새로운 transformer 기반 아키텍처 사용)
+ - 생성된 포인트 클라우드에서 메쉬를 생성하기 위해 회귀 기반(regression-based) 접근 방식을 사용한다.
+ - 먼저 text-to-image 모델을 사용하여 이미지를 샘플링하고, 샘플링된 이미지를 조건으로 넣어 3D 객체를 샘플링한다.
+ - 이 두 단계 모두 몇 초 내에 수행될 수 있으며, 비용이 많이 드는 최적화 과정을 필요로 하지 않는다.
+- 본 논문의 결과
+ - 간단한 텍스트 프롬프트뿐만 아니라 복잡한 텍스트 프롬프트와도 일치하는 컬러 3D 포인트 클라우드를 생성할 수 있었다.
+
+ → 포인트 클라우드를 효율적으로 생성한다는 의미에서 본 논문의 시스템을 Point E라고 명칭하였다.
+
+
+# 2. Background
+
+- 디퓨전 모델 개요:
+ - 점진적으로 Gaussian 노이즈를 추가하는 과정을 통해 데이터를 변형한다.
+ - 본 논문에서는 Ho et al. (2020)의 Gaussian 확산 설정을 따른다.
+- 노이즈 프로세스
+ - 노이즈 프로세스는 시간 단계 t마다 신호에 Gaussian 노이즈를 추가한다.
+ - 최종 단계에서는 샘플이 거의 정보를 포함하지 않게 된다.
+- 역 노이즈 프로세스
+ - 랜던 가우시안 노이즈 $x_T$에서 시작하여 점진적으로 노이즈 프로세스를 역으로 진행하여 잡음이 없는 샘플 $x_0$에 도달할 수 있다.
+- 모델 학습
+ - q(xt−1|xt)를 신경망 pθ(xt−1|xt)로 근사하여 학습한다.
+ - Nichol & Dhariwal (2021)은 평균뿐만 아니라 분산도 예측하여 더 나은 성능을 얻었다.
+- 샘플링
+ - 디퓨전 샘플링은 미분 방정식 관점에서 설명될 수 있으며, 이를 통해 다양한 SDE 및 ODE 해석기를 사용하여 이러한 모델에서 샘플링할 수 있다.
+ - 본 논문에서는 Karras et al. (2022)의 2차 ODE 해석기를 사용한다.
+- 가이드 전략
+ - Dhariwal & Nichol (2021)은 분류기 가이던스(classifier guidance)를 도입하여 생성 충실도를 높였다.
+ - Ho & Salimans (2021)은 분류기 없는 가이던스(classifier-free guidance)를 도입하여 조건부 정보를 무작위로 삭제한다.
+ - 본 논문에서는 학습 시 드롭 확률 0.1을 사용하여 이 기술을 적용한다.
+
+# 3. Related Work
+
+- 포인트 클라우드 생성 모델:
+ - 다양한 연구들이 GAN, VAE, 플로우 모델, 디퓨전 모델 등을 사용하여 포인트 클라우드를 생성한다.
+ - 본 논문의 연구와 가장 유사한 PVD 모델은 단일 디퓨전 모델을 사용하여 포인트 클라우드 직접 생성한다.
+ - 본 논문에서는 더 간단한 트랜스포머 기반 아키텍처를 사용하며, RGB 채널을 함께 생성하는 점에서 차별점을 가진다.
+- 다른 3D 표현을 사용한 모델 생성:
+ - 2D 이미지 데이터셋에서 3D 인식 GAN을 학습하거나, 직접 3D 메쉬를 생성하는 연구들이 있다.
+ - 이러한 연구들은 주로 새로운 뷰 합성 문제에 초점을 맞추지만, 전체 360도 뷰를 재구성하려고 하지는 않는다.
+- 텍스트 조건부 3D 생성:
+ - 몇몇 연구들은 텍스트-이미지 매칭 목표에 따라 3D 표현을 최적화하는 접근 방식을 탐구한다.
+ - 이러한 접근 방식들은 다양한 복잡한 객체나 장면을 생성할 수 있지만, 최적화 절차가 매우 시간이 많이 걸린다.
+- 텍스트-3D 데이터 활용:
+ - 텍스트-3D 쌍 데이터를 사용하여 텍스트 조건부 3D 모델을 생성하는 연구들도 있다.
+ - 많은 연구들이 단순한 프롬프트나 좁은 객체 카테고리에 한정되지만, 본 논문에서는 사전 학습된 텍스트-이미지 모델을 활용하여 이러한 문제를 해결한다.
+- 이미지 기반 3D 재구성:
+ - 단일 또는 소수의 이미지에서 3D 모델을 재구성하는 회귀 기반 및 생성 접근 방식이 있.
+ - 이들 접근 방식은 불충분한 문제를 다루면서도 유망한 결과를 보여주고 있다.
+
+# 4. Method
+
+- 텍스트를 조건으로 받아 단일 생성 모델로 포인트 클라우드를 직접 생성하는 대신 생성 프로세스를 세 단계로 나눈다.
+ 1. ‘텍스트 캡션’을 조건으로 받아 ‘합성 뷰’를 생성한다. → *4.2 내용*
+ 1. GLIDE 모델 사용
+ 2. 렌더링된 3D 모델로 파인튜닝
+ 2. ‘합성 뷰’를 조건으로 받아 ‘대략적인(coarse) 포인트 클라우드(1024개의 포인트)’를 생성한다 → *4.3 내용*
+ 1. 조건부 순열 불변 디퓨전 모델(conditional, permutation invariant diffusion model) 사용
+ 3. ‘저해상도 포인트 클라우드와 합성 뷰’를 조건으로 받아 ‘고해상도 포인트 클라우드(4096 포인트)’를 생성한다. → *4.4 내용*
+ 1. 2에서 사용된 모델과 유사하지만 저해상도 포인트 클라우드를 조건으로 하는 더 작은 디퓨전 모델을 사용
+- 수백만 개의 3D 모델과 관련 메타데이터로 구성된 데이터셋에서 모델을 훈련시킨다.
+- 데이터셋을 렌더링된 뷰, 텍스트 설명, 그리고 각 점에 대한 RGB 색상을 포함하는 3D 포인트 클라우드로 처리한다.
+
+## 4-1. Dataset
+
+- 수백만 개의 3D 모델은 데이터 형식과 품질이 데이터셋 전반에 걸쳐 매우 다양했고, 더 높은 데이터 품질을 보장하기 위해 다양한 후처리 단계가 필요했다.
+- 후처리 단계
+ 1. Blender를 사용하여 모든 데이터를 하나의 일반적인 형식(RGBAD 이미지)으로 변환한다.
+ 1. Blender: 다양한 3D 형식을 지원하며 최적화된 렌더링 엔진을 제공하는 프로그램
+ 2. RGBAD 이미지: RGB 이미지에 깊이(Depth)와 알파(Alpha) 채널이 추가된 형식의 이미지
+ 3. 20개의 랜덤한 카메라 각도에서 각 3D 모델을 경계 상자(bounding cube)로 정규화하고 표준 조명 설정을 구성한 후, blender의 내장된 실시간 렌더링 엔진을 사용하여 RGBAD 이미지를 내보냈다.
+ 2. 각 객체를 렌더링을 사용해 색상이 있는 포인트 클라우드로 변환한다.
+ 1. 각 RGBAD 이미지의 각 픽셀에 대한 점을 계산하여 각 객체에 대한 밀집된(dense) 포인트 클라우드를 구성한다.
+ 2. 이러한 포인트 클라우드는 일반적으로 고르게 분포되어 있지 않으므로, 가장 먼 점 샘플링을 사용하여 4K 점의 균일한 클라우드를 생성한다.
+ 3. 렌더링에서 직접 포인트 클라우드를 구성함으로써, 3D 메쉬에서 직접 점을 샘플링할 때 발생할 수 있는 여러 가지 문제를 피할 수 있었다. (모델 내부에 포함된 점을 샘플링하는 문제, 이상한 파일 형식의 3D 모델로 인한 문제)
+ 3. 저품질 모델을 제거하기 위해 다양한 휴리스틱을 사용한다.
+ 1. 각 포인트 클라우드의 SVD를 계산하고, 가장 작은 특이값이 일정 임계값(threshold) 이상인 경우에만 유지함으로써 평평한 객체를 제거했다.
+ 2. 다음으로, CLIP 특성에 따라 데이터셋을 클러스터링 했다. (일부 클러스터는 많은 저품질 모델 카테고리를 포함하는 반면, 다른 클러스터는 더 다양하거나 해석 가능한 것으로 나타났음)
+ 3. 클러스터를 여러 가지 품질의 버킷으로 나누고, 최종 데이터셋으로서 결과 버킷의 가중치 혼합을 사용했다.
+
+## 4.2 View Synthesis GLIDE Model
+
+- ‘텍스트 캡션’을 조건으로 받아 ‘합성 뷰’를 생성하는 모델
+- 4.3에서 설명할 포인트 클라우드 모델은 모두 동일한 렌더러와 동일한 조명 설정을 사용하여 생성된 데이터셋의 렌더링된 뷰를 조건으로 받는다.
+- 따라서 해당 파트에서는 데이터셋의 분포와 일치하는 3D 렌더를 명시적으로 생성하고자 하였다.
+- 이를 위해 GLIDE를 원래의 데이터셋과 저자들의 3D 렌더링 데이터셋을 혼합하여 파인튜닝 하였다.
+ - 저자들의 3D 렌더링 데이터셋이 원래 GLIDE 학습셋에 비해 작기 때문에 3D 렌더링 데이터셋에서 이미지를 샘플링하는 비율을 5%로만 설정하고, 나머지 95%는 원래의 데이터셋을 사용했다.
+ - 반복(iterations) 횟수는 100,000번의 설정 하였으며, 이는 모델이 3D 데이터셋을 여러 번 거치는 학습을 진행했음을 의미한다. (단, 동일한 렌더링된 시점을 두 번 사용하지 않았다.)
+- 테스트 시간에는 항상 분포 내 렌더를 샘플링하기 위해, 모든 3D 렌더의 텍스트 프롬프트에 특별한 토큰을 추가하여 이 토큰을 사용하여 샘플링을 수행하였다.
+
+## 4.3 **Point Cloud Diffusion**
+
+- ‘합성 뷰’를 조건으로 받아 ‘대략적인(coarse) 포인트 클라우드(1024개의 포인트)’를 생성하는 모델
+- 디퓨전을 이용해 포인트 클라우드를 사용하기 위해 [3D Shape Generation and Completion through Point-Voxel Diffusion](https://arxiv.org/abs/2104.03670)에서 사용한 프레임워크를 확장하여 포인트 클라우드의 각 포인트에 RGB 색상을 포함시켰다.
+- 포인트 클라우드를 K x 6 형태의 텐서로 나타내며 (K: 포인트 수), 내부 차원은 (x,y,z) 좌표와 (R,G,B) 색상을 포함한다.
+- 모든 좌표와 색상은 [-1, 1] 범위로 정규화 된다.
+- K x 6 형태의 랜덤한 노이즈에서 시작하여 이를 점진적으로 디노이징하여 텐서를 직접 생성한다.
+- 기존 3D 전용 구조를 활용하던 이전 방법들과 달리, 본 논문에서는 트랜스포머 기반 모델을 사용한다. 모델은
+이미지, 타임 스텝 t, 노이즈가 있는 포인트 클라우드 $x_t$를 조건으로 받아 $\epsilon$과 $\sum$을 예측한다.
+- 모델 구조
+
+ :::{figure-md}
+
+
+ Point-E 모델 구조
+ :::
+
+ - 포인트 클라우드의 각 포인트를 출력 차원이 D인 선형 레이어(linear layer)에 넣어 K×D 입력 텐서를 얻고 모델에 입력 컨텍스트로 사용한다. 또한 작은 MLP에 타임스텝 t를 넣어 컨텍스트 앞에 추가할 다른 D차원 벡터를 얻는다.
+ - 이미지를 조건으로 입력 받기 위해, 사전 학습된 ViT-L/14 CLIP 모델에 이미지를 입력하고 이 CLIP 모델의 마지막 레이어의 임베딩을 가져온다. (shape: 256xD’), 이를 선형 투사(lienarly project)하여 256xD shape의 또 다른 텐서를 얻고 이를 트랜스포머 컨텍스트 앞에 추가한다. → 이 방법이 단일 CLIP 이미지 또는 텍스트 임베딩을 사용하는 것보다 우수했다.
+ - 최종 입력 컨텍스트는 (K+257) x D의 shape가 된다. 길이 K의 최종 출력 시퀀스를 얻기 위해 최종 토큰 K개를 가져오고 이를 프로젝션하여 입력 포인트 K개에 대한 ε와 Σ 예측을 얻는다.
+
+
+
+- 이 모델에서는 positional encoding을 사용하지 않는다. 따라서 모델 자체는 입력 포인트 클라우드에 대해 순열 분별(permutation-invariant)하다.
+
+## 4.4 **Point Cloud Upsampler**
+
+- 이미지 디퓨전 모델에서의 계층 구조
+ - 이미지 디퓨전 모델의 경우 가장 좋은 품질은 일반적으로 계층 구조를 사용하는 방식으로 달성된다.
+ - 이 방식에서는 저해상도의 기본 모델이 출력을 생성한 후, 이를 다른 모델이 업샘플한다.
+
+ → 포인트 클라우드 생성에 이 접근 방식을 사용
+
+- 포인트 클라우드 생성에서의 계층 구조
+ - 큰 베이스 모델로 1K 포인트를 생성한 후, 작은 업샘플링 모델을 사용하여 4K 포인트로 업샘플링 한다.
+ - 모델 크기가 같을 때, 4K 포인트를 생성하는 데에는 1K 포인트를 생성할 때보다 네 배 더 많은 연산을 필요로 한다.
+- 업샘플러
+ - 업샘플러는 베이스 모델과 동일한 아키텍처를 사용한다.
+ - 모델은 저해상도 포인트 클라우드 모델과 동일한 아키텍처를 사용한다.
+ - 저해상도 포인트 클라우드를 입력 받기 위한 추가 컨디셔닝 토큰이 있다.
+ - 1K 포인트를 조건으로 입력 받아 추가로 3K 포인트를 생성하여 저해상도 포인트 클라우드에 추가한다.
+ - $x_t$에 사용된 레이어가 아닌 별도의 선형 임베딩 레이어를 통해 저해상도 포인트를 전달하여, 모델이 positional encoding을 사용할 필요 없이 조건부 정보와 새로운 포인트를 구별할 수 있도록 한다.
+
+## 4.5 Producing Meshes
+
+- 렌더링 기반 평가를 위해 생성된 포인트 클라우드를 직접 렌더링하지 않는다.
+- 대신, 포인트 클라우드를 텍스처가 입혀진 메쉬로 변환하고 Blender를 사용해 이러한 메쉬를 렌더링한다.
+- 포인트 클라우드에서 메쉬를 생성하는 것은 때때로 어렵고, 본 논문의 모델이 생성한 포인트 클라우드는 종종 균열, 이상치 또는 기타 유형의 노이즈를 가지고 있어 더욱 어렵다.
+- 포인트 클라우드에서 메쉬를 생성하기 위해 사전 학습된 SAP모델을 사용해봣으나 포인트 클라우드에 존재했던 큰 부분이나 중요한 세부 사항을 잃어버리는 경우가 있었다.
+- 따라서 본 논문에서는 회귀(regression) 기반 모델을 사용하여 signed distance field를 예측하고, 이를 merching cube 알고리즘을 적용하여 메쉬를 추출했다.
+- 그런 다음 원래 포인트 클라우드에서 가장 가까운 점의 색을 사용하여 메쉬의 각 버텍스에 색을 할당했다.
+
+
+
+# 5. Results
+
+- 평가 지표: CLIP R-Precision, P-IS, P-FID
+ - CLIP R-Precision
+ - 특정 객체를 기준으로 하여 모델이 텍스트 설명과 얼마나 잘 일치하는지를 평가하는 지표
+ - 계산하는 과정
+ - 생성된 이미지와 텍스트 프롬프트를 기반으로 CLIP 모델을 사용하여 각 이미지의 텍스트 임베딩을 계산한다.
+ - CLIP 모델에서 계산된 텍스트 임베딩과 이미지 임베딩 간의 유사도를 계산한다.
+ - 유사도가 가장 높은 상위 R개의 이미지 중 실제로 맞는 이미지의 비율을 계산한다.
+ - P-IS, P-FID
+ - 포인트 클라우드의 Inception Score와 FID를 평가하기 위해 본 논문에서 도입한 지표
+ - 수정된 PointNet++ 모델을 사용하여 포인트 클라우드에서 특징을 추출하고 클래스 확률을 에측
+
+## 5.1 **Model Scaling and Ablations**
+
+저자들은 다음과 같은 베이스 모델에 대하여 학습 중에 생성한 샘플들로 평가하였다.
+
+- 40M (uncond.): 어떠한 조건 정보도 없는 작은 모델
+- 40M (text vec.): 텍스트 캡션에만 의존하는 작은 모델 (이미지 사용 x), 파인튜닝된 GLIDE 모델 활용 x
+- 40M (image vec.): 렌더링된 이미지의 CLIP 이미지 임베딩에 의존하는 작은 모델, 단일 CLIP 임베딩 사용
+- 40M: CLIP 잠재 그리드(latent grid)를 통한 전체 이미지 조건을 사용하는 작은 모델
+- 300M: CLIP 잠재 그리드를 통한 전체 이미지 조건을 사용하는 중간 모델
+- 1B: CLIP 잠재 그리드를 통한 전체 이미지 조건을 사용하는 큰 모델
+
+평가 결과는 아래 그래프와 같다.
+
+:::{figure-md}
+
+
+평가 결과
+:::
+
+- 결과
+ - 텍스트 조건만 사용하고 텍스트에서 이미지로의 단계가 없는 경우 CLIP R-Precision이 매우 나쁘게 나오는 것을 발견
+ - 이미지를 조건으로 사용할 때 단일 CLIP 임베딩보다 임베딩 그리드를 사용하는 것이 성능이 더 나은 것을 발견 → 조건 이미지에 대해 더 많은 (공간적인) 정보를 보는 것이 포인트 클라우드 모델에 이점이 있음을 시사
+ - 모델의 스케일을 증가시키면 P-FID 수렴 속도가 향상되고 최종 CLIP R-Precision이 증가하는 것을 발견
+
+## 5.2 Qualitative Results
+
+- 포인트 클라우드 생성 결과
+ :::{figure-md}
+
+
+ 포인트클라우드 생성 결과
+ :::
+
+
+- Point·E 모델이 복잡한 프롬프트에 대해 종종 일관된 고품질의 3D 형상을 생성할 수 있다는 것을 발견했다.
+- 때때로 포인트 클라우드 디퓨전 모델은 조건화된 이미지를 이해하지 못하거나 예측할 수 없는 경우가 있다. 이는 주로 두 가지 문제 중 하나로 인해 발생한다.
+
+ :::{figure-md}
+
+
+ 잘못 추론한 예시
+ :::
+
+
+ 1. 모델이 이미지에 나타난 객체의 모양을 잘못 해석하는 경우
+ 2. 모델이 이미지에서 가려진 형상의 일부를 잘못 추론하는 경우
+
+## **5.3 Comparison to Other Methods**
+
+- CLIP-R-Precision 지표를 이용하여 Point·E를 다른 3D 생성 기술과 비교했다.
+
+ :::{figure-md}
+
+
+ CLIP-R-Precision 성능
+ :::
+
+- Point·E는 state-of-the-art 기술(DreamFusion)보다 성능이 좋지 않지만, 이 불일치의 일부를 설명할 수 있는 이 평가의 두 가지 미묘한 점에 주목해야 한다.
+ 1. DreamFusion과 같은 멀티뷰 최적화 기반 방법과 달리 Point·E는 텍스트 프롬프트와 일치하도록 모든뷰를 명시적으로 최적화하지 않는다. 특정 객체가 모든 각도에서 쉽게 식별되지 않을 수 있기 때문에 CLIP R-Precision이 낮아질 수 있다.
+ 2. 본 논문의 방법은 렌더링 전에 포인트 클라우드를 전처리해야 하는데, 포인트 클라우드를 메쉬로 변환하는 것은 어려운 문제다. 본 논문이 사용하는 접근 방식은 때때로 포인트 클라우드 자체에 있는 정보를 잃을 수 있다.
+- Point·E는 최신 테크닉보다 이 평가에서 성능이 좋지 않지만 짧은 시간 내에 샘플을 생성한다.
+- 이를 통해 보다 실용적으로 응용 프로그램을 만들거나 많은 개체를 샘플링하고 최상의 개체를 휴리스틱을 따라 선택하여 고품질 3D 개체를 찾을 수 있다.
+
+# **6. Limitations and Future Work**
+
+- 합성 렌더링을 필요로 한다. → 향후 실제 세계 이미지를 조건으로 하는 3D 생성기를 훈련시켜 해결할 수 있을 것
+- 색상이 있는 3D 형태를 생성하지만, 이 과정은 비교적 낮은 해상도의 3D 형식(포인트 클라우드)로 이루어진다. 형상이나 질감의 세부 사항을 캡처하지 못한다. → 메쉬나 NeRF와 같은 고해상도 3D 표현을 생성하도록 확장하면 해결할 수 있을 것
+- 최적화 기반 기술(optimization-based techniques)을 초기화하여 초기 수렴 속도를 높이는 데 사용할 수 있다.
+- 이 모델이 DALL·E 2 시스템과 많은 제한 사항을 공유할 것으로 예상한다. (데이터셋에서 야기된 많은 편향을 포함할 수 있다)
+- 모델이 생성한 3D 모델이 실제로 물리적으로 제작될 때, 그 제품이 위험할 수 있는 물체의 청사진을 생성할 수 있다.
+
+ :::{figure-md}
+
+
+ Figure 6
+ :::
+
+
+# 7. Conclusion
+
+- Point·E는 합성된 뷰를 생성하고 이를 기반으로 조건화된 색상 포인트 클라우드를 생성하는 텍스트 조건 합성 시스템이다.
+- Point·E가 텍스트 프롬프트에 의해 조건화된 다양하고 복잡한 3D 형상을 효율적으로 생성할 수 있는 능력을 갖추고 있다는 것을 발견했다.
- 본 논문의 방식이 텍스트에서 3D로의 합성 분야에서의 추가적인 연구의 시작점으로 기여할 수 있기를 희망한다.
\ No newline at end of file
diff --git a/_sources/docs/review/ProlificDreamer.md b/_sources/docs/review/ProlificDreamer.md
index e4b83ef2..ddd1148a 100755
--- a/_sources/docs/review/ProlificDreamer.md
+++ b/_sources/docs/review/ProlificDreamer.md
@@ -1,398 +1,398 @@
-```{admonition} Information
-- **Title:** ProlificDreamer: High-Fidelity and Diverse Text-to-3D Generation with Variational Score Distillation (NeurIPS 2023 Spotlight)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2305.16213](https://arxiv.org/abs/2305.16213)
- - Code: [https://github.com/thu-ml/prolificdreamer?tab=readme-ov-file](https://github.com/thu-ml/prolificdreamer?tab=readme-ov-file)
-
-- **Author:** Kyeongmin Yu
-
-- **Last updated on Dec. 26, 2024**
-```
-
-
-# ProlificDreamer: High-Fidelity and Diverse Text-to-3D Generation with Variational Score Distillation
-
-- view generation이 가능한 DM의 특성을 3D rendering 모델로 전달하여 pretrained 된 DM이 생성하는 이미지 분포와 3D representaiton의 분포를 맞춰가는 것으로 Dream Fusion(SDS)과 유사하지만 개선된 아이디어(VSD)를 제안하고자한 논문이다.
-
-:::{figure-md}
-
-
-Prolific Dreamer Overview
-:::
-
-📌 **Prolific Dreamer 2-stage approach**
-
-1. optimize a high-resolution NeRF by **VSD**
-2. geometry optimization of mesh from NeRF with **SDS** (optional)
-
-appendix를 참고하면, triangle 크기가 비교적 클때 VSD와 SDS의 차이가 크지 않으므로 SDS를 사용했다고 하며, 더 섬세한 mesh의 경우 VSD가 SDS에 비해 표현력이 좋을것으로 믿는다고 함.
-
-
-:::{figure-md}
-
-
-ProlificDreamer vs. DreamFusion 정성적 결과
-:::
-
-:::{figure-md}
-
-
-ProlificDreamer vs. DreamFusion 정성적 결과
-:::
-
-
-# 1 Introduction
-
-고품질의 3D content를 생산하는 것은 품이 많이 드는 일이다. 이러한 어려움을 해결하기 위해 text-to-3D 방식이 발전하고 있다. texture 기술을 기반으로 3D content 생성을 자동화하는 방식은 유망하며 다양한 분야(encompassing architecture, animation, gaming, AR/VR) paradigm의 변화를 일으킬 수 있을 것이다.
-
-Diffusion model의 text-to-image 생성력을 바탕으로 3D content를 생성하려는 DreamFusion과 같은 시도가 있었다. Dream Fusion은 **Score Distillation Sampling(SDS)** 알고리즘을 이용해 단일 3D representation을 최적화 했다. 이는 어떤 방향에서 렌더링된 이미지라도 주어진 text에 대해 높은 likelihood를 갖도록 한것으로써 diffusion model에 의해 evaluate되었다. (diffusion model을 loss에 활용) 하지만 over-satuation, over-smoothing, low-diversity 문제가 발생했다. 또한 text-to-3D의 design space에서 orthogonal 한 요소(rendering resolution - distillation time schedule)들에 대한 파악이 아직 부족하다.
-
-본 논문에서는 섬세한 3D representation을 얻기 위해 이러한 모든 요소에 대해 systematic study를 진행한다. 먼저 **Variational Score Distillation(VSD)** 를 제안한다. 이는 주어진 textual prompt와 해당 3D scene을 하나의 random variable로 취급하며 하나의 점(single point)로 취급한 SDS와는 다르다. VSD는 3D scene의 분포를 최적화하며 이러한 분포는 모든 시점에 대해 rendered images의 분포가 서로 최대한 가까워지도록 한다. pretrained 2D diffusion model의 경우에는 KL divergence에 해당한다?! 이러한 variational formulation에서 VS는 multiple 3D scene을 하나의 prompt에 정렬할 수 있는 특성을 가질 수 있다.
-
-- 원문참고
-
- VSD optimizesa distribution of 3D scenes such that the distribution induced on images rendered from all views aligns as closely as possible, in terms of KL divergence, with the one defined by the pretrained 2D diffusion model (see Sec. 3.1). Under this variational formulation, VSD naturally characterizes the phenomenon that multiple 3D scenes can potentially align with one prompt.
-
-
-해당 variational formulation을 효율적으로 풀기 위해 VSD는 **particle-based variational inference**를 도입하고, 3D representation을 표현하기 위해 하나의 3D parameters 집합을 particles로 표현하였다. **Wasserstein gradient flow**를 이용해 이러한 particles로 부터 새로운 gradient-based update rule을 이끌어 냈다. 이는 최적화 수렴 후, 해당 particles가 desired distribution으로 부터 sample된 것임을 보장한다. update 시에는 diffused rendered images의 분포의 score function이 필요한데 이는 **pretrained diffusion model + low-rank adaptation(LoRA)** 로 얻을 수 있었다. 최종적으로 particles과 score function을 업데이트 하는 형태가 된다.
-
-Sec 3.3에서 SDS는 variational distribution에 single-point Dirac distribution을 사용하는 VSD라고 볼 수 있음을 보인다. 이를 통해 SDS가 diversity가 fidelity가 낮은 이유를 알 수 있다. single particle만으로도 VSD는 parametric score model을 학습할 수 있고 잠재적으로 SDS보다 더 나은 생성 결과를 제공할 수 있다. 또한 동일한 렌더링 함수를 이용해 2D space에서 SDS와 VSD를 비교하여 3D 요소만 분리하여 비교한 결과를 담았다. diffusion model의 고전 샘플링 방식과 같이 VSD는 CFG의 가중치 조절을 통해 보다 사실적인 sample을 생성할 수 있다. 반면 SDS는 이전 text-to-3D연구과 유사한 over-saturation, over-smoothing문제를 보이는 부족한 결과를 보였다.
-
-:::{figure-md}
-
-
-Prolific Dreamer
-:::
-
-$$
-\delta(x)=\begin{cases}0, &{x!=0} \\ \infty, &{x=0} \end{cases}
-$$
-
-$$
-\int_{-\infty} ^\infty \delta(x) dx=1
-$$
-
-Sec 4는 text-to-3D 알고리즘의 orthogonal 요소들에 대한 추가적인 **systematically study**와 clear **design space**를 담고 있다. 특히 훈련과정 중 고화질 렌더링과 시각적 품질 개선을 위한 **annealed distilling time schedule**을 제안한다. 또한 복잡한 scene을 표현하기 위한 s**cene initialization**을 제안한다. 요소들에 대한 ablation study는 Sec 5에서 볼 수 있으며, 앞서 언급한 요소들은 VSD에 효과적임을 보인다. 결론적으로 high-fidelity, diverse 3D 결과를 얻을 수있으며 이를 **ProlificDreamer**라고 한다.
-
-Sec 5에서 ProlificDreamer의 고화질(512x512) rendering 능력과 rich structure와 complex effects를 Neural Radiance Fields(NeRF)상에서 표현할 수 있음을 보인다. ProlificDreamer는 다중 물체가 포함된 복잡한 scene의 360도 전방향을 성공적으로 표현하는 것에 처음으로 성공했다. 게다가 NeRF로 초기화 한 후 ProlificDreamer로 세세하고 photorealistic한 3D texture mesh들을 생성할 수있다.
-
-:::{figure-md}
-
-
-Prolific Dreamer 생성 결과
-:::
-
-# 2. Background
-
-### Diffusion models (DMs)
-
-**Score-Based Generative Modeling through Stochastic Differential Equations**
-
-- **forward process** $\{q_t\}_{t\in[0,1]}$ - gradually add noise to a data point $x_0\sim p_0(x_0)$
-
- $$
- q_t(x_t|x_0):=\mathcal N(\alpha_tx_0,\sigma_t^2 I)\\q_t(x_t):=\int q_t(x_t|x_0)q_0(x_0) dx_0
- $$
-
- $\alpha_t, \sigma_t >0$ 는 hyperparameter로 $\alpha_0\approx 1,\sigma_0\approx 0,\alpha_1\approx 0, \sigma_t\approx 1$ 이다.
-
-- **reverse process** $p_t$ - denoising from $p_1(x_1):=\mathcal N(0,I)$ by predicting the noise added to a clean data $x_0$
-
- noise prediction network $\epsilon_\phi(x_t,t)$을 학습하는 과정은 아래와 같다.
-
- $$
- \mathcal L_\text{Diff}(\phi):=\Bbb E_{x_0\sim q_0(x_0),t\sim\mathcal U(0,1),\epsilon \sim \mathcal N(o,I)}\Big[ \omega(t)\|\epsilon_\phi(\alpha_t x_0+\sigma_t\epsilon)-\epsilon\|_2^2\Big], \tag 1
- $$
-
- $\omega(t)$는 time dependent weighting function이다. 훈련이 끝나면 $p_t\approx q_t$ 가 되며 따라서 $p_0\approx q_0$ 으로 sample들을 그릴 수 있게 된다. 덧붙여 noise prediction network는 $p_t, q_t$ 의 score function을 approximating하는 데에도 사용가능하다. $\triangledown_{x_t}\text{log}q_t(x_t)\approx\triangledown_{x_t}\text{log}p_t(x_t)\approx-\epsilon_\phi(x_t,t)/\sigma_t$
-
-
-diffusion model이 가장 활발히 활용되고 있는 분야 중 하나는 text-to-image generation으로 text prompt $y$를 조건으로 noise를 예측한다. 또한 Classifier-free Guidence를 통해 샘플 품질과 다양성을 조절한다. guidance scale이 커질 수록 품질이 올라가지만 다양성이 감소하는 경향을 보인다.
-
-### **Text-to-3D by score distillation sampling**
-
-- **Score Distillation Sampling (SDS)** from DreamFusion
-- **Score Jacobian Chaining (SJC)** 라고도 불리며 Zero-1-to-3, Magic3d, Fantasia3d, Latent NeRF 등 다양한 연구에 활용되고 있다.
-
-사전학습된 T2I diffusion model $p_t(x_t|y)$과 noise prediction network $\epsilon_\text{pretrained}(x_t,t,y)$ 을 이용해 SDS는 single 3D representation의 parameter $\theta \in \Theta$를 최적화 한다. 이때 사용하는 metric은 **Euclidean metric**으로 $\Theta$는 Euclidean space이다.
-
-camera parameter $c$가 분포 $p(c)$를 따르고,
-differentiable rendering mapping $g(\cdot,c):\Theta \rightarrow \Bbb R^d$ 이 주어진다고 하자.
-$y^c$를 view dependent prompt라고 하면, rendering image $g(\theta,c)$에서 시작하는 forward diffusion process는 $q_t^\theta(x_t|c)$로 표현할 수 있다.
-
-SDS는 parameter $\theta$를 아래와 같이 최적화한다.
-
-$$
-\mathcal L_{\text{SDS}}(\theta):=\Bbb E_{t,c}\Big [\frac{\sigma_t}{\alpha_t}\space\omega(t)\space D_\text{KL}(q_t^\theta(x_t|c)\|p_t(x_t|y^c)\Big] \tag{2}
-$$
-
-$$
-\mathcal L_{\text{SDS}}(\theta)\approx\Bbb E_{t,\epsilon,c}\Big [\omega(t)\space \big(\epsilon_\text{pretrained}(x_t,t,y^c)-\epsilon\big)\frac{\partial g(\theta,c)}{\partial\theta}\Big] \tag{3}
-$$
-
-### 3D representations
-
-- **NeRF** → MLP
- - multilayer perceptron을 이용해 3D 객체를 표현한다. 3차원 공간상의 위치 정보를 입력하면 해당하는 색과 밀도를 얻을 수 있다. 이때 $\theta$는 MLP의 내부 파라미터를 의미한다.
- - 카메라 위치 $c$가 주어질때, rendering process $g(\theta,c)$는 casting rays로 정의되며 각 ray의 sampling points의 색을 가중합하여 각 픽셀의 값을 결정한다.
- - NeRF는 최적화 측면에서 유연하고 복잡한 장면도 표현가능하다. (매우 상대적인 표현으로 사료됨.)
-- **Textured mesh** → triangle mesh + texture
- - triangle mesh와 해당 mesh 표면의 texture, color로 3D 객체를 표현한다. 여기서 3D parameter $\theta$는 triangle meshes의 좌표와 texture parameter를 의미한다.
- - 카메라 위치 $c$가 주어질때, rendering process $g(\theta,c)$는 casting rays로 정의되며 각 ray가 지나는 mesh의 intersection의 색을 계산함으로써 각 픽셀의 값을 결정한다.
- - Textured mesh는 고화질 렌더링이 가능하고 differentiable rasterization을 이용하면 렌더링 속도가 빠르다.
-
-# 3. Variational Score Distillation
-
-:::{figure-md}
-
-
-Prolific Dreamer
-:::
-
-### 3.1 Sampling from 3D Distribution via Variational Inference
-
-3D represetation에 사용되는 parameter $\theta$들은 확률밀도 $\mu(\theta|y)$로 모델링 할 수 있다.
-$q_0^\mu(x_0|c,y)$는 rendered image $x_0;=g(\theta,c)$의 분포, $p_0(x_0|y^c)$는 $t=0$ 일때 marginal distribution이다.
-
-고품질의 3D representation을 얻기 위해서 distribution $\mu$를 최적화 하는 방법을 제안한다. 사전학습된 DM을 이용해 모든 view에 대한 rendered image sample과 distribution $\mu$를 정렬(align)하는 것은 아래와 같이 두 분포의 거리를 좁히는 것이라고 할 수 있다.
-
-$$
-\text{min}_\mu D_\text{KL}\big(q_0^\mu(x_0|c,y)\|p_0(x_0|y^c)\big) \tag{4}
-$$
-
-- SDS eq.2
-
- $$
- \mathcal L_{\text{SDS}}(\theta):=\Bbb E_{t,c}\Big [({\sigma_t}/{\alpha_t})\space\omega(t)\space D_\text{KL}(q_t^\theta(x_t|c)\|p_t(x_t|y^c)\Big] \tag{2}
- $$
-
-
-위의 식은 일반적인 variational inference problem으로 variational distribution $q_0^\mu(x_0|c,y)$을 target distribution $p_0(x_0|y^c)$으로 근사(distill)하는 방식을 사용한다.
-
-위의 식 4의 prob을 직접 푸는것은 복잡하고 비효율적이기 때문에 diffusion model을 이용해 series of optimization problem을 통해 해결하고자 한다. $t$가 $T$를 향해 점점 커질때, 위의 최적화 문제는 diffused distribution이 gaussian distribution에 가까워 지며 점점 쉬워진다.
-
-(기존 SDS 최적화 식의 parameter $\theta$가 distribution $\mu$로 바뀐 형태)
-
-$$
-\mu^*:=\text{argmin}_\mu\Bbb E_{t,c}\Big[ (\sigma_t/\alpha_t)\omega(t)D_{KL}(q_t^\mu(x_t|c,y)\|p_t(x_t|y^c))\Big] \tag5
-$$
-
-- SDS eq.2
-
- $$
- \mathcal L_{\text{SDS}}(\theta):=\Bbb E_{t,c}\Big [({\sigma_t}/{\alpha_t})\space\omega(t)\space D_\text{KL}(q_t^\theta(x_t|c)\|p_t(x_t|y^c)\Big] \tag{2}
- $$
-
-
-### 3.2 Update Rule for Variational Score Distillation
-
-식 5의 prob을 풀기위해 또 다른 생성모델을 훈련하여 풀 수 있는데 이는 resource가 많이 필요하고 최적화 과정이 복잡해진다. 앞선 particle-based variational inference 연구와 유사하게, n개의 3D particles를 유지하고 해당 particles을 위한 새로운 update rule을 제안한다. 즉, $\{\theta\}^n_{i=1}$을 현재 distribution $\mu$를 표현하기 위해 사용하는 것이다. $\theta^{(i)}$는 최적화 과정이 수렴되고 하면 최적 분포 $\mu^*$에서 샘플링된 것이 된다.
-
-$$
-\frac{d\theta_\tau}{d\tau}=-\Bbb E_{t,\epsilon,c}\Big[\omega(t)\big(-\sigma_t\triangledown_{x_t} \text{log}p_t(x_t|y^c)-(-\sigma_t\triangledown_{x_t}\text{log}q_t^{\mu_\tau}(x_t|c,y))\big)\frac{\partial g(\theta_\tau,c)}{\partial\theta_\tau} \tag 7
-$$
-
-$$
-\text{min}_{\phi}\sum^n_{i=1}\Bbb E_{t\sim\mathcal U(0,1),\epsilon\sim\mathcal N(o,I),c\sim p(c)}\Big[\|\epsilon_\phi(\alpha_tg(\theta^{(i)}),c)+\sigma_t\epsilon,t,c,y)-\epsilon\|^2_2\Big] \tag 8
-$$
-
-최종적으로는 아래와 같은 objective function을 얻는다.
-
-$$
-\triangledown_\theta\mathcal L_{VSD}(\theta)\triangleq\Bbb E_{t,\epsilon,c}\Big[\omega(t
-)(\epsilon_{\text{pretrain}}(x_t,t,y^c)-\epsilon_\phi(x_t,t,c,y))\frac{\partial g(\theta,c)}{\partial\theta}\Big]\tag {9}
-$$
-
-:::{figure-md}
-
-
-Prolific Dreamer
-:::
-
-### 3.3 Comparison with SDS
-
-**SDS as a special case of VSD**
-
-$$
-\mathcal L_{\text{SDS}}(\theta)\approx\Bbb E_{t,\epsilon,c}\Big [\omega(t)\space \big(\epsilon_\text{pretrained}(x_t,t,y^c)-\epsilon\big)\frac{\partial g(\theta,c)}{\partial\theta}\Big] \tag{SDS}
-$$
-
-$$
-\triangledown_\theta\mathcal L_{VSD}(\theta)\triangleq\Bbb E_{t,\epsilon,c}\Big[\omega(t
-)(\epsilon_{\text{pretrain}}(x_t,t,y^c)-\epsilon_\phi(x_t,t,c,y))\frac{\partial g(\theta,c)}{\partial\theta}\Big]\tag {VSD}
-$$
-
-SDS는 $\mu(\theta|y)\approx \delta(\theta-\theta^{(1)})$ 인 VSD의 special case에 해당한다. VSD는 potential mutliple particles일 뿐 아니라 parametric score function $\epsilon_\phi$도 학습하기 때문에 SDS와 동일하게 single particle을 사용해도 성능이 좋다. 또한 LoRA를 사용해 text prompt 로 부터 추가적으로 뽑아낸 정보를 estimation $\epsilon_\phi(x_t,t,c,y)$에 반영할 수 있다.
-
-:::{figure-md}
-
-
-particle이 뭘까? 느낌적인 느낌을 받아보자.
-:::
-
-
-**VSD is friendly to CFG**
-
-VSD는 사전학습된 diffusion model을 이용해 optimal $\mu^*$에서 sample $\theta$를 추출하고자 한다. 때문에 3D sampling에서 CFG를 tuning한 효과가 기존 2D이미지 생성시 DPM-solver에서 CFG 값을 조절하는 것과 유사하다. 그래서 CFG 값을 조절하면서 더 다양한 실험결과를 얻을 수 있게 된다. SDS도 이점은 마찬가지 이나, CFG 값이 클때만 유효한 3D content를 만들어 낼 수 있었다.
-
-**VSD vs. SDS in 2D experiments that isolate 3D representations**
-
-동일한 rendering 모델을 이용해 VSD와 SDS의 3D 표현력만 비교한 결과이다.
-
-:::{figure-md}
-
-
-particle이 뭘까? 느낌적인 느낌을 받아보자.
-:::
-
-
-
-
-particle 개수에 따른 생성 퀄리티 비교 (single particle을 사용할 때도 SDS보다 성능이 좋다고 함)
-:::
-
-:::{figure-md}
-
-
-2D 이미지 생성으로 비교한 VSD와 SDS의 생성 품질 차이 / SDS는 VSD에 비해 부드럽고 세부표현이 부족하다.
-:::
-
-
-:::{figure-md}
-
-
-gradient visualization에서도 SDS와 VSD의 차이점을 확인 할 수 있다.
-:::
-
-
-# 4. Prolific Dreamer
-
-### 4.1 Design Space of Text-to-3D Generation
-
-**two-stage approch**를 이용해 text-to-3D 생성의 design space를 개선하고자 했다.
-
-1. **First Stage** - optimize a high-resolution NeRF by VSD
-2. **Second Stage** - DMTet to extract textured mesh from NeRF
-
-:::{figure-md}
-Appendix의 실험결과
- -:::{figure-md} -
-
-particle 개수에 따른 생성 퀄리티 비교 (single particle을 사용할 때도 SDS보다 성능이 좋다고 함)
-:::
-
-:::{figure-md}
-
-
-2D 이미지 생성으로 비교한 VSD와 SDS의 생성 품질 차이 / SDS는 VSD에 비해 부드럽고 세부표현이 부족하다.
-:::
-
-
-:::{figure-md}
-
-
-gradient visualization에서도 SDS와 VSD의 차이점을 확인 할 수 있다.
-:::
-
-
-Prolific Dreamer와 다른 모델의 특성 비교
-:::
-
-### 4.2 3D Representation and Training
-
-:::{figure-md}
-
-
-Prolific Dreamer 수행 결과
-:::
-
-**High-resolution rendering for NeRF training** (in 1st stage)
-
-ProlificDreamer에서는 고화질 렌더링을 위해 **Instant NGP**를 사용했으며 VSD를 이용해 512 resolution 까지 NeRF를 최적화 했다. VSD를 사용함으로써 high-fidelity 결과를 얻을 수 있었다.
-
-- Instant NGP
-
-**Scene initialization for NeRF training** (in 1st stage)
-
-NeRF의 초기 density는 $\sigma_\text{init}(\mu)=\lambda_\sigma(1-\frac{\|\mu\|_2}{r})$로 초기화 한다. $\lambda$ 는 density strength, $r$ 는 density radius, $\mu$는 3d coordinate이다.
-
-object-centric scene에서는 Magic3D의 방식을 따랐으며($\lambda=10, r=0.5$),
-복잡한 scene의 경우 $\lambda=-10$ 로 하여 density가 거의 비어있도록 하고, $r$을 2.5로 하여 camera를 둘러 싸도록 했다.
-
-**Annealed time schedule for score distillation** (in 1st stage)
-
-단순한 2단계 annealing을 score distillation objective에 적용했다. 이는 SDS나 VSD 모두에 적용가능하다. 초기 몇 스텝에서는 $t\sim \mathcal U(0.02,0.98)$로 하고 이후에는 $t\sim \mathcal U(0.02,0.50)$로 설정했다.
-
-여기서 핵심은 $q_0^\mu(x_0|c,y)$와 $p_0(x_0|y^c)$를 맞추는 것인데 t가 커지면 KL divergence가 학습초기에 더 적당한 최적화 방향으로 갈 수 있다. t가 작으면 더 세부적인 조정이 가능하므로 $p_t(x^*|y^c)$와 $p_0(x^*|y^C)$의 차를 더 줄일 수 있다.
-
-**Mesh representation and fine-tuning** (in 2nd stage)
-
-coordinate-based hash grid encoder의 특성을 이용해 NeRF에서 mesh를 추출했다. Fantasia3D의 방법론을 따랐는데 여기서는 geometry와 texture를 분리하여 최적화했다. 첫번째로는 normal map을 이용해 geometry를 최적화하고 두번째로 texture를 최적화하는 식이다. 실험결과에서 이단계에서는 SDS와 VSD의 품질 차이가 크지않아 효율성을 위해 SDS를 사용했다. 하지만 Fantasia3D와 비교했을때 VSD 및 앞선 방법론을 이용해 최적화한 NeRF에서 뽑아낸 mesh는 SDS를 이용한 것보다 뛰어났다.
-
-# 5. Experiments
-
-### 5.1 Results of Prolific Dreamer
-
-
-
-
-particle 개수에 따른 생성 퀄리티 비교 (single particle을 사용할 때도 SDS보다 성능이 좋다고 함)
-:::
-
-:::{figure-md}
-
-
-2D 이미지 생성으로 비교한 VSD와 SDS의 생성 품질 차이 / SDS는 VSD에 비해 부드럽고 세부표현이 부족하다.
-:::
-
-
-:::{figure-md}
-
-
-gradient visualization에서도 SDS와 VSD의 차이점을 확인 할 수 있다.
-:::
-
-
-
-### 5.2 Ablation Study
-
-**Ablation on NeRF Training**
-
-64x64 rendering + SDS에서 시작하여 요소들을 추가하며 실험한 결과는 아래와 같다.
-:::{figure-md}
-Appendix의 실험결과
- -:::{figure-md} -
-
-particle 개수에 따른 생성 퀄리티 비교 (single particle을 사용할 때도 SDS보다 성능이 좋다고 함)
-:::
-
-:::{figure-md}
-
-
-2D 이미지 생성으로 비교한 VSD와 SDS의 생성 품질 차이 / SDS는 VSD에 비해 부드럽고 세부표현이 부족하다.
-:::
-
-
-:::{figure-md}
-
-
-gradient visualization에서도 SDS와 VSD의 차이점을 확인 할 수 있다.
-:::
-
-
-Prolific Dreamer 실험 결과
-:::
-
-**Ablation on mesh fine-tuning**
-
-:::{figure-md}
-
-
-Prolific Dreamer 실험 결과
-:::
-
-**Ablation on CFG**
-
-CFG 값이 작으면 diversity 상승, CFG 값이 크면 비교적 diversity가 하락하는 실험결과를 얻음. VSD의 경우 CFG 값이 작을때에도 좋은 품질의 3D content를 생성할 수있기 때문에 충분한 diversity의 결과를 얻을 수 있지만 SDS의 경우 CFG 값이 커야만 괜찮은 3D content를 생성하기 때문에 diversity가 하락할 수밖에 없음.
-
-:::{figure-md}
-
-
-Prolific Dreamer 실험 결과
-:::
-
-:::{figure-md}
-
-
-Prolific Dreamer 실험 결과
-:::
-
-:::{figure-md}
-
-
-Prolific Dreamer 실험 결과
-:::
-
-
- 📌개인적 감상
-
- GAN : WGAN = DreamFusion : ProlificDreamer
-
- GAN : Diffusion = DreamFusion : ProlificDreamer
-
-
-# Future Work
-
-- GECO
+```{admonition} Information
+- **Title:** ProlificDreamer: High-Fidelity and Diverse Text-to-3D Generation with Variational Score Distillation (NeurIPS 2023 Spotlight)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2305.16213](https://arxiv.org/abs/2305.16213)
+ - Code: [https://github.com/thu-ml/prolificdreamer?tab=readme-ov-file](https://github.com/thu-ml/prolificdreamer?tab=readme-ov-file)
+
+- **Author:** Kyeongmin Yu
+
+- **Last updated on Dec. 26, 2024**
+```
+
+
+# ProlificDreamer: High-Fidelity and Diverse Text-to-3D Generation with Variational Score Distillation
+
+- view generation이 가능한 DM의 특성을 3D rendering 모델로 전달하여 pretrained 된 DM이 생성하는 이미지 분포와 3D representaiton의 분포를 맞춰가는 것으로 Dream Fusion(SDS)과 유사하지만 개선된 아이디어(VSD)를 제안하고자한 논문이다.
+
+:::{figure-md}
+
+
+Prolific Dreamer Overview
+:::
+
+📌 **Prolific Dreamer 2-stage approach**
+
+1. optimize a high-resolution NeRF by **VSD**
+2. geometry optimization of mesh from NeRF with **SDS** (optional)
+
+appendix를 참고하면, triangle 크기가 비교적 클때 VSD와 SDS의 차이가 크지 않으므로 SDS를 사용했다고 하며, 더 섬세한 mesh의 경우 VSD가 SDS에 비해 표현력이 좋을것으로 믿는다고 함.
+
+
+:::{figure-md}
+
+
+ProlificDreamer vs. DreamFusion 정성적 결과
+:::
+
+:::{figure-md}
+
+
+ProlificDreamer vs. DreamFusion 정성적 결과
+:::
+
+
+# 1 Introduction
+
+고품질의 3D content를 생산하는 것은 품이 많이 드는 일이다. 이러한 어려움을 해결하기 위해 text-to-3D 방식이 발전하고 있다. texture 기술을 기반으로 3D content 생성을 자동화하는 방식은 유망하며 다양한 분야(encompassing architecture, animation, gaming, AR/VR) paradigm의 변화를 일으킬 수 있을 것이다.
+
+Diffusion model의 text-to-image 생성력을 바탕으로 3D content를 생성하려는 DreamFusion과 같은 시도가 있었다. Dream Fusion은 **Score Distillation Sampling(SDS)** 알고리즘을 이용해 단일 3D representation을 최적화 했다. 이는 어떤 방향에서 렌더링된 이미지라도 주어진 text에 대해 높은 likelihood를 갖도록 한것으로써 diffusion model에 의해 evaluate되었다. (diffusion model을 loss에 활용) 하지만 over-satuation, over-smoothing, low-diversity 문제가 발생했다. 또한 text-to-3D의 design space에서 orthogonal 한 요소(rendering resolution - distillation time schedule)들에 대한 파악이 아직 부족하다.
+
+본 논문에서는 섬세한 3D representation을 얻기 위해 이러한 모든 요소에 대해 systematic study를 진행한다. 먼저 **Variational Score Distillation(VSD)** 를 제안한다. 이는 주어진 textual prompt와 해당 3D scene을 하나의 random variable로 취급하며 하나의 점(single point)로 취급한 SDS와는 다르다. VSD는 3D scene의 분포를 최적화하며 이러한 분포는 모든 시점에 대해 rendered images의 분포가 서로 최대한 가까워지도록 한다. pretrained 2D diffusion model의 경우에는 KL divergence에 해당한다?! 이러한 variational formulation에서 VS는 multiple 3D scene을 하나의 prompt에 정렬할 수 있는 특성을 가질 수 있다.
+
+- 원문참고
+
+ VSD optimizesa distribution of 3D scenes such that the distribution induced on images rendered from all views aligns as closely as possible, in terms of KL divergence, with the one defined by the pretrained 2D diffusion model (see Sec. 3.1). Under this variational formulation, VSD naturally characterizes the phenomenon that multiple 3D scenes can potentially align with one prompt.
+
+
+해당 variational formulation을 효율적으로 풀기 위해 VSD는 **particle-based variational inference**를 도입하고, 3D representation을 표현하기 위해 하나의 3D parameters 집합을 particles로 표현하였다. **Wasserstein gradient flow**를 이용해 이러한 particles로 부터 새로운 gradient-based update rule을 이끌어 냈다. 이는 최적화 수렴 후, 해당 particles가 desired distribution으로 부터 sample된 것임을 보장한다. update 시에는 diffused rendered images의 분포의 score function이 필요한데 이는 **pretrained diffusion model + low-rank adaptation(LoRA)** 로 얻을 수 있었다. 최종적으로 particles과 score function을 업데이트 하는 형태가 된다.
+
+Sec 3.3에서 SDS는 variational distribution에 single-point Dirac distribution을 사용하는 VSD라고 볼 수 있음을 보인다. 이를 통해 SDS가 diversity가 fidelity가 낮은 이유를 알 수 있다. single particle만으로도 VSD는 parametric score model을 학습할 수 있고 잠재적으로 SDS보다 더 나은 생성 결과를 제공할 수 있다. 또한 동일한 렌더링 함수를 이용해 2D space에서 SDS와 VSD를 비교하여 3D 요소만 분리하여 비교한 결과를 담았다. diffusion model의 고전 샘플링 방식과 같이 VSD는 CFG의 가중치 조절을 통해 보다 사실적인 sample을 생성할 수 있다. 반면 SDS는 이전 text-to-3D연구과 유사한 over-saturation, over-smoothing문제를 보이는 부족한 결과를 보였다.
+
+:::{figure-md}
+
+
+Prolific Dreamer
+:::
+
+$$
+\delta(x)=\begin{cases}0, &{x!=0} \\ \infty, &{x=0} \end{cases}
+$$
+
+$$
+\int_{-\infty} ^\infty \delta(x) dx=1
+$$
+
+Sec 4는 text-to-3D 알고리즘의 orthogonal 요소들에 대한 추가적인 **systematically study**와 clear **design space**를 담고 있다. 특히 훈련과정 중 고화질 렌더링과 시각적 품질 개선을 위한 **annealed distilling time schedule**을 제안한다. 또한 복잡한 scene을 표현하기 위한 s**cene initialization**을 제안한다. 요소들에 대한 ablation study는 Sec 5에서 볼 수 있으며, 앞서 언급한 요소들은 VSD에 효과적임을 보인다. 결론적으로 high-fidelity, diverse 3D 결과를 얻을 수있으며 이를 **ProlificDreamer**라고 한다.
+
+Sec 5에서 ProlificDreamer의 고화질(512x512) rendering 능력과 rich structure와 complex effects를 Neural Radiance Fields(NeRF)상에서 표현할 수 있음을 보인다. ProlificDreamer는 다중 물체가 포함된 복잡한 scene의 360도 전방향을 성공적으로 표현하는 것에 처음으로 성공했다. 게다가 NeRF로 초기화 한 후 ProlificDreamer로 세세하고 photorealistic한 3D texture mesh들을 생성할 수있다.
+
+:::{figure-md}
+
+
+Prolific Dreamer 생성 결과
+:::
+
+# 2. Background
+
+### Diffusion models (DMs)
+
+**Score-Based Generative Modeling through Stochastic Differential Equations**
+
+- **forward process** $\{q_t\}_{t\in[0,1]}$ - gradually add noise to a data point $x_0\sim p_0(x_0)$
+
+ $$
+ q_t(x_t|x_0):=\mathcal N(\alpha_tx_0,\sigma_t^2 I)\\q_t(x_t):=\int q_t(x_t|x_0)q_0(x_0) dx_0
+ $$
+
+ $\alpha_t, \sigma_t >0$ 는 hyperparameter로 $\alpha_0\approx 1,\sigma_0\approx 0,\alpha_1\approx 0, \sigma_t\approx 1$ 이다.
+
+- **reverse process** $p_t$ - denoising from $p_1(x_1):=\mathcal N(0,I)$ by predicting the noise added to a clean data $x_0$
+
+ noise prediction network $\epsilon_\phi(x_t,t)$을 학습하는 과정은 아래와 같다.
+
+ $$
+ \mathcal L_\text{Diff}(\phi):=\Bbb E_{x_0\sim q_0(x_0),t\sim\mathcal U(0,1),\epsilon \sim \mathcal N(o,I)}\Big[ \omega(t)\|\epsilon_\phi(\alpha_t x_0+\sigma_t\epsilon)-\epsilon\|_2^2\Big], \tag 1
+ $$
+
+ $\omega(t)$는 time dependent weighting function이다. 훈련이 끝나면 $p_t\approx q_t$ 가 되며 따라서 $p_0\approx q_0$ 으로 sample들을 그릴 수 있게 된다. 덧붙여 noise prediction network는 $p_t, q_t$ 의 score function을 approximating하는 데에도 사용가능하다. $\triangledown_{x_t}\text{log}q_t(x_t)\approx\triangledown_{x_t}\text{log}p_t(x_t)\approx-\epsilon_\phi(x_t,t)/\sigma_t$
+
+
+diffusion model이 가장 활발히 활용되고 있는 분야 중 하나는 text-to-image generation으로 text prompt $y$를 조건으로 noise를 예측한다. 또한 Classifier-free Guidence를 통해 샘플 품질과 다양성을 조절한다. guidance scale이 커질 수록 품질이 올라가지만 다양성이 감소하는 경향을 보인다.
+
+### **Text-to-3D by score distillation sampling**
+
+- **Score Distillation Sampling (SDS)** from DreamFusion
+- **Score Jacobian Chaining (SJC)** 라고도 불리며 Zero-1-to-3, Magic3d, Fantasia3d, Latent NeRF 등 다양한 연구에 활용되고 있다.
+
+사전학습된 T2I diffusion model $p_t(x_t|y)$과 noise prediction network $\epsilon_\text{pretrained}(x_t,t,y)$ 을 이용해 SDS는 single 3D representation의 parameter $\theta \in \Theta$를 최적화 한다. 이때 사용하는 metric은 **Euclidean metric**으로 $\Theta$는 Euclidean space이다.
+
+camera parameter $c$가 분포 $p(c)$를 따르고,
+differentiable rendering mapping $g(\cdot,c):\Theta \rightarrow \Bbb R^d$ 이 주어진다고 하자.
+$y^c$를 view dependent prompt라고 하면, rendering image $g(\theta,c)$에서 시작하는 forward diffusion process는 $q_t^\theta(x_t|c)$로 표현할 수 있다.
+
+SDS는 parameter $\theta$를 아래와 같이 최적화한다.
+
+$$
+\mathcal L_{\text{SDS}}(\theta):=\Bbb E_{t,c}\Big [\frac{\sigma_t}{\alpha_t}\space\omega(t)\space D_\text{KL}(q_t^\theta(x_t|c)\|p_t(x_t|y^c)\Big] \tag{2}
+$$
+
+$$
+\mathcal L_{\text{SDS}}(\theta)\approx\Bbb E_{t,\epsilon,c}\Big [\omega(t)\space \big(\epsilon_\text{pretrained}(x_t,t,y^c)-\epsilon\big)\frac{\partial g(\theta,c)}{\partial\theta}\Big] \tag{3}
+$$
+
+### 3D representations
+
+- **NeRF** → MLP
+ - multilayer perceptron을 이용해 3D 객체를 표현한다. 3차원 공간상의 위치 정보를 입력하면 해당하는 색과 밀도를 얻을 수 있다. 이때 $\theta$는 MLP의 내부 파라미터를 의미한다.
+ - 카메라 위치 $c$가 주어질때, rendering process $g(\theta,c)$는 casting rays로 정의되며 각 ray의 sampling points의 색을 가중합하여 각 픽셀의 값을 결정한다.
+ - NeRF는 최적화 측면에서 유연하고 복잡한 장면도 표현가능하다. (매우 상대적인 표현으로 사료됨.)
+- **Textured mesh** → triangle mesh + texture
+ - triangle mesh와 해당 mesh 표면의 texture, color로 3D 객체를 표현한다. 여기서 3D parameter $\theta$는 triangle meshes의 좌표와 texture parameter를 의미한다.
+ - 카메라 위치 $c$가 주어질때, rendering process $g(\theta,c)$는 casting rays로 정의되며 각 ray가 지나는 mesh의 intersection의 색을 계산함으로써 각 픽셀의 값을 결정한다.
+ - Textured mesh는 고화질 렌더링이 가능하고 differentiable rasterization을 이용하면 렌더링 속도가 빠르다.
+
+# 3. Variational Score Distillation
+
+:::{figure-md}
+
+
+Prolific Dreamer
+:::
+
+### 3.1 Sampling from 3D Distribution via Variational Inference
+
+3D represetation에 사용되는 parameter $\theta$들은 확률밀도 $\mu(\theta|y)$로 모델링 할 수 있다.
+$q_0^\mu(x_0|c,y)$는 rendered image $x_0;=g(\theta,c)$의 분포, $p_0(x_0|y^c)$는 $t=0$ 일때 marginal distribution이다.
+
+고품질의 3D representation을 얻기 위해서 distribution $\mu$를 최적화 하는 방법을 제안한다. 사전학습된 DM을 이용해 모든 view에 대한 rendered image sample과 distribution $\mu$를 정렬(align)하는 것은 아래와 같이 두 분포의 거리를 좁히는 것이라고 할 수 있다.
+
+$$
+\text{min}_\mu D_\text{KL}\big(q_0^\mu(x_0|c,y)\|p_0(x_0|y^c)\big) \tag{4}
+$$
+
+- SDS eq.2
+
+ $$
+ \mathcal L_{\text{SDS}}(\theta):=\Bbb E_{t,c}\Big [({\sigma_t}/{\alpha_t})\space\omega(t)\space D_\text{KL}(q_t^\theta(x_t|c)\|p_t(x_t|y^c)\Big] \tag{2}
+ $$
+
+
+위의 식은 일반적인 variational inference problem으로 variational distribution $q_0^\mu(x_0|c,y)$을 target distribution $p_0(x_0|y^c)$으로 근사(distill)하는 방식을 사용한다.
+
+위의 식 4의 prob을 직접 푸는것은 복잡하고 비효율적이기 때문에 diffusion model을 이용해 series of optimization problem을 통해 해결하고자 한다. $t$가 $T$를 향해 점점 커질때, 위의 최적화 문제는 diffused distribution이 gaussian distribution에 가까워 지며 점점 쉬워진다.
+
+(기존 SDS 최적화 식의 parameter $\theta$가 distribution $\mu$로 바뀐 형태)
+
+$$
+\mu^*:=\text{argmin}_\mu\Bbb E_{t,c}\Big[ (\sigma_t/\alpha_t)\omega(t)D_{KL}(q_t^\mu(x_t|c,y)\|p_t(x_t|y^c))\Big] \tag5
+$$
+
+- SDS eq.2
+
+ $$
+ \mathcal L_{\text{SDS}}(\theta):=\Bbb E_{t,c}\Big [({\sigma_t}/{\alpha_t})\space\omega(t)\space D_\text{KL}(q_t^\theta(x_t|c)\|p_t(x_t|y^c)\Big] \tag{2}
+ $$
+
+
+### 3.2 Update Rule for Variational Score Distillation
+
+식 5의 prob을 풀기위해 또 다른 생성모델을 훈련하여 풀 수 있는데 이는 resource가 많이 필요하고 최적화 과정이 복잡해진다. 앞선 particle-based variational inference 연구와 유사하게, n개의 3D particles를 유지하고 해당 particles을 위한 새로운 update rule을 제안한다. 즉, $\{\theta\}^n_{i=1}$을 현재 distribution $\mu$를 표현하기 위해 사용하는 것이다. $\theta^{(i)}$는 최적화 과정이 수렴되고 하면 최적 분포 $\mu^*$에서 샘플링된 것이 된다.
+
+$$
+\frac{d\theta_\tau}{d\tau}=-\Bbb E_{t,\epsilon,c}\Big[\omega(t)\big(-\sigma_t\triangledown_{x_t} \text{log}p_t(x_t|y^c)-(-\sigma_t\triangledown_{x_t}\text{log}q_t^{\mu_\tau}(x_t|c,y))\big)\frac{\partial g(\theta_\tau,c)}{\partial\theta_\tau} \tag 7
+$$
+
+$$
+\text{min}_{\phi}\sum^n_{i=1}\Bbb E_{t\sim\mathcal U(0,1),\epsilon\sim\mathcal N(o,I),c\sim p(c)}\Big[\|\epsilon_\phi(\alpha_tg(\theta^{(i)}),c)+\sigma_t\epsilon,t,c,y)-\epsilon\|^2_2\Big] \tag 8
+$$
+
+최종적으로는 아래와 같은 objective function을 얻는다.
+
+$$
+\triangledown_\theta\mathcal L_{VSD}(\theta)\triangleq\Bbb E_{t,\epsilon,c}\Big[\omega(t
+)(\epsilon_{\text{pretrain}}(x_t,t,y^c)-\epsilon_\phi(x_t,t,c,y))\frac{\partial g(\theta,c)}{\partial\theta}\Big]\tag {9}
+$$
+
+:::{figure-md}
+
+
+Prolific Dreamer
+:::
+
+### 3.3 Comparison with SDS
+
+**SDS as a special case of VSD**
+
+$$
+\mathcal L_{\text{SDS}}(\theta)\approx\Bbb E_{t,\epsilon,c}\Big [\omega(t)\space \big(\epsilon_\text{pretrained}(x_t,t,y^c)-\epsilon\big)\frac{\partial g(\theta,c)}{\partial\theta}\Big] \tag{SDS}
+$$
+
+$$
+\triangledown_\theta\mathcal L_{VSD}(\theta)\triangleq\Bbb E_{t,\epsilon,c}\Big[\omega(t
+)(\epsilon_{\text{pretrain}}(x_t,t,y^c)-\epsilon_\phi(x_t,t,c,y))\frac{\partial g(\theta,c)}{\partial\theta}\Big]\tag {VSD}
+$$
+
+SDS는 $\mu(\theta|y)\approx \delta(\theta-\theta^{(1)})$ 인 VSD의 special case에 해당한다. VSD는 potential mutliple particles일 뿐 아니라 parametric score function $\epsilon_\phi$도 학습하기 때문에 SDS와 동일하게 single particle을 사용해도 성능이 좋다. 또한 LoRA를 사용해 text prompt 로 부터 추가적으로 뽑아낸 정보를 estimation $\epsilon_\phi(x_t,t,c,y)$에 반영할 수 있다.
+
+:::{figure-md}
+
+
+particle이 뭘까? 느낌적인 느낌을 받아보자.
+:::
+
+
+**VSD is friendly to CFG**
+
+VSD는 사전학습된 diffusion model을 이용해 optimal $\mu^*$에서 sample $\theta$를 추출하고자 한다. 때문에 3D sampling에서 CFG를 tuning한 효과가 기존 2D이미지 생성시 DPM-solver에서 CFG 값을 조절하는 것과 유사하다. 그래서 CFG 값을 조절하면서 더 다양한 실험결과를 얻을 수 있게 된다. SDS도 이점은 마찬가지 이나, CFG 값이 클때만 유효한 3D content를 만들어 낼 수 있었다.
+
+**VSD vs. SDS in 2D experiments that isolate 3D representations**
+
+동일한 rendering 모델을 이용해 VSD와 SDS의 3D 표현력만 비교한 결과이다.
+
+:::{figure-md}
+
+
+particle이 뭘까? 느낌적인 느낌을 받아보자.
+:::
+
+
+
+
+particle 개수에 따른 생성 퀄리티 비교 (single particle을 사용할 때도 SDS보다 성능이 좋다고 함)
+:::
+
+:::{figure-md}
+
+
+2D 이미지 생성으로 비교한 VSD와 SDS의 생성 품질 차이 / SDS는 VSD에 비해 부드럽고 세부표현이 부족하다.
+:::
+
+
+:::{figure-md}
+
+
+gradient visualization에서도 SDS와 VSD의 차이점을 확인 할 수 있다.
+:::
+
+
+# 4. Prolific Dreamer
+
+### 4.1 Design Space of Text-to-3D Generation
+
+**two-stage approch**를 이용해 text-to-3D 생성의 design space를 개선하고자 했다.
+
+1. **First Stage** - optimize a high-resolution NeRF by VSD
+2. **Second Stage** - DMTet to extract textured mesh from NeRF
+
+:::{figure-md}
+Appendix의 실험결과
+ +:::{figure-md} +
+
+particle 개수에 따른 생성 퀄리티 비교 (single particle을 사용할 때도 SDS보다 성능이 좋다고 함)
+:::
+
+:::{figure-md}
+
+
+2D 이미지 생성으로 비교한 VSD와 SDS의 생성 품질 차이 / SDS는 VSD에 비해 부드럽고 세부표현이 부족하다.
+:::
+
+
+:::{figure-md}
+
+
+gradient visualization에서도 SDS와 VSD의 차이점을 확인 할 수 있다.
+:::
+
+
+Prolific Dreamer와 다른 모델의 특성 비교
+:::
+
+### 4.2 3D Representation and Training
+
+:::{figure-md}
+
+
+Prolific Dreamer 수행 결과
+:::
+
+**High-resolution rendering for NeRF training** (in 1st stage)
+
+ProlificDreamer에서는 고화질 렌더링을 위해 **Instant NGP**를 사용했으며 VSD를 이용해 512 resolution 까지 NeRF를 최적화 했다. VSD를 사용함으로써 high-fidelity 결과를 얻을 수 있었다.
+
+- Instant NGP
+
+**Scene initialization for NeRF training** (in 1st stage)
+
+NeRF의 초기 density는 $\sigma_\text{init}(\mu)=\lambda_\sigma(1-\frac{\|\mu\|_2}{r})$로 초기화 한다. $\lambda$ 는 density strength, $r$ 는 density radius, $\mu$는 3d coordinate이다.
+
+object-centric scene에서는 Magic3D의 방식을 따랐으며($\lambda=10, r=0.5$),
+복잡한 scene의 경우 $\lambda=-10$ 로 하여 density가 거의 비어있도록 하고, $r$을 2.5로 하여 camera를 둘러 싸도록 했다.
+
+**Annealed time schedule for score distillation** (in 1st stage)
+
+단순한 2단계 annealing을 score distillation objective에 적용했다. 이는 SDS나 VSD 모두에 적용가능하다. 초기 몇 스텝에서는 $t\sim \mathcal U(0.02,0.98)$로 하고 이후에는 $t\sim \mathcal U(0.02,0.50)$로 설정했다.
+
+여기서 핵심은 $q_0^\mu(x_0|c,y)$와 $p_0(x_0|y^c)$를 맞추는 것인데 t가 커지면 KL divergence가 학습초기에 더 적당한 최적화 방향으로 갈 수 있다. t가 작으면 더 세부적인 조정이 가능하므로 $p_t(x^*|y^c)$와 $p_0(x^*|y^C)$의 차를 더 줄일 수 있다.
+
+**Mesh representation and fine-tuning** (in 2nd stage)
+
+coordinate-based hash grid encoder의 특성을 이용해 NeRF에서 mesh를 추출했다. Fantasia3D의 방법론을 따랐는데 여기서는 geometry와 texture를 분리하여 최적화했다. 첫번째로는 normal map을 이용해 geometry를 최적화하고 두번째로 texture를 최적화하는 식이다. 실험결과에서 이단계에서는 SDS와 VSD의 품질 차이가 크지않아 효율성을 위해 SDS를 사용했다. 하지만 Fantasia3D와 비교했을때 VSD 및 앞선 방법론을 이용해 최적화한 NeRF에서 뽑아낸 mesh는 SDS를 이용한 것보다 뛰어났다.
+
+# 5. Experiments
+
+### 5.1 Results of Prolific Dreamer
+
+
+
+
+particle 개수에 따른 생성 퀄리티 비교 (single particle을 사용할 때도 SDS보다 성능이 좋다고 함)
+:::
+
+:::{figure-md}
+
+
+2D 이미지 생성으로 비교한 VSD와 SDS의 생성 품질 차이 / SDS는 VSD에 비해 부드럽고 세부표현이 부족하다.
+:::
+
+
+:::{figure-md}
+
+
+gradient visualization에서도 SDS와 VSD의 차이점을 확인 할 수 있다.
+:::
+
+
+
+### 5.2 Ablation Study
+
+**Ablation on NeRF Training**
+
+64x64 rendering + SDS에서 시작하여 요소들을 추가하며 실험한 결과는 아래와 같다.
+:::{figure-md}
+Appendix의 실험결과
+ +:::{figure-md} +
+
+particle 개수에 따른 생성 퀄리티 비교 (single particle을 사용할 때도 SDS보다 성능이 좋다고 함)
+:::
+
+:::{figure-md}
+
+
+2D 이미지 생성으로 비교한 VSD와 SDS의 생성 품질 차이 / SDS는 VSD에 비해 부드럽고 세부표현이 부족하다.
+:::
+
+
+:::{figure-md}
+
+
+gradient visualization에서도 SDS와 VSD의 차이점을 확인 할 수 있다.
+:::
+
+
+Prolific Dreamer 실험 결과
+:::
+
+**Ablation on mesh fine-tuning**
+
+:::{figure-md}
+
+
+Prolific Dreamer 실험 결과
+:::
+
+**Ablation on CFG**
+
+CFG 값이 작으면 diversity 상승, CFG 값이 크면 비교적 diversity가 하락하는 실험결과를 얻음. VSD의 경우 CFG 값이 작을때에도 좋은 품질의 3D content를 생성할 수있기 때문에 충분한 diversity의 결과를 얻을 수 있지만 SDS의 경우 CFG 값이 커야만 괜찮은 3D content를 생성하기 때문에 diversity가 하락할 수밖에 없음.
+
+:::{figure-md}
+
+
+Prolific Dreamer 실험 결과
+:::
+
+:::{figure-md}
+
+
+Prolific Dreamer 실험 결과
+:::
+
+:::{figure-md}
+
+
+Prolific Dreamer 실험 결과
+:::
+
+
+ 📌개인적 감상
+
+ GAN : WGAN = DreamFusion : ProlificDreamer
+
+ GAN : Diffusion = DreamFusion : ProlificDreamer
+
+
+# Future Work
+
+- GECO
- 고정된 수의 particle을 이용하는 prolific dreamer의 단점을 보완해 새로운 샘플을 생성할 수 있도록 함.
\ No newline at end of file
diff --git a/_sources/docs/review/SDEdit.md b/_sources/docs/review/SDEdit.md
index d0d8a282..bf7c57b3 100755
--- a/_sources/docs/review/SDEdit.md
+++ b/_sources/docs/review/SDEdit.md
@@ -1,145 +1,145 @@
-```{admonition} Information
-- **Title:** SDEdit: Guided Image Synthesis and Editing with Stochastic Differential Equations
-
-- **Reference**
- - Paper: [https://arxiv.org/pdf/2108.01073.pdf](https://arxiv.org/pdf/2108.01073.pdf)
-
-- **Author:** Seunghwan Ji
-
-- **Last updated on Oct. 03, 2023**
-```
-
-# SDEdit
-
-## Abstract
-
-- 최근 이미지 생성 분야에서의 놀라운 진화 속도가 계속 되어오고있다. (GAN, Diffusion etc..)
-- 이 중 이미지에 random noise를 추가해 denoising 과정을 학습하는 Diffusion을 통해 high quality의 이미지를 생성할 수 있다.
-- 또, 생성되는 이미지를 사용자가 원하는 방향으로 이끌어내려는 연구 분야도 활발히 진행되고있다 (a.k.a Editing)
-- 하지만, GAN 또는 Diffusion을 포함한 방식으로의 Editing에는 몇가지 단점이 있고, SDEdit은 그런 문제점을 해결해나아갔다는 점을 논문의 핵심 Contribution으로 제시하였다.
-
-## 1. Introduction
-
-- Abstract에서 말한 Editing이란, 유저가 생성하고자 하는 Guide를 제시하면 모델은 해당 Guide를 기반으로 이미지를 생성해내는 Vision Task를 의미한다.
-- 이때 두가지의 평가요소가 있는데
- 1. faithful : 유저의 Guide를 얼마나 잘 따르는지
- 2. realistic : 생성된 이미지가 얼마나 real한지
-- 기존의 연구방식은 크게 두가지로 나뉜다.
- 1. GAN(Generative Adversarial Network) 기반
- 2. Diffusion 기반
-- 이 중 기존에 SOTA를 이룬 GAN 방식을 살펴보면 다시 크게 두가지로 나뉜다.
- 1. conditional GAN
- - 특징 : 원본 이미지에서 Edit된 Pair 이미지를 직접 학습
- - 단점 : Pair Dataset이 반드시 필요하고, Condition마다 재학습을 요구
- 2. GAN Inversion
- - 특징 : 이미지를 Latent space로 Inversion한 후, Latent vactor를 조작해(manipulate) Edited image를 생성
- - 단점 : 새로운 loss function이 정의되어야하고, condition마다 재학습을 요구
-- 그에 반해 SDEdit은
- 1. Pair Dataset이 필요하지 않다.
- 2. 추가적인 loss function과 재학습이 모두 필요하지 않다.
- 3. 단 한개의 pretrained weight로 모든 condition의 이미지를 생성할 수 있다.
-
-
-## 2. Related Works
-
-### 2.1. Score Based Generated Model
-:::{figure-md}
-
-
-Image 1
-:::
-
-- Key Idea
- - *“Real 이미지들은 실제 데이터 확률 분포에서 높은 값을 유지할 것이다. 따라서, 이미지를 분포가 높은곳으로 update 해나가면 좋은 퀄리티의 이미지를 생성하는 모델을 얻어낼 수 있다.”*
-- 이 때, score는 확률 밀도 함수의 순간 기울기(미분값)로 정의한다.
-
-### 2.2. Score Based Generated Diffusion Model (SDE, SMLD)
-:::{figure-md}
-
-
-Image 2
-:::
-
-
-- 위에서 제시한 Score Based Generated Model에 Diffusion 방식을 적용한 모델
-- Forward Process 과정에서 이미지에 noise를 주입하는데, 이 때 Stochastic Differential Equation 수식을 이용해 noise를 주입한다.
-- 또다른 Diffusion 모델인 (Probability based) DDPM과의 차이는 Forward, Reverse process에서 정의하는 equation의 차이 정도이다.
-- paper : [https://arxiv.org/abs/1907.05600](https://arxiv.org/abs/1907.05600)
-
-## 3. Methods
-
-1. Pre-Setup
- - Guide image의 Level을 정의한다.
- :::{figure-md}
-
-
- Image 3
- :::
-
- 1. low-level guide : real 이미지위에 image patch를 추가
- 2. mid-level guide : real 이미지위에 stroke를 추가
- 3. high-level guide : 단순히 coarse한 stroke의 이미지
-2. Procedure
- - DDPM과 달리 SDE의 경우, 완전히 noise화된 이미지 즉, random noise로부터 denoising을 진행할 필요가 없다.
- - 즉, 적절한 $t_{0} \in [0,1]$를 지정한 후 denoising process가 가능하다.
-
- :::{figure-md}
-
-
- Image 4
- :::
- - 이 때, 적절한 $t_{0}$를 정의해야하는데,
- 1. $t_{0}$ = 1 (i.e. random noise)이면, realistic하지만, faithful 하지않은 이미지
- 2. $t_{0}$ = 0 이면, faithful하지만, artistic한 이미지
-
- 를 얻게된다.
-
- :::{figure-md}
-
-
- Image 5
- :::
- - 아래는 SDEdit의 적용 과정이다.
-
- :::{figure-md}
-
-
- Image 6
- :::
-
-## 4. Experiments
-
-- Score
- - Metric
- - realistic : Kid score (lower is better)
- - faithful : $L_{2}$ score (lower is better)
- - 그 외 종합적인 평가 지표로 survey를 통한 수치를 제시하였다.
-
- :::{figure-md}
-
-
- Image 7
- :::
- - 기존의 GAN 방식들과 비교했을 때 Kid, $L_{2}$ score 모두 더 좋은 수치를 보이는 것을 확인할 수 있다.
-- Comparison with GAN (styleGAN-ADA + Inversion)
-
- :::{figure-md}
-
-
- Image 8
- :::
- - SDEdit이 GAN Based model보다 더 자연스럽고(realistic), 유저의 guide를 잘 따르는(faithful)것을 확인할 수 있다.
-- Comparison with original blending technique
-
- :::{figure-md}
-
-
- Image 9
- :::
-
- :::{figure-md}
-
-
- Image 10
- :::
- - 기존의 전통적인 방식의 몇가지 blending 기법과 비교해도 더 좋은 성능과 수치를 보이는 것을 확인할 수 있다.
+```{admonition} Information
+- **Title:** SDEdit: Guided Image Synthesis and Editing with Stochastic Differential Equations
+
+- **Reference**
+ - Paper: [https://arxiv.org/pdf/2108.01073.pdf](https://arxiv.org/pdf/2108.01073.pdf)
+
+- **Author:** Seunghwan Ji
+
+- **Last updated on Oct. 03, 2023**
+```
+
+# SDEdit
+
+## Abstract
+
+- 최근 이미지 생성 분야에서의 놀라운 진화 속도가 계속 되어오고있다. (GAN, Diffusion etc..)
+- 이 중 이미지에 random noise를 추가해 denoising 과정을 학습하는 Diffusion을 통해 high quality의 이미지를 생성할 수 있다.
+- 또, 생성되는 이미지를 사용자가 원하는 방향으로 이끌어내려는 연구 분야도 활발히 진행되고있다 (a.k.a Editing)
+- 하지만, GAN 또는 Diffusion을 포함한 방식으로의 Editing에는 몇가지 단점이 있고, SDEdit은 그런 문제점을 해결해나아갔다는 점을 논문의 핵심 Contribution으로 제시하였다.
+
+## 1. Introduction
+
+- Abstract에서 말한 Editing이란, 유저가 생성하고자 하는 Guide를 제시하면 모델은 해당 Guide를 기반으로 이미지를 생성해내는 Vision Task를 의미한다.
+- 이때 두가지의 평가요소가 있는데
+ 1. faithful : 유저의 Guide를 얼마나 잘 따르는지
+ 2. realistic : 생성된 이미지가 얼마나 real한지
+- 기존의 연구방식은 크게 두가지로 나뉜다.
+ 1. GAN(Generative Adversarial Network) 기반
+ 2. Diffusion 기반
+- 이 중 기존에 SOTA를 이룬 GAN 방식을 살펴보면 다시 크게 두가지로 나뉜다.
+ 1. conditional GAN
+ - 특징 : 원본 이미지에서 Edit된 Pair 이미지를 직접 학습
+ - 단점 : Pair Dataset이 반드시 필요하고, Condition마다 재학습을 요구
+ 2. GAN Inversion
+ - 특징 : 이미지를 Latent space로 Inversion한 후, Latent vactor를 조작해(manipulate) Edited image를 생성
+ - 단점 : 새로운 loss function이 정의되어야하고, condition마다 재학습을 요구
+- 그에 반해 SDEdit은
+ 1. Pair Dataset이 필요하지 않다.
+ 2. 추가적인 loss function과 재학습이 모두 필요하지 않다.
+ 3. 단 한개의 pretrained weight로 모든 condition의 이미지를 생성할 수 있다.
+
+
+## 2. Related Works
+
+### 2.1. Score Based Generated Model
+:::{figure-md}
+
+
+Image 1
+:::
+
+- Key Idea
+ - *“Real 이미지들은 실제 데이터 확률 분포에서 높은 값을 유지할 것이다. 따라서, 이미지를 분포가 높은곳으로 update 해나가면 좋은 퀄리티의 이미지를 생성하는 모델을 얻어낼 수 있다.”*
+- 이 때, score는 확률 밀도 함수의 순간 기울기(미분값)로 정의한다.
+
+### 2.2. Score Based Generated Diffusion Model (SDE, SMLD)
+:::{figure-md}
+
+
+Image 2
+:::
+
+
+- 위에서 제시한 Score Based Generated Model에 Diffusion 방식을 적용한 모델
+- Forward Process 과정에서 이미지에 noise를 주입하는데, 이 때 Stochastic Differential Equation 수식을 이용해 noise를 주입한다.
+- 또다른 Diffusion 모델인 (Probability based) DDPM과의 차이는 Forward, Reverse process에서 정의하는 equation의 차이 정도이다.
+- paper : [https://arxiv.org/abs/1907.05600](https://arxiv.org/abs/1907.05600)
+
+## 3. Methods
+
+1. Pre-Setup
+ - Guide image의 Level을 정의한다.
+ :::{figure-md}
+
+
+ Image 3
+ :::
+
+ 1. low-level guide : real 이미지위에 image patch를 추가
+ 2. mid-level guide : real 이미지위에 stroke를 추가
+ 3. high-level guide : 단순히 coarse한 stroke의 이미지
+2. Procedure
+ - DDPM과 달리 SDE의 경우, 완전히 noise화된 이미지 즉, random noise로부터 denoising을 진행할 필요가 없다.
+ - 즉, 적절한 $t_{0} \in [0,1]$를 지정한 후 denoising process가 가능하다.
+
+ :::{figure-md}
+
+
+ Image 4
+ :::
+ - 이 때, 적절한 $t_{0}$를 정의해야하는데,
+ 1. $t_{0}$ = 1 (i.e. random noise)이면, realistic하지만, faithful 하지않은 이미지
+ 2. $t_{0}$ = 0 이면, faithful하지만, artistic한 이미지
+
+ 를 얻게된다.
+
+ :::{figure-md}
+
+
+ Image 5
+ :::
+ - 아래는 SDEdit의 적용 과정이다.
+
+ :::{figure-md}
+
+
+ Image 6
+ :::
+
+## 4. Experiments
+
+- Score
+ - Metric
+ - realistic : Kid score (lower is better)
+ - faithful : $L_{2}$ score (lower is better)
+ - 그 외 종합적인 평가 지표로 survey를 통한 수치를 제시하였다.
+
+ :::{figure-md}
+
+
+ Image 7
+ :::
+ - 기존의 GAN 방식들과 비교했을 때 Kid, $L_{2}$ score 모두 더 좋은 수치를 보이는 것을 확인할 수 있다.
+- Comparison with GAN (styleGAN-ADA + Inversion)
+
+ :::{figure-md}
+
+
+ Image 8
+ :::
+ - SDEdit이 GAN Based model보다 더 자연스럽고(realistic), 유저의 guide를 잘 따르는(faithful)것을 확인할 수 있다.
+- Comparison with original blending technique
+
+ :::{figure-md}
+
+
+ Image 9
+ :::
+
+ :::{figure-md}
+
+
+ Image 10
+ :::
+ - 기존의 전통적인 방식의 몇가지 blending 기법과 비교해도 더 좋은 성능과 수치를 보이는 것을 확인할 수 있다.
diff --git a/_sources/docs/review/SDXL.md b/_sources/docs/review/SDXL.md
index 53748067..60786d68 100755
--- a/_sources/docs/review/SDXL.md
+++ b/_sources/docs/review/SDXL.md
@@ -1,141 +1,141 @@
-```{admonition} Information
-- **Title:** SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2307.01952](https://arxiv.org/abs/2307.01952)
- - Code: [https://github.com/Stability-AI/generative-models](https://github.com/Stability-AI/generative-models)
-
-- **Author:** Jun-Hyoung Lee
-
-- **Last updated on May. 31. 2023**
-```
-
-# SDXL
-
-## Abstract
-
-SDXL은 T2I latent diffusion 모델이다. Stable Diffusion과 비교하면, SDXL은 세 배 더 큰 규모의 UNet을 포함한다. 더 많은 attention 블록과 더 큰 cross attention context 가 SDXL에서 두 번째 text encoder로 사용되면서 모델 파라미터가 증가했다. 다수의 새로운 conditioning 방법과 다양한 비율에 맞도록 SDXL을 학습할 수 있도록 설계했다. 또한 후처리 방식의 image to image 기술을 사용해 SDXL의 생성 샘플의 시각적인 fidelity를 향상시킨 refinement model을 소개한다. SDXL은 대폭 향상된 성능을 보여준다.
-
-:::{figure-md} SDXL result
-
-
-SDXL result
-:::
-
-## Introduction
-
-세 가지 주요 기능이라 볼 수 있는데,
-
-1. 3배 더 큰 UNet backbone,
-2. 어떤 형태의 추가 감독(supervision)없는 간단하면서도 효과적인 추가의 conditioning 기술
-3. noising-denoising 과정을 적용해 시각적 품질을 향상하는 latent를 생성할 수 있는 별개의 diffusion 기반 img-to-img refinement 모델을 포함한다.
-
-:::{figure-md} Figure 1
-
-
-Figure 1
-:::
-
-그림 1에서 왼쪽 그림을 보면 추가의 refinement 단계를 추가해 성능을 높인 SDXL이 기존 SD보다 성능이 우수한 것을 확인할 수 있다. 오른쪽 그림은 아키텍처를 시각화했는데, 128x128 크기의 latent를 생성한다. 그 후 고해상도 refinement 모델을 활용하고 동일한 프롬프트를 활용해 첫 번째 단계에서 생성된 latent를 SDEdit을 적용한다. SDXL과 refinement 모델은 동일한 autoencoder를 사용한다.
-
-:::{figure-md} Table 1
-
-
-Table 1
-:::
-
-SD와 다르게 UNet 내의 transformer 블록의 heterogeneous 분포를 사용했다는 점이다. 테이블 1을 참고하면 highest feature level에서 transformer 블럭을 사용했고, lower level에서는 2, 10 개의 블럭을 사용했고, UNet에서 lowest level(8x downsampling)을 제거했다. text conditioning을 위한 pretrained 된 text encoder를 사용했다. 특히, CLIP Vit-L과 함께 OpenCLIP ViT-bigG를 사용했고, 채널 축에 두 번째 text encoder의 output을 concat 했다. 게다가 text input으로 모델에 condition을 주기 위해 cross attention 레이어를 사용했으며, 또 OpenCLIP로부터 pooled text embedding을 모델에 condition으로 추가했다. 이러한 변화는 UNet의 파라미터 사이즈가 2.6B로 증가했다. text encoder는 817M 파라미터를 가지고 있다.
-
-## 2.2 Micro-Conditioning
-
-:::{figure-md} Figure 2
-
-
-Figure 2
-:::
-
-SD 1.4/1.5 같은 경우 512 픽셀 이하 크기의 이미지는 제외하고 학습을 시키거나, 너무 작은 이미지는 upscale하여 학습을 시켰다. 이는 학습할 때의 최소 크기가 정해지는 문제점이 발생한다. 따라서 성능을 저하시키거나, 일반화를 잘 못할 수 있다.
-
-그림 2를 보면 SDXL의 데이터 셋의 분포를 시각화해주는 그림이다. 제안된 size-conditiong 없이, 256x256 픽셀 크기 미만의 데이터가 39%나 달한다. upscale 하게 된다면 최종 결과물이 blur 한 결과를 가져와 좋지 않은 아티팩트가 생긴다.
-
-대신, 저자들은 원래의 이미지 해상도에서 UNet 모델에 condition을 주었다. 특히 어떠한 rescaling 전의 원래의 크기인 $c_\text{size}=(h_\text{original}, w_\text{original})$를 제공해 추가의 condition을 줄 수 있게 했다. UNet의 denoising 할 때의 condition으로 추가된다.
-
-Inference 때, 사용자가 size-conditioning을 통해 해상도를 정할 수 있다. 모델은 conditioning 크기를 해상도에 의존적인 이미지 feature과 연관시키도록 하는 방법을 학습했다.
-
-:::{figure-md} Figure 3
-
-
-Figure 3
-:::
-
-또 ImageNet으로 평가를 진행해 size-conditiong에 대한 우수성을 입증했다.
-
-:::{figure-md} Table 2
-
-
-Table 2
-:::
-
-_CIN-512-only_ 는 512 미만의 이미지를 제외하고 학습을 시켰고(70k 장), _CIN-nocond_ 는 모든 ImageNet 이미지를 사용했으며, _CIN-size-cond_ 는 추가 size-condition을 사용했다. 표 2에서 보다시피 _CIN-size-cond_ 모델이 FID, IS 모두 높은 성능을 보였다.
-
-### Conditioning the Model on Cropping Parameters
-
-:::{figure-md} Figure 4
-
-
-Figure 4
-:::
-
-그림 4에서 SD 같은 경우 고양이 머리가 잘려진 결과를 얻었다. 이러한 이유는 학습할 때, random cropping으로 인해 생성되었기 때문이다.
-
-이러한 문제를 해결하기 위해, 간단한 효과적인 방법을 제안한다. 데이터를 loading 할 때, 균등하게 $c_\text{top}$과 $c_\text{left}$ (높이 및 너비 축을 따라 왼쪽 상단 모서리에서 잘린 픽셀의 양을 지정하는 정수)를 샘플링한다. 그 후 Fourier feature 임베딩을 통해 conditioning 파라미터로써 모델에 입력한다. 위에서 언급한 size conditioning과 비슷하다. concat 된 임베딩 $c_\text{crop}$은 추가의 conditioning 파라미터로 사용된다.
-
-저자들은 LDM 뿐만 아니라 어떠한 DM에서도 사용될 수 있다고 강조한다. crop 및 size-conditioning은 쉽게 결합될 수 있다. 이러한 경우, crop 및 size-conditioning을 feature 임베딩을 채널 축에 concat 하고 UNet의 타임스텝 임베딩에 추가한다.
-
-## 2.3 Multi-Aspect Training
-
-일반적인 T2I 모델에서 결과물의 크기는 512x512, 1024x1024 로 얻을 수 있는데, 이는 현실 세계에서 부자연스럽다. 이유는 현실 세계에서는 다양한 크기, 비율을 가진 이미지가 많고, 풍경 같은 경우 16:9 비율의 크기를 지니고 있다.
-
-따라서, 다양한 비율을 동시에 다룰수 있도록 모델을 파인튜닝했다. 픽셀수를 1024x1024 만큼 수를 최대한 유지하면서 다양한 비율의 데이터를 사용했고, 64의 배수를 지니도록 했다.
-
-:::{figure-md} /Multi aspect ratio
-
-
-Multi aspect ratio
-:::
-
-최적화 동안, 학습 배치는 동일한 버킷(같은 비율의 이미지들?)의 이미지로 구성되며, 각 훈련 스텝마다 버킷 크기를 번갈아 가며 사용했다. 추가적으로, 모델은 버킷 크기(혹은 타겟 크기)를 conditioning으로 주었으며, 위에서 언급한 size, crop conditioning과 유사하게 Fourier 공간에 임베딩되는 $c_\text{ar}=(h_\text{tgt}, w_\text{tgt})$ 형태로 표현된다.
-
-실제로, 모델이 고정된 비율및 해상도의 데이터로 pretraining이 마친 후 파인튜닝 단계에서는 다양한 비율의 데이터로 학습했고, 채널 축으로 concat 하는 2.2절에서 소개한 conditioning 기술과 함께 결합했다. 이를 아래의 그림 16에서 코드로 확인할 수 있다.
-
-## 2.4 Improved Autoencoder
-
-SD는 LDM 중 하나이고, autoencoder의 latent space를 학습한다. semantic composition은 LDM으로부터 표현되지만 저자들은 local, high frequency 디테일한 부분을 향상하고자 autoencoder를 향상했다. 끝으로, 원래의 SD를 사용한 autoencoder 아키텍처에서 더 큰 배치사이즈(256 vs 9)로 학습했고 추가로 exponential moving average를 사용한 가중치를 사용했다. 결과 autoencoder의 성능이 reconstruction 메트릭에 좋은 결과를 가져왔다.
-
-:::{figure-md} Table 3
-
-
-Table 3
-:::
-
-## 2.5 Putting Everything Together
-
-학습 파라미터를 정리해주는 절입니다. diffusion time step은 1000 step을 사용했다. 우선, base model를 내부 데이터 셋으로 그림 2에 나와있는 높이-너비 분포에 맞게 학습을 시켰다. 600,000 step을 사용했으며, 256x256 사이즈로, 배치는 2048로, size & crop conditioning을 사용했다. 그 후 512x512 이미지를 추가로 200,000 최적화 step으로 학습시켰고, 마침내 offset 노이즈 [11, 25] 0.05 수준과 함께 다중 비율 학습을 활용하여 ~ 1024x1024 영역의 다양한 비율로 모델을 학습했다.
-
-### Refinement Stage
-
-:::{figure-md} Figure 6
-
-
-Figure 6
-:::
-
-경험적으로, 그림 6처럼 특정 부분 퀄리티가 낮은 샘플의 결과를 찾았다. 왼쪽 그림이 refinement stage 적용 전, 오른쪽 그림이 refinement stage를 적용한 그림이다.
-
-이를 해결하기 위해, 고품질, 고해상도 데이터에 특화된 latent space 내에서 별도의 LDM을 학습했다. 기본 모델의 샘플에 대해 SDEdit에서 도입한 노이즈 제거 과정을 사용했다. eDiff-I 방법을 따랐으며, 이를 첫 200 노이즈 스케일에 refinement 모델을 사용했다. inference에서, base SDXL에서 latent를 추출하고 바로 diffuse와 denoise를 refinement 모델에 넣었다. 이 스텝은 선택이지만 배경 및 사람 얼굴과 같은 디테일에서 향상된 결과(그림 6, 13)를 얻을 수 있었다.
-
-:::{figure-md} Figure 13
-
-
-Figure 13
-:::
+```{admonition} Information
+- **Title:** SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2307.01952](https://arxiv.org/abs/2307.01952)
+ - Code: [https://github.com/Stability-AI/generative-models](https://github.com/Stability-AI/generative-models)
+
+- **Author:** Jun-Hyoung Lee
+
+- **Last updated on May. 31. 2023**
+```
+
+# SDXL
+
+## Abstract
+
+SDXL은 T2I latent diffusion 모델이다. Stable Diffusion과 비교하면, SDXL은 세 배 더 큰 규모의 UNet을 포함한다. 더 많은 attention 블록과 더 큰 cross attention context 가 SDXL에서 두 번째 text encoder로 사용되면서 모델 파라미터가 증가했다. 다수의 새로운 conditioning 방법과 다양한 비율에 맞도록 SDXL을 학습할 수 있도록 설계했다. 또한 후처리 방식의 image to image 기술을 사용해 SDXL의 생성 샘플의 시각적인 fidelity를 향상시킨 refinement model을 소개한다. SDXL은 대폭 향상된 성능을 보여준다.
+
+:::{figure-md} SDXL result
+
+
+SDXL result
+:::
+
+## Introduction
+
+세 가지 주요 기능이라 볼 수 있는데,
+
+1. 3배 더 큰 UNet backbone,
+2. 어떤 형태의 추가 감독(supervision)없는 간단하면서도 효과적인 추가의 conditioning 기술
+3. noising-denoising 과정을 적용해 시각적 품질을 향상하는 latent를 생성할 수 있는 별개의 diffusion 기반 img-to-img refinement 모델을 포함한다.
+
+:::{figure-md} Figure 1
+
+
+Figure 1
+:::
+
+그림 1에서 왼쪽 그림을 보면 추가의 refinement 단계를 추가해 성능을 높인 SDXL이 기존 SD보다 성능이 우수한 것을 확인할 수 있다. 오른쪽 그림은 아키텍처를 시각화했는데, 128x128 크기의 latent를 생성한다. 그 후 고해상도 refinement 모델을 활용하고 동일한 프롬프트를 활용해 첫 번째 단계에서 생성된 latent를 SDEdit을 적용한다. SDXL과 refinement 모델은 동일한 autoencoder를 사용한다.
+
+:::{figure-md} Table 1
+
+
+Table 1
+:::
+
+SD와 다르게 UNet 내의 transformer 블록의 heterogeneous 분포를 사용했다는 점이다. 테이블 1을 참고하면 highest feature level에서 transformer 블럭을 사용했고, lower level에서는 2, 10 개의 블럭을 사용했고, UNet에서 lowest level(8x downsampling)을 제거했다. text conditioning을 위한 pretrained 된 text encoder를 사용했다. 특히, CLIP Vit-L과 함께 OpenCLIP ViT-bigG를 사용했고, 채널 축에 두 번째 text encoder의 output을 concat 했다. 게다가 text input으로 모델에 condition을 주기 위해 cross attention 레이어를 사용했으며, 또 OpenCLIP로부터 pooled text embedding을 모델에 condition으로 추가했다. 이러한 변화는 UNet의 파라미터 사이즈가 2.6B로 증가했다. text encoder는 817M 파라미터를 가지고 있다.
+
+## 2.2 Micro-Conditioning
+
+:::{figure-md} Figure 2
+
+
+Figure 2
+:::
+
+SD 1.4/1.5 같은 경우 512 픽셀 이하 크기의 이미지는 제외하고 학습을 시키거나, 너무 작은 이미지는 upscale하여 학습을 시켰다. 이는 학습할 때의 최소 크기가 정해지는 문제점이 발생한다. 따라서 성능을 저하시키거나, 일반화를 잘 못할 수 있다.
+
+그림 2를 보면 SDXL의 데이터 셋의 분포를 시각화해주는 그림이다. 제안된 size-conditiong 없이, 256x256 픽셀 크기 미만의 데이터가 39%나 달한다. upscale 하게 된다면 최종 결과물이 blur 한 결과를 가져와 좋지 않은 아티팩트가 생긴다.
+
+대신, 저자들은 원래의 이미지 해상도에서 UNet 모델에 condition을 주었다. 특히 어떠한 rescaling 전의 원래의 크기인 $c_\text{size}=(h_\text{original}, w_\text{original})$를 제공해 추가의 condition을 줄 수 있게 했다. UNet의 denoising 할 때의 condition으로 추가된다.
+
+Inference 때, 사용자가 size-conditioning을 통해 해상도를 정할 수 있다. 모델은 conditioning 크기를 해상도에 의존적인 이미지 feature과 연관시키도록 하는 방법을 학습했다.
+
+:::{figure-md} Figure 3
+
+
+Figure 3
+:::
+
+또 ImageNet으로 평가를 진행해 size-conditiong에 대한 우수성을 입증했다.
+
+:::{figure-md} Table 2
+
+
+Table 2
+:::
+
+_CIN-512-only_ 는 512 미만의 이미지를 제외하고 학습을 시켰고(70k 장), _CIN-nocond_ 는 모든 ImageNet 이미지를 사용했으며, _CIN-size-cond_ 는 추가 size-condition을 사용했다. 표 2에서 보다시피 _CIN-size-cond_ 모델이 FID, IS 모두 높은 성능을 보였다.
+
+### Conditioning the Model on Cropping Parameters
+
+:::{figure-md} Figure 4
+
+
+Figure 4
+:::
+
+그림 4에서 SD 같은 경우 고양이 머리가 잘려진 결과를 얻었다. 이러한 이유는 학습할 때, random cropping으로 인해 생성되었기 때문이다.
+
+이러한 문제를 해결하기 위해, 간단한 효과적인 방법을 제안한다. 데이터를 loading 할 때, 균등하게 $c_\text{top}$과 $c_\text{left}$ (높이 및 너비 축을 따라 왼쪽 상단 모서리에서 잘린 픽셀의 양을 지정하는 정수)를 샘플링한다. 그 후 Fourier feature 임베딩을 통해 conditioning 파라미터로써 모델에 입력한다. 위에서 언급한 size conditioning과 비슷하다. concat 된 임베딩 $c_\text{crop}$은 추가의 conditioning 파라미터로 사용된다.
+
+저자들은 LDM 뿐만 아니라 어떠한 DM에서도 사용될 수 있다고 강조한다. crop 및 size-conditioning은 쉽게 결합될 수 있다. 이러한 경우, crop 및 size-conditioning을 feature 임베딩을 채널 축에 concat 하고 UNet의 타임스텝 임베딩에 추가한다.
+
+## 2.3 Multi-Aspect Training
+
+일반적인 T2I 모델에서 결과물의 크기는 512x512, 1024x1024 로 얻을 수 있는데, 이는 현실 세계에서 부자연스럽다. 이유는 현실 세계에서는 다양한 크기, 비율을 가진 이미지가 많고, 풍경 같은 경우 16:9 비율의 크기를 지니고 있다.
+
+따라서, 다양한 비율을 동시에 다룰수 있도록 모델을 파인튜닝했다. 픽셀수를 1024x1024 만큼 수를 최대한 유지하면서 다양한 비율의 데이터를 사용했고, 64의 배수를 지니도록 했다.
+
+:::{figure-md} /Multi aspect ratio
+
+
+Multi aspect ratio
+:::
+
+최적화 동안, 학습 배치는 동일한 버킷(같은 비율의 이미지들?)의 이미지로 구성되며, 각 훈련 스텝마다 버킷 크기를 번갈아 가며 사용했다. 추가적으로, 모델은 버킷 크기(혹은 타겟 크기)를 conditioning으로 주었으며, 위에서 언급한 size, crop conditioning과 유사하게 Fourier 공간에 임베딩되는 $c_\text{ar}=(h_\text{tgt}, w_\text{tgt})$ 형태로 표현된다.
+
+실제로, 모델이 고정된 비율및 해상도의 데이터로 pretraining이 마친 후 파인튜닝 단계에서는 다양한 비율의 데이터로 학습했고, 채널 축으로 concat 하는 2.2절에서 소개한 conditioning 기술과 함께 결합했다. 이를 아래의 그림 16에서 코드로 확인할 수 있다.
+
+## 2.4 Improved Autoencoder
+
+SD는 LDM 중 하나이고, autoencoder의 latent space를 학습한다. semantic composition은 LDM으로부터 표현되지만 저자들은 local, high frequency 디테일한 부분을 향상하고자 autoencoder를 향상했다. 끝으로, 원래의 SD를 사용한 autoencoder 아키텍처에서 더 큰 배치사이즈(256 vs 9)로 학습했고 추가로 exponential moving average를 사용한 가중치를 사용했다. 결과 autoencoder의 성능이 reconstruction 메트릭에 좋은 결과를 가져왔다.
+
+:::{figure-md} Table 3
+
+
+Table 3
+:::
+
+## 2.5 Putting Everything Together
+
+학습 파라미터를 정리해주는 절입니다. diffusion time step은 1000 step을 사용했다. 우선, base model를 내부 데이터 셋으로 그림 2에 나와있는 높이-너비 분포에 맞게 학습을 시켰다. 600,000 step을 사용했으며, 256x256 사이즈로, 배치는 2048로, size & crop conditioning을 사용했다. 그 후 512x512 이미지를 추가로 200,000 최적화 step으로 학습시켰고, 마침내 offset 노이즈 [11, 25] 0.05 수준과 함께 다중 비율 학습을 활용하여 ~ 1024x1024 영역의 다양한 비율로 모델을 학습했다.
+
+### Refinement Stage
+
+:::{figure-md} Figure 6
+
+
+Figure 6
+:::
+
+경험적으로, 그림 6처럼 특정 부분 퀄리티가 낮은 샘플의 결과를 찾았다. 왼쪽 그림이 refinement stage 적용 전, 오른쪽 그림이 refinement stage를 적용한 그림이다.
+
+이를 해결하기 위해, 고품질, 고해상도 데이터에 특화된 latent space 내에서 별도의 LDM을 학습했다. 기본 모델의 샘플에 대해 SDEdit에서 도입한 노이즈 제거 과정을 사용했다. eDiff-I 방법을 따랐으며, 이를 첫 200 노이즈 스케일에 refinement 모델을 사용했다. inference에서, base SDXL에서 latent를 추출하고 바로 diffuse와 denoise를 refinement 모델에 넣었다. 이 스텝은 선택이지만 배경 및 사람 얼굴과 같은 디테일에서 향상된 결과(그림 6, 13)를 얻을 수 있었다.
+
+:::{figure-md} Figure 13
+
+
+Figure 13
+:::
diff --git a/_sources/docs/review/Shap-E.md b/_sources/docs/review/Shap-E.md
index e1cfa534..f84a0d7c 100755
--- a/_sources/docs/review/Shap-E.md
+++ b/_sources/docs/review/Shap-E.md
@@ -1,359 +1,359 @@
-```{admonition} Information
-- **Title:** Shap-E: Generating Conditional 3D Implicit Function
-
-- **Reference**
- - Paper: [https:arxiv.org/abs/2305.02463](https:arxiv.org/abs/2305.02463)
- - Code: [https:github.com/openai/shap-e](https:github.com/openai/shap-e)
-
-- **Author:** Kyeongmin Yu
-
-- **Last updated on July. 18. 2024**
-```
-
-# Shap-E
-
-:::{figure-md}
-
-
-Shap-E를 통해 생성한 3D assets
-:::
-
-# 0. Abstract
->📌 **논문요약**\
-> 2023년 openai의 [Heewoo Jun](https:arxiv.org/search/cs?searchtype=author&query=Jun,+H), [Alex Nichol](https:arxiv.org/search/cs?searchtype=author&query=Nichol,+A) 가 발표한 논문입니다. official code는 [github](https:github.com/openai/shap-e/tree/main)에서, diffusers를 활용한 코드는 [huggingface](https:huggingface.co/docs/diffusers/en/api/pipelines/shap_e)에서 확인할 수 있습니다. \
->**목적 -** 조건부 3D assets 생성 \
->**생성방식 -** encoder를 통해 implicit function의 parameter 형태로 표현한 후, 이를 diffusion model의 조건으로 사용함으로써 conditional 3D assets을 생성할 수 있도록 했다.\
->**차별점 -** texture mesh 나 NeRF 모두 생성 가능한 implicit function의 parameters를 직접적으로 생성할 수 있다. (다른 3D 생성 모델의 경우 단일 표현만 가능한 경우가 많다고 합니다.)
-
-# 1. Introduction
-
-implicit neural representations (INRs)는 3D assets을 인코딩하는 방식으로 많이 사용된다. 3D asset을 표현하기 위해 INRs는 주로 3D coordinate를 location specific info(density, color)로 맵핑한다. 일반적으로 INRs는 화질에 영향을 받지 않는데 이는 고정된 grid나 sequence가 아닌 arbitrary input points를 처리할 수 있기 때문이다. 덕분에 end-to-end 미분이 가능하다. INRs은 이후 다양한 downstream applications도 가능하게 한다. 본 논문에서는 2가지 타입의 INRs을 다룬다.
-
-- **Neural Radiamce Field (NeRF)** - 3D scene을 function mapping으로 표현.
- - coordinate, viewing direction $\rightarrow$ density, colors along camera rays
-- **textured 3D mesh** (DMTet, GET3D)
- - coordinate $\rightarrow$ colors, signed distances, vertex offsets
- - INRs는 삼각메쉬를 생성할 때 사용될 수 있다.
-
-이미지, 비디오, 오디오, 3D assets 생성에 관한 다양한 연구가 있지만 downstream application에서 사용하기 편한 형태로 3D assets을 표현하는 방법에 대한 연구는 부족하다. 본 논문은 단일 representation으로 부터 두가지 형태로 rendering 가능하게 했다는 특징이 있다.
-
-# 2. Background
-
-## 2.1 Neural Radiance Fields (NeRF)
-
-Mildenhall et al. 는 아래와 같이 NeRF(3D scene을 implicit function으로 표현하는 방법)를 제안했다.
-
-$$
-F_{\Theta} : (\mathbf{x},\mathbf d)↦(\mathbf c,\sigma) \tag{1}
-$$
-
-$x$ 는 3D 공간 좌표, $d$ 는 3D 시야 각도, $c$ 는 RGB, $\sigma$ 는 density($\ge 0$) 이다. $F_\Theta$ 는 편의를 위해 $\sigma(x)$ 와 $c(x,d)$ 두개의 식으로 나누어 표현했다.
-
-새로운 시야에서 바라본 scene 을 렌더링하기 위해서, 아래와 같이 각 ray에 맞는 color값을 계산한다.
-
-$$
-\hat C(\mathbf r)=\int^\infty_0 T(t)\sigma(\mathbf R(t))\mathbf c(\mathbf r(t),\mathbf d)dt, \space \text{where} \space T(t)=\text{exp}\Big(-\int^\infty_0 \sigma(\mathbf r(s))ds\Big) \tag{2}
-$$
-
-- 수식(2) 설명
-
- :::{figure-md}
-
-
- 수식 (2) 보충설명
- :::
-
-위의 적분식을 아래와 같이 discrete sum으로 간략화 할 수 있다.
-
-$$
-\hat C(\mathbf r)=\sum^N_{i=1} T_i(1-\text{exp}(-\sigma(\mathbf r(t_i))\delta_t))\mathbf c (\mathbf r(t_i),\mathbf d), \space \text{where} \space T_i=\text{exp}\Big(-\sum^{i-1}_{j=1} \sigma(\mathbf r(t_j))\delta_j\Big) \tag{3}
-$$
-
-구간을 나누는 방식은 중요한 부분으로 coarse와 fine 두단계로 나누어 더 세부적으로 sequence를 나눈다. 2개의 NeRF 모델을 이용하여 2번의 sampling을 한다.
-
-$$
-w_i \sim T_i(1-\text{exp}(-\sigma(\mathbf r(t_i))\delta_i))\tag{4}
-$$
-
-본 논문에서는 ray의 transmittance를 아래와 같이 추가적으로 정의하였다. 이는 직관적으로 ray의 alpha값이나 opacity의 총합에 해당한다.
-
-$$
-\hat T(\mathbf r)=1-\text{exp}\Big(-\sum^N_{i=1}\sigma(\mathbf r(t_i))\delta_i\Big)\tag{5}
-$$
-
-- 수식(5) 설명
-
- :::{figure-md}
-
-
- 수식 (5) 보충 설명
- :::
-
-
-
-
-## 2.2 Signed Distance Functions and Texture Field (STF)
-
-본 논문에서 STF는 signed distances와 texture colors 두가지 모두를 생성하는 implicit function을 의미한다. 이번 섹션에서는 이러한 implicit function이 meshes를 구성하고 rendering을 만드는 방식을 설명한다.
-
-:::{figure-md}
-
-
-point cloud, voxel, polygon mesh의 비교 \
-source - 3D Vision with Transformers: A Survey
-:::
-
-**Signed Distance Functions (SDFs)**는 3D shape을 scaler field에서 표현하는 전통적인 방법중 하나다. 특히 SDF $f$는 coordinate $x$를 scaler 로 mapping한다. ($f(\mathbf x)=d$) 여기서 $d$는 특정 위치 $x$에서 가장 가까운 물체의 표면까지의 거리를 말한다. $d$가 0보다 작으면 해당 물체 외부임을 의미한다. 이러한 정의에 따라 $f(\mathbf x)=0$ 일때는 물체의 표면을 의미한다. $\text{sign}(d)$는 표면에 따른 normal orientation을 의미한다.
-
-- DMTet : SDFs를 활용하여 3D shape을 생성하는 모델. coarse voxel을 입력으로 받아 synthesized shape(SDF, tetrahedral)을 만들어 낸다. DMTet의 출력은 dense spatial grid에서의 각 vertex $v_i$별 SDF 값 $s_i$와 displacement $\vartriangle v_i$ 이다. 이후 설명 생략
-
-- GET3D : DMTet에 추가적인 texture 정보까지도 생성하는 모델이다. 물체의 표면의 지점 $p$ 마다 RGB color를 예측하는 모델을 따로 학습시켜 texture를 만들었다. 이후 설명 생략
-
-:::{figure-md}
-
-
-texture, bump, displacement의 비교 \
-source - [tutorials in grabcad](https:grabcad.com/tutorials/adding-textures-to-3d-models-texture-bump-and-displacement-mapping-how-to-make-photo-realistic-models)
-:::
-
-bump는 lighting 을 고려하여 texture가 더 자연스러워 졌지만 구의 표면을 보면 물체의 형태가 실제로 바뀐것은 아님을 알수 있다.displacement를 보면 texture를 따라 물체의 표면이 변화된것을 볼 수 있다.
-
-## 2.3 Diffusion Models
-
-본 논문에서 활용한 diffusion model은 DDPM으로 diffusion process(noising process)를 data sample $x_0$ 에 gaussian noise를 서서히 추가하여 완전한 노이즈가 되어가는 과정 $(x_1,x_2,…x_T)$ 으로 표현했다. 일반적으로 $x_T$는 gaussian noise와 구분불가능한 상태로 상정한다. 해당 과정은 sequential하게 진행되지만 활용시에는 아래의 식과 같이 특정 단계로 바로 “jump”하는 방식을 이용한다.
-
-$$
-x_t=\sqrt{\bar\alpha_t}x_0+\sqrt{1-\bar\alpha_t}\epsilon\tag{6}
-$$
-
-$\epsilon$ 은 랜덤한 노이즈를 의미하고, $\bar\alpha_t$는 단조감소하는 노이즈 스케줄을 의미한다. ($t=0$ 일때는 sample data가 되어야 하므로 $\bar\alpha_0=1$)
-
-모델 $\epsilon_\theta$를 학습할때는 아래의 손실함수를 사용한다.
-
-$$
-L_{\text{simple}}=E_{x_0\sim q(x_0),\epsilon\sim\mathcal N(0,\mathbf I),t\sim U[1,T]}\|\epsilon -\epsilon_\theta (x_t,t)\|^2_2\tag{7}
-$$
-
-아래와 같이 표현할 수도 있는데 Shap-E 논문에서는 아래의 식을 활용하였다. 위는 (모델이 예측하는 노이즈, diffusion process에서 더해진 노이즈)의 차이를 줄이는 방향으로 학습한다는 의미이고, 아래는 (data sample $x_0$, 모델이 예측한 노이즈를 제거하여 만든 이미지)의 차이를 줄이는 방향으로 학습한다는 의미이다.
-
-$$
-L_{x_0}=E_{x_0\sim q(x_0),\epsilon\sim\mathcal N(0,\mathbf I),t\sim U[1,T]}\|x_\theta (x_t,t)-x_0\|^2_2\tag{8}
-$$
-
-denosing시에는 높은 퀄리티와 적당한 latency를 위해 Heun sampler와 classifier-free guidance를 사용했다.
-
-$$
-\hat x_\theta(x_t,t|y)=x_\theta(x_T,t)+s\space\cdot\space (x_\theta(x_t,t|y)-x_\theta(x_t,t)) \tag{9}
-$$
-
-$s$ 는 guidance scale이고 $s=0, s=1$ 일때는 regular unconditional, conditional sampling을 뜻한다. $s$ 를 더 키우면 일관성(coherence)은 커지지만 다양성(diversity)이 떨어질 수 있다. 실험적으로 나은 결과물을 얻기 위해서는 guidance가 필요하다는 것을 알아냈다. (section 5의 figure 4 참고)
-
-## 2.4 Latent Diffusion
-
-continuous latent space에서도 diffusion을 활용하여 샘플들을 생성할 수 있다. 이는 Stable Diffusion(LDM)에서 제안된 것으로, pixel space와 latent space간의 변환을 담당하는 encoder와 decoder를 추가하여 two-stage방식으로 모델을 학습시키면 된다. 앞서 봤던 노이즈를 예측을 담당하는 모델 $\epsilon_\theta$는 latent space에서 추가된 노이즈(latent noise)를 예측하게 되는 것이다. original LDM에서는 latent noise를 원본 이미지 보다 낮은 복잡도(lower-dimensional distribution)를 가지도록 KL penalty나 vector quantization layer를 사용했다.
-
-본 논문에서도 위와 유사한 방식을 사용했으나 GAN-based objective와 perceptual loss를 사용하지 않고 단순히 $L_1$, $L_2$ reconstruction loss를 사용했다. 또한 KL regularization과 vector quantization은 bottleneck이 되므로 고정된 numerical range를 가지도록 하고 diffusion style의 noise를 추가 했다.
-
-# 3. Related Work
-
-- Point-E
-- 3D auto-encoder + implicit decoder
- - Fu et al. [16] - SDF sample grid를 encode, implicit decoder의 condition으로 사용.
- - Sanghi et al. [54] - voxel grid를 encode, implicit occupancy network의 condition으로 사용.
- - Liu et al. [34] - voxel-based encoder와 implicit occupancy, color decoder를 학습.
- - Kosiorek et al. [30] - rendered view을 encode, encoding된 latent vector를 NeRF의 condition으로 사용.
- - Chen and Wang [6] - transformer기반 모델을 사용하여 rendered view에서 MLP parameter를 곧바로 생성.
-- 학습된 encoder 없이 implicit 3D representation을 생성하는것을 목표로 하는 모델들
- - Park et al. [43] - auto decoder를 학습. 데이터셋 내의 각 샘플의 embedding vector table을 학습.
- - Bautista et al. [4] - NeRF decoder를 조건으로 scene 별 latent code를 학습.
- - Dupont et al. [12] - implicit function을 학습하기 위해 meta learning 활용.
- - Erkoç et al. [14] - implicit MLP weight를 곧바로 생성하기 위해 diffusion을 활용.
- - akin to [12] - NeRF parameter fitting을 필요로 함.
- - Wang et al. [66] - 데이터셋 내의 각 샘플의 개별 NeRF를 joint 학습.
-
-# 4. Method
-
-
->📌 훈련 방법 \
->two stage 방식으로 Shap-E를 학습시킨다.\
->**Stage 1. train an encoder** \
->**Stage 2. train a conditional diffusion model on outputs of the encoder**
-
-
-## 4.1 3D Encoder
-
-:::{figure-md}
-
-
-3D Encoder의 구조
-:::
-
-**encoder의 input :** (point clouds, rendered views) \
-**encoder의 output :** MLP의 parameter
-
-> 입력 representation의 세부 특성 \
-> Point-E와 비교하였을때, post-processing 방식을 변경하여 3D Asset별 사용하는 RGB point cloud의 point 개수를 늘이고, 더 많은 view를 256x256 크기로 렌더링 하여 사용했다. 구체적으로는 다음과 같다.
-> - Point Clouds: 기존 4K -> 16K
-> - Multiview point clouds: 기존 20 views -> 60 views (20개의 view를 사용한 경우 생성된 pointcloud에 crack이 발생했다고 함)\ view 렌더링시 조명과 물체표면의 특성을 간략화했다.
-
-
-encoder에서 얻은 parameter는 implicit function에서 asset의 representation을 의미한다. (+의미상 다양한 형태로 입력받은 3D asset의 특성을 융합하여 하나로 표현한 것, 논문의 장점으로 NeRF와 point cloud 모두를 얻을수 있다고 했으므로 상당히 의도가 느껴지는 입력으로 보인다. )
-
-:::{figure-md}
-
-
-pseudocode
-:::
-
-encoder에 입력된 point clouds와 views는 cross-attention과 transformer backbone에 의해 처리되어 sequence of vectors가 된다. 이후 latent bottleneck과 projection layer를 통과하여 MLP weight matrices를 만든다.
-
-encoder는 NeRF rendering objective를 사용(Section 4.1.1 참고)하여 사전 학습한다. mesh-based objective를 이용한 사전학습시 보다 더 안정적인 결과물을 얻을 수 있었다고 한다. 이후에는 SDF와 texture color prediction을 위해 추가적인 output head를 넣어 Section 4.1.2와 같이 two-stage 방식으로 head들을 학습시킨다.
-
-### 4.1.1 Decoding with NeRF Rendering
-
-original NeRF의 식과 유사하지만 coarse net과 fine net이 parameter들을 공유할 수 있도록 하지는 않았다. 랜덤한 4096개의 ray를 각 학습 데이터에서 샘플링하였으며, $L_1$ loss가 최소가 되도록 했다. (original NeRF에서는 $L_2$ loss를 사용)
-
-$$
-L_{\mathbf{RGB}}=E_{\mathbf r\in R}[\|\hat C_c(\mathbf r)-C(\mathbf r)\|_1+\|\hat C_f(\mathbf r)-C(\mathbf r)\|_1] \tag{10}
-$$
-
-여기에 추가적으로 각 ray의 transmittance에 대한 손실함수를 추가했다. 특히, 한 ray의 density 적분값(integrated density)을 통해 얻은transmittance로 coarse rendering과 fine rendering시 $\hat T_c(r)$ 와 $\hat T_f(r)$를 예측하였다. ground truth로는 gt rendering결과의 alpha channel을 사용하였다. 이 손실함수는 아래와 같이 표현할 수 있다. (+NeRF의 경우 novel view를 만드는 것이 목적이었으나 본 논문은 mesh도 생성해야 하므로 노이즈 제거가 더욱 중요하였을 것으로 생각된다.)
-
-$$
-L_T=E_{\mathbf r\in R}[\|\hat T_c(\mathbf r)-T(\mathbf r)\|_1 +\|\hat T_f(\mathbf r)-T(\mathbf r)\|_1]\tag{11}
-$$
-
-최종적으로는 두 손실함수를 합하여 최적화를 진행하였다.
-
-$$
-L_\text{NeRF}=L_\text{RGB}+L_T \tag{12}
-$$
-
-### 4.1.2 Decoding with STF Rendering
-
-:::{figure-md}
-
-
-texture, bump, displacement의 비교 \
-source - https:grabcad.com/tutorials/adding-textures-to-3d-models-texture-bump-and-displacement-mapping-how-to-make-photo-realistic-models
-:::
-
-NeRF 방식을 통해 사전학습한 후, MLPs에 STF output heads를 추가한다. 이러한 MLPs는 SDF와 texture color를 예측한다. triangle mesh를 생성하기 위해서는 각 vertex의 SDF를 regular $128^3$ grid로 옮겨 미분가능한 형태의 Marching Cube를 진행해야 한다. 이후 texture color는 최종 mesh의 각 vertex texture color head를 통해 얻는다. Pytorch 3D를 활용하면 미분가능한 rendering을 통해 textured mesh를 얻을 수 있다고 한다. 렌더링 시에는 데이터셋 구축시 preprocessing에 사용한 것과 동일한 lighting 조건을 사용했다.
-
-사전 실험시 랜덤 초기화된 STF output heads를 사용했을 때는 결과가 불안정 했으며, rendering based objective를 사용하여 학습하는 것이 어려웠다. 해당 문제를 완화하기 위해 SDF와 texture color를 해당 output heads를 직접 학습시키기 전에 distill 접근법을 사용했다. Point-E의 regression model을 활용하여 입력 좌표를 랜덤하게 샘플링하고, SDF distillation target을 구했다. 그리고 RGB target로는 asset RGB point cloud에서 특정위치 $x$와 가장 가까운(nearest neighbor) point의 색을 사용했다. distillation training 시 distillation loss와 NeRF loss를 더하여 사용했다.
-
-$$
-L_\text{distill}=L_\text{NeRF}+E_{\mathbf x\sim U[-1,1]^3}[\|\text{SDF}_\theta(\mathbf x)-\text{SDF}_\text{regression}(\mathbf x)\|_1+\|\text{RGB}_\theta(\mathbf x)-\text{RGB}_\text{NN}(\mathbf x)\|_1]
-\tag{13}
-$$
-
-STF output heads가 distillation을 통해 적절한 초기값을 갖게된 후, NeRF encoder와 STF rendering 전체를 end-to-end로 fine-tune한다. 실험적으로 STF rendering에는 $L_1$을 사용하는 것은 불안정했으므로 $L_2$ 손실함수만 사용하는 것이 이러한 rendering 방식에 적절함을 알 수 있었다. STF rendering에 사용한 loss는 아래와 같다.
-
-$$
-L_\text{STF}=\frac{1}{N\space \cdot\space s^2}\sum^N_{i=1}\|\text{Render}(\text{Mesh}_i)-\text{Image}_i\|^2_2\tag{14}
-$$
-
-+ mesh를 렌더링한 이미지와 target 이미지의 L2 reconstruction loss의 평균
-
-N은 이미지 개수, s는 이미지의 화질, $\text{Mesh}_i$는 $\text{sample}_i$의 constructed mesh를 말한다. $\text{Image}_i$는 RGBA rendering된 결과물로 alpha채널을 포함하고 있기 때문에 transmittance에 대한 loss를 따로 추가하지 않았다.
-
-최종 fine-tuning 단계에서는 아래와 같이 더한 objective function을 사용한다.
-
-$$
-L_\text{FT}=L_\text{NeRF}+L_\text{STF}\tag{15}
-$$
-
-## 4.2 Latent Diffusion
-
-Point-E의 transformer 기반 diffusion 구조를 채택했다. 하지만 point cloud를 latent vector의 sequence로 바꾸었다. latent sequences의 크기는 $1024\times1024$ 로 이를 길이가 1024인 1024개의 token처럼 transformer의 입력으로 사용했다. 각 token은 MLP weight matrices의 각 row와 일치한다. Shap-E의 모델은 Point-E base 모델과 유사한 부분이 많다.(context length와 width가 동일) 하지만 더 고차원의 샘플(samples in higher-dimensional)을 생성하는데 이는 입출력 채널의 복잡도(dimension)가 증가하였기 때문이다.
-
-Point-E의 conditioning 방식을 동일하게 사용하였다. 이미지 조건부 3d 생성시 256-token CLIP embedding sequence를 transformer context로 사용했으며, 텍스트 조건부 3d 생성시 single token을 사용했다.
-
-Point-E와의 차이점으로는 diffusion model의 출력을 $\epsilon$ prediction으로 parameterize하지 않았다는 것이다. 대신 본 논문에서는 곧바로 sample을 예측하는 방식을 사용했다. 대수적으로는 동일한 의미이나 초기 실험에서 더 일관된 결과물을 생성하여 해당 방식을 사용하였다고 함.
-
-## 4.3 Dataset
-
-공정한 비교를 위해 대부분의 실험에서 Point-E와 동일한 3D assets을 사용했다. 하지만 post-processing부분에서는 차이가 있다.
-
-- point cloud 계산시, 20개가 아닌 60개의 view를 rendering했다. 20개만 사용했을때 주어진 view에서 확인할 수 없는 영역때문에 crack 발생 (+NeRF 때문으로 추정)
-- point cloud를 4K 가아닌 16K의 point로 만들었다.
-- encoder학습을 위한 view를 렌더링 할때 단순한 소재와 라이팅을 사용하였다. 특히 모든 모델은 동일한 고정된 라이팅 조건내에서 렌더링 되었다. ambient와 diffuse shading만 사용 (+반사광이 고려되지 않아 표면이 매끈한 물체는 생성하기 어려울 것으로 추정됨)
-
- :::{figure-md}
-
-
- Phong model \
- 기본적인 shading방식으로 본 논문에서는 specular를 사용하지 않았다 \
- source - [Realistic_Visualisation_of_Endoscopic_Surgery_in_a_Virtual_Training_Environment](https:www.researchgate.net/publication/265514880_Realistic_Visualisation_of_Endoscopic_Surgery_in_a_Virtual_Training_Environment)
- :::
-
-text 조건부 모델과 해당 Point-E baseline을 위해 데이터 셋을 더욱 확장했다. 이 데이터 셋을 위해 대략 100만개의 3D assets과 12만개의 (human labeled)caption을 추가로 수집했다.
-
-# 5. Result
-
-## 5.1 Encoder Evaluation
-
-:::{figure-md}
-
-
-각 스테이지 별 훈련 이후 encoder 성능평가
-:::
-
-
-distillation에서 rendering 이미지의 퀄리티가 떨어지는 것처럼 보이나 finetuning시 퀄리티가 더욱 좋아진다. 또한 STF의 퀄리티 또한 크게 상승한다.
-
-## 5.2 Comparison to Point-E
-
-:::{figure-md}
-
-
-Shap-E와 Point-E비교\
-세모 마크가 Point-E, 원형 마크가 Shap-E이다.
-:::
-
-point-E보다 Shap-E의 CLIP score가 더 높다. 더 많은수의 parameter를 가진 point-E를 사용하여도 Shap-E의 성능이 우수함.
-
-두 평가 지표 모두 OpenAI의 CLIP (Contrastive Language-Image Pretraining) 모델을 활용한 평가 지표로 CLIP score의 경우 주어진 텍스트와 생성결과의 일관성을 평가하기 위한 것이고, CLIP R precision의 경우 생성결과와 참조 이미지가 얼마나 비슷한지 평가하기 위한 것이다.
-
-:::{figure-md}
-
-
-Shap-E와 Point-E비교
-:::
-동일한 base model의 크기 동일한 데이터셋으로 학습시킨 결과. 텍스트 조건부 생성시에는 퀄리티 차이가 크지 않음.
-
-:::{figure-md}
-
-
-Shap-E와 Point-E비교
-:::
-이미지 조건부 생성시에는 비교적 차이가 크다.
-벤치 결과를 보면 point-E에서 나무사이 빈공간을 무시해버린것을 볼수 있다.
-위의 강아지와 컵 이미지 기반 생성 결과를 보면 point-E와 shap-E가 유사한 케이스에서 실패하는 모습을 보였다.
-
-## 5.3 Comparison to Other Methods
-:::{figure-md}
-
-
-COCO 데이터셋을 이용한 비교결과
-:::
-reference latency에서 point-E와 Shap-E의 차이가 있는데, 이는 Shap-E는 추가적인 upsampling diffusion model을 사용하지 않기 때문이다.
-
-# 6. Limitations and Future Work
-
-:::{figure-md}
-
-
-텍스트 조건부 생성 결과
-:::
-왼쪽 그림과 같이 여러가지 특성을 가진물체를 생성하는데에 어려움을 겪는 모습을 보인다. 이는 학습에 사용한 paired data가 제한적이기 때문으로 더 많은 3D dataset을 수집하면 나아질 수 있다. 또한 texture의 세부 특성을 encoder가 무시하는 경우도 있는데, 더 나은 encoder를 사용함으로써 개선될수 있다.
-
-Shap-E는 다양한 3D 생성 기술들을 융합하는데에 도움을 줄 수 있다. 예를 들어 Shap-E로 생성한 NeRF와 mesh를 다른 최적화 기반 모델을 초기화 하는데 사용하는 것이다. 이를 통해 더 빠른 수렴도 가능할 것으로 생각된다.
-
-# 7. Conclusion
-
-Shap-E는 latent diffusion model을 3D implicit function공간에서 전개하여 NeRF와 textured mesh 모두를 생성 할 수 있었다. 동일한 데이터셋을 활용하여 다른 생성모델들과 비교하였을때 더 나은 성능을 보임을 확인했다. 또한 text 조건부 생성시 이미지 없이도 다양한 흥미로운 물체를 생성할 수 있음확인했다. 이는 implicit represention을 생성함에 큰 가능성을 보여준다.
-
-# 8. Acknowledgements
-
+```{admonition} Information
+- **Title:** Shap-E: Generating Conditional 3D Implicit Function
+
+- **Reference**
+ - Paper: [https:arxiv.org/abs/2305.02463](https:arxiv.org/abs/2305.02463)
+ - Code: [https:github.com/openai/shap-e](https:github.com/openai/shap-e)
+
+- **Author:** Kyeongmin Yu
+
+- **Last updated on July. 18. 2024**
+```
+
+# Shap-E
+
+:::{figure-md}
+
+
+Shap-E를 통해 생성한 3D assets
+:::
+
+# 0. Abstract
+>📌 **논문요약**\
+> 2023년 openai의 [Heewoo Jun](https:arxiv.org/search/cs?searchtype=author&query=Jun,+H), [Alex Nichol](https:arxiv.org/search/cs?searchtype=author&query=Nichol,+A) 가 발표한 논문입니다. official code는 [github](https:github.com/openai/shap-e/tree/main)에서, diffusers를 활용한 코드는 [huggingface](https:huggingface.co/docs/diffusers/en/api/pipelines/shap_e)에서 확인할 수 있습니다. \
+>**목적 -** 조건부 3D assets 생성 \
+>**생성방식 -** encoder를 통해 implicit function의 parameter 형태로 표현한 후, 이를 diffusion model의 조건으로 사용함으로써 conditional 3D assets을 생성할 수 있도록 했다.\
+>**차별점 -** texture mesh 나 NeRF 모두 생성 가능한 implicit function의 parameters를 직접적으로 생성할 수 있다. (다른 3D 생성 모델의 경우 단일 표현만 가능한 경우가 많다고 합니다.)
+
+# 1. Introduction
+
+implicit neural representations (INRs)는 3D assets을 인코딩하는 방식으로 많이 사용된다. 3D asset을 표현하기 위해 INRs는 주로 3D coordinate를 location specific info(density, color)로 맵핑한다. 일반적으로 INRs는 화질에 영향을 받지 않는데 이는 고정된 grid나 sequence가 아닌 arbitrary input points를 처리할 수 있기 때문이다. 덕분에 end-to-end 미분이 가능하다. INRs은 이후 다양한 downstream applications도 가능하게 한다. 본 논문에서는 2가지 타입의 INRs을 다룬다.
+
+- **Neural Radiamce Field (NeRF)** - 3D scene을 function mapping으로 표현.
+ - coordinate, viewing direction $\rightarrow$ density, colors along camera rays
+- **textured 3D mesh** (DMTet, GET3D)
+ - coordinate $\rightarrow$ colors, signed distances, vertex offsets
+ - INRs는 삼각메쉬를 생성할 때 사용될 수 있다.
+
+이미지, 비디오, 오디오, 3D assets 생성에 관한 다양한 연구가 있지만 downstream application에서 사용하기 편한 형태로 3D assets을 표현하는 방법에 대한 연구는 부족하다. 본 논문은 단일 representation으로 부터 두가지 형태로 rendering 가능하게 했다는 특징이 있다.
+
+# 2. Background
+
+## 2.1 Neural Radiance Fields (NeRF)
+
+Mildenhall et al. 는 아래와 같이 NeRF(3D scene을 implicit function으로 표현하는 방법)를 제안했다.
+
+$$
+F_{\Theta} : (\mathbf{x},\mathbf d)↦(\mathbf c,\sigma) \tag{1}
+$$
+
+$x$ 는 3D 공간 좌표, $d$ 는 3D 시야 각도, $c$ 는 RGB, $\sigma$ 는 density($\ge 0$) 이다. $F_\Theta$ 는 편의를 위해 $\sigma(x)$ 와 $c(x,d)$ 두개의 식으로 나누어 표현했다.
+
+새로운 시야에서 바라본 scene 을 렌더링하기 위해서, 아래와 같이 각 ray에 맞는 color값을 계산한다.
+
+$$
+\hat C(\mathbf r)=\int^\infty_0 T(t)\sigma(\mathbf R(t))\mathbf c(\mathbf r(t),\mathbf d)dt, \space \text{where} \space T(t)=\text{exp}\Big(-\int^\infty_0 \sigma(\mathbf r(s))ds\Big) \tag{2}
+$$
+
+- 수식(2) 설명
+
+ :::{figure-md}
+
+
+ 수식 (2) 보충설명
+ :::
+
+위의 적분식을 아래와 같이 discrete sum으로 간략화 할 수 있다.
+
+$$
+\hat C(\mathbf r)=\sum^N_{i=1} T_i(1-\text{exp}(-\sigma(\mathbf r(t_i))\delta_t))\mathbf c (\mathbf r(t_i),\mathbf d), \space \text{where} \space T_i=\text{exp}\Big(-\sum^{i-1}_{j=1} \sigma(\mathbf r(t_j))\delta_j\Big) \tag{3}
+$$
+
+구간을 나누는 방식은 중요한 부분으로 coarse와 fine 두단계로 나누어 더 세부적으로 sequence를 나눈다. 2개의 NeRF 모델을 이용하여 2번의 sampling을 한다.
+
+$$
+w_i \sim T_i(1-\text{exp}(-\sigma(\mathbf r(t_i))\delta_i))\tag{4}
+$$
+
+본 논문에서는 ray의 transmittance를 아래와 같이 추가적으로 정의하였다. 이는 직관적으로 ray의 alpha값이나 opacity의 총합에 해당한다.
+
+$$
+\hat T(\mathbf r)=1-\text{exp}\Big(-\sum^N_{i=1}\sigma(\mathbf r(t_i))\delta_i\Big)\tag{5}
+$$
+
+- 수식(5) 설명
+
+ :::{figure-md}
+
+
+ 수식 (5) 보충 설명
+ :::
+
+
+
+
+## 2.2 Signed Distance Functions and Texture Field (STF)
+
+본 논문에서 STF는 signed distances와 texture colors 두가지 모두를 생성하는 implicit function을 의미한다. 이번 섹션에서는 이러한 implicit function이 meshes를 구성하고 rendering을 만드는 방식을 설명한다.
+
+:::{figure-md}
+
+
+point cloud, voxel, polygon mesh의 비교 \
+source - 3D Vision with Transformers: A Survey
+:::
+
+**Signed Distance Functions (SDFs)**는 3D shape을 scaler field에서 표현하는 전통적인 방법중 하나다. 특히 SDF $f$는 coordinate $x$를 scaler 로 mapping한다. ($f(\mathbf x)=d$) 여기서 $d$는 특정 위치 $x$에서 가장 가까운 물체의 표면까지의 거리를 말한다. $d$가 0보다 작으면 해당 물체 외부임을 의미한다. 이러한 정의에 따라 $f(\mathbf x)=0$ 일때는 물체의 표면을 의미한다. $\text{sign}(d)$는 표면에 따른 normal orientation을 의미한다.
+
+- DMTet : SDFs를 활용하여 3D shape을 생성하는 모델. coarse voxel을 입력으로 받아 synthesized shape(SDF, tetrahedral)을 만들어 낸다. DMTet의 출력은 dense spatial grid에서의 각 vertex $v_i$별 SDF 값 $s_i$와 displacement $\vartriangle v_i$ 이다. 이후 설명 생략
+
+- GET3D : DMTet에 추가적인 texture 정보까지도 생성하는 모델이다. 물체의 표면의 지점 $p$ 마다 RGB color를 예측하는 모델을 따로 학습시켜 texture를 만들었다. 이후 설명 생략
+
+:::{figure-md}
+
+
+texture, bump, displacement의 비교 \
+source - [tutorials in grabcad](https:grabcad.com/tutorials/adding-textures-to-3d-models-texture-bump-and-displacement-mapping-how-to-make-photo-realistic-models)
+:::
+
+bump는 lighting 을 고려하여 texture가 더 자연스러워 졌지만 구의 표면을 보면 물체의 형태가 실제로 바뀐것은 아님을 알수 있다.displacement를 보면 texture를 따라 물체의 표면이 변화된것을 볼 수 있다.
+
+## 2.3 Diffusion Models
+
+본 논문에서 활용한 diffusion model은 DDPM으로 diffusion process(noising process)를 data sample $x_0$ 에 gaussian noise를 서서히 추가하여 완전한 노이즈가 되어가는 과정 $(x_1,x_2,…x_T)$ 으로 표현했다. 일반적으로 $x_T$는 gaussian noise와 구분불가능한 상태로 상정한다. 해당 과정은 sequential하게 진행되지만 활용시에는 아래의 식과 같이 특정 단계로 바로 “jump”하는 방식을 이용한다.
+
+$$
+x_t=\sqrt{\bar\alpha_t}x_0+\sqrt{1-\bar\alpha_t}\epsilon\tag{6}
+$$
+
+$\epsilon$ 은 랜덤한 노이즈를 의미하고, $\bar\alpha_t$는 단조감소하는 노이즈 스케줄을 의미한다. ($t=0$ 일때는 sample data가 되어야 하므로 $\bar\alpha_0=1$)
+
+모델 $\epsilon_\theta$를 학습할때는 아래의 손실함수를 사용한다.
+
+$$
+L_{\text{simple}}=E_{x_0\sim q(x_0),\epsilon\sim\mathcal N(0,\mathbf I),t\sim U[1,T]}\|\epsilon -\epsilon_\theta (x_t,t)\|^2_2\tag{7}
+$$
+
+아래와 같이 표현할 수도 있는데 Shap-E 논문에서는 아래의 식을 활용하였다. 위는 (모델이 예측하는 노이즈, diffusion process에서 더해진 노이즈)의 차이를 줄이는 방향으로 학습한다는 의미이고, 아래는 (data sample $x_0$, 모델이 예측한 노이즈를 제거하여 만든 이미지)의 차이를 줄이는 방향으로 학습한다는 의미이다.
+
+$$
+L_{x_0}=E_{x_0\sim q(x_0),\epsilon\sim\mathcal N(0,\mathbf I),t\sim U[1,T]}\|x_\theta (x_t,t)-x_0\|^2_2\tag{8}
+$$
+
+denosing시에는 높은 퀄리티와 적당한 latency를 위해 Heun sampler와 classifier-free guidance를 사용했다.
+
+$$
+\hat x_\theta(x_t,t|y)=x_\theta(x_T,t)+s\space\cdot\space (x_\theta(x_t,t|y)-x_\theta(x_t,t)) \tag{9}
+$$
+
+$s$ 는 guidance scale이고 $s=0, s=1$ 일때는 regular unconditional, conditional sampling을 뜻한다. $s$ 를 더 키우면 일관성(coherence)은 커지지만 다양성(diversity)이 떨어질 수 있다. 실험적으로 나은 결과물을 얻기 위해서는 guidance가 필요하다는 것을 알아냈다. (section 5의 figure 4 참고)
+
+## 2.4 Latent Diffusion
+
+continuous latent space에서도 diffusion을 활용하여 샘플들을 생성할 수 있다. 이는 Stable Diffusion(LDM)에서 제안된 것으로, pixel space와 latent space간의 변환을 담당하는 encoder와 decoder를 추가하여 two-stage방식으로 모델을 학습시키면 된다. 앞서 봤던 노이즈를 예측을 담당하는 모델 $\epsilon_\theta$는 latent space에서 추가된 노이즈(latent noise)를 예측하게 되는 것이다. original LDM에서는 latent noise를 원본 이미지 보다 낮은 복잡도(lower-dimensional distribution)를 가지도록 KL penalty나 vector quantization layer를 사용했다.
+
+본 논문에서도 위와 유사한 방식을 사용했으나 GAN-based objective와 perceptual loss를 사용하지 않고 단순히 $L_1$, $L_2$ reconstruction loss를 사용했다. 또한 KL regularization과 vector quantization은 bottleneck이 되므로 고정된 numerical range를 가지도록 하고 diffusion style의 noise를 추가 했다.
+
+# 3. Related Work
+
+- Point-E
+- 3D auto-encoder + implicit decoder
+ - Fu et al. [16] - SDF sample grid를 encode, implicit decoder의 condition으로 사용.
+ - Sanghi et al. [54] - voxel grid를 encode, implicit occupancy network의 condition으로 사용.
+ - Liu et al. [34] - voxel-based encoder와 implicit occupancy, color decoder를 학습.
+ - Kosiorek et al. [30] - rendered view을 encode, encoding된 latent vector를 NeRF의 condition으로 사용.
+ - Chen and Wang [6] - transformer기반 모델을 사용하여 rendered view에서 MLP parameter를 곧바로 생성.
+- 학습된 encoder 없이 implicit 3D representation을 생성하는것을 목표로 하는 모델들
+ - Park et al. [43] - auto decoder를 학습. 데이터셋 내의 각 샘플의 embedding vector table을 학습.
+ - Bautista et al. [4] - NeRF decoder를 조건으로 scene 별 latent code를 학습.
+ - Dupont et al. [12] - implicit function을 학습하기 위해 meta learning 활용.
+ - Erkoç et al. [14] - implicit MLP weight를 곧바로 생성하기 위해 diffusion을 활용.
+ - akin to [12] - NeRF parameter fitting을 필요로 함.
+ - Wang et al. [66] - 데이터셋 내의 각 샘플의 개별 NeRF를 joint 학습.
+
+# 4. Method
+
+
+>📌 훈련 방법 \
+>two stage 방식으로 Shap-E를 학습시킨다.\
+>**Stage 1. train an encoder** \
+>**Stage 2. train a conditional diffusion model on outputs of the encoder**
+
+
+## 4.1 3D Encoder
+
+:::{figure-md}
+
+
+3D Encoder의 구조
+:::
+
+**encoder의 input :** (point clouds, rendered views) \
+**encoder의 output :** MLP의 parameter
+
+> 입력 representation의 세부 특성 \
+> Point-E와 비교하였을때, post-processing 방식을 변경하여 3D Asset별 사용하는 RGB point cloud의 point 개수를 늘이고, 더 많은 view를 256x256 크기로 렌더링 하여 사용했다. 구체적으로는 다음과 같다.
+> - Point Clouds: 기존 4K -> 16K
+> - Multiview point clouds: 기존 20 views -> 60 views (20개의 view를 사용한 경우 생성된 pointcloud에 crack이 발생했다고 함)\ view 렌더링시 조명과 물체표면의 특성을 간략화했다.
+
+
+encoder에서 얻은 parameter는 implicit function에서 asset의 representation을 의미한다. (+의미상 다양한 형태로 입력받은 3D asset의 특성을 융합하여 하나로 표현한 것, 논문의 장점으로 NeRF와 point cloud 모두를 얻을수 있다고 했으므로 상당히 의도가 느껴지는 입력으로 보인다. )
+
+:::{figure-md}
+
+
+pseudocode
+:::
+
+encoder에 입력된 point clouds와 views는 cross-attention과 transformer backbone에 의해 처리되어 sequence of vectors가 된다. 이후 latent bottleneck과 projection layer를 통과하여 MLP weight matrices를 만든다.
+
+encoder는 NeRF rendering objective를 사용(Section 4.1.1 참고)하여 사전 학습한다. mesh-based objective를 이용한 사전학습시 보다 더 안정적인 결과물을 얻을 수 있었다고 한다. 이후에는 SDF와 texture color prediction을 위해 추가적인 output head를 넣어 Section 4.1.2와 같이 two-stage 방식으로 head들을 학습시킨다.
+
+### 4.1.1 Decoding with NeRF Rendering
+
+original NeRF의 식과 유사하지만 coarse net과 fine net이 parameter들을 공유할 수 있도록 하지는 않았다. 랜덤한 4096개의 ray를 각 학습 데이터에서 샘플링하였으며, $L_1$ loss가 최소가 되도록 했다. (original NeRF에서는 $L_2$ loss를 사용)
+
+$$
+L_{\mathbf{RGB}}=E_{\mathbf r\in R}[\|\hat C_c(\mathbf r)-C(\mathbf r)\|_1+\|\hat C_f(\mathbf r)-C(\mathbf r)\|_1] \tag{10}
+$$
+
+여기에 추가적으로 각 ray의 transmittance에 대한 손실함수를 추가했다. 특히, 한 ray의 density 적분값(integrated density)을 통해 얻은transmittance로 coarse rendering과 fine rendering시 $\hat T_c(r)$ 와 $\hat T_f(r)$를 예측하였다. ground truth로는 gt rendering결과의 alpha channel을 사용하였다. 이 손실함수는 아래와 같이 표현할 수 있다. (+NeRF의 경우 novel view를 만드는 것이 목적이었으나 본 논문은 mesh도 생성해야 하므로 노이즈 제거가 더욱 중요하였을 것으로 생각된다.)
+
+$$
+L_T=E_{\mathbf r\in R}[\|\hat T_c(\mathbf r)-T(\mathbf r)\|_1 +\|\hat T_f(\mathbf r)-T(\mathbf r)\|_1]\tag{11}
+$$
+
+최종적으로는 두 손실함수를 합하여 최적화를 진행하였다.
+
+$$
+L_\text{NeRF}=L_\text{RGB}+L_T \tag{12}
+$$
+
+### 4.1.2 Decoding with STF Rendering
+
+:::{figure-md}
+
+
+texture, bump, displacement의 비교 \
+source - https:grabcad.com/tutorials/adding-textures-to-3d-models-texture-bump-and-displacement-mapping-how-to-make-photo-realistic-models
+:::
+
+NeRF 방식을 통해 사전학습한 후, MLPs에 STF output heads를 추가한다. 이러한 MLPs는 SDF와 texture color를 예측한다. triangle mesh를 생성하기 위해서는 각 vertex의 SDF를 regular $128^3$ grid로 옮겨 미분가능한 형태의 Marching Cube를 진행해야 한다. 이후 texture color는 최종 mesh의 각 vertex texture color head를 통해 얻는다. Pytorch 3D를 활용하면 미분가능한 rendering을 통해 textured mesh를 얻을 수 있다고 한다. 렌더링 시에는 데이터셋 구축시 preprocessing에 사용한 것과 동일한 lighting 조건을 사용했다.
+
+사전 실험시 랜덤 초기화된 STF output heads를 사용했을 때는 결과가 불안정 했으며, rendering based objective를 사용하여 학습하는 것이 어려웠다. 해당 문제를 완화하기 위해 SDF와 texture color를 해당 output heads를 직접 학습시키기 전에 distill 접근법을 사용했다. Point-E의 regression model을 활용하여 입력 좌표를 랜덤하게 샘플링하고, SDF distillation target을 구했다. 그리고 RGB target로는 asset RGB point cloud에서 특정위치 $x$와 가장 가까운(nearest neighbor) point의 색을 사용했다. distillation training 시 distillation loss와 NeRF loss를 더하여 사용했다.
+
+$$
+L_\text{distill}=L_\text{NeRF}+E_{\mathbf x\sim U[-1,1]^3}[\|\text{SDF}_\theta(\mathbf x)-\text{SDF}_\text{regression}(\mathbf x)\|_1+\|\text{RGB}_\theta(\mathbf x)-\text{RGB}_\text{NN}(\mathbf x)\|_1]
+\tag{13}
+$$
+
+STF output heads가 distillation을 통해 적절한 초기값을 갖게된 후, NeRF encoder와 STF rendering 전체를 end-to-end로 fine-tune한다. 실험적으로 STF rendering에는 $L_1$을 사용하는 것은 불안정했으므로 $L_2$ 손실함수만 사용하는 것이 이러한 rendering 방식에 적절함을 알 수 있었다. STF rendering에 사용한 loss는 아래와 같다.
+
+$$
+L_\text{STF}=\frac{1}{N\space \cdot\space s^2}\sum^N_{i=1}\|\text{Render}(\text{Mesh}_i)-\text{Image}_i\|^2_2\tag{14}
+$$
+
++ mesh를 렌더링한 이미지와 target 이미지의 L2 reconstruction loss의 평균
+
+N은 이미지 개수, s는 이미지의 화질, $\text{Mesh}_i$는 $\text{sample}_i$의 constructed mesh를 말한다. $\text{Image}_i$는 RGBA rendering된 결과물로 alpha채널을 포함하고 있기 때문에 transmittance에 대한 loss를 따로 추가하지 않았다.
+
+최종 fine-tuning 단계에서는 아래와 같이 더한 objective function을 사용한다.
+
+$$
+L_\text{FT}=L_\text{NeRF}+L_\text{STF}\tag{15}
+$$
+
+## 4.2 Latent Diffusion
+
+Point-E의 transformer 기반 diffusion 구조를 채택했다. 하지만 point cloud를 latent vector의 sequence로 바꾸었다. latent sequences의 크기는 $1024\times1024$ 로 이를 길이가 1024인 1024개의 token처럼 transformer의 입력으로 사용했다. 각 token은 MLP weight matrices의 각 row와 일치한다. Shap-E의 모델은 Point-E base 모델과 유사한 부분이 많다.(context length와 width가 동일) 하지만 더 고차원의 샘플(samples in higher-dimensional)을 생성하는데 이는 입출력 채널의 복잡도(dimension)가 증가하였기 때문이다.
+
+Point-E의 conditioning 방식을 동일하게 사용하였다. 이미지 조건부 3d 생성시 256-token CLIP embedding sequence를 transformer context로 사용했으며, 텍스트 조건부 3d 생성시 single token을 사용했다.
+
+Point-E와의 차이점으로는 diffusion model의 출력을 $\epsilon$ prediction으로 parameterize하지 않았다는 것이다. 대신 본 논문에서는 곧바로 sample을 예측하는 방식을 사용했다. 대수적으로는 동일한 의미이나 초기 실험에서 더 일관된 결과물을 생성하여 해당 방식을 사용하였다고 함.
+
+## 4.3 Dataset
+
+공정한 비교를 위해 대부분의 실험에서 Point-E와 동일한 3D assets을 사용했다. 하지만 post-processing부분에서는 차이가 있다.
+
+- point cloud 계산시, 20개가 아닌 60개의 view를 rendering했다. 20개만 사용했을때 주어진 view에서 확인할 수 없는 영역때문에 crack 발생 (+NeRF 때문으로 추정)
+- point cloud를 4K 가아닌 16K의 point로 만들었다.
+- encoder학습을 위한 view를 렌더링 할때 단순한 소재와 라이팅을 사용하였다. 특히 모든 모델은 동일한 고정된 라이팅 조건내에서 렌더링 되었다. ambient와 diffuse shading만 사용 (+반사광이 고려되지 않아 표면이 매끈한 물체는 생성하기 어려울 것으로 추정됨)
+
+ :::{figure-md}
+
+
+ Phong model \
+ 기본적인 shading방식으로 본 논문에서는 specular를 사용하지 않았다 \
+ source - [Realistic_Visualisation_of_Endoscopic_Surgery_in_a_Virtual_Training_Environment](https:www.researchgate.net/publication/265514880_Realistic_Visualisation_of_Endoscopic_Surgery_in_a_Virtual_Training_Environment)
+ :::
+
+text 조건부 모델과 해당 Point-E baseline을 위해 데이터 셋을 더욱 확장했다. 이 데이터 셋을 위해 대략 100만개의 3D assets과 12만개의 (human labeled)caption을 추가로 수집했다.
+
+# 5. Result
+
+## 5.1 Encoder Evaluation
+
+:::{figure-md}
+
+
+각 스테이지 별 훈련 이후 encoder 성능평가
+:::
+
+
+distillation에서 rendering 이미지의 퀄리티가 떨어지는 것처럼 보이나 finetuning시 퀄리티가 더욱 좋아진다. 또한 STF의 퀄리티 또한 크게 상승한다.
+
+## 5.2 Comparison to Point-E
+
+:::{figure-md}
+
+
+Shap-E와 Point-E비교\
+세모 마크가 Point-E, 원형 마크가 Shap-E이다.
+:::
+
+point-E보다 Shap-E의 CLIP score가 더 높다. 더 많은수의 parameter를 가진 point-E를 사용하여도 Shap-E의 성능이 우수함.
+
+두 평가 지표 모두 OpenAI의 CLIP (Contrastive Language-Image Pretraining) 모델을 활용한 평가 지표로 CLIP score의 경우 주어진 텍스트와 생성결과의 일관성을 평가하기 위한 것이고, CLIP R precision의 경우 생성결과와 참조 이미지가 얼마나 비슷한지 평가하기 위한 것이다.
+
+:::{figure-md}
+
+
+Shap-E와 Point-E비교
+:::
+동일한 base model의 크기 동일한 데이터셋으로 학습시킨 결과. 텍스트 조건부 생성시에는 퀄리티 차이가 크지 않음.
+
+:::{figure-md}
+
+
+Shap-E와 Point-E비교
+:::
+이미지 조건부 생성시에는 비교적 차이가 크다.
+벤치 결과를 보면 point-E에서 나무사이 빈공간을 무시해버린것을 볼수 있다.
+위의 강아지와 컵 이미지 기반 생성 결과를 보면 point-E와 shap-E가 유사한 케이스에서 실패하는 모습을 보였다.
+
+## 5.3 Comparison to Other Methods
+:::{figure-md}
+
+
+COCO 데이터셋을 이용한 비교결과
+:::
+reference latency에서 point-E와 Shap-E의 차이가 있는데, 이는 Shap-E는 추가적인 upsampling diffusion model을 사용하지 않기 때문이다.
+
+# 6. Limitations and Future Work
+
+:::{figure-md}
+
+
+텍스트 조건부 생성 결과
+:::
+왼쪽 그림과 같이 여러가지 특성을 가진물체를 생성하는데에 어려움을 겪는 모습을 보인다. 이는 학습에 사용한 paired data가 제한적이기 때문으로 더 많은 3D dataset을 수집하면 나아질 수 있다. 또한 texture의 세부 특성을 encoder가 무시하는 경우도 있는데, 더 나은 encoder를 사용함으로써 개선될수 있다.
+
+Shap-E는 다양한 3D 생성 기술들을 융합하는데에 도움을 줄 수 있다. 예를 들어 Shap-E로 생성한 NeRF와 mesh를 다른 최적화 기반 모델을 초기화 하는데 사용하는 것이다. 이를 통해 더 빠른 수렴도 가능할 것으로 생각된다.
+
+# 7. Conclusion
+
+Shap-E는 latent diffusion model을 3D implicit function공간에서 전개하여 NeRF와 textured mesh 모두를 생성 할 수 있었다. 동일한 데이터셋을 활용하여 다른 생성모델들과 비교하였을때 더 나은 성능을 보임을 확인했다. 또한 text 조건부 생성시 이미지 없이도 다양한 흥미로운 물체를 생성할 수 있음확인했다. 이는 implicit represention을 생성함에 큰 가능성을 보여준다.
+
+# 8. Acknowledgements
+
특정 인물들에 대한 언급 외에도 ChatGPT로 부터 valuable writing feedback을 받았다고 표현한 부분있었다.
\ No newline at end of file
diff --git a/_sources/docs/review/StyO.md b/_sources/docs/review/StyO.md
index 94e82323..63881073 100755
--- a/_sources/docs/review/StyO.md
+++ b/_sources/docs/review/StyO.md
@@ -1,169 +1,169 @@
-```{admonition} Information
-- **Title:** StyO: Stylize Your Face in Only One-Shot
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2303.03231](https://arxiv.org/abs/2303.03231)
-
-- **Author:** Seunghwan Ji
-
-- **Last updated on Aug. 6, 2023**
-```
-# StyO
-
-## Abstract
-
-- “**Sty**lize the face in only **O**ne-shot.”
-- 한장의 이미지만으로 다른 이미지로 스타일을 Transfer!
-
-## 1. Introduction
-
-- 현재 다양한 분야에서 이미지에 특정 스타일을 입히고자하는 연구들이 활발히 진행중이다.
-- 이전까지의 연구들은 대부분 각각의 source 이미지, target 이미지 한장씩을 사용해 GAN based model을 활용하려는 식이 주를 이루었다.
-- 단 이러한 방식에는 한계가 있는데,
- 1. Real Face를 학습한 pre-trained GAN 모델의 의존도가 너무 커서 Style을 입히기 힘들다.
- 2. latent space안에서 Content 정보와 Style 정보가 Entangle 되어있다.
-- **StyO는?**
- - GAN 대신 Data의 Distribution을 더 잘 포용하는 Latent Diffusion Model을 Base모델로 채용한다.
- - 총 2 Stage로 구성되는데
- 1. Identifier Disentanglement Learner(IDL)
- - 이미지의 content 정보와 Style 정보를 분리
- 2. Fine-grained Content Controller(FCC)
- - IDL로부터 분리된 Content와 Style을 원하는대로 재조합
- - 추가로 src 이미지의 detail한 정보(head-pose, hair color 등)를 유지하기위해 Generate 과정에서 src 이미지의 attention map을 재사용하는 trick을 제안했다.
-- 이러한 StyO는 GAN based 모델에 비해 더 좋은 퀄리티의 이미지를 생성해내고, one-shot face stylization 분야에서 SOTA를 기록했다.
-
-## 2. Related Work
-
-### 2.1. Diffusion Model
-
-- GAN이 생성 분야를 장악하던 중 최근 DDPM의 등장으로 Diffusion 모델이 주목을 받기 시작했다.
-- text prompt를 기반으로 manipulated image 생성이 가능해졌지만, detail한 부분까지 control하기에는 한계가 있었다.
-- 이 때, StyO는 이미지의 fine한 style 정보까지 transfer 가능한 diffusion model이다.
-
-### 2.2. Face Stylization
-
-- 최근 GAN Based 생성 모델이 좋은 성능을 보이면서 styleGAN을 베이스로 하는 face image style transfer 모델이 좋은 성능을 보여주었다.
-- 하지만 real face dataset을 학습한 pretrained checkpoint를 사용하고 이에 대한 의존성이 너무 커 artistic style 정보를 입히는데 한계를 보여준다.
-- StyO는 이러한 한계를 개선한 결과를 보여준다.
-
-## 3. Method
-
-### 3.2. Framework of StyO
-:::{figure-md}
-
-
-Figure 1
-:::
-
-- image 간의 style transfer를 위해 **identifier disentaglement learner**과 **fine-grained content controller**를 제안한다.
-
-**IDL**
-
-- image의 content 정보와 style 정보를 분리하는 방향으로 학습이 진행
-- src 이미지는 `"a drawing with $S_{src}$ not $S_{tgt}$ style of $C_{src}$ not $C_{tgt}$ portrait"` prompt로 학습 (tgt 이미지는 반대)
-
-⇒ 이미지 간의 Style 정보와 Content 정보가 Disentangle 되고, $S_{src}$안에 이미지 A의 Style 정보가, $C_{tgt}$ 안에 src 이미지의 content 정보가 embedding 되도록 학습
-
-- 이 때 $S_{src}$, $C_{src}$에 target 이미지의 conext 정보를 배제함과 동시에$S_{tgt}$, $C_{tgt}$에 포함하기위해 앞에 negator(=부정의 의미를 가진 단어)를 사용
- - *e.g*. *not, without, except …*
-- src, tgt 이미지에 추가로 auxiliary 이미지 셋을 구성해 `“a drawing with $S_{src}$ not $S_{tgt}$ style of portrait”` prompt로 학습
- - $X_{aux}$ : FFHQ dataset에서 임의로 200장의 데이터를 sampling
-- 효과
- 1. auxiliary 이미지를 학습함으로써 key prompt간 disentanglement를 향상
- 2. auxiliary 이미지에는 없는 src 이미지만의 정보를 $C_{src}$ 에 주입
- 3. src 이미지의 style과 tgt 이미지의 style을 구별하는데 도움을 줌
-- Full Loss
- :::{figure-md}
-
-
- Equation 1
- :::
-
-- 이러한 IDL의 학습만으로 src 이미지와 tgt 이미지의 style transfer가 가능하다.
- - `“a drawing with $S_{tgt}$ not $S_{src}$ style of $C_{src}$ not $C_{tgt}$ portrait”`
- :::{figure-md}
-
-
- Figure 2
- :::
-
-- 하지만 위 이미지처럼 src 이미지의 content 정보(head-pose, facial feature)를 잃어버리는 경향이 있다.
-- 이러한 문제점을 개선하기위해 **FCC**를 추가로 도입하였다.
-
-**FCC**
-
-- IDL로 분리된 content 정보와 style 정보를 원하는 방식으로 조합(Recombination)할 때 A의 Content 정보를 유지하도록 하는 Trick
-1. Cross Attention Control
- - LDM은 기본적으로 Text 정보를 생성 이미지에 주입하기위해 cross attention mechanism을 사용
- - $Attn(z, r) = M(z, r)V$, *z : image latent, r : text embedding*
- - 이 때 “prompt-to-promt” paper에서 **attention map M의 값이 생성 이미지의 Layout에 강한 영향을 미친다**는 점을 확인
- - 따라서 src 이미지의 attention mask를 generate 과정에 주입합으로써 content 정보를 좀 더 잘 유지하도록 유도
- - 단, attention map의 모든 값을 replace하지않고, content에 관한 Index만 선택적으로 replace
- - content index : '$C_{src}$`, `not`, `$C_{tgt}$`, `portrait`
- :::{figure-md}
-
-
- Equation 3
- :::
-
-2. Augmented Text Prompt
- - training time에서 key prompt를 n번 사용함으로서 생성되는 이미지에 context 정보를 강하게 주입
- - src 이미지는 `“a drawing with ($S_{src}$ not $S_{tgt}$) * $n_{s}$ style of ($C_{src}$ not $C_{tgt}$) * $n_{c}$ portrait”` (tgt 이미지는 반대)
- - 실험상 hyperparameter $n_{s}$와 $n_{c}$는 3 이하의 값을 추천
-
-## 4. Experiments
-
-**Implementation Details**
-
-- base model : Pretrained LDM model checkpoint (trained by LAION-5B)
-- hyper parameter
- - key prompt : “ak47”, “aug”, “sks”, m4a1”
- - Learning rate : 1e-6
- - Optimizer : Adam
- - train step : 400
- - $n_{s}$ : 3, $n_{c}$ : 1
- - 나머지는 LDM과 동일
-
-**Comparison with SOTA methods**
-:::{figure-md}
-
-
-Figure 3
-:::
-
-- StyO가 src 이미지의 face identity와 local detail 모두 잘 유지함과 동시에, style 정보를 자연스럽게 입힌 결과물을 생성해낸다.
-- User Study도 다른 모델들에 비해 좋은 결과를 보였다.
-
- :::{figure-md}
-
-
- Table 1
- :::
-
-
-**Ablation Study**
-
-1. *Effect of Contrastive Disentangled Prompt Template*
- - negative prompt 없이 positive prompt만 넣고 학습할경우 학습 이미지의 overfitting이 심하고, style과 content 정보의 분리에 어려움을 보인다.
- :::{figure-md}
-
-
- Figure 4
- :::
-
- - 또, source 이미지의 local detail을 유지하기위해 auxiliary set의 trick도 적용하는것이 Best Quality의 결과물을 생성해냈다.
-2. *Effect of Fine-grained Content Controller*
- - FCC 없이 Inference할 경우 generated 이미지의 높은 diversity를 보이지만, FCC를 포함할 경우 src 이미지의 fidelity가 높아져 좀더 significant한 이미지가 생성되는것을 보여주었다.
- :::{figure-md}
-
-
- Figure 5
- :::
-
-1. *Hyper-parameters in Augmented Text Prompt*
- - $n_{s}$ 값이 커질수록 이미지가 photorealistic에서 artistic하게 바뀌고, $n_{c}$도 마찬가지로 값이 커질수록 src 이미지에 overfitting된 이미지가 나오는 경향을 보여주었다.
-
-## 5. Conclusion
-
-- StyO는 IDL과 FCC를 사용해 기존 GAN을 이용한 SOTA 모델들보다 더 자연스럽고 Quality 좋은 style transfered 이미지를 생성해낼 수 있었다.
-- **단, style 하나의 transfer를 위해 single GPU로 10분이 걸리므로 time-efficiency가 좋지 못하다는 단점이 있다.**
+```{admonition} Information
+- **Title:** StyO: Stylize Your Face in Only One-Shot
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2303.03231](https://arxiv.org/abs/2303.03231)
+
+- **Author:** Seunghwan Ji
+
+- **Last updated on Aug. 6, 2023**
+```
+# StyO
+
+## Abstract
+
+- “**Sty**lize the face in only **O**ne-shot.”
+- 한장의 이미지만으로 다른 이미지로 스타일을 Transfer!
+
+## 1. Introduction
+
+- 현재 다양한 분야에서 이미지에 특정 스타일을 입히고자하는 연구들이 활발히 진행중이다.
+- 이전까지의 연구들은 대부분 각각의 source 이미지, target 이미지 한장씩을 사용해 GAN based model을 활용하려는 식이 주를 이루었다.
+- 단 이러한 방식에는 한계가 있는데,
+ 1. Real Face를 학습한 pre-trained GAN 모델의 의존도가 너무 커서 Style을 입히기 힘들다.
+ 2. latent space안에서 Content 정보와 Style 정보가 Entangle 되어있다.
+- **StyO는?**
+ - GAN 대신 Data의 Distribution을 더 잘 포용하는 Latent Diffusion Model을 Base모델로 채용한다.
+ - 총 2 Stage로 구성되는데
+ 1. Identifier Disentanglement Learner(IDL)
+ - 이미지의 content 정보와 Style 정보를 분리
+ 2. Fine-grained Content Controller(FCC)
+ - IDL로부터 분리된 Content와 Style을 원하는대로 재조합
+ - 추가로 src 이미지의 detail한 정보(head-pose, hair color 등)를 유지하기위해 Generate 과정에서 src 이미지의 attention map을 재사용하는 trick을 제안했다.
+- 이러한 StyO는 GAN based 모델에 비해 더 좋은 퀄리티의 이미지를 생성해내고, one-shot face stylization 분야에서 SOTA를 기록했다.
+
+## 2. Related Work
+
+### 2.1. Diffusion Model
+
+- GAN이 생성 분야를 장악하던 중 최근 DDPM의 등장으로 Diffusion 모델이 주목을 받기 시작했다.
+- text prompt를 기반으로 manipulated image 생성이 가능해졌지만, detail한 부분까지 control하기에는 한계가 있었다.
+- 이 때, StyO는 이미지의 fine한 style 정보까지 transfer 가능한 diffusion model이다.
+
+### 2.2. Face Stylization
+
+- 최근 GAN Based 생성 모델이 좋은 성능을 보이면서 styleGAN을 베이스로 하는 face image style transfer 모델이 좋은 성능을 보여주었다.
+- 하지만 real face dataset을 학습한 pretrained checkpoint를 사용하고 이에 대한 의존성이 너무 커 artistic style 정보를 입히는데 한계를 보여준다.
+- StyO는 이러한 한계를 개선한 결과를 보여준다.
+
+## 3. Method
+
+### 3.2. Framework of StyO
+:::{figure-md}
+
+
+Figure 1
+:::
+
+- image 간의 style transfer를 위해 **identifier disentaglement learner**과 **fine-grained content controller**를 제안한다.
+
+**IDL**
+
+- image의 content 정보와 style 정보를 분리하는 방향으로 학습이 진행
+- src 이미지는 `"a drawing with $S_{src}$ not $S_{tgt}$ style of $C_{src}$ not $C_{tgt}$ portrait"` prompt로 학습 (tgt 이미지는 반대)
+
+⇒ 이미지 간의 Style 정보와 Content 정보가 Disentangle 되고, $S_{src}$안에 이미지 A의 Style 정보가, $C_{tgt}$ 안에 src 이미지의 content 정보가 embedding 되도록 학습
+
+- 이 때 $S_{src}$, $C_{src}$에 target 이미지의 conext 정보를 배제함과 동시에$S_{tgt}$, $C_{tgt}$에 포함하기위해 앞에 negator(=부정의 의미를 가진 단어)를 사용
+ - *e.g*. *not, without, except …*
+- src, tgt 이미지에 추가로 auxiliary 이미지 셋을 구성해 `“a drawing with $S_{src}$ not $S_{tgt}$ style of portrait”` prompt로 학습
+ - $X_{aux}$ : FFHQ dataset에서 임의로 200장의 데이터를 sampling
+- 효과
+ 1. auxiliary 이미지를 학습함으로써 key prompt간 disentanglement를 향상
+ 2. auxiliary 이미지에는 없는 src 이미지만의 정보를 $C_{src}$ 에 주입
+ 3. src 이미지의 style과 tgt 이미지의 style을 구별하는데 도움을 줌
+- Full Loss
+ :::{figure-md}
+
+
+ Equation 1
+ :::
+
+- 이러한 IDL의 학습만으로 src 이미지와 tgt 이미지의 style transfer가 가능하다.
+ - `“a drawing with $S_{tgt}$ not $S_{src}$ style of $C_{src}$ not $C_{tgt}$ portrait”`
+ :::{figure-md}
+
+
+ Figure 2
+ :::
+
+- 하지만 위 이미지처럼 src 이미지의 content 정보(head-pose, facial feature)를 잃어버리는 경향이 있다.
+- 이러한 문제점을 개선하기위해 **FCC**를 추가로 도입하였다.
+
+**FCC**
+
+- IDL로 분리된 content 정보와 style 정보를 원하는 방식으로 조합(Recombination)할 때 A의 Content 정보를 유지하도록 하는 Trick
+1. Cross Attention Control
+ - LDM은 기본적으로 Text 정보를 생성 이미지에 주입하기위해 cross attention mechanism을 사용
+ - $Attn(z, r) = M(z, r)V$, *z : image latent, r : text embedding*
+ - 이 때 “prompt-to-promt” paper에서 **attention map M의 값이 생성 이미지의 Layout에 강한 영향을 미친다**는 점을 확인
+ - 따라서 src 이미지의 attention mask를 generate 과정에 주입합으로써 content 정보를 좀 더 잘 유지하도록 유도
+ - 단, attention map의 모든 값을 replace하지않고, content에 관한 Index만 선택적으로 replace
+ - content index : '$C_{src}$`, `not`, `$C_{tgt}$`, `portrait`
+ :::{figure-md}
+
+
+ Equation 3
+ :::
+
+2. Augmented Text Prompt
+ - training time에서 key prompt를 n번 사용함으로서 생성되는 이미지에 context 정보를 강하게 주입
+ - src 이미지는 `“a drawing with ($S_{src}$ not $S_{tgt}$) * $n_{s}$ style of ($C_{src}$ not $C_{tgt}$) * $n_{c}$ portrait”` (tgt 이미지는 반대)
+ - 실험상 hyperparameter $n_{s}$와 $n_{c}$는 3 이하의 값을 추천
+
+## 4. Experiments
+
+**Implementation Details**
+
+- base model : Pretrained LDM model checkpoint (trained by LAION-5B)
+- hyper parameter
+ - key prompt : “ak47”, “aug”, “sks”, m4a1”
+ - Learning rate : 1e-6
+ - Optimizer : Adam
+ - train step : 400
+ - $n_{s}$ : 3, $n_{c}$ : 1
+ - 나머지는 LDM과 동일
+
+**Comparison with SOTA methods**
+:::{figure-md}
+
+
+Figure 3
+:::
+
+- StyO가 src 이미지의 face identity와 local detail 모두 잘 유지함과 동시에, style 정보를 자연스럽게 입힌 결과물을 생성해낸다.
+- User Study도 다른 모델들에 비해 좋은 결과를 보였다.
+
+ :::{figure-md}
+
+
+ Table 1
+ :::
+
+
+**Ablation Study**
+
+1. *Effect of Contrastive Disentangled Prompt Template*
+ - negative prompt 없이 positive prompt만 넣고 학습할경우 학습 이미지의 overfitting이 심하고, style과 content 정보의 분리에 어려움을 보인다.
+ :::{figure-md}
+
+
+ Figure 4
+ :::
+
+ - 또, source 이미지의 local detail을 유지하기위해 auxiliary set의 trick도 적용하는것이 Best Quality의 결과물을 생성해냈다.
+2. *Effect of Fine-grained Content Controller*
+ - FCC 없이 Inference할 경우 generated 이미지의 높은 diversity를 보이지만, FCC를 포함할 경우 src 이미지의 fidelity가 높아져 좀더 significant한 이미지가 생성되는것을 보여주었다.
+ :::{figure-md}
+
+
+ Figure 5
+ :::
+
+1. *Hyper-parameters in Augmented Text Prompt*
+ - $n_{s}$ 값이 커질수록 이미지가 photorealistic에서 artistic하게 바뀌고, $n_{c}$도 마찬가지로 값이 커질수록 src 이미지에 overfitting된 이미지가 나오는 경향을 보여주었다.
+
+## 5. Conclusion
+
+- StyO는 IDL과 FCC를 사용해 기존 GAN을 이용한 SOTA 모델들보다 더 자연스럽고 Quality 좋은 style transfered 이미지를 생성해낼 수 있었다.
+- **단, style 하나의 transfer를 위해 single GPU로 10분이 걸리므로 time-efficiency가 좋지 못하다는 단점이 있다.**
diff --git a/_sources/docs/review/StyleGAN.md b/_sources/docs/review/StyleGAN.md
index 9f86ec6d..432e8c58 100755
--- a/_sources/docs/review/StyleGAN.md
+++ b/_sources/docs/review/StyleGAN.md
@@ -1,171 +1,171 @@
-```{admonition} Information
-- **Title:** A Style-Based Generator Architecture for Generative Adversarial Networks (CVPR 2019)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/1812.04948](https://arxiv.org/abs/1812.04948)
- - Code: [https://github.com/huangzh13/StyleGAN.pytorch](https://github.com/huangzh13/StyleGAN.pytorch)
-
-- **Author:** Jisu Kim
-
-- **Last updated on Apr. 12, 2023**
-```
-
-# StyleGAN
-
-오늘 알아볼 모델은 StyleGAN입니다. 기존에 다뤘던 GAN과 같이 이미지를 생성하는 모델입니다. generator 구조를 변경함으로써 성능을 올리고 feature의 control이 가능하게 했습니다. loss나 discriminator 구조 개선에 관한 논문은 아닙니다. 먼저 결과를 보도록 하죠.
-
-:::{figure-md}
-
-
-Images generated by StyleGAN
-:::
-
-이 논문의 contribution은 다음과 같습니다.
-
-1. 새로운 구조를 제안하여 성능을 높이면서 feature의 control이 가능해졌습니다.
-2. 새로운 데이터셋을 제안했습니다. (FFHQ)
-
-이 중에서 첫 번째 contribution을 자세히 보도록 하겠습니다. 논문의 abstract에는 다음과 같은 문장이 있습니다.
-
-> The new architecture leads to an automatically learned, **unsupervised separation of high-level attributes** (e.g., pose and identity when trained on human faces) and stochastic variation in the generated images (e.g., freckles, hair), and it enables intuitive, scale-specific control of the synthesis.
->
-
-논문에서 제안한 새로운 generator 구조가 할 수 있는 일을 설명하는 부분입니다. 여기서 보시면 high level attribute의 separation이 가능하다고 얘기하고 있습니다. 저는 개인적으로 이 부분이 StyleGAN의 가장 중요한 특징이라고 생각합니다.
-
-생성 모델로 이미지를 생성하고자 할 때, 사용자는 어떠한 목적을 가지고 자신이 원하는 이미지를 만들고자 할 것입니다. 이미지의 품질이 좋더라도 모델이 사용자의 의도와 상관없는 랜덤한 이미지를 내뱉어준다면 그 모델의 실용성이 좋다고 할 수 없을 것입니다. 근래에 Text-to-Image 모델들이 인기를 얻었던 이유도 누구나 쉽게 텍스트를 통해서 생성되는 이미지를 조절할 수 있다는 점도 한몫했다고 생각합니다. StyleGAN은 그런 controllability를 어느 정도 가능하게 한 모델이라는 측면에서 의미있다고 생각합니다.
-
-StyleGAN의 구조는 아래 그림과 같습니다. synthesis network는 해상도를 4x4에서 시작해서 1024x1024까지 높여줍니다. 최종적으로 1024x1024 해상도를 가지는 이미지를 갖게됩니다. 아래 구조를 보면 기존 GAN하고 비교해서 특이한 점이 세 가지 있습니다.
-
-1. z를 input으로 받는 mapping network
-
-2. style과 AdaIN
-
-3. noise와 B (stochastic variation)
-
-이 각각에 대해서 알아보도록 합시다.
-
-:::{figure-md}
-
-
-Structure of StyleGAN
-:::
-
-## Mapping Network
-
-:::{figure-md}
-
-
-Mappings with $w$ and without $w$
-:::
-
-기존 GAN을 생각해보면 z를 input으로 받아서 generator를 거쳐서 이미지를 생성하는 구조입니다. 이 z는 보통 Gaussian distribution에서 샘플링으로 얻습니다. GAN은 학습을 통해 Gaussian distribution을 data distribution으로 보내는 방법을 배우게 될 것이고, 이 분포는 (b)처럼 생기게 될 것입니다. 그런데 데이터가 (a)처럼 주어져서 특정한 데이터가 없거나 적을 수도 있을 것입니다. 예를 들어, 데이터에 피부가 희면서 머리가 긴 샘플들이 없다고 해봅시다. 그러면 피부색과 머리 길이라는 두 feature는 서로 얽히게(entangled)되어, 하나를 바꿀 때 다른 하나도 같이 바뀌는 현상이 일어나게 됩니다. 이런 현상을 완화하기 위해 논문에서는 Gaussian에서 뽑은 z를 바로 사용하는 것이 아니라 mapping network를 통해 learnable distribution에서 뽑은 w를 사용합니다.
-
-## Style and AdaIN
-
-instance normalization은 샘플 하나의 각 채널마다 정규화를 취해주는 방법입니다.
-
-:::{figure-md}
-
-
-Normalization methods
-:::
-
-adaptive instance normalization (AdaIN) 은 instance normalization에 scale을 곱해주고 bias를 더해주는 형태입니다. 그런데 이 scale과 bias가 style vector의 linear transformation으로 주어지는 형태입니다. linear layer를 통해서 w는 $\mathbf{y}=(\mathbf{y}_{s},\mathbf{y}_{b})$로 보내지게 됩니다. AdaIN의 수식은 아래와 같습니다.
-
-$$
-AdaIN(\mathbf{x}_{i},\mathbf{y})=\mathbf{y}_{s,i}\frac{\mathbf{x}_{i}-\mu(\mathbf{x}_{i})}{\sigma(\mathbf{x}_{i})}+\mathbf{y}_{b,i}
-$$
-
-AdaIN은 각 블록마다 두 개씩 들어가서 style은 총 열여덟 번 AdaIN을 통해 generator에 들어가게 됩니다. AdaIN은 localization이라는 특징과도 연관이 있습니다. 여기서 말하는 localization이란 열여덟 개의 style 중에서 일부를 바꿈으로써 이미지의 일부 특징들을 바꿀 수 있다는 의미입니다. AdaIN은 각 convolution layer 다음에 적용이 됩니다. 이 때 feature map들은 normalization되고 style에 의해 새로운 statistics를 가지게 됩니다. style은 하나의 convolution에 적용되고, 다음 convolution에서 다시 normalization이 수행되기 때문에 이전 layer에 적용된 style과 다음 layer에 적용된 style이 분리되게 학습될 수 있습니다.
-
-관련 코드
-
-```python
-class StyleMod(nn.Module):
- def __init__(self, latent_size, channels, use_wscale):
- super(StyleMod, self).__init__()
- self.lin = EqualizedLinear(latent_size,
- channels * 2,
- gain=1.0, use_wscale=use_wscale)
-
- def forward(self, x, latent):
- style = self.lin(latent) # style => [batch_size, n_channels*2]
-
- shape = [-1, 2, x.size(1)] + (x.dim() - 2) * [1]
- style = style.view(shape) # [batch_size, 2, n_channels, ...]
- x = x * (style[:, 0] + 1.) + style[:, 1]
- return x
-
-class LayerEpilogue(nn.Module):
- """Things to do at the end of each layer."""
-
- def __init__(self, channels, dlatent_size, use_wscale,
- use_noise, use_pixel_norm, use_instance_norm, use_styles, activation_layer):
- super().__init__()
-
- layers = []
- if use_noise:
- layers.append(('noise', NoiseLayer(channels)))
- layers.append(('activation', activation_layer))
- if use_pixel_norm:
- layers.append(('pixel_norm', PixelNormLayer()))
- if use_instance_norm:
- layers.append(('instance_norm', nn.InstanceNorm2d(channels)))
-
- self.top_epi = nn.Sequential(OrderedDict(layers))
-
- if use_styles:
- self.style_mod = StyleMod(dlatent_size, channels, use_wscale=use_wscale)
- else:
- self.style_mod = None
-
- def forward(self, x, dlatents_in_slice=None):
- x = self.top_epi(x)
- if self.style_mod is not None:
- x = self.style_mod(x, dlatents_in_slice)
- else:
- assert dlatents_in_slice is None
- return x
-```
-
-code from [https://github.com/huangzh13/StyleGAN.pytorch](https://github.com/huangzh13/StyleGAN.pytorch)
-
-아래 그림은 source A의 style 중 일부를 source B의 style로 변경해서 만든 이미지들입니다. style은 총 18곳에서 사용되는데 처음 4곳 ($4^2 - 8^2$)을 coarse, 그다음 4곳 ($16^2-32^2$)을 middle, 마지막 10곳 ($64^2-1024^2$)을 fine style로 정의하였습니다. 그림을 보시면 윗 부분에서는 포즈나 전체적인 머리 스타일같이 coarse style은 source B의 것을 유지하고, 아래로 갈수록 source A의 큰 틀을 유지하면서 세부적인 부분들을 B에서 가져왔음을 볼 수 있습니다.
-
-:::{figure-md}
-
-
-Mixing two styles
-:::
-
-## Stochastic Variation
-
-한 사람의 이미지 안에는 확률적으로 바뀔 수 있는 부분이 있습니다. (주근깨, 머릿결, 피부) 이를 모델링하기 위해서 noise를 추가적인 input으로 사용하여 각 convolution layer 다음에 더해집니다. 아래 그림에서 (a)의 생성된 한 사람의 이미지 안에서도 디테일들은 (b)와 같이 달라질 수 있습니다. (c)와 같이 standard deviation을 구해봤을 때 얼굴형과 같은 attribute는 변하지않지만 noise에 의해서 머리카락과 같은 부분은 variation이 생김을 볼 수 있습니다.
-
-:::{figure-md}
-
-
-Examples of stochastic variation
-:::
-
-아래 그림에서 (a)는 모든 layer에 noise를 준 경우, (b)는 noise를 주지 않은 경우, (c)는 fine layers ($64^2 - 1024^2$)에만 noise를 준 경우, (d)는 coarse layers ($4^2 - 32^2$)에만 noise를 준 경우입니다. (b)를 보면 noise가 없을 경우 머리카락같은 디테일이 제대로 살아있지 않은 것을 볼 수 있습니다. (c)와 (d)를 보면 fine layers에 들어간 noise가 머리카락의 더 세밀한 부분에 영향을 끼친다는 것을 볼 수 있습니다.
-
-:::{figure-md}
-
-
-Effect of noise inputs at different layers
-:::
-
-## Mixing Regularization
-
-논문에서는 localization이 더 잘 되게하기 위해 style mixing이라는 방법을 훈련에 사용합니다. 두 개의 style vector $\mathbf{w}_{1},\mathbf{w}_{2}$를 사용하여 앞 쪽 layer에는 $\mathbf{w}_{1}$을, 뒤 쪽 layer에는 $\mathbf{w}_{2}$를 사용하는 방법입니다. 이는 generator가 인접한 style끼리 correlated되어있다고 학습하는 것을 막아서 localization을 더 잘 되게 하는 목적입니다.
-
-## 실험 결과
-
-마지막으로 저자들이 제안한 방법들이 실제로 효과가 있었는지 확인해봅시다. 아래 표와 같이 실험적으로 보았을 때 저자들이 제안한 방법들을 모두 사용한 경우 FID가 가장 우수하게 나왔습니다.
-
-:::{figure-md}
-
-
-FID for various generator designs
-:::
+```{admonition} Information
+- **Title:** A Style-Based Generator Architecture for Generative Adversarial Networks (CVPR 2019)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/1812.04948](https://arxiv.org/abs/1812.04948)
+ - Code: [https://github.com/huangzh13/StyleGAN.pytorch](https://github.com/huangzh13/StyleGAN.pytorch)
+
+- **Author:** Jisu Kim
+
+- **Last updated on Apr. 12, 2023**
+```
+
+# StyleGAN
+
+오늘 알아볼 모델은 StyleGAN입니다. 기존에 다뤘던 GAN과 같이 이미지를 생성하는 모델입니다. generator 구조를 변경함으로써 성능을 올리고 feature의 control이 가능하게 했습니다. loss나 discriminator 구조 개선에 관한 논문은 아닙니다. 먼저 결과를 보도록 하죠.
+
+:::{figure-md}
+
+
+Images generated by StyleGAN
+:::
+
+이 논문의 contribution은 다음과 같습니다.
+
+1. 새로운 구조를 제안하여 성능을 높이면서 feature의 control이 가능해졌습니다.
+2. 새로운 데이터셋을 제안했습니다. (FFHQ)
+
+이 중에서 첫 번째 contribution을 자세히 보도록 하겠습니다. 논문의 abstract에는 다음과 같은 문장이 있습니다.
+
+> The new architecture leads to an automatically learned, **unsupervised separation of high-level attributes** (e.g., pose and identity when trained on human faces) and stochastic variation in the generated images (e.g., freckles, hair), and it enables intuitive, scale-specific control of the synthesis.
+>
+
+논문에서 제안한 새로운 generator 구조가 할 수 있는 일을 설명하는 부분입니다. 여기서 보시면 high level attribute의 separation이 가능하다고 얘기하고 있습니다. 저는 개인적으로 이 부분이 StyleGAN의 가장 중요한 특징이라고 생각합니다.
+
+생성 모델로 이미지를 생성하고자 할 때, 사용자는 어떠한 목적을 가지고 자신이 원하는 이미지를 만들고자 할 것입니다. 이미지의 품질이 좋더라도 모델이 사용자의 의도와 상관없는 랜덤한 이미지를 내뱉어준다면 그 모델의 실용성이 좋다고 할 수 없을 것입니다. 근래에 Text-to-Image 모델들이 인기를 얻었던 이유도 누구나 쉽게 텍스트를 통해서 생성되는 이미지를 조절할 수 있다는 점도 한몫했다고 생각합니다. StyleGAN은 그런 controllability를 어느 정도 가능하게 한 모델이라는 측면에서 의미있다고 생각합니다.
+
+StyleGAN의 구조는 아래 그림과 같습니다. synthesis network는 해상도를 4x4에서 시작해서 1024x1024까지 높여줍니다. 최종적으로 1024x1024 해상도를 가지는 이미지를 갖게됩니다. 아래 구조를 보면 기존 GAN하고 비교해서 특이한 점이 세 가지 있습니다.
+
+1. z를 input으로 받는 mapping network
+
+2. style과 AdaIN
+
+3. noise와 B (stochastic variation)
+
+이 각각에 대해서 알아보도록 합시다.
+
+:::{figure-md}
+
+
+Structure of StyleGAN
+:::
+
+## Mapping Network
+
+:::{figure-md}
+
+
+Mappings with $w$ and without $w$
+:::
+
+기존 GAN을 생각해보면 z를 input으로 받아서 generator를 거쳐서 이미지를 생성하는 구조입니다. 이 z는 보통 Gaussian distribution에서 샘플링으로 얻습니다. GAN은 학습을 통해 Gaussian distribution을 data distribution으로 보내는 방법을 배우게 될 것이고, 이 분포는 (b)처럼 생기게 될 것입니다. 그런데 데이터가 (a)처럼 주어져서 특정한 데이터가 없거나 적을 수도 있을 것입니다. 예를 들어, 데이터에 피부가 희면서 머리가 긴 샘플들이 없다고 해봅시다. 그러면 피부색과 머리 길이라는 두 feature는 서로 얽히게(entangled)되어, 하나를 바꿀 때 다른 하나도 같이 바뀌는 현상이 일어나게 됩니다. 이런 현상을 완화하기 위해 논문에서는 Gaussian에서 뽑은 z를 바로 사용하는 것이 아니라 mapping network를 통해 learnable distribution에서 뽑은 w를 사용합니다.
+
+## Style and AdaIN
+
+instance normalization은 샘플 하나의 각 채널마다 정규화를 취해주는 방법입니다.
+
+:::{figure-md}
+
+
+Normalization methods
+:::
+
+adaptive instance normalization (AdaIN) 은 instance normalization에 scale을 곱해주고 bias를 더해주는 형태입니다. 그런데 이 scale과 bias가 style vector의 linear transformation으로 주어지는 형태입니다. linear layer를 통해서 w는 $\mathbf{y}=(\mathbf{y}_{s},\mathbf{y}_{b})$로 보내지게 됩니다. AdaIN의 수식은 아래와 같습니다.
+
+$$
+AdaIN(\mathbf{x}_{i},\mathbf{y})=\mathbf{y}_{s,i}\frac{\mathbf{x}_{i}-\mu(\mathbf{x}_{i})}{\sigma(\mathbf{x}_{i})}+\mathbf{y}_{b,i}
+$$
+
+AdaIN은 각 블록마다 두 개씩 들어가서 style은 총 열여덟 번 AdaIN을 통해 generator에 들어가게 됩니다. AdaIN은 localization이라는 특징과도 연관이 있습니다. 여기서 말하는 localization이란 열여덟 개의 style 중에서 일부를 바꿈으로써 이미지의 일부 특징들을 바꿀 수 있다는 의미입니다. AdaIN은 각 convolution layer 다음에 적용이 됩니다. 이 때 feature map들은 normalization되고 style에 의해 새로운 statistics를 가지게 됩니다. style은 하나의 convolution에 적용되고, 다음 convolution에서 다시 normalization이 수행되기 때문에 이전 layer에 적용된 style과 다음 layer에 적용된 style이 분리되게 학습될 수 있습니다.
+
+관련 코드
+
+```python
+class StyleMod(nn.Module):
+ def __init__(self, latent_size, channels, use_wscale):
+ super(StyleMod, self).__init__()
+ self.lin = EqualizedLinear(latent_size,
+ channels * 2,
+ gain=1.0, use_wscale=use_wscale)
+
+ def forward(self, x, latent):
+ style = self.lin(latent) # style => [batch_size, n_channels*2]
+
+ shape = [-1, 2, x.size(1)] + (x.dim() - 2) * [1]
+ style = style.view(shape) # [batch_size, 2, n_channels, ...]
+ x = x * (style[:, 0] + 1.) + style[:, 1]
+ return x
+
+class LayerEpilogue(nn.Module):
+ """Things to do at the end of each layer."""
+
+ def __init__(self, channels, dlatent_size, use_wscale,
+ use_noise, use_pixel_norm, use_instance_norm, use_styles, activation_layer):
+ super().__init__()
+
+ layers = []
+ if use_noise:
+ layers.append(('noise', NoiseLayer(channels)))
+ layers.append(('activation', activation_layer))
+ if use_pixel_norm:
+ layers.append(('pixel_norm', PixelNormLayer()))
+ if use_instance_norm:
+ layers.append(('instance_norm', nn.InstanceNorm2d(channels)))
+
+ self.top_epi = nn.Sequential(OrderedDict(layers))
+
+ if use_styles:
+ self.style_mod = StyleMod(dlatent_size, channels, use_wscale=use_wscale)
+ else:
+ self.style_mod = None
+
+ def forward(self, x, dlatents_in_slice=None):
+ x = self.top_epi(x)
+ if self.style_mod is not None:
+ x = self.style_mod(x, dlatents_in_slice)
+ else:
+ assert dlatents_in_slice is None
+ return x
+```
+
+code from [https://github.com/huangzh13/StyleGAN.pytorch](https://github.com/huangzh13/StyleGAN.pytorch)
+
+아래 그림은 source A의 style 중 일부를 source B의 style로 변경해서 만든 이미지들입니다. style은 총 18곳에서 사용되는데 처음 4곳 ($4^2 - 8^2$)을 coarse, 그다음 4곳 ($16^2-32^2$)을 middle, 마지막 10곳 ($64^2-1024^2$)을 fine style로 정의하였습니다. 그림을 보시면 윗 부분에서는 포즈나 전체적인 머리 스타일같이 coarse style은 source B의 것을 유지하고, 아래로 갈수록 source A의 큰 틀을 유지하면서 세부적인 부분들을 B에서 가져왔음을 볼 수 있습니다.
+
+:::{figure-md}
+
+
+Mixing two styles
+:::
+
+## Stochastic Variation
+
+한 사람의 이미지 안에는 확률적으로 바뀔 수 있는 부분이 있습니다. (주근깨, 머릿결, 피부) 이를 모델링하기 위해서 noise를 추가적인 input으로 사용하여 각 convolution layer 다음에 더해집니다. 아래 그림에서 (a)의 생성된 한 사람의 이미지 안에서도 디테일들은 (b)와 같이 달라질 수 있습니다. (c)와 같이 standard deviation을 구해봤을 때 얼굴형과 같은 attribute는 변하지않지만 noise에 의해서 머리카락과 같은 부분은 variation이 생김을 볼 수 있습니다.
+
+:::{figure-md}
+
+
+Examples of stochastic variation
+:::
+
+아래 그림에서 (a)는 모든 layer에 noise를 준 경우, (b)는 noise를 주지 않은 경우, (c)는 fine layers ($64^2 - 1024^2$)에만 noise를 준 경우, (d)는 coarse layers ($4^2 - 32^2$)에만 noise를 준 경우입니다. (b)를 보면 noise가 없을 경우 머리카락같은 디테일이 제대로 살아있지 않은 것을 볼 수 있습니다. (c)와 (d)를 보면 fine layers에 들어간 noise가 머리카락의 더 세밀한 부분에 영향을 끼친다는 것을 볼 수 있습니다.
+
+:::{figure-md}
+
+
+Effect of noise inputs at different layers
+:::
+
+## Mixing Regularization
+
+논문에서는 localization이 더 잘 되게하기 위해 style mixing이라는 방법을 훈련에 사용합니다. 두 개의 style vector $\mathbf{w}_{1},\mathbf{w}_{2}$를 사용하여 앞 쪽 layer에는 $\mathbf{w}_{1}$을, 뒤 쪽 layer에는 $\mathbf{w}_{2}$를 사용하는 방법입니다. 이는 generator가 인접한 style끼리 correlated되어있다고 학습하는 것을 막아서 localization을 더 잘 되게 하는 목적입니다.
+
+## 실험 결과
+
+마지막으로 저자들이 제안한 방법들이 실제로 효과가 있었는지 확인해봅시다. 아래 표와 같이 실험적으로 보았을 때 저자들이 제안한 방법들을 모두 사용한 경우 FID가 가장 우수하게 나왔습니다.
+
+:::{figure-md}
+
+
+FID for various generator designs
+:::
diff --git a/_sources/docs/review/Synthetic_Data_from_Diffusion_Models_Improves_ImageNet_Classification.md b/_sources/docs/review/Synthetic_Data_from_Diffusion_Models_Improves_ImageNet_Classification.md
index 671f43ae..231cd96b 100755
--- a/_sources/docs/review/Synthetic_Data_from_Diffusion_Models_Improves_ImageNet_Classification.md
+++ b/_sources/docs/review/Synthetic_Data_from_Diffusion_Models_Improves_ImageNet_Classification.md
@@ -1,256 +1,256 @@
-```{admonition} Information
-- **Title:** Synthetic Data from Diffusion Models Improves ImageNet Classification
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2304.08466](https://arxiv.org/abs/2303.03231)
-
-- **Author:** [Jeonghwa Yoo](https://www.linkedin.com/in/jeonghwa-yoo-8403a716b)
-
-- **Last updated on Oct. 25, 2023**
-```
-
-# Synthetic Data from Diffusion Models Improves ImageNet Classification
-
-이번에 리뷰할 논문은 구글 리서치 그룹에서 TMLR(Transactions on Machine Learning Research) 2023에 제출한 논문인 [Synthetic Data from Diffusion Models Improves ImageNet Classification](https://arxiv.org/abs/2304.08466)입니다.
-
-생성 모델이 놀라운 속도로 발전하고 있는데요! 해당 논문에서는 생성 모델의 수준이 얼만큼 왔는지, 복잡한 이미지 데이터인 ImageNet 데이터에 대해서도 충분한 퀄리티의 데이터를 생성할 수 있는 정도가 되었는지, 그래서 이 생성된 데이터를 augment된 데이터로 사용할 수 있는 정도까지 왔는지에 대한 실험과 답을 제시합니다. 이 글의 목차는 논문 내용과 동일하게 구성하였습니다.
-
-
-
-
-본 논문에서는 기술적으로 엄청 새로운 내용은 없는데요! 다만 보통 사전학습된 text-to-image diffusion 모델을 사용하던 기존 방법들과는 달리 Imagen을 ImageNet에 대해 파인튜닝 했다는 것이 새롭습니다.
-
-
-# 1. Introduction
-Diffusion 모델의 등장으로 생성 기술이 크게 발전되었습니다. 현재 생성 기술 수준이 data augmentation으로 사용될 수 있을 만큼의 자연스러운 이미지를 생성하는 것도 가능할까?에 대한 질문이 나오는 것은 당연하고, 본 논문에서는 이에 대한 답을 찾고자 했습니다. 먼저 이 질문에 대한 답을 이야기 하면 아래와 같습니다.
-- 결과 요약
- - ImageNet에 대해 fine-tuning된 Imagen이 FID, Inception Score, CAS 성능에 대해 SOTA 성능을 달성 하였다.
- - 합성 데이터와 실제 데이터를 결합하여 사용하고, 합성 데이터의 양이 많고, 훈련 시간이 길수록 생성 데이터로 훈련된 모델의 성능이 더욱 향상되었다.
-
- :::{figure-md}
-
-
- 위 그림: 합성 데이터로만 학습된 모델 분류 성능과 진짜 데이터로 학습된 모델의 분류 성능 비교 \\
- 아래 그림: 합성 및 진짜 데이터를 사용하였을 때의 분류 성능과 진짜 데이터로 학습된 모델의 분류 성능 비교
- :::
-
-
-위의 그림에서 볼 수 있듯이 합성 데이터로만 학습한 모델의 정확도와 실제 데이터로 학습한 모델의 정확도를 비교했을 때, 다른 모델들에 비해 본 논문에서 제안한 모델이 훨씬 성능 차이가 적다는 것을 알 수 있습니다. 또한, 아래 그림을 보면, 실제 데이터와 생성된 데이터를 더해서 학습했을 경우에는 ResNet 기반 모델과 Transformer 기반 모델들에서 모두 실제 데이터를 사용했을 때보다 성능 향상이 있었습니다.
-
-
-# 2. Related Work
-생성 모델을 이용해 data augmentation을 하려고 했던 기존 방법들에 대해 짧게 이야기 햐려고 합니다. 최근에는 large-scale text-to-image 모델들이 학습 데이터를 보강하는데 사용되기 시작했습니다.
-
-그 예로 "[Is synthetic data from generative models ready for image recognition?](https://arxiv.org/abs/2210.07574)" 논문이 있습니다. 해당 논문에서는 GLIDE로 생성된 합성 데이터가 zero-shot과 few-shot 이미지 분류 성능을 향상 시켰으며, CIFAR-100 이미지에서 GLIDE를 fine-tuning하여 생성된 합성 데이터 세트가 CIFAR-100의 분류 정확도를 크게 향상 시켰다고 이야기 합니다.
-
-하지만, 위의 논문을 포함해서 기존의 논문들은 이런 생성 모델을 이용해서 data augmentation을 하여도 ImageNet validation set에 대해서는 성능을 향상 시키지 못했습니다. 또한, 기존에 논문들은 pretrained Stable Diffusion 모델을 사용하고, fine-tuning은 하지 않았습니다. 본 논문에서는 기존 논문들과는 다르게 Imagen을 ImageNet에 잘 동작하고 fine-tuning을 하였고, 그 결과 ImageNet validation set에 대해서도 성능을 향상 시킬 수 있었습니다.
-
-
-# 3. Background
-
-본 논문에서는 Classification Accuracy Scores(CAS)라는 성능 지표를 소개합니다. FID와 Inception Score는 생성 모델의 성능 지표로 워낙 많이 쓰여서 설명은 생략하고, CAS에 대해서는 논문에서 써져 있는 내용으로 소개하겠습니다.
-
-CAS는 FID와 Inception Score와 마찬가지로 생성 모델이 만들어낸 샘플의 품질을 평가하는 방법으로 제안 된 성능 지표입니다. 이것은 '합성 데이터'로만 훈련된 ResNet-50 모델에 대한 ImageNet validation set에 대한 분류 성능을 의미합니다. 먼저, 생성 모델을 통해 ImageNet 데이터에 대한 합성 데이터를 만들어냅니다. 그리고 이 합성 데이터만을 이용하여 ResNet-50을 훈련 시키고, 그 훈련된 모델의 실제 ImageNet validation set에 대해 분류 성능이 CAS가 됩니다. 만약 합성 데이터가 실제 ImageNet과 비슷하다면 그 합성 데이터로 학습된 모델은 실제 ImageNet validation set에 대해 좋은 분류 성능을 보일 것이라는 가정을 이용한 성능 지표라고 이해하면 될 것 같습니다.
-
-저자에 의하면 그동안 생성모델의 CAS 성능은 좋지 않았다고 합니다. 생성된 샘플로만 훈련된 모델은 실제 데이터로 훈련된 모델보다 성능이 떨어졌고 (이는 당연해보입니다), 실제 데이터에 합성 데이터를 추가하면 성능이 떨어졌다고 합니다. 이는 아마도 생성된 샘플의 품질, 다양성 등이 원인일 수 있을 것이라고 합니다.
-
-
-# 4. Generative Model Training and Sampling
-
-여기서는 실제로 저자들이 어떻게 text-to-image diffusion 모델을 학습하고, 샘플링을 하였는지에 대한 설명을 합니다.
-
-먼저 저자들은 text-to-image diffusion 모델로는 Imagen을 사용하였습니다. Text-to-image 모델을 어떻게 ImageNet 클래스와 alignment 할 지에 대한 고민이 필요했다고 합니다. 처음에는 CLIP에서 사용한 방법과 유사하게 짧은 텍스트를 ImageNet 클래스의 텍스트 프롬프트로 사용했다고 하였는데 이 경우에 성능이 좋지 않았다고 합니다. 이는 Imagen에서 high guidance weight를 사용하여 샘플의 다양성이 저하 되면서 생기는 현상일 수 있다고 합니다. 따라서, 저자들은 프롬프트를 한 두단어 클래스 이름으로 수정하고, 모델의 weight와 sampling parameter를 fine-tuning 했다고 합니다.
-
-:::{figure-md}
-
-
-Figure 2
-
-:::
-
-왼쪽 그림이 fine-tuning이 적용된 Imagen이 만들어낸 이미지고, 오른쪽이 fine-tuning이 적용되지 않은 Imagen입니다. 아래에서 두 번째 클래스인 Schipperke를 보면, 이것은 스키퍼키라는 개 품종을 의미하는데 fine-tuning이 적용되지 않은 Imagen의 경우는 꽃과 같은 전혀 엉뚱한 이미지를 만들고 있는 것을 볼 수 있습니다.
-
-## 4.1. Imagen Fine-tuning
-
-이 부분은 Imagen을 어떻게 fine-tuning 했는지를 설명하는 부분입니다.
-
-먼저 Imagen 구조는 아래와 같습니다.
-
-:::{figure-md}
-
-
-Imagen 구조
-
-:::
-
-
-본 논문에서는 위의 Imagen 구조에서 빨간 원으로 표시된 부분에 대해서만 fine-tuning 했습니다. Frozen Text Encoder의 경우는 원래 Imagen에서도 학습을 하지 않는 부분이라 마찬가지로 학습을 하지 않았고, 1024x1024 Image를 출력으로 하는 마지막 Super-Resolution Diffusion Model의 경우 ImageNet에 고해상도의 데이터가 적어서 fine-tuning을 하지 않았다고 합니다.
-
-64x64 모델의 경우는 210K step 정도 학습하였고, optimizer의 경우는 Imagen에서 사용하였던 Adafactor optimizer를 사용하였다고 합니다. 64x64 → 256x256 super-resolution 모델의 경우는 490K step 정도 하였고, Adam optimizer를 사용하였다고 합니다.
-
-최적의 모델 선택의 기준으로는 기본 Imagen sampler와 ImageNet-1K validation set에 대해 10K개의 샘플들에 대해 FID score를 계산했을 때 가장 좋은 성능의 모델을 선택했다고 합니다.
-
-
-## 4.2. Sampling Parameters
-이 부분은 본 논문에서 sampling parameter는 어떻게 정했는지를 설명하는 부분입니다. 먼저, Text-conditioned diffusion model 샘플링의 품질, 다양성, 속도는 디퓨전 스텝 수, noise condition augmentation, guidance weight for classifier-free guidance, log-variance mixing coefficient 등에 대해 큰 영향을 받는다고 합니다.
-
-각각에 대해 간단하게 설명하면 아래와 같습니다.
-
-- Noise condition augmentation:
-
- 이미지 생성 과정에서 확률적인 요소를 도입하여 생성된 이미지의 다양성을 증가시키는 기술. 일반적으로, 모델은 잠재 공간의 랜덤한 노이즈를 입력으로 받아 다양한 이미지를 생성하게 됨. 이것은 생성된 이미지가 조금씩 다른 것으로 보이게 만들며, 더 다양한 결과를 얻을 수 있게 함 (자세한 내용은 "[Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding](https://arxiv.org/abs/2205.11487)"를 참고해주세요)
-- -- Guidance weight for classifier-free guidance: - - "Classifier-free guidance"는 이미지를 생성하는 데 분류기나 특정 지표 없이 외부 정보를 사용한다는 것. "Guidance weights"는 외부 정보를 모델에 어떻게 반영할지를 조절하는 가중치를 의미할 수 있으며, 이러한 가중치를 조절하여 모델이 원하는 특성이나 스타일을 가진 이미지를 더 잘 생성하도록 함 (자세한 내용은 "[Classifier-free diffusion guidance](https://arxiv.org/abs/2207.12598)"를 참고해주세요) -
- -- Log-variance mixing coefficient: - - 이미지 생성 모델에서 사용되는 확률 분포의 변동성을 조절하는 데 사용되는 계수를 나타냄. 이미지 생성 모델은 일반적으로 확률 분포를 사용하여 이미지를 생성하며, 이 확률 분포의 평균과 분산을 조절함으로써 생성된 이미지의 다양성과 품질을 조절할 수 있음. 로그-분산 혼합 계수는 이러한 분산을 조절하는 데 사용되며, 높은 값은 더 큰 분산을 의미하고, 작은 값은 더 작은 분산을 의미함. 이를 통해 이미지 생성의 다양성을 조절할 수 있음 (자세한 내용은 "[Improved denoising diffusion probabilistic models](https://arxiv.org/abs/2102.09672)"를 참고해주세요) -
- -64x64 기반 모델의 샘플링 parameter 설정법에 대해 설명하겠습니다. 해당 모델의 샘플링 이미지 샘플링의 전반적인 특징과 다양성의 영향을 주게 됩니다. 1차 sweep으로 DDPM 샘플러를 이용하여 FID-50K에 대해 가장 최적의 하이퍼파라미터를 찾습니다. Sweep의 사용한 각 하이퍼파라미터의 범위는 아래와 같습니다. - - -- Guidance weight: [1.0, 1.25, 1.5, 1.75, 2.0, 5.0] -- Log-variance: [0.0, 0.2, 0.3, 0.4, 1.0] -- Denoise step: [128, 500, 1000] - -1차 sweep 결과 최적의 FID는 log-variance는 0이고 denoising step은 1000이었을 때라고 합니다. - -1차 sweep이 끝난 후에는 guidance weight에 대해서만 sweep을 합니다. 이 때에는 1.2M 이미지를 사용하고, 각 guidacne weight에 대해 FID, IS, CAS를 측정했다고 합니다. - -각 샘플링 하이퍼파라미터에 대한 실험 결과는 아래와 같습니다. - -:::{figure-md} -
-
-Figure 3
-
-:::
-
-왼쪽 그림이 1차 sweep에 대한 결과고, 가운데와 오른쪽 그림이 2차 sweep에 대한 결과로 guidance weight에 따른 FID, IS, CAS를 나타낸 결과입니다.
-
-
-이제 다음으로는 64x64 → 256x256 super-resolution 모델에 대해 하이퍼파라미터를 선택하는 부분에 대해 설명하겠습니다. 하이퍼파라미터의 range는 아래와 같습니다.
- - Guidance weight: [1.0, 2.0, 5.0, 10.0, 30.0]
- - Noise conditioning augmentation: [0.0, 0.1, 0.2, 0.3, 0.4]
- - Log-variance mixing coefficients: [0,1, 0.3]
- - Denose steps: [129, 500, 1000]
-
-:::{figure-md}
-
-
-Figure 4
-
-:::
-
-위 그래프는 guidance weight를 1.0으로 설정하고 noise condition 파라미터를 변경했을 때 FID와 CAS의 그래프를 나타낸 그래프입니다. CAS 같은 경우는 logvar coeff가 0.3일 때 전반적으로 좋은 성능을 보였으며, FID 같은 경우도 logvar coeff가 0.3일 때 전반적으로 좋은 성능을 보인 것을 알 수 있습니다.
-
-- -샘플링 하이퍼파라미터의 결과를 분석해보자면, 전반적으로 FID와 CAS는 높은 상관관계가 있으며 (Figure 4 참고), guidance weight가 작을수록 CAS는 높아지지만, Inception Score에는 부정적인 영향을 주며 (Figure 3 참고), noise augmentation이 0일 때 FID가 가장 작은 것을 볼 수 있습니다. (Figure 4 참고) - -
- -이런 하이퍼파라미터 설정 방법을 기준으로 본 논문에서 최종적으로 설정한 값은 아래와 같다고 합니다. -- Guidance weight - - 베이스 모델: 1.25 - - 나머지 resolution: 1.0 -- Log-variance mixing coefficients (sampler, steps) - - 64x64 샘플: 0.0 (DDPM, 1000 denoising steps) - - 256x256 샘플: 0.1 (DDPM, 1000 denoising steps) - - 1024x1024 샘플: 0.0 (DDIM, 32 denoising steps) - -## 4.3. Generation Protocol -이 부분은 실제로 데이터 합성은 어떤 프로토콜을 따랐는지에 대해 설명하는 부분입니다. 본 논문에서는 원본 데이터셋의 class balance를 유지하며 데이터를 합성했으며, 합성된 결과 총 훈련 데이터셋의 규모는 1배인 1.2M 에서 10배인 12M 규모의 데이터셋의 범위를 가지도록 데이터를 합성했다고 합니다. - -# 5. Result - - -## 5-1. Sample Quality: FID and IS -먼저, 합성된 데이터의 품질을 합성 태스크에서 많이 사용되는 지표인 FID와 IS의 관점으로 봅니다. - -:::{figure-md} -
-
-Table 1
-
-:::
-
-위 표에서 볼 수 있듯이, 본 논문의 파인 튜닝된 Imagen이 ImageNet에 대한 데이터 생성에 대해 다른 베이스모델들 보다 FID와 IS가 뛰어난 것을 알 수 있습니다. 이는 64x64 resolution과 256x256 resolution에서 모두 해당되었습니다.
-
-## 5.2. Classification Accuracy Score
-이 부분은 CAS 성능 지표를 통해 본 논문에서 제안한 모델의 데이터 합성 능력을 확인하는 부분입니다.
-
-:::{figure-md}
-
-
-CAS score
-
-:::
-
-Figure 5에서 파란색 부분은 실제 학습 데이터로 학습된 모델의 분류 성능이고, 빨간색 부분은 합성된 데이터로 학습된 모델의 분류 성능입니다. 왼쪽 그림은 베이스라인 중 하나인 CDM 모델의 성능을 나타낸 그림이며, 가운데는 본 논문에서 256x256 resolution 모델의 성능, 오른쪽은 본 논문에서 제안한 1024x1024 resolution 모델의 성능을 나타낸 것입니다. 빨간색 부분이 파란색 부분보다 전반적으로 위쪽에 위치하면 모델의 성능이 좋다고 해석할 수 있습니다. 이 그림을 통해 본 논문에서 제안한 모델들이 베이스라인보다 좋은 성능을 보인다는 것을 알 수 있습니다.
-
-Table 2에서도 마찬가지로 본 논문 모델이 다른 베이스 모델보다 성능이 뛰어난 것을 알 수 있습니다. 여기서 주목할 만한 점은 CAS를 평가하기 위한 ResNet50이 256x256으로 입력 데이터를 다운샘플링 함에도 1024x1024 샘플에 대한 결과가 훨씬 좋다는 것을 볼 수 있습니다. (Ours 256x256 resolution보다 Ours 1024x1024 resolution의 CAS 성능이 월등히 높음)
-
-## 5.3. Classification Accuracy with Different Models
-이 부분은 합성된 데이터를 여러 종류의 모델로 학습 시켰을 때, 각 모델의 분류 성능을 확인하는 부분입니다. CAS와 비슷하지만 CAS에서는 ResNet50 모델로 분류 성능을 확인했지만 여기서는 ResNet50 이외에 모델로도 분류 성능을 본다는 차이점이 있습니다.
-
-:::{figure-md}
-
-
-Table 3
-
-:::
-
-위 표에서 확인할 수 있듯이, 다양한 모델에 대해서 분류 정확도를 살펴본 결과 생성된 데이터로만 학습될 경우에는 실제 데이터로 학습할 때 보다 성능이 낮았지만, 실제 데이터와 생성된 데이터를 합쳐서 학습할 경우 실제 데이터만 사용했을 때보다 성능이 증가한 것을 볼 수 있습니다. 이것은 onvNet기반 모델과 transformer 기반 모델에 대해서 동일한 양상을 보였습니다.
-
-## 5.4. Merging Real and Synthetic Data at Scale
-이 부분은 합성 데이터 규모에 따른 ResNet-50의 성능을 분석한 부분입니다.
-
-:::{figure-md}
-
-
-Figure 6
-
-:::
-
-64x64 이미지의 경우 생성되는 데이터의 양이 증가함에 따라 성능이 지속적으로 향상되는 것을 볼 수 있습니다.
-
-:::{figure-md}
-
-
-Table 4
-
-:::
-
-하지만 다른 resolution에 대해서는 다른 양상을 보였습니다. 학습 데이터가 4.8M 규모가 될 때까지는 합성 데이터를 추가하는 것이 분류 성능에 좋았으나, 합성 데이터를 더 늘려 그 이상의 규모가 되었을 때는 오히려 성능이 떨어지는 것을 볼 수 있었습니다.
-
-# 6. Conclusion
-
-본 논문에 결론 부분을 보자면, 이 논문에서는 Large-sclae text-to-image diffusion 모델을 파인튜닝하여 FID, Inception Score, CAS 성능 지표에 대해서 SOTA를 달성했습니다.
-- FID: 1.76 at 256x256
-- Inception Score: 239 at 256x256
-- CAS: 64.96 for 256x256, 69.24 for 1024x1024
-
-또한 그렇게 생성 데이터를 이용하여 ResNet과 Transformer 기반 모델들에 대한 ImageNet classification accuracy를 향상 시켰습니다.
-
-실험 결과에 대해서 생각해볼만한 거리들이 있었는데 그 중 하나는 CAS 성능 측정할 때 ResNet50이 입력을 256x256으로 다운샘플링 함에도 불구하고 256x256보다 1024x1024의 모델의 CAS가 좋은 것이 있었습니다. 이는 다운샘플링을 하더라도 다운샘플링 전 원본 데이터 resolution이 클 때 더 많은 정보를 담는다는 것을 의미하는 것일 수 있습니다. 또한, 64x64 데이터에서 합성 데이터의 양이 증가함에 따라 분류 정확도가 지속적으로 증가했지만 고해상도 데이터에서는 그렇지 않았던 것을 통해 고해상도에 이미지에 대해서는 보다 정교한 훈련 방법이 필요할 수 있음을 시사하고 있습니다.
-
----
-
-이렇게 Synthetic Data from Diffusion Models Improves ImageNet Classification 논문의 리뷰를 마치겠습니다. 개인적으로 느낀 점은 실제 산업에서는 data shortage나 class imbalance 문제가 대부분 발생하는데 본 논문이 그 해결법 중 하나가 될 수 있을 것 같다는 생각이 들었습니다. 다만 Frozen Text Encoder는 추가적으로 파인튜닝이 되지 않기 때문에 특정 산업에서만 쓰이는 특정 텍스트가 들어왔을 때는 잘 동작할 수 있을까 하는 의문이 들었습니다. 또한 합성하고자 하는 데이터셋에 맞게 파인튜닝을 해야하는 점이 꽤나 불편할 것 같아서 파인튜닝이 모델 성능에 얼마나 큰 의미를 갖는지, 파인튜닝을 하지 않았을 때의 CAS 성능도 논문에 있었으면 좋았을 것 같다는 개인적인 생각이 들었습니다. (물론 Figure 2를 보고 어느 정도 결과를 유추해볼 순 있지만요!)
+```{admonition} Information
+- **Title:** Synthetic Data from Diffusion Models Improves ImageNet Classification
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2304.08466](https://arxiv.org/abs/2303.03231)
+
+- **Author:** [Jeonghwa Yoo](https://www.linkedin.com/in/jeonghwa-yoo-8403a716b)
+
+- **Last updated on Oct. 25, 2023**
+```
+
+# Synthetic Data from Diffusion Models Improves ImageNet Classification
+
+이번에 리뷰할 논문은 구글 리서치 그룹에서 TMLR(Transactions on Machine Learning Research) 2023에 제출한 논문인 [Synthetic Data from Diffusion Models Improves ImageNet Classification](https://arxiv.org/abs/2304.08466)입니다.
+
+생성 모델이 놀라운 속도로 발전하고 있는데요! 해당 논문에서는 생성 모델의 수준이 얼만큼 왔는지, 복잡한 이미지 데이터인 ImageNet 데이터에 대해서도 충분한 퀄리티의 데이터를 생성할 수 있는 정도가 되었는지, 그래서 이 생성된 데이터를 augment된 데이터로 사용할 수 있는 정도까지 왔는지에 대한 실험과 답을 제시합니다. 이 글의 목차는 논문 내용과 동일하게 구성하였습니다.
+
+
+
+
+본 논문에서는 기술적으로 엄청 새로운 내용은 없는데요! 다만 보통 사전학습된 text-to-image diffusion 모델을 사용하던 기존 방법들과는 달리 Imagen을 ImageNet에 대해 파인튜닝 했다는 것이 새롭습니다.
+
+
+# 1. Introduction
+Diffusion 모델의 등장으로 생성 기술이 크게 발전되었습니다. 현재 생성 기술 수준이 data augmentation으로 사용될 수 있을 만큼의 자연스러운 이미지를 생성하는 것도 가능할까?에 대한 질문이 나오는 것은 당연하고, 본 논문에서는 이에 대한 답을 찾고자 했습니다. 먼저 이 질문에 대한 답을 이야기 하면 아래와 같습니다.
+- 결과 요약
+ - ImageNet에 대해 fine-tuning된 Imagen이 FID, Inception Score, CAS 성능에 대해 SOTA 성능을 달성 하였다.
+ - 합성 데이터와 실제 데이터를 결합하여 사용하고, 합성 데이터의 양이 많고, 훈련 시간이 길수록 생성 데이터로 훈련된 모델의 성능이 더욱 향상되었다.
+
+ :::{figure-md}
+
+
+ 위 그림: 합성 데이터로만 학습된 모델 분류 성능과 진짜 데이터로 학습된 모델의 분류 성능 비교 \\
+ 아래 그림: 합성 및 진짜 데이터를 사용하였을 때의 분류 성능과 진짜 데이터로 학습된 모델의 분류 성능 비교
+ :::
+
+
+위의 그림에서 볼 수 있듯이 합성 데이터로만 학습한 모델의 정확도와 실제 데이터로 학습한 모델의 정확도를 비교했을 때, 다른 모델들에 비해 본 논문에서 제안한 모델이 훨씬 성능 차이가 적다는 것을 알 수 있습니다. 또한, 아래 그림을 보면, 실제 데이터와 생성된 데이터를 더해서 학습했을 경우에는 ResNet 기반 모델과 Transformer 기반 모델들에서 모두 실제 데이터를 사용했을 때보다 성능 향상이 있었습니다.
+
+
+# 2. Related Work
+생성 모델을 이용해 data augmentation을 하려고 했던 기존 방법들에 대해 짧게 이야기 햐려고 합니다. 최근에는 large-scale text-to-image 모델들이 학습 데이터를 보강하는데 사용되기 시작했습니다.
+
+그 예로 "[Is synthetic data from generative models ready for image recognition?](https://arxiv.org/abs/2210.07574)" 논문이 있습니다. 해당 논문에서는 GLIDE로 생성된 합성 데이터가 zero-shot과 few-shot 이미지 분류 성능을 향상 시켰으며, CIFAR-100 이미지에서 GLIDE를 fine-tuning하여 생성된 합성 데이터 세트가 CIFAR-100의 분류 정확도를 크게 향상 시켰다고 이야기 합니다.
+
+하지만, 위의 논문을 포함해서 기존의 논문들은 이런 생성 모델을 이용해서 data augmentation을 하여도 ImageNet validation set에 대해서는 성능을 향상 시키지 못했습니다. 또한, 기존에 논문들은 pretrained Stable Diffusion 모델을 사용하고, fine-tuning은 하지 않았습니다. 본 논문에서는 기존 논문들과는 다르게 Imagen을 ImageNet에 잘 동작하고 fine-tuning을 하였고, 그 결과 ImageNet validation set에 대해서도 성능을 향상 시킬 수 있었습니다.
+
+
+# 3. Background
+
+본 논문에서는 Classification Accuracy Scores(CAS)라는 성능 지표를 소개합니다. FID와 Inception Score는 생성 모델의 성능 지표로 워낙 많이 쓰여서 설명은 생략하고, CAS에 대해서는 논문에서 써져 있는 내용으로 소개하겠습니다.
+
+CAS는 FID와 Inception Score와 마찬가지로 생성 모델이 만들어낸 샘플의 품질을 평가하는 방법으로 제안 된 성능 지표입니다. 이것은 '합성 데이터'로만 훈련된 ResNet-50 모델에 대한 ImageNet validation set에 대한 분류 성능을 의미합니다. 먼저, 생성 모델을 통해 ImageNet 데이터에 대한 합성 데이터를 만들어냅니다. 그리고 이 합성 데이터만을 이용하여 ResNet-50을 훈련 시키고, 그 훈련된 모델의 실제 ImageNet validation set에 대해 분류 성능이 CAS가 됩니다. 만약 합성 데이터가 실제 ImageNet과 비슷하다면 그 합성 데이터로 학습된 모델은 실제 ImageNet validation set에 대해 좋은 분류 성능을 보일 것이라는 가정을 이용한 성능 지표라고 이해하면 될 것 같습니다.
+
+저자에 의하면 그동안 생성모델의 CAS 성능은 좋지 않았다고 합니다. 생성된 샘플로만 훈련된 모델은 실제 데이터로 훈련된 모델보다 성능이 떨어졌고 (이는 당연해보입니다), 실제 데이터에 합성 데이터를 추가하면 성능이 떨어졌다고 합니다. 이는 아마도 생성된 샘플의 품질, 다양성 등이 원인일 수 있을 것이라고 합니다.
+
+
+# 4. Generative Model Training and Sampling
+
+여기서는 실제로 저자들이 어떻게 text-to-image diffusion 모델을 학습하고, 샘플링을 하였는지에 대한 설명을 합니다.
+
+먼저 저자들은 text-to-image diffusion 모델로는 Imagen을 사용하였습니다. Text-to-image 모델을 어떻게 ImageNet 클래스와 alignment 할 지에 대한 고민이 필요했다고 합니다. 처음에는 CLIP에서 사용한 방법과 유사하게 짧은 텍스트를 ImageNet 클래스의 텍스트 프롬프트로 사용했다고 하였는데 이 경우에 성능이 좋지 않았다고 합니다. 이는 Imagen에서 high guidance weight를 사용하여 샘플의 다양성이 저하 되면서 생기는 현상일 수 있다고 합니다. 따라서, 저자들은 프롬프트를 한 두단어 클래스 이름으로 수정하고, 모델의 weight와 sampling parameter를 fine-tuning 했다고 합니다.
+
+:::{figure-md}
+
+
+Figure 2
+
+:::
+
+왼쪽 그림이 fine-tuning이 적용된 Imagen이 만들어낸 이미지고, 오른쪽이 fine-tuning이 적용되지 않은 Imagen입니다. 아래에서 두 번째 클래스인 Schipperke를 보면, 이것은 스키퍼키라는 개 품종을 의미하는데 fine-tuning이 적용되지 않은 Imagen의 경우는 꽃과 같은 전혀 엉뚱한 이미지를 만들고 있는 것을 볼 수 있습니다.
+
+## 4.1. Imagen Fine-tuning
+
+이 부분은 Imagen을 어떻게 fine-tuning 했는지를 설명하는 부분입니다.
+
+먼저 Imagen 구조는 아래와 같습니다.
+
+:::{figure-md}
+
+
+Imagen 구조
+
+:::
+
+
+본 논문에서는 위의 Imagen 구조에서 빨간 원으로 표시된 부분에 대해서만 fine-tuning 했습니다. Frozen Text Encoder의 경우는 원래 Imagen에서도 학습을 하지 않는 부분이라 마찬가지로 학습을 하지 않았고, 1024x1024 Image를 출력으로 하는 마지막 Super-Resolution Diffusion Model의 경우 ImageNet에 고해상도의 데이터가 적어서 fine-tuning을 하지 않았다고 합니다.
+
+64x64 모델의 경우는 210K step 정도 학습하였고, optimizer의 경우는 Imagen에서 사용하였던 Adafactor optimizer를 사용하였다고 합니다. 64x64 → 256x256 super-resolution 모델의 경우는 490K step 정도 하였고, Adam optimizer를 사용하였다고 합니다.
+
+최적의 모델 선택의 기준으로는 기본 Imagen sampler와 ImageNet-1K validation set에 대해 10K개의 샘플들에 대해 FID score를 계산했을 때 가장 좋은 성능의 모델을 선택했다고 합니다.
+
+
+## 4.2. Sampling Parameters
+이 부분은 본 논문에서 sampling parameter는 어떻게 정했는지를 설명하는 부분입니다. 먼저, Text-conditioned diffusion model 샘플링의 품질, 다양성, 속도는 디퓨전 스텝 수, noise condition augmentation, guidance weight for classifier-free guidance, log-variance mixing coefficient 등에 대해 큰 영향을 받는다고 합니다.
+
+각각에 대해 간단하게 설명하면 아래와 같습니다.
+
+- Noise condition augmentation:
+
+ 이미지 생성 과정에서 확률적인 요소를 도입하여 생성된 이미지의 다양성을 증가시키는 기술. 일반적으로, 모델은 잠재 공간의 랜덤한 노이즈를 입력으로 받아 다양한 이미지를 생성하게 됨. 이것은 생성된 이미지가 조금씩 다른 것으로 보이게 만들며, 더 다양한 결과를 얻을 수 있게 함 (자세한 내용은 "[Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding](https://arxiv.org/abs/2205.11487)"를 참고해주세요)
++ +- Guidance weight for classifier-free guidance: + + "Classifier-free guidance"는 이미지를 생성하는 데 분류기나 특정 지표 없이 외부 정보를 사용한다는 것. "Guidance weights"는 외부 정보를 모델에 어떻게 반영할지를 조절하는 가중치를 의미할 수 있으며, 이러한 가중치를 조절하여 모델이 원하는 특성이나 스타일을 가진 이미지를 더 잘 생성하도록 함 (자세한 내용은 "[Classifier-free diffusion guidance](https://arxiv.org/abs/2207.12598)"를 참고해주세요) +
+ +- Log-variance mixing coefficient: + + 이미지 생성 모델에서 사용되는 확률 분포의 변동성을 조절하는 데 사용되는 계수를 나타냄. 이미지 생성 모델은 일반적으로 확률 분포를 사용하여 이미지를 생성하며, 이 확률 분포의 평균과 분산을 조절함으로써 생성된 이미지의 다양성과 품질을 조절할 수 있음. 로그-분산 혼합 계수는 이러한 분산을 조절하는 데 사용되며, 높은 값은 더 큰 분산을 의미하고, 작은 값은 더 작은 분산을 의미함. 이를 통해 이미지 생성의 다양성을 조절할 수 있음 (자세한 내용은 "[Improved denoising diffusion probabilistic models](https://arxiv.org/abs/2102.09672)"를 참고해주세요) +
+ +64x64 기반 모델의 샘플링 parameter 설정법에 대해 설명하겠습니다. 해당 모델의 샘플링 이미지 샘플링의 전반적인 특징과 다양성의 영향을 주게 됩니다. 1차 sweep으로 DDPM 샘플러를 이용하여 FID-50K에 대해 가장 최적의 하이퍼파라미터를 찾습니다. Sweep의 사용한 각 하이퍼파라미터의 범위는 아래와 같습니다. + + +- Guidance weight: [1.0, 1.25, 1.5, 1.75, 2.0, 5.0] +- Log-variance: [0.0, 0.2, 0.3, 0.4, 1.0] +- Denoise step: [128, 500, 1000] + +1차 sweep 결과 최적의 FID는 log-variance는 0이고 denoising step은 1000이었을 때라고 합니다. + +1차 sweep이 끝난 후에는 guidance weight에 대해서만 sweep을 합니다. 이 때에는 1.2M 이미지를 사용하고, 각 guidacne weight에 대해 FID, IS, CAS를 측정했다고 합니다. + +각 샘플링 하이퍼파라미터에 대한 실험 결과는 아래와 같습니다. + +:::{figure-md} +
+
+Figure 3
+
+:::
+
+왼쪽 그림이 1차 sweep에 대한 결과고, 가운데와 오른쪽 그림이 2차 sweep에 대한 결과로 guidance weight에 따른 FID, IS, CAS를 나타낸 결과입니다.
+
+
+이제 다음으로는 64x64 → 256x256 super-resolution 모델에 대해 하이퍼파라미터를 선택하는 부분에 대해 설명하겠습니다. 하이퍼파라미터의 range는 아래와 같습니다.
+ - Guidance weight: [1.0, 2.0, 5.0, 10.0, 30.0]
+ - Noise conditioning augmentation: [0.0, 0.1, 0.2, 0.3, 0.4]
+ - Log-variance mixing coefficients: [0,1, 0.3]
+ - Denose steps: [129, 500, 1000]
+
+:::{figure-md}
+
+
+Figure 4
+
+:::
+
+위 그래프는 guidance weight를 1.0으로 설정하고 noise condition 파라미터를 변경했을 때 FID와 CAS의 그래프를 나타낸 그래프입니다. CAS 같은 경우는 logvar coeff가 0.3일 때 전반적으로 좋은 성능을 보였으며, FID 같은 경우도 logvar coeff가 0.3일 때 전반적으로 좋은 성능을 보인 것을 알 수 있습니다.
+
++ +샘플링 하이퍼파라미터의 결과를 분석해보자면, 전반적으로 FID와 CAS는 높은 상관관계가 있으며 (Figure 4 참고), guidance weight가 작을수록 CAS는 높아지지만, Inception Score에는 부정적인 영향을 주며 (Figure 3 참고), noise augmentation이 0일 때 FID가 가장 작은 것을 볼 수 있습니다. (Figure 4 참고) + +
+ +이런 하이퍼파라미터 설정 방법을 기준으로 본 논문에서 최종적으로 설정한 값은 아래와 같다고 합니다. +- Guidance weight + - 베이스 모델: 1.25 + - 나머지 resolution: 1.0 +- Log-variance mixing coefficients (sampler, steps) + - 64x64 샘플: 0.0 (DDPM, 1000 denoising steps) + - 256x256 샘플: 0.1 (DDPM, 1000 denoising steps) + - 1024x1024 샘플: 0.0 (DDIM, 32 denoising steps) + +## 4.3. Generation Protocol +이 부분은 실제로 데이터 합성은 어떤 프로토콜을 따랐는지에 대해 설명하는 부분입니다. 본 논문에서는 원본 데이터셋의 class balance를 유지하며 데이터를 합성했으며, 합성된 결과 총 훈련 데이터셋의 규모는 1배인 1.2M 에서 10배인 12M 규모의 데이터셋의 범위를 가지도록 데이터를 합성했다고 합니다. + +# 5. Result + + +## 5-1. Sample Quality: FID and IS +먼저, 합성된 데이터의 품질을 합성 태스크에서 많이 사용되는 지표인 FID와 IS의 관점으로 봅니다. + +:::{figure-md} +
+
+Table 1
+
+:::
+
+위 표에서 볼 수 있듯이, 본 논문의 파인 튜닝된 Imagen이 ImageNet에 대한 데이터 생성에 대해 다른 베이스모델들 보다 FID와 IS가 뛰어난 것을 알 수 있습니다. 이는 64x64 resolution과 256x256 resolution에서 모두 해당되었습니다.
+
+## 5.2. Classification Accuracy Score
+이 부분은 CAS 성능 지표를 통해 본 논문에서 제안한 모델의 데이터 합성 능력을 확인하는 부분입니다.
+
+:::{figure-md}
+
+
+CAS score
+
+:::
+
+Figure 5에서 파란색 부분은 실제 학습 데이터로 학습된 모델의 분류 성능이고, 빨간색 부분은 합성된 데이터로 학습된 모델의 분류 성능입니다. 왼쪽 그림은 베이스라인 중 하나인 CDM 모델의 성능을 나타낸 그림이며, 가운데는 본 논문에서 256x256 resolution 모델의 성능, 오른쪽은 본 논문에서 제안한 1024x1024 resolution 모델의 성능을 나타낸 것입니다. 빨간색 부분이 파란색 부분보다 전반적으로 위쪽에 위치하면 모델의 성능이 좋다고 해석할 수 있습니다. 이 그림을 통해 본 논문에서 제안한 모델들이 베이스라인보다 좋은 성능을 보인다는 것을 알 수 있습니다.
+
+Table 2에서도 마찬가지로 본 논문 모델이 다른 베이스 모델보다 성능이 뛰어난 것을 알 수 있습니다. 여기서 주목할 만한 점은 CAS를 평가하기 위한 ResNet50이 256x256으로 입력 데이터를 다운샘플링 함에도 1024x1024 샘플에 대한 결과가 훨씬 좋다는 것을 볼 수 있습니다. (Ours 256x256 resolution보다 Ours 1024x1024 resolution의 CAS 성능이 월등히 높음)
+
+## 5.3. Classification Accuracy with Different Models
+이 부분은 합성된 데이터를 여러 종류의 모델로 학습 시켰을 때, 각 모델의 분류 성능을 확인하는 부분입니다. CAS와 비슷하지만 CAS에서는 ResNet50 모델로 분류 성능을 확인했지만 여기서는 ResNet50 이외에 모델로도 분류 성능을 본다는 차이점이 있습니다.
+
+:::{figure-md}
+
+
+Table 3
+
+:::
+
+위 표에서 확인할 수 있듯이, 다양한 모델에 대해서 분류 정확도를 살펴본 결과 생성된 데이터로만 학습될 경우에는 실제 데이터로 학습할 때 보다 성능이 낮았지만, 실제 데이터와 생성된 데이터를 합쳐서 학습할 경우 실제 데이터만 사용했을 때보다 성능이 증가한 것을 볼 수 있습니다. 이것은 onvNet기반 모델과 transformer 기반 모델에 대해서 동일한 양상을 보였습니다.
+
+## 5.4. Merging Real and Synthetic Data at Scale
+이 부분은 합성 데이터 규모에 따른 ResNet-50의 성능을 분석한 부분입니다.
+
+:::{figure-md}
+
+
+Figure 6
+
+:::
+
+64x64 이미지의 경우 생성되는 데이터의 양이 증가함에 따라 성능이 지속적으로 향상되는 것을 볼 수 있습니다.
+
+:::{figure-md}
+
+
+Table 4
+
+:::
+
+하지만 다른 resolution에 대해서는 다른 양상을 보였습니다. 학습 데이터가 4.8M 규모가 될 때까지는 합성 데이터를 추가하는 것이 분류 성능에 좋았으나, 합성 데이터를 더 늘려 그 이상의 규모가 되었을 때는 오히려 성능이 떨어지는 것을 볼 수 있었습니다.
+
+# 6. Conclusion
+
+본 논문에 결론 부분을 보자면, 이 논문에서는 Large-sclae text-to-image diffusion 모델을 파인튜닝하여 FID, Inception Score, CAS 성능 지표에 대해서 SOTA를 달성했습니다.
+- FID: 1.76 at 256x256
+- Inception Score: 239 at 256x256
+- CAS: 64.96 for 256x256, 69.24 for 1024x1024
+
+또한 그렇게 생성 데이터를 이용하여 ResNet과 Transformer 기반 모델들에 대한 ImageNet classification accuracy를 향상 시켰습니다.
+
+실험 결과에 대해서 생각해볼만한 거리들이 있었는데 그 중 하나는 CAS 성능 측정할 때 ResNet50이 입력을 256x256으로 다운샘플링 함에도 불구하고 256x256보다 1024x1024의 모델의 CAS가 좋은 것이 있었습니다. 이는 다운샘플링을 하더라도 다운샘플링 전 원본 데이터 resolution이 클 때 더 많은 정보를 담는다는 것을 의미하는 것일 수 있습니다. 또한, 64x64 데이터에서 합성 데이터의 양이 증가함에 따라 분류 정확도가 지속적으로 증가했지만 고해상도 데이터에서는 그렇지 않았던 것을 통해 고해상도에 이미지에 대해서는 보다 정교한 훈련 방법이 필요할 수 있음을 시사하고 있습니다.
+
+---
+
+이렇게 Synthetic Data from Diffusion Models Improves ImageNet Classification 논문의 리뷰를 마치겠습니다. 개인적으로 느낀 점은 실제 산업에서는 data shortage나 class imbalance 문제가 대부분 발생하는데 본 논문이 그 해결법 중 하나가 될 수 있을 것 같다는 생각이 들었습니다. 다만 Frozen Text Encoder는 추가적으로 파인튜닝이 되지 않기 때문에 특정 산업에서만 쓰이는 특정 텍스트가 들어왔을 때는 잘 동작할 수 있을까 하는 의문이 들었습니다. 또한 합성하고자 하는 데이터셋에 맞게 파인튜닝을 해야하는 점이 꽤나 불편할 것 같아서 파인튜닝이 모델 성능에 얼마나 큰 의미를 갖는지, 파인튜닝을 하지 않았을 때의 CAS 성능도 논문에 있었으면 좋았을 것 같다는 개인적인 생각이 들었습니다. (물론 Figure 2를 보고 어느 정도 결과를 유추해볼 순 있지만요!)
diff --git a/_sources/docs/review/Textual_Inversion.md b/_sources/docs/review/Textual_Inversion.md
index 5293d739..7fb72e34 100755
--- a/_sources/docs/review/Textual_Inversion.md
+++ b/_sources/docs/review/Textual_Inversion.md
@@ -1,206 +1,206 @@
-```{admonition} Information
-- **Title:** An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion
-
-- **Reference**
- - Paper: [https://arxiv.org/pdf/2208.01618.pdf](https://arxiv.org/pdf/2208.01618.pdf)
- - Code: [https://textual-inversion.github.io/](https://textual-inversion.github.io/)
- - Review: [https://devocean.sk.com/blog/techBoardDetail.do?page=&query=&ID=164320&boardType=writer&searchData=sam56903&subIndex=&idList=&pnwriterID=sam56903](https://devocean.sk.com/blog/techBoardDetail.do?page=&query=&ID=164320&boardType=writer&searchData=sam56903&subIndex=&idList=&pnwriterID=sam56903)
-
-- **Author:** Kwang-Su Mun
-
-- **Last updated on May. 31. 2023**
-```
-
-# Textual Inversion
-
-# Abstract
-```
-이미지 3-5장으로 새로운 개념(또는 콘셉트, concept)을 학습해 관련된 이미지를 뽑아내는 모델
-```
-
- text-to-image model은 자연어를 통한 creation에 전례없는 자유도를 주었다. 하지만, 특정한 contept를 생성하고, 그것의 생김새를 바꾸거나, 새로운 역할이 주어지거나 참신한 장면이 그려지는건 아직 불분명하다. 즉, '이것을 그려줘'라고 말할 때, '이것'에 대한 설명을 prompt로 어떻게 할 것이냐는 물음에는 아직 한계가 있는 것 같다. 이를 해결하기 위해, 저자는 image를 3-5개만으로 사물이나 스타일과 같은 concept, 즉 새로운 '단어'를 고정된 text-to-image model의 embedding space에서 표현하는 방법을 제안한다. 이러한 '단어'는 자연어 문장에 녹아들어가, 직관적인 방법으로 '개인화된' 이미지 생성을 이끌어 낸다. 특히, 독자적이면서 다양한 콘셉트를 capture하기 위해서는 single word embedding이 충분하다는 것을 알게 되었다.
-
-:::{figure-md} textual inverison example
-
-
-textual inversion example \ (source: https://arxiv.org/abs/2208.01618)
-:::
-
-# Introduction
-대규모 학습된 모델에 새로운 개념을 도입하는 일은 어려운 일이다. 각 새로운 개념에 대해 확장된 데이터 셋을 사용해 모델을 retraining하는 것은 엄청나게 비용이 많이 들고, 몇 가지 예제에 해서 fine-tuning은 보통 치명적인 망각을 초래한다. 따라서 저자들은 사전 훈련된 텍스트-이미지 모델의 텍스트 임베딩 공간에서 새로운 단어를 찾아 이러한 문제를 극복할 것을 제안.
-
-
-:::{figure-md} architecture
-
-
-architecture \ (source: https://arxiv.org/abs/2208.01618)
-:::
-위 figure에서, "A photo of S*"은 tokenizer를 지나면서 각각 '508', '701', '73', '*'과 같은 형태의 token set으로 변환되고, 이후 각 토큰은 자체 임베딩 벡터로 변환되고 이러한 벡터는 다운스트림 모델을 통해 제공됨.
-
-input image의 concept를 나타내는, 새로운 pseudo-word인 S*를 이용해 새로운 embedding vector(v*)를 나타낸다. 이후 이 vector는 다른 단어와 같이 처리되며 생성 모델에 대한 새로운 text query를 구성하는데 사용될 수 있음. 따라서 이 query는 generator에 들어가서 사용자가 의도한바와 일치하도록 새로운 image를 생성하도록 하는 것이 전반적인 그림이라고 볼 수 있음.
-
-여기서 중요한 것은, 이 과정에서 생성모델(여기서는 LDM이 쓰임)은 untouched되어 있다는 것(즉, 따로 수정이 들어가지 않는듯함). 그렇게 함으로써 새로운 task에 대한 fine-tuning을 할 때 일반적으로 손실되는 text에 대한 이해도나 generalization을 유지할 수 있음.
-
-이러한 '유사단어'를 찾기 위해, 이 작업을 하나로 inversion시켜 프레임화 한다. 그리고 고정된, pre-trained text-to-image model을 사용하고, 3-5개의 concept를 나타내는 small image set이 주어진다. 저자들은 'a photo of S*'와 같은 형태의 문장을 설정해 주어진 작은 dataset에서 이미지를 재구성 하는 것으로 이어지는 single-word embedding을 찾는 것을 목표로 함.
-
-이 모델의 목표는 **새로운 concept인 입력 이미지를 나타내는 S*를 표현하는 방법을 찾는 것**이며, 이러한 task를 **'textual inversion'**이라고 한다고 함.
-
-```
-This embedding is found through an optimization process, which we refer to as “Textual Inversion”.
-```
-
-# Related work
-- text-guided synthesis
-- GAN inversion
-- Diffusion-based inversion
-- personalization
- - PALAVRA: image를 S*으로 바꾸는데 사용되는 기술로 추정.
- - pre-trained CLIP model을 이용해서 personalized object의 복구 및 segmentation을 수행. PALAVRA는 특정 개체를 참조하는 CLIP의 textual embedding space에서 pseudo-word를 식별함. 그 다음 검색을 위해 이미지를 설명하거나 어떤 장면에서 특정 개체를 분할하기 위해 사용됨. figure 5에서 보듯이, 그들의 접근 방식은 새로운 장면에서 그럴듯한 재구성 또는 합성에 필요한 세부 정보를 캡처하지 못함.
-
-# Method
-```
-Our goal is to enable language-guided generation of new, user-specified concepts.
-```
-- 의역) 목표: 유저가 의도한 것에 초첨을 맞춘, 새로운 concept를 embedding으로 잘 가이드해서 괜찮은 성과물을 내는 것.
-
-따라서 pre-trained text-to-image model의 중간 단계의 representation으로 이러한 새로운 'concepts'을 인코딩하는데 초점을 맞춤. 일반적인 text-to-image model에서는 image의 representation에 대한 후보군을 text encoder의 word-embedding 단계에서 찾는다. 그러나 이러한 접근 방식은 이미지에 대한 in-depth visual understanding을 필요로 하지 않는다(생성자가 이미지에 대해서 시각적인 이해? 없이 그린다.) 따라서 여기서는 GAN inversion에서 영감을 받은 visual reconstruction objective를 제시.
-
-## cf) GAN Inversion(이해 못함)
-출처) - https://hyoseok-personality.tistory.com/entry/GAN-Inversion
-
-:::{figure-md} GAN inversion
-
-
-GAN inversion \ (source: https://hyoseok-personality.tistory.com/entry/GAN-Inversion)
-:::
-
-- 입력 이미지와 유사한 결과 이미지를 얻을 수 있도록 하는 latent vector를 찾는 과정. GAN이 학습되면 random latent vector로부터 이미지를 생성해낸다. GAN inversion은 이의 역과정으로써 GAN의 latent space로 input image를 inverting시켜 latent vector를 알아가는 과정.
-
-## LDM(Latent Diffusion Model)
-논문에서는 생성모델로서 LDM(Latent Diffusion Model)을 사용함. 이전에 말했듯이, LDM은 하나도 건들지 않음.
-
-:::{figure-md} LDM objective function
-
-
-LDM objective function \ (source: https://arxiv.org/pdf/2208.01618.pdf)
-:::
-
-## Text Embeddings
-:::{figure-md} Text-Embedding
-
-
-Text-Embedding \ (source: https://arxiv.org/pdf/2208.01618.pdf)
-:::
-- 입력된 문자열의 각 단어, 하위 단어는 tokenizer를 통과하며, 미리 정의된 dictionary에서 index token으로 변환함. 각 토큰을 통해 찾을 수 있는 고유한 임베딩 벡터에 연결됨.
-- index에 의한 embedding vector는 일반적으로 text encoder인 C_Θ의 일부로 학습된다. 이러한 space를 inversion target으로 삼았음. 새로운 개념을 나타내기 위해 자리표시자 문자열인 S*를 새롭게 지정함. 이 과정에서 PALAVRA를 사용했을 것으로 추정함. 임베딩 process에 개입해서 tokenize된 문자열과 관련된 vector를 새로운 학습된 embedding V*로 대체하여 본질적으로 어휘(pseudo-word)에 개념을 주입함. 이렇게 함으로써 다른 단어와 마찬가지로 concept를 포함하는 새로운 문장을 만들 수 있었음.
-
-## Textual Inversion
-새로운 embedding을 찾기 위해 작은 규모의 dataset(3-5장)을 사용해 다양한 배경 또는 포즈와 같은 여러 설정에 걸쳐 목표 concept을 묘사함. 이러한 작은 dataset에서 LDM loss를 최소화하는 과정을 통해 V를 최적화함. 생성 조건을 고정하기 위해 CLIP ImageNet 템플릿에서 파생된 중립 컨텍스트 텍스트를 무작위로 샘플링한다. 여기에는 "A photo of S*", "A rendition of S*" 등의 형식 프롬프트가 포함된다.(아마 원본 이미지와 최대한 비슷하게 만들어서 원본과 비교하기 위한 목적이 아닐까 싶음) 최적화 목표식은 다음과 같음.
-
-:::{figure-md} textual inversion objective function
-
-
-textual inversion objective function \ (source: https://arxiv.org/pdf/2208.01618.pdf)
-:::
-
-LDM loss함수와 매우 유사함. 여기서 CΘ와 eΘ는 고정. 해당 따라서 학습된 embedding이 개념에 미세한 시각적 detail을 포착할 수 있을것으로 기대함.
-
-# 성능평가
-## DALL:E-2와 비교
-:::{figure-md} compare with DALLE-2
-
-
-compare with DALLE-2 \ (source: https://arxiv.org/pdf/2208.01618.pdf)
-:::
-- input image에 대한 디테일을 더 잘 포착하는 모습을 볼 수 있다.
-
-## Text guided synthesis
-
-:::{figure-md} text guided synthesis
-
-
-text guided synthesis - 입력 이미지의 스타일과 유사하면서도 text guide에 맞춰서 잘 진행함.
- \ (source: https://arxiv.org/pdf/2208.01618.pdf)
-:::
-
-- Textual Inversion 모델은 새로운 주제에 대해 더 정확하게 개념을 보존하고, 새로운 임베딩과 나머지 캡션들에 대해서도 모두 추론이 가능했음.
-
-:::{figure-md} style transfer
-
-
-style transfer \ (source: https://arxiv.org/pdf/2208.01618.pdf)
-:::
-- 적은 데이터셋으로도 style을 보존하면서 표현한 그림
-
-## pseudo word 두 개 사용
-
-:::{figure-md} two pseudo word
-
-
-two pseudo word \ (source: https://arxiv.org/pdf/2208.01618.pdf)
-:::
-
-## Bias Reduction
-:::{figure-md} Bias reduction
-
-
-Bias reduction \ (source: https://arxiv.org/pdf/2208.01618.pdf)
-:::
-
-기존 모델의 결과를 보면, 위 사진에서와 같이 '의사'라는 단어를 사용하면, 보통 백인 남성 의사를 잘 그려냈음. 이는 기존 데이터셋에서 남성 의사 사진 데이터가 많았음을 보여준다. 보다 작은 imageset에서 새로운 embedding을 학습함으로써 이러한 bias를 줄일 수 있음을 보여준다(즉, 성별 및 인종적 다양성에 대한 인식을 높일 수 있음).
-
-# 정량평가
-
-latent space embedding의 품질을 분석.
-
-1. reconstruction(y축?): target concept를 얼마나 잘 복제하는지. 특정 이미지가 아닌 개념에 대한 변형을 생성하므로 의미적 CLIP 공간 거리를 고려하여 유사성을 측정.(이미지에 자체가 아닌, 이미지가 가진 '개념'에 대해 latent space를 생성하므로) 각 컨셉에 대해 "A photo of S*"라는 prompt를 사용해 64개의 이미지를 생성.
-2. editability(x축?): text prompt를 사용해 개념을 수정하는 능력을 평가. 다양한 난이도와 다양한 설정의 prompt를 사용해 일련의 이미지를 생성.
-
-각 prompt 별로, 50 DDIM step을 사용해 64개의 샘플을 만들고, CLIP-space embedding을 평가, textual prompt의 CLIP-space embedding에서 cosine similarity를 계산. 높은 스코어는 더 높은 editing capability와 prompt의 신뢰도를 보여줌.
-
-## 평가 setups
-GAN inversion에서 영감을 받은 실험 환경 설정에 따름. 생략
-
-## 결과
-:::{figure-md} quantative evaluation1
-
-
-quantative evaluation1 \ (source: https://arxiv.org/pdf/2208.01618.pdf)
-:::
-
-### 주목할 점
-
-1. 많은 baseline과 우리 방법의 semantic reconstruction quality는 단순히 training set에서 임의의 이미지를 샘플링하는 것과 비슷함(== 원본 이미지와 생성된 이미지가 큰 차이가 없었다?)
-
-2. single-word method는 비슷한 reconstruction quality를 달성하고, 모든 multi-word baseline에서 상당히 향상된 editablity을 달성. 이러한 점은 text embedding space의 인상적인 유연성을 나타내고, 단일 pseudo word만 사용하면서 높은 정확도로 새로운 개념을 캡처하는데 도움이 될 수 있음을 보여줌.
-
-3. baseline이 distortion-editability tradeoff 곡선의 outline을 그리며 실제 단어 분포에 더 가까운 embedding이 더 쉽게 수정될 수 있음. 그러나 target의 세부 정보를 캡처하지는 못함. 반대로, 단어 분포에서 멀리 벗어나면 editability가 크게 감소하는 대신 향상된 reconstruction이 가능해짐. 특히 single embedding model은 단순히 learning rate를 변경해 이 곡선을 따라 이동할 수 있으므로 사용자에게 이 tradeoff에 대한 어느 정도의 제어를 제공함.
-
-4. concept에 대한 human description을 사용하면 유사성을 포착하지 못하면서도, editability가 감소함.
-
-
-## 사용자평가
-
-:::{figure-md} human test
-
-
-human test \ (source: https://arxiv.org/pdf/2208.01618.pdf)
-:::
-
-두 개의 설문지:
-1) 사용자는 concept의 training set에서 4개의 이미지를 제공받았고, 이미지와의 유사성에 따라 5개의 모델에서 생성된 결과의 순위를 매김.
-
-2) 이미지 context를 설명하는 텍스트를 제공받았고, 텍스트와 생성된 이미지의 유사성에 따라 순위를 매김.
-
-각 질문별로 600개씩 총 1,200개의 응답을 수집.
-
-# Limitation
-1. 이미지 생성에 더 많은 자유도를 제공하지만, concept의 의미론적인 본질을 파악하거나, 정확한 shape를 학습하는데 한계.
-2. 최적화가 오래 걸린다. 하나의 concept를 학습하는데 약 2시간이 소요됨.
-
-# 마무리
-: 새로운 설정과 장면에서 특정 concept의 이미지를 생성하기 위해 text-to-image model를 활용하는 개인화되며, language-guided generation을 소개함. 여기서 사용한 'text inversion'은 pretrained text-to-image 모델의 text embedding space 내에서 concept를 새로운 pseudo word로 inverse하여 작동함. 이러한 pseudo-word는 간단한 자연어 설명을 사용해 새로운 장면에 삽입할 수 있으므로 간단하고 직관적인 수정이 가능함.
-
- 어떤 의미에서 이 방법은 사용자가 편집하기 쉽도록 텍스트 기반 interpace를 사용하지만 자연 언어의 한계에 접근할 때 시각적 단서를 제공하는 등 multi modal 정보를 활용할 수 있도록 함.
-
+```{admonition} Information
+- **Title:** An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion
+
+- **Reference**
+ - Paper: [https://arxiv.org/pdf/2208.01618.pdf](https://arxiv.org/pdf/2208.01618.pdf)
+ - Code: [https://textual-inversion.github.io/](https://textual-inversion.github.io/)
+ - Review: [https://devocean.sk.com/blog/techBoardDetail.do?page=&query=&ID=164320&boardType=writer&searchData=sam56903&subIndex=&idList=&pnwriterID=sam56903](https://devocean.sk.com/blog/techBoardDetail.do?page=&query=&ID=164320&boardType=writer&searchData=sam56903&subIndex=&idList=&pnwriterID=sam56903)
+
+- **Author:** Kwang-Su Mun
+
+- **Last updated on May. 31. 2023**
+```
+
+# Textual Inversion
+
+# Abstract
+```
+이미지 3-5장으로 새로운 개념(또는 콘셉트, concept)을 학습해 관련된 이미지를 뽑아내는 모델
+```
+
+ text-to-image model은 자연어를 통한 creation에 전례없는 자유도를 주었다. 하지만, 특정한 contept를 생성하고, 그것의 생김새를 바꾸거나, 새로운 역할이 주어지거나 참신한 장면이 그려지는건 아직 불분명하다. 즉, '이것을 그려줘'라고 말할 때, '이것'에 대한 설명을 prompt로 어떻게 할 것이냐는 물음에는 아직 한계가 있는 것 같다. 이를 해결하기 위해, 저자는 image를 3-5개만으로 사물이나 스타일과 같은 concept, 즉 새로운 '단어'를 고정된 text-to-image model의 embedding space에서 표현하는 방법을 제안한다. 이러한 '단어'는 자연어 문장에 녹아들어가, 직관적인 방법으로 '개인화된' 이미지 생성을 이끌어 낸다. 특히, 독자적이면서 다양한 콘셉트를 capture하기 위해서는 single word embedding이 충분하다는 것을 알게 되었다.
+
+:::{figure-md} textual inverison example
+
+
+textual inversion example \ (source: https://arxiv.org/abs/2208.01618)
+:::
+
+# Introduction
+대규모 학습된 모델에 새로운 개념을 도입하는 일은 어려운 일이다. 각 새로운 개념에 대해 확장된 데이터 셋을 사용해 모델을 retraining하는 것은 엄청나게 비용이 많이 들고, 몇 가지 예제에 해서 fine-tuning은 보통 치명적인 망각을 초래한다. 따라서 저자들은 사전 훈련된 텍스트-이미지 모델의 텍스트 임베딩 공간에서 새로운 단어를 찾아 이러한 문제를 극복할 것을 제안.
+
+
+:::{figure-md} architecture
+
+
+architecture \ (source: https://arxiv.org/abs/2208.01618)
+:::
+위 figure에서, "A photo of S*"은 tokenizer를 지나면서 각각 '508', '701', '73', '*'과 같은 형태의 token set으로 변환되고, 이후 각 토큰은 자체 임베딩 벡터로 변환되고 이러한 벡터는 다운스트림 모델을 통해 제공됨.
+
+input image의 concept를 나타내는, 새로운 pseudo-word인 S*를 이용해 새로운 embedding vector(v*)를 나타낸다. 이후 이 vector는 다른 단어와 같이 처리되며 생성 모델에 대한 새로운 text query를 구성하는데 사용될 수 있음. 따라서 이 query는 generator에 들어가서 사용자가 의도한바와 일치하도록 새로운 image를 생성하도록 하는 것이 전반적인 그림이라고 볼 수 있음.
+
+여기서 중요한 것은, 이 과정에서 생성모델(여기서는 LDM이 쓰임)은 untouched되어 있다는 것(즉, 따로 수정이 들어가지 않는듯함). 그렇게 함으로써 새로운 task에 대한 fine-tuning을 할 때 일반적으로 손실되는 text에 대한 이해도나 generalization을 유지할 수 있음.
+
+이러한 '유사단어'를 찾기 위해, 이 작업을 하나로 inversion시켜 프레임화 한다. 그리고 고정된, pre-trained text-to-image model을 사용하고, 3-5개의 concept를 나타내는 small image set이 주어진다. 저자들은 'a photo of S*'와 같은 형태의 문장을 설정해 주어진 작은 dataset에서 이미지를 재구성 하는 것으로 이어지는 single-word embedding을 찾는 것을 목표로 함.
+
+이 모델의 목표는 **새로운 concept인 입력 이미지를 나타내는 S*를 표현하는 방법을 찾는 것**이며, 이러한 task를 **'textual inversion'**이라고 한다고 함.
+
+```
+This embedding is found through an optimization process, which we refer to as “Textual Inversion”.
+```
+
+# Related work
+- text-guided synthesis
+- GAN inversion
+- Diffusion-based inversion
+- personalization
+ - PALAVRA: image를 S*으로 바꾸는데 사용되는 기술로 추정.
+ - pre-trained CLIP model을 이용해서 personalized object의 복구 및 segmentation을 수행. PALAVRA는 특정 개체를 참조하는 CLIP의 textual embedding space에서 pseudo-word를 식별함. 그 다음 검색을 위해 이미지를 설명하거나 어떤 장면에서 특정 개체를 분할하기 위해 사용됨. figure 5에서 보듯이, 그들의 접근 방식은 새로운 장면에서 그럴듯한 재구성 또는 합성에 필요한 세부 정보를 캡처하지 못함.
+
+# Method
+```
+Our goal is to enable language-guided generation of new, user-specified concepts.
+```
+- 의역) 목표: 유저가 의도한 것에 초첨을 맞춘, 새로운 concept를 embedding으로 잘 가이드해서 괜찮은 성과물을 내는 것.
+
+따라서 pre-trained text-to-image model의 중간 단계의 representation으로 이러한 새로운 'concepts'을 인코딩하는데 초점을 맞춤. 일반적인 text-to-image model에서는 image의 representation에 대한 후보군을 text encoder의 word-embedding 단계에서 찾는다. 그러나 이러한 접근 방식은 이미지에 대한 in-depth visual understanding을 필요로 하지 않는다(생성자가 이미지에 대해서 시각적인 이해? 없이 그린다.) 따라서 여기서는 GAN inversion에서 영감을 받은 visual reconstruction objective를 제시.
+
+## cf) GAN Inversion(이해 못함)
+출처) - https://hyoseok-personality.tistory.com/entry/GAN-Inversion
+
+:::{figure-md} GAN inversion
+
+
+GAN inversion \ (source: https://hyoseok-personality.tistory.com/entry/GAN-Inversion)
+:::
+
+- 입력 이미지와 유사한 결과 이미지를 얻을 수 있도록 하는 latent vector를 찾는 과정. GAN이 학습되면 random latent vector로부터 이미지를 생성해낸다. GAN inversion은 이의 역과정으로써 GAN의 latent space로 input image를 inverting시켜 latent vector를 알아가는 과정.
+
+## LDM(Latent Diffusion Model)
+논문에서는 생성모델로서 LDM(Latent Diffusion Model)을 사용함. 이전에 말했듯이, LDM은 하나도 건들지 않음.
+
+:::{figure-md} LDM objective function
+
+
+LDM objective function \ (source: https://arxiv.org/pdf/2208.01618.pdf)
+:::
+
+## Text Embeddings
+:::{figure-md} Text-Embedding
+
+
+Text-Embedding \ (source: https://arxiv.org/pdf/2208.01618.pdf)
+:::
+- 입력된 문자열의 각 단어, 하위 단어는 tokenizer를 통과하며, 미리 정의된 dictionary에서 index token으로 변환함. 각 토큰을 통해 찾을 수 있는 고유한 임베딩 벡터에 연결됨.
+- index에 의한 embedding vector는 일반적으로 text encoder인 C_Θ의 일부로 학습된다. 이러한 space를 inversion target으로 삼았음. 새로운 개념을 나타내기 위해 자리표시자 문자열인 S*를 새롭게 지정함. 이 과정에서 PALAVRA를 사용했을 것으로 추정함. 임베딩 process에 개입해서 tokenize된 문자열과 관련된 vector를 새로운 학습된 embedding V*로 대체하여 본질적으로 어휘(pseudo-word)에 개념을 주입함. 이렇게 함으로써 다른 단어와 마찬가지로 concept를 포함하는 새로운 문장을 만들 수 있었음.
+
+## Textual Inversion
+새로운 embedding을 찾기 위해 작은 규모의 dataset(3-5장)을 사용해 다양한 배경 또는 포즈와 같은 여러 설정에 걸쳐 목표 concept을 묘사함. 이러한 작은 dataset에서 LDM loss를 최소화하는 과정을 통해 V를 최적화함. 생성 조건을 고정하기 위해 CLIP ImageNet 템플릿에서 파생된 중립 컨텍스트 텍스트를 무작위로 샘플링한다. 여기에는 "A photo of S*", "A rendition of S*" 등의 형식 프롬프트가 포함된다.(아마 원본 이미지와 최대한 비슷하게 만들어서 원본과 비교하기 위한 목적이 아닐까 싶음) 최적화 목표식은 다음과 같음.
+
+:::{figure-md} textual inversion objective function
+
+
+textual inversion objective function \ (source: https://arxiv.org/pdf/2208.01618.pdf)
+:::
+
+LDM loss함수와 매우 유사함. 여기서 CΘ와 eΘ는 고정. 해당 따라서 학습된 embedding이 개념에 미세한 시각적 detail을 포착할 수 있을것으로 기대함.
+
+# 성능평가
+## DALL:E-2와 비교
+:::{figure-md} compare with DALLE-2
+
+
+compare with DALLE-2 \ (source: https://arxiv.org/pdf/2208.01618.pdf)
+:::
+- input image에 대한 디테일을 더 잘 포착하는 모습을 볼 수 있다.
+
+## Text guided synthesis
+
+:::{figure-md} text guided synthesis
+
+
+text guided synthesis - 입력 이미지의 스타일과 유사하면서도 text guide에 맞춰서 잘 진행함.
+ \ (source: https://arxiv.org/pdf/2208.01618.pdf)
+:::
+
+- Textual Inversion 모델은 새로운 주제에 대해 더 정확하게 개념을 보존하고, 새로운 임베딩과 나머지 캡션들에 대해서도 모두 추론이 가능했음.
+
+:::{figure-md} style transfer
+
+
+style transfer \ (source: https://arxiv.org/pdf/2208.01618.pdf)
+:::
+- 적은 데이터셋으로도 style을 보존하면서 표현한 그림
+
+## pseudo word 두 개 사용
+
+:::{figure-md} two pseudo word
+
+
+two pseudo word \ (source: https://arxiv.org/pdf/2208.01618.pdf)
+:::
+
+## Bias Reduction
+:::{figure-md} Bias reduction
+
+
+Bias reduction \ (source: https://arxiv.org/pdf/2208.01618.pdf)
+:::
+
+기존 모델의 결과를 보면, 위 사진에서와 같이 '의사'라는 단어를 사용하면, 보통 백인 남성 의사를 잘 그려냈음. 이는 기존 데이터셋에서 남성 의사 사진 데이터가 많았음을 보여준다. 보다 작은 imageset에서 새로운 embedding을 학습함으로써 이러한 bias를 줄일 수 있음을 보여준다(즉, 성별 및 인종적 다양성에 대한 인식을 높일 수 있음).
+
+# 정량평가
+
+latent space embedding의 품질을 분석.
+
+1. reconstruction(y축?): target concept를 얼마나 잘 복제하는지. 특정 이미지가 아닌 개념에 대한 변형을 생성하므로 의미적 CLIP 공간 거리를 고려하여 유사성을 측정.(이미지에 자체가 아닌, 이미지가 가진 '개념'에 대해 latent space를 생성하므로) 각 컨셉에 대해 "A photo of S*"라는 prompt를 사용해 64개의 이미지를 생성.
+2. editability(x축?): text prompt를 사용해 개념을 수정하는 능력을 평가. 다양한 난이도와 다양한 설정의 prompt를 사용해 일련의 이미지를 생성.
+
+각 prompt 별로, 50 DDIM step을 사용해 64개의 샘플을 만들고, CLIP-space embedding을 평가, textual prompt의 CLIP-space embedding에서 cosine similarity를 계산. 높은 스코어는 더 높은 editing capability와 prompt의 신뢰도를 보여줌.
+
+## 평가 setups
+GAN inversion에서 영감을 받은 실험 환경 설정에 따름. 생략
+
+## 결과
+:::{figure-md} quantative evaluation1
+
+
+quantative evaluation1 \ (source: https://arxiv.org/pdf/2208.01618.pdf)
+:::
+
+### 주목할 점
+
+1. 많은 baseline과 우리 방법의 semantic reconstruction quality는 단순히 training set에서 임의의 이미지를 샘플링하는 것과 비슷함(== 원본 이미지와 생성된 이미지가 큰 차이가 없었다?)
+
+2. single-word method는 비슷한 reconstruction quality를 달성하고, 모든 multi-word baseline에서 상당히 향상된 editablity을 달성. 이러한 점은 text embedding space의 인상적인 유연성을 나타내고, 단일 pseudo word만 사용하면서 높은 정확도로 새로운 개념을 캡처하는데 도움이 될 수 있음을 보여줌.
+
+3. baseline이 distortion-editability tradeoff 곡선의 outline을 그리며 실제 단어 분포에 더 가까운 embedding이 더 쉽게 수정될 수 있음. 그러나 target의 세부 정보를 캡처하지는 못함. 반대로, 단어 분포에서 멀리 벗어나면 editability가 크게 감소하는 대신 향상된 reconstruction이 가능해짐. 특히 single embedding model은 단순히 learning rate를 변경해 이 곡선을 따라 이동할 수 있으므로 사용자에게 이 tradeoff에 대한 어느 정도의 제어를 제공함.
+
+4. concept에 대한 human description을 사용하면 유사성을 포착하지 못하면서도, editability가 감소함.
+
+
+## 사용자평가
+
+:::{figure-md} human test
+
+
+human test \ (source: https://arxiv.org/pdf/2208.01618.pdf)
+:::
+
+두 개의 설문지:
+1) 사용자는 concept의 training set에서 4개의 이미지를 제공받았고, 이미지와의 유사성에 따라 5개의 모델에서 생성된 결과의 순위를 매김.
+
+2) 이미지 context를 설명하는 텍스트를 제공받았고, 텍스트와 생성된 이미지의 유사성에 따라 순위를 매김.
+
+각 질문별로 600개씩 총 1,200개의 응답을 수집.
+
+# Limitation
+1. 이미지 생성에 더 많은 자유도를 제공하지만, concept의 의미론적인 본질을 파악하거나, 정확한 shape를 학습하는데 한계.
+2. 최적화가 오래 걸린다. 하나의 concept를 학습하는데 약 2시간이 소요됨.
+
+# 마무리
+: 새로운 설정과 장면에서 특정 concept의 이미지를 생성하기 위해 text-to-image model를 활용하는 개인화되며, language-guided generation을 소개함. 여기서 사용한 'text inversion'은 pretrained text-to-image 모델의 text embedding space 내에서 concept를 새로운 pseudo word로 inverse하여 작동함. 이러한 pseudo-word는 간단한 자연어 설명을 사용해 새로운 장면에 삽입할 수 있으므로 간단하고 직관적인 수정이 가능함.
+
+ 어떤 의미에서 이 방법은 사용자가 편집하기 쉽도록 텍스트 기반 interpace를 사용하지만 자연 언어의 한계에 접근할 때 시각적 단서를 제공하는 등 multi modal 정보를 활용할 수 있도록 함.
+
이러한 접근 방식은 공개적으로 사용가능한 가장 큰 text-to-image model인 LDM을 통해 구현됨. 그러나 접근 방식에 아키텍처 세부 정보에 의존하지 않음. 따라서 textual inversion은 추가적인 대규모 text-to-image model에 쉽게 적용할 수 있다고 생각. 거기에서 text-to-image alignment, shape preseravation, image generation fidelity가 더 향상될 수 있음.
\ No newline at end of file
diff --git a/_sources/docs/review/VideoLDM.md b/_sources/docs/review/VideoLDM.md
index f3d443b0..ebb1c7ec 100755
--- a/_sources/docs/review/VideoLDM.md
+++ b/_sources/docs/review/VideoLDM.md
@@ -1,193 +1,193 @@
-```{admonition} Information
-- **Title:** Align your Latents: High-Resolution Video Synthesis with Latent Diffusion Models
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2304.08818](https://arxiv.org/abs/2304.08818)
-
-- **Author:** Jun-Hyoung Lee
-
-- **Last updated on Nov. 30. 2023**
-```
-
-# VideoLDM
-
-:::{figure-md}
-
-
-Video LDM samples
-:::
-
-## Abstract
-
-- Latent Diffusion Models (LDMs)는 computing resource 를 줄이기 위해 낮은 차원의 latent space 로 압축하여 high quality 의 image synthesis 를 가능하게 했다.
-- 비디오 생성 모델링의 퀄리티 부족하며,
- - 이유가 학습에 필요한 computing cost 가 많이 발생, 데이터 셋 부족하다.
-- 제안
- :::{figure-md}
-
-
- Temproal Video finetuning
- :::
-
- - 기존에는 가우시안 노이즈의 랜덤한 샘플들 끼리의 denoising 결과 다른 이미지를 생성했다.
- - Temporal Video finetuning 을 거치게 되면 비디오 시퀀스의 형태(시간축에 정렬된 이미지)로 생성할 수 있다.
-- VideoLDM 은 기존 LDM 방법에 고해상도의 비디오 생성을 적용했다.
- 1. 대규모 이미지 데이터 셋을 활용해 LDM 을 pre-train 했고, (only image)
- - pre-trained image LDMs 를 활용 가능하다.
- - temporal modeling 만 학습한다.(기존 이미지 LDM은 freeze)
- - 1280x2048 해상도 까지 가능하다.
- 2. 그 후, 이미지 generator 를 비디오 generator 로 전환한다.
- - latent space diffusion model 에 temporal(시간적) 차원을 적용한다.
- - 이미지 시퀀스(비디오)를 인코딩해 파인 튜닝 진행한다.
- 3. diffusion model upsampler 를 시간적으로 정렬하여 일관적인 비디오 super resolution model 로 변환한다.
-- Applied task
- - 자율 주행의 시뮬레이션 엔진 (512x1024 해상도로 실제로 평가 진행해 sota 달성)
- - creative content creation (using text-to-video)
-
-## 3. Latent Video Diffusion Models
-
-- 비디오 데이터 셋: $x ∈ R^{T×3×\tilde H×\tilde W}$ 로 표현
- - $T$: frame 수, $\tilde H, \tilde W$: 높이, 너비
-
-### 3.1. Turning Latent Image into Video Generators
-
-- 잘 학습된 image LDM 을 활용하는 것이 주요한 key point.
- - 문제점
- - image LDM 은 개별의 프레임에 대한 high quality 이미지를 생성할 수 있고,
- → 시간적인 정보는 포함하고 있지 않다.
- - 따라서 이를 연속적인 프레임으로 렌더링해 사용할 수 없다.
-- $l_\phi ^i$ 로 표현하는 temporal neural network 를 추가했다.
- - 이는 이미지 LDM 의 공간적인 정보에 연관되며, 시간적으로 일관된 방식으로 개별 프레임을 정렬할 수 있도록 한다.
- - 비디오를 인식할 수 있는 backbone 을 정의한다.
-
- :::{figure-md}
-
-
- Video-Aware Temporal Backbone
- :::
-
- :::{figure-md}
-
-
- Einops notation
- :::
-
- - einops 로 구현했으며, spatial layer 에서는 비디오(배치x시간) 정보가 함께 인코딩이 되며,
- - temporal layer 에서는 이를 rearrange 를 통해 배치, 시간 정보를 나눠 시간 차원에서 인코딩이 진행된다.
- - (option) 이때 text prompt 가 conditioning 이 될 수 있다.
- - (i) temporal attention (ii) 3D conv 로 구성된다.
- - + Sinusoidal embedding 을 사용해 시간에 대한 위치 인코딩 활용했다.
- - temporal layer 을 거친 후, spatial layer 의 output 과 가중합을 통해 정보가 결합된다.
-
-
-#### 3.1.1 Temporal Autoencoder Finetuning
-
-- Image LDM 을 사용하면 시퀀스로 생성할 때 flickering이 발생하는 문제가 있다.
- - 이를 해결하기 위해, autoencoder 의 decoder 에서 temporal 한 layer 를 추가한다.
- - 이는 3D conv 로 구축된 patch-wise temporal discriminator 도 추가해 비디오 데이터를 fine tuning 한다.
-
- :::{figure-md}
-
-
- Temporal Autoencoder Finetuning
- :::
-
-- 인코딩된 비디오 프레임의 latent space 내에서 image DM 을 사용할 수 있도록 인코더는 학습이 되지 않는다.
-
-### 3.2. Prediction Models for Long-Term Generation
-
-- 그럼에도 불구하고, 긴 동영상은 생성하지 못하는 한계가 있다.
-- 따라서 전체 $T$ 프레임에서 마스킹된 $S$ 프레임으로 구성해 모델이 예측하게끔 학습을 한다.
- - 이러한 프레임들은 LDM 의 인코더를 통해 채널 차원에 concat 되며, temporal layer 에 입력된다.
-- inference 에서는 반복적인 샘플링 과정을 통해 긴 영상을 생성할 수 있게 했다.
- - 최신 prediction 을 재 사용해 새로운 context 를 생성했다.
- - classifier-free guidance 를 도입해 마스킹된 프레임 수를 0, 1, 2 개를 사용해 학습.
-
-### 3.3. Temporal Interpolation for High Frame Rates
-
-:::{figure-md}
-
-
-Temporal Interpolation
-:::
-
-- High resolution video 란 해상도 뿐만 아니라 높은 frame rate 를 가지고 있어야 한다.
-- 이를 위해 두 가지 과정으로 진행한다.
- 1. semantic 한 큰 변화가 있는 키 프레임을 생성한다.
- - 메모리 제약으로 인해 low frame rate 로 생성할 수 있다.
- 2. 키 프레임을 활용한 interpolate 진행한다.
- - interpolate 할 프레임을 masking 을 씌운다.
- - 두 개의 키 프레임에 대해 세 개의 프레임을 예측하는 것으로 T → 4T interpolation model 을 학습해 사용했다.
- - 높은 frame rate 를 위해 16T 까지 interpolation 모델 구축.
-
-
-### 3.4. Temporal Fine-tuning of SR Models
-
-- megapixel 의 해상도까지 생성하는 것이 목표이다.
- - cascaded DMs 에 영감받아 4배 해상도를 키웠다.
-
- :::{figure-md}
-
-
- Cascaded DM
- :::
-
- - noise augmentation(with noise level conditioning) 으로 super resolution 모델 학습했다.
-- 또한 consistency 한 SR 모델을 구축하기 위해 spatial / temporal layer를 추가했다.
- - 저해상도 시퀀스 길이 $T$ 를 concat 하여 conditioning
- - locally 하게 patch 단위로 연산하고, 후에 convolution 을 진행한다.
-- computing resource
- - VideoLDM 에서의 main LDM 을 효율적으로 연산을 하기 위해 latent space 에서 모든 비디오 모델링이 수행된다.
- - 그로 인해, 높은 배치 사이즈 + 긴 영상 생성 가능하다.
- - upsampler 는 패치 단위로 진행하기에 computing resource 를 줄일 수 있다.
-
-## 4. Experiments
-
-- Dataset
- - RDS(real driving scene): 683,060 개, 8초(30 fps), 512×1024, day/night, “crowdedness”
- - WebVid-10M: 10.7M video-caption pairs, 52K video hours, resized 320×512
-- Evaluation metric
- - FVD + human evaluation
- - CLIP similarity (CLIP- SIM) + IS
-
-### 4.1. High-Resolution Driving Video Synthesis
-
-:::{figure-md}
-
-
-Real-World Driving Scenes with Video LDM
-:::
-
-### 4.2. Text-to-Video with Stable Diffusion
-
-- WebVid-10M 데이터셋(resized 320×512)으로 Stable Diffusion 의 spatial layer 에 대해 학습했고,
- - text-conditioning 을 적용한 temporal layer 를 추가해 학습 진행했다.
- - 그 후 upscaler 를 학습해 4배 upscale 해 1280×2048 해상도로 비디오 생성 가능해졌다.
- - 113 frames: 24fps 4.7초 or 30fps 3.8초
-
- :::{figure-md}
-
-
- Text-to-Video with Stable Diffusion
- :::
-
- - 다양성이 적은 Real video 로 제한적인 데이터로 학습했지만, 기존 Stable Diffusion 의 생성 능력을 가져와 artistic 한 생성이 가능하다.
- - performance
-
- :::{figure-md}
-
-
- Performance Table
- :::
-
- - Make-A-Video 의 경우 VideoLDM 보다 더 많은 데이터 셋과 text-to-video를 entirely하게 학습했다.
-
-#### 4.2.1 Personalized Text-to-Video with Dreambooth
-
-:::{figure-md}
-
-
-Text-to-Video with DreamBooth
-:::
-
-- 위쪽의 VideoLDM 을 활용한 결과가 consistency 한 결과를 가져왔다.
+```{admonition} Information
+- **Title:** Align your Latents: High-Resolution Video Synthesis with Latent Diffusion Models
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2304.08818](https://arxiv.org/abs/2304.08818)
+
+- **Author:** Jun-Hyoung Lee
+
+- **Last updated on Nov. 30. 2023**
+```
+
+# VideoLDM
+
+:::{figure-md}
+
+
+Video LDM samples
+:::
+
+## Abstract
+
+- Latent Diffusion Models (LDMs)는 computing resource 를 줄이기 위해 낮은 차원의 latent space 로 압축하여 high quality 의 image synthesis 를 가능하게 했다.
+- 비디오 생성 모델링의 퀄리티 부족하며,
+ - 이유가 학습에 필요한 computing cost 가 많이 발생, 데이터 셋 부족하다.
+- 제안
+ :::{figure-md}
+
+
+ Temproal Video finetuning
+ :::
+
+ - 기존에는 가우시안 노이즈의 랜덤한 샘플들 끼리의 denoising 결과 다른 이미지를 생성했다.
+ - Temporal Video finetuning 을 거치게 되면 비디오 시퀀스의 형태(시간축에 정렬된 이미지)로 생성할 수 있다.
+- VideoLDM 은 기존 LDM 방법에 고해상도의 비디오 생성을 적용했다.
+ 1. 대규모 이미지 데이터 셋을 활용해 LDM 을 pre-train 했고, (only image)
+ - pre-trained image LDMs 를 활용 가능하다.
+ - temporal modeling 만 학습한다.(기존 이미지 LDM은 freeze)
+ - 1280x2048 해상도 까지 가능하다.
+ 2. 그 후, 이미지 generator 를 비디오 generator 로 전환한다.
+ - latent space diffusion model 에 temporal(시간적) 차원을 적용한다.
+ - 이미지 시퀀스(비디오)를 인코딩해 파인 튜닝 진행한다.
+ 3. diffusion model upsampler 를 시간적으로 정렬하여 일관적인 비디오 super resolution model 로 변환한다.
+- Applied task
+ - 자율 주행의 시뮬레이션 엔진 (512x1024 해상도로 실제로 평가 진행해 sota 달성)
+ - creative content creation (using text-to-video)
+
+## 3. Latent Video Diffusion Models
+
+- 비디오 데이터 셋: $x ∈ R^{T×3×\tilde H×\tilde W}$ 로 표현
+ - $T$: frame 수, $\tilde H, \tilde W$: 높이, 너비
+
+### 3.1. Turning Latent Image into Video Generators
+
+- 잘 학습된 image LDM 을 활용하는 것이 주요한 key point.
+ - 문제점
+ - image LDM 은 개별의 프레임에 대한 high quality 이미지를 생성할 수 있고,
+ → 시간적인 정보는 포함하고 있지 않다.
+ - 따라서 이를 연속적인 프레임으로 렌더링해 사용할 수 없다.
+- $l_\phi ^i$ 로 표현하는 temporal neural network 를 추가했다.
+ - 이는 이미지 LDM 의 공간적인 정보에 연관되며, 시간적으로 일관된 방식으로 개별 프레임을 정렬할 수 있도록 한다.
+ - 비디오를 인식할 수 있는 backbone 을 정의한다.
+
+ :::{figure-md}
+
+
+ Video-Aware Temporal Backbone
+ :::
+
+ :::{figure-md}
+
+
+ Einops notation
+ :::
+
+ - einops 로 구현했으며, spatial layer 에서는 비디오(배치x시간) 정보가 함께 인코딩이 되며,
+ - temporal layer 에서는 이를 rearrange 를 통해 배치, 시간 정보를 나눠 시간 차원에서 인코딩이 진행된다.
+ - (option) 이때 text prompt 가 conditioning 이 될 수 있다.
+ - (i) temporal attention (ii) 3D conv 로 구성된다.
+ - + Sinusoidal embedding 을 사용해 시간에 대한 위치 인코딩 활용했다.
+ - temporal layer 을 거친 후, spatial layer 의 output 과 가중합을 통해 정보가 결합된다.
+
+
+#### 3.1.1 Temporal Autoencoder Finetuning
+
+- Image LDM 을 사용하면 시퀀스로 생성할 때 flickering이 발생하는 문제가 있다.
+ - 이를 해결하기 위해, autoencoder 의 decoder 에서 temporal 한 layer 를 추가한다.
+ - 이는 3D conv 로 구축된 patch-wise temporal discriminator 도 추가해 비디오 데이터를 fine tuning 한다.
+
+ :::{figure-md}
+
+
+ Temporal Autoencoder Finetuning
+ :::
+
+- 인코딩된 비디오 프레임의 latent space 내에서 image DM 을 사용할 수 있도록 인코더는 학습이 되지 않는다.
+
+### 3.2. Prediction Models for Long-Term Generation
+
+- 그럼에도 불구하고, 긴 동영상은 생성하지 못하는 한계가 있다.
+- 따라서 전체 $T$ 프레임에서 마스킹된 $S$ 프레임으로 구성해 모델이 예측하게끔 학습을 한다.
+ - 이러한 프레임들은 LDM 의 인코더를 통해 채널 차원에 concat 되며, temporal layer 에 입력된다.
+- inference 에서는 반복적인 샘플링 과정을 통해 긴 영상을 생성할 수 있게 했다.
+ - 최신 prediction 을 재 사용해 새로운 context 를 생성했다.
+ - classifier-free guidance 를 도입해 마스킹된 프레임 수를 0, 1, 2 개를 사용해 학습.
+
+### 3.3. Temporal Interpolation for High Frame Rates
+
+:::{figure-md}
+
+
+Temporal Interpolation
+:::
+
+- High resolution video 란 해상도 뿐만 아니라 높은 frame rate 를 가지고 있어야 한다.
+- 이를 위해 두 가지 과정으로 진행한다.
+ 1. semantic 한 큰 변화가 있는 키 프레임을 생성한다.
+ - 메모리 제약으로 인해 low frame rate 로 생성할 수 있다.
+ 2. 키 프레임을 활용한 interpolate 진행한다.
+ - interpolate 할 프레임을 masking 을 씌운다.
+ - 두 개의 키 프레임에 대해 세 개의 프레임을 예측하는 것으로 T → 4T interpolation model 을 학습해 사용했다.
+ - 높은 frame rate 를 위해 16T 까지 interpolation 모델 구축.
+
+
+### 3.4. Temporal Fine-tuning of SR Models
+
+- megapixel 의 해상도까지 생성하는 것이 목표이다.
+ - cascaded DMs 에 영감받아 4배 해상도를 키웠다.
+
+ :::{figure-md}
+
+
+ Cascaded DM
+ :::
+
+ - noise augmentation(with noise level conditioning) 으로 super resolution 모델 학습했다.
+- 또한 consistency 한 SR 모델을 구축하기 위해 spatial / temporal layer를 추가했다.
+ - 저해상도 시퀀스 길이 $T$ 를 concat 하여 conditioning
+ - locally 하게 patch 단위로 연산하고, 후에 convolution 을 진행한다.
+- computing resource
+ - VideoLDM 에서의 main LDM 을 효율적으로 연산을 하기 위해 latent space 에서 모든 비디오 모델링이 수행된다.
+ - 그로 인해, 높은 배치 사이즈 + 긴 영상 생성 가능하다.
+ - upsampler 는 패치 단위로 진행하기에 computing resource 를 줄일 수 있다.
+
+## 4. Experiments
+
+- Dataset
+ - RDS(real driving scene): 683,060 개, 8초(30 fps), 512×1024, day/night, “crowdedness”
+ - WebVid-10M: 10.7M video-caption pairs, 52K video hours, resized 320×512
+- Evaluation metric
+ - FVD + human evaluation
+ - CLIP similarity (CLIP- SIM) + IS
+
+### 4.1. High-Resolution Driving Video Synthesis
+
+:::{figure-md}
+
+
+Real-World Driving Scenes with Video LDM
+:::
+
+### 4.2. Text-to-Video with Stable Diffusion
+
+- WebVid-10M 데이터셋(resized 320×512)으로 Stable Diffusion 의 spatial layer 에 대해 학습했고,
+ - text-conditioning 을 적용한 temporal layer 를 추가해 학습 진행했다.
+ - 그 후 upscaler 를 학습해 4배 upscale 해 1280×2048 해상도로 비디오 생성 가능해졌다.
+ - 113 frames: 24fps 4.7초 or 30fps 3.8초
+
+ :::{figure-md}
+
+
+ Text-to-Video with Stable Diffusion
+ :::
+
+ - 다양성이 적은 Real video 로 제한적인 데이터로 학습했지만, 기존 Stable Diffusion 의 생성 능력을 가져와 artistic 한 생성이 가능하다.
+ - performance
+
+ :::{figure-md}
+
+
+ Performance Table
+ :::
+
+ - Make-A-Video 의 경우 VideoLDM 보다 더 많은 데이터 셋과 text-to-video를 entirely하게 학습했다.
+
+#### 4.2.1 Personalized Text-to-Video with Dreambooth
+
+:::{figure-md}
+
+
+Text-to-Video with DreamBooth
+:::
+
+- 위쪽의 VideoLDM 을 활용한 결과가 consistency 한 결과를 가져왔다.
diff --git a/_sources/docs/review/Your_Diffusion_Model_is_Secretly_a_Zero_Shot_Classifier.md b/_sources/docs/review/Your_Diffusion_Model_is_Secretly_a_Zero_Shot_Classifier.md
index 1e2ed35f..c2b6446a 100755
--- a/_sources/docs/review/Your_Diffusion_Model_is_Secretly_a_Zero_Shot_Classifier.md
+++ b/_sources/docs/review/Your_Diffusion_Model_is_Secretly_a_Zero_Shot_Classifier.md
@@ -1,271 +1,271 @@
-``` {admonition} Information
-- **Title:** {Your Diffusion Model is Secretly a Zero-Shot Classifier}, {ICCV 2023}
-
-- **Reference**
- - Paper: [https://arxiv.org/pdf/2303.16203.pdf](https://arxiv.org/pdf/2303.16203.pdf)
- - Github io: [https://diffusion-classifier.github.io/](https://diffusion-classifier.github.io/)
- - Code: [https://github.com/diffusion-classifier/diffusion-classifier](https://github.com/diffusion-classifier/diffusion-classifier)
-
-- **Author:** SeonHoon Kim
-- **Edited by:** SeonHoon Kim
-
-- **Last updated on Nov. 09, 2023**
-```
-
-# Your Diffusion Model is Secretly a Zero-Shot Classifier
-
-- **핵심**
- - 학습된 **Diffusion Models 에서 Classifier 를 추가 학습 없이 획득**할 수 있다.
- - **Stable Diffusion** 같은 거대 모델로부터 **Zero-shot classifier** 를 얻을 수 있다.
- - **Class-conditional Diffusion Models** 에서는 **일반적인 (non Zero-shot) classifier** 를 얻을 수 있다.
-- **결과 요약**
- - **Classification 성능이 나쁘지 않았다.**
- - **Zero-shot classifier 는 Multimodal Compositional reasoning ability 가 매우 훌륭**했다.
- - 이렇게 Diffusion 모델에서 추출된 Classifiers 는 **Distribution shift 에 대해 Robust** 한 성능을 보여주었다.
-
-- **Classifier 구현 방법**
-
-:::{figure-md}
-
-
-Diffusion Classifier 아키텍쳐
-:::
-
-- **예시로 먼저 살펴보기.**
-- 예를 들어, 어떤 동물 이미지 X 를 Stable Diffusion 으로 Classification 하고 싶다면..- 1. 일단 해당 동물의 클래스를 포함하고 있을 만한 데이터셋을 구한다.
- 37개의 동물 클래스가 존재하는 Pets 데이터셋을 사용한다고 치자.
- 2. text prompts 로 “호랑이” 가 주어진 Stable Diffusion 으로,
- X 의 Noised Image 에서 Reverse process 를 진행한다. 그럼 Loss 를 획득할 수 있을 것이다.
- 3. 37개의 모든 Pets Classes 에 대해서 이를 수행해서,
- 가장 Loss 가 작은 Class 를 판별한다.
- 이 Class 가 바로 이미지 X 의 클래스이다. - -:::{figure-md} -
-
-Algorithm 1 : Diffusion Classifier 학습 알고리즘
-:::
-
-1. `n_samples` 에 지정된 수 만큼 t 와 noise 를 각각 샘플링해 벡터를 만든다.
-2. 클래스 판별이 필요한 이미지 X 의 t-step Noised image 인 X_t 를 구한다.
-3. X_t 를 Diffusion Model 에 Input 으로 주어 Noise 를 출력한다.
-4. **loss** 를 구한다.-- 위 과정을, 여러 번 (`n_trials` 만큼) 시도해서 평균낼 수도 있다. -5. loss 가 가장 낮은 Class 를 찾을 때 까지, 가능한 모든 Class 에 대해 추론한다. -6. 최종 남은 Class 를 X 의 Class 라고 판정한다. -- Zero-shot classification 도 위와 동일한 과정으로 진행된다.
-다만 추론할 Class list 가 필요하다.
- - 예를 들어서, Stable Diffusion 의 Zero-shot classification 을 수행하기 위해서는,
- (Stable Diffusion 이 학습하지는 않았지만) 37개의 클래스가 정의되어 있는
- Pets 와 같은 데이터셋으로 Classification 을 수행할 수 있다. -- 하지만, Class 마다 n_samples 수 만큼 t 를 샘플링하고,
-또 X_t 를 구하고,
-Diffusion Model 로 노이즈를 추론하고,
-loss 를 구하는 것은 Inference times 가 많이 소모됨.
-따라서 다음의 방법을 활용해 inference times 을 줄인다. - -:::{figure-md} -
-
-Algorithm 2. Efficient Diffusion Classifier Algorithm
-:::
-
-1. **일단 작은 수의 n_samples 로 error 가 높은 class 들을 걸러낸다.**
-2. **소수의 class 만 남았다면, -이제는 정확한 추론을 위해서 더 큰 n_samples 를 설정해 추론한다.
-(large n_samples 로 t 와 $\epsilon$ 을 sampling 한다.)** -- c.f. - -```markdown -### Oxford-IIIT Pets -```bash -python eval_prob_adaptive.py --dataset pets --split test --n_trials 1 \ - --to_keep 5 1 --n_samples 25 250 --loss l1 \ - --prompt_path prompts/pets_prompts.csv -``` - -- 왜 이렇게까지 inference time 을 줄이려고 하지??
- - 위의 스크립트 그대로 RTX 3090 에서 돌리면,
- Pets 이미지 1장 Classification 하는데 18초 걸린다.
- - ImageNet 은 Class 1,000 개 있는데,
- 512x512 이미지 1장 Classification 하려면 1,000 초 걸린다. -- **c.f. Loss 계산 코드 (eval_prob_adaptive.py)** - -```python -all_noise = torch.randn((max_n_samples * args.n_trials, 4, latent_size, latent_size), device=latent.device) - -def eval_error(unet, scheduler, latent, all_noise, ts, noise_idxs, - text_embeds, text_embed_idxs, batch_size=32, dtype='float32', loss='l2'): - assert len(ts) == len(noise_idxs) == len(text_embed_idxs) - pred_errors = torch.zeros(len(ts), device='cpu') - idx = 0 - with torch.inference_mode(): - for _ in tqdm.trange(len(ts) // batch_size + int(len(ts) % batch_size != 0), leave=False): - batch_ts = torch.tensor(ts[idx: idx + batch_size]) - noise = all_noise[noise_idxs[idx: idx + batch_size]] - noised_latent = latent * (scheduler.alphas_cumprod[batch_ts] 0.5).view(-1, 1, 1, 1).to(device) + \ - noise * ((1 - scheduler.alphas_cumprod[batch_ts]) 0.5).view(-1, 1, 1, 1).to(device) - t_input = batch_ts.to(device).half() if dtype == 'float16' else batch_ts.to(device) - text_input = text_embeds[text_embed_idxs[idx: idx + batch_size]] - noise_pred = unet(noised_latent, t_input, encoder_hidden_states=text_input).sample - if loss == 'l2': - error = F.mse_loss(noise, noise_pred, reduction='none').mean(dim=(1, 2, 3)) - elif loss == 'l1': - error = F.l1_loss(noise, noise_pred, reduction='none').mean(dim=(1, 2, 3)) - elif loss == 'huber': - error = F.huber_loss(noise, noise_pred, reduction='none').mean(dim=(1, 2, 3)) - else: - raise NotImplementedError - pred_errors[idx: idx + len(batch_ts)] = error.detach().cpu() - idx += len(batch_ts) - return pred_errors -``` - - -- **실험 결과** - - **Figure 2** - - :::{figure-md} -
-
- Figure 2
- :::
-
- - 특정한 이미지 x 의 모든 클래스에 대해서 loss 를 추론하게 될텐데, - **모든 클래스에 대해서
- 동일한 $\epsilon$** (즉 sampled noise) **과 동일한 t** (즉 sampled time steps) **를 사용해야** 한다.
- **이 두 변수에 따라 loss 가 크게 달라지기 때문.** - -- **Figure 3 & Figure 4** - - **Figure 3** - - t 에 따라서, Classification 성능이 달라졌다. - - **Figure 4** - - Figure 3 의 결과에 따라서,
- intermediate timesteps 를 더 많이 sampling 하면 성능이 올라가는지 실험해보았다. - - 그렇지 않았다.
- timesteps 를 Uniform 하게 sampling 했을 때 성능이 가장 좋았다. - -:::{figure-md} -
-
-Figure 3
-:::
-
-:::{figure-md}
-
-
-Figure 4
-:::
-
-- **Table 1** (+ F. Additional Implementation Details 참고)
-
-:::{figure-md}
-
-
-Table 1
-:::
-
-- 본 논문에서 제시한 Diffusion Classifier 가 Classification 능력이 나쁘지 않았다.
-1. Diffusion 모델에서 knowledge 를 추출해내는 다른 방법들보다 성능이 뛰어났다.- - Diffusion Classifier 는 **Zero-shot 성능**이,
- **“Stable Diffusion 으로 생성된 영상을“ 학습한** **ResNet-50** **classifier** 보다 뛰어났다.
- - **Synthetic SD data :**
- Class 마다 10,000 장의 이미지를 Stable Diffusion 2.0 으로 생성해
- 데이터셋을 구축하고 (90% train / 10% validation),
- 해당 데이터셋으로 ResNet-50 classifier 를 학습시켜서 classification 수행한 결과
- - Diffusion Classifier 는 **Classification 성능**이,
- **Stable Diffusion 의 intermediate U-Net layer 를 추출해 학습시킨
- ResNet-based 모델**보다 뛰어났다.
- - **SD features :**
- Input 이미지에 따른 Stable Diffusion 의 Intermediate U-Net features 를
- ResNet 기반의 classifier 에 전달해서 추론.
- 이 때 classifier 는 모든 데이터셋을 직접 학습한다. 따라서 zero-shot 은 아니다.
-2. **CLIP ResNet-50 모델보다도 성능이 뛰어났다.** -3. **OpenCLIP ViT-H/14 모델에 competitive** 했다. - -- **Table 2** - -:::{figure-md} -
-
-Table 2
-:::
-
-- **Stable Diffusion 은** -Resolution 이 높은지, Aesthetic 한지, Safe-for-work 한지에 따라서 **filtered 된
-LAION-5B 데이터셋을 학습**했다. -- 이와 같은 기준으로 filtering 하면,
-**CIFAR10, Pets, Flowers, STL10, ImageNet 데이터셋의 test set 은 97~100% 가 filtered out** 된다. -- 따라서, **이들 데이터셋은 Stable Diffusion 에게 완전한 out-of-distribution 데이터**이다. -- 따라서, **필터링이 안된 데이터로 Stable Diffusion 을 추가 학습시키면
-classification 성능도 올라갈 것**이다. - -- **Figure 5 & Table 3** - -:::{figure-md} -
-
-Figure 5
-:::
-
-:::{figure-md}
-
-
-Table 3
-:::
-
-- 본 논문에서는 Winoground 데이터셋을 활용해 -visio-linguistic compositional reasoning abilities 를 측정했다.
- - 주어진 captions 를 적절한 이미지에 매치시키는 능력을 측정하는 것이다.
- - Winoground 데이터셋
- - Object 는 명사절끼리 뒤바뀐 경우
- - Relation 은 동사끼리 or 형용사끼리 or 부사끼리 뒤바뀐 경우
- - Both 는 다른 품사끼리 서로 뒤바뀐 경우
-- Stable Diffusion 의 Diffusion Classifier 가 최고의 성능을 보여주었다. -- 본 논문에서 제시한 method 를 통해서 **추가 학습 없이,**
-여느 diffusion 모델처럼 sample generation 만을 학습했음에도,
-**Stable Diffusion 모델을 훌륭한 classifier 이자 reasoner 로 변모**시킬 수 있었다. - -- **Table 4** - -:::{figure-md} -
-
-Table 4
-:::
-
-- ImageNet 에 존재하는 **1,000 개의 클래스를 활용해** -Pretrained **DiT** (Diffusion Transformer) 를 활용한 **Diffusion Classifier 의 성능**을,
-**Discriminative Classifiers** (ResNet-101 and ViT-B/16) **와 비교**했다. -- **ImageNet** 에 대해서, **79.1% 의 top-1 accuracy 를 기록하며 ViT-L/32 을 능가**했다. -- **더 적은 augmentation 기법**을 사용하였고,
-**regularization 은 사용하지 않았음에도** Discriminative Classifiers 의 성능을 능가했다. - -- **Figure 6** - -:::{figure-md} -
-
-Figure 6
-:::
-
-- ImageNet 데이터셋에서, -ImageNet-A 와 겹치는 클래스에 대해서만 Classification 을 수행한다. -- 일반적인 **discriminative classifiers 는 신뢰구간 과 함께 파란 점**으로 찍혀 있다. -- **Diffusion Classifiers 는 신뢰구간 과 함께 별 모양의 점**으로 찍혀 있다. -- Diffusion Classifiers 는 In-distribution (ImageNet) 에서 획득한 Accuracy 에 따라
-기대되는 것보다,
-훨씬 Out-of-distribution (ImageNet-A) 에서의 성능이 뛰어났다.
- - 즉, OOD 에 훨씬 Robust 하다. - -- 결론 - - Diffusion Models 에서 **Diffusion Classifier 를 추출하는 방법을 제시**함 - - Stable Diffusion 에서 추출한 **Diffusion Classifier 가 Zero-shot 능력이 우수함을 확인** - - DiT 에서 추출한 **Diffusion Classifier 가 Standard Classification 능력이 우수함을 확인** - - Diffusion Classifiers 의 **Compositional Reasoning 능력이 우수함을 확인** - - Diffusion Classifiers 가 **OOD 에 매우 Robust 함** - - **Filtering 되지 않은 데이터도 학습시킬 수 있다면,
- Stable Diffusion 의 Diffusion Classifier 성능은 더 개선될 것**임. - - Imagen 의 경우 OpenCLIP 보다 훨씬 큰 거대 언어 모델인, T5-XXL 을 활용했음.
+``` {admonition} Information +- **Title:** {Your Diffusion Model is Secretly a Zero-Shot Classifier}, {ICCV 2023} + +- **Reference** + - Paper: [https://arxiv.org/pdf/2303.16203.pdf](https://arxiv.org/pdf/2303.16203.pdf) + - Github io: [https://diffusion-classifier.github.io/](https://diffusion-classifier.github.io/) + - Code: [https://github.com/diffusion-classifier/diffusion-classifier](https://github.com/diffusion-classifier/diffusion-classifier) + +- **Author:** SeonHoon Kim +- **Edited by:** SeonHoon Kim + +- **Last updated on Nov. 09, 2023** +``` + +# Your Diffusion Model is Secretly a Zero-Shot Classifier + +- **핵심** + - 학습된 **Diffusion Models 에서 Classifier 를 추가 학습 없이 획득**할 수 있다. + - **Stable Diffusion** 같은 거대 모델로부터 **Zero-shot classifier** 를 얻을 수 있다. + - **Class-conditional Diffusion Models** 에서는 **일반적인 (non Zero-shot) classifier** 를 얻을 수 있다. +- **결과 요약** + - **Classification 성능이 나쁘지 않았다.** + - **Zero-shot classifier 는 Multimodal Compositional reasoning ability 가 매우 훌륭**했다. + - 이렇게 Diffusion 모델에서 추출된 Classifiers 는 **Distribution shift 에 대해 Robust** 한 성능을 보여주었다. + +- **Classifier 구현 방법** + +:::{figure-md} +
+
+Diffusion Classifier 아키텍쳐
+:::
+
+- **예시로 먼저 살펴보기.**
+- 예를 들어, 어떤 동물 이미지 X 를 Stable Diffusion 으로 Classification 하고 싶다면..+ 1. 일단 해당 동물의 클래스를 포함하고 있을 만한 데이터셋을 구한다.
+ 37개의 동물 클래스가 존재하는 Pets 데이터셋을 사용한다고 치자.
+ 2. text prompts 로 “호랑이” 가 주어진 Stable Diffusion 으로,
+ X 의 Noised Image 에서 Reverse process 를 진행한다. 그럼 Loss 를 획득할 수 있을 것이다.
+ 3. 37개의 모든 Pets Classes 에 대해서 이를 수행해서,
+ 가장 Loss 가 작은 Class 를 판별한다.
+ 이 Class 가 바로 이미지 X 의 클래스이다. + +:::{figure-md} +
+
+Algorithm 1 : Diffusion Classifier 학습 알고리즘
+:::
+
+1. `n_samples` 에 지정된 수 만큼 t 와 noise 를 각각 샘플링해 벡터를 만든다.
+2. 클래스 판별이 필요한 이미지 X 의 t-step Noised image 인 X_t 를 구한다.
+3. X_t 를 Diffusion Model 에 Input 으로 주어 Noise 를 출력한다.
+4. **loss** 를 구한다.+- 위 과정을, 여러 번 (`n_trials` 만큼) 시도해서 평균낼 수도 있다. +5. loss 가 가장 낮은 Class 를 찾을 때 까지, 가능한 모든 Class 에 대해 추론한다. +6. 최종 남은 Class 를 X 의 Class 라고 판정한다. +- Zero-shot classification 도 위와 동일한 과정으로 진행된다.
+다만 추론할 Class list 가 필요하다.
+ - 예를 들어서, Stable Diffusion 의 Zero-shot classification 을 수행하기 위해서는,
+ (Stable Diffusion 이 학습하지는 않았지만) 37개의 클래스가 정의되어 있는
+ Pets 와 같은 데이터셋으로 Classification 을 수행할 수 있다. +- 하지만, Class 마다 n_samples 수 만큼 t 를 샘플링하고,
+또 X_t 를 구하고,
+Diffusion Model 로 노이즈를 추론하고,
+loss 를 구하는 것은 Inference times 가 많이 소모됨.
+따라서 다음의 방법을 활용해 inference times 을 줄인다. + +:::{figure-md} +
+
+Algorithm 2. Efficient Diffusion Classifier Algorithm
+:::
+
+1. **일단 작은 수의 n_samples 로 error 가 높은 class 들을 걸러낸다.**
+2. **소수의 class 만 남았다면, +이제는 정확한 추론을 위해서 더 큰 n_samples 를 설정해 추론한다.
+(large n_samples 로 t 와 $\epsilon$ 을 sampling 한다.)** +- c.f. + +```markdown +### Oxford-IIIT Pets +```bash +python eval_prob_adaptive.py --dataset pets --split test --n_trials 1 \ + --to_keep 5 1 --n_samples 25 250 --loss l1 \ + --prompt_path prompts/pets_prompts.csv +``` + +- 왜 이렇게까지 inference time 을 줄이려고 하지??
+ - 위의 스크립트 그대로 RTX 3090 에서 돌리면,
+ Pets 이미지 1장 Classification 하는데 18초 걸린다.
+ - ImageNet 은 Class 1,000 개 있는데,
+ 512x512 이미지 1장 Classification 하려면 1,000 초 걸린다. +- **c.f. Loss 계산 코드 (eval_prob_adaptive.py)** + +```python +all_noise = torch.randn((max_n_samples * args.n_trials, 4, latent_size, latent_size), device=latent.device) + +def eval_error(unet, scheduler, latent, all_noise, ts, noise_idxs, + text_embeds, text_embed_idxs, batch_size=32, dtype='float32', loss='l2'): + assert len(ts) == len(noise_idxs) == len(text_embed_idxs) + pred_errors = torch.zeros(len(ts), device='cpu') + idx = 0 + with torch.inference_mode(): + for _ in tqdm.trange(len(ts) // batch_size + int(len(ts) % batch_size != 0), leave=False): + batch_ts = torch.tensor(ts[idx: idx + batch_size]) + noise = all_noise[noise_idxs[idx: idx + batch_size]] + noised_latent = latent * (scheduler.alphas_cumprod[batch_ts] 0.5).view(-1, 1, 1, 1).to(device) + \ + noise * ((1 - scheduler.alphas_cumprod[batch_ts]) 0.5).view(-1, 1, 1, 1).to(device) + t_input = batch_ts.to(device).half() if dtype == 'float16' else batch_ts.to(device) + text_input = text_embeds[text_embed_idxs[idx: idx + batch_size]] + noise_pred = unet(noised_latent, t_input, encoder_hidden_states=text_input).sample + if loss == 'l2': + error = F.mse_loss(noise, noise_pred, reduction='none').mean(dim=(1, 2, 3)) + elif loss == 'l1': + error = F.l1_loss(noise, noise_pred, reduction='none').mean(dim=(1, 2, 3)) + elif loss == 'huber': + error = F.huber_loss(noise, noise_pred, reduction='none').mean(dim=(1, 2, 3)) + else: + raise NotImplementedError + pred_errors[idx: idx + len(batch_ts)] = error.detach().cpu() + idx += len(batch_ts) + return pred_errors +``` + + +- **실험 결과** + - **Figure 2** + + :::{figure-md} +
+
+ Figure 2
+ :::
+
+ - 특정한 이미지 x 의 모든 클래스에 대해서 loss 를 추론하게 될텐데, + **모든 클래스에 대해서
+ 동일한 $\epsilon$** (즉 sampled noise) **과 동일한 t** (즉 sampled time steps) **를 사용해야** 한다.
+ **이 두 변수에 따라 loss 가 크게 달라지기 때문.** + +- **Figure 3 & Figure 4** + - **Figure 3** + - t 에 따라서, Classification 성능이 달라졌다. + - **Figure 4** + - Figure 3 의 결과에 따라서,
+ intermediate timesteps 를 더 많이 sampling 하면 성능이 올라가는지 실험해보았다. + - 그렇지 않았다.
+ timesteps 를 Uniform 하게 sampling 했을 때 성능이 가장 좋았다. + +:::{figure-md} +
+
+Figure 3
+:::
+
+:::{figure-md}
+
+
+Figure 4
+:::
+
+- **Table 1** (+ F. Additional Implementation Details 참고)
+
+:::{figure-md}
+
+
+Table 1
+:::
+
+- 본 논문에서 제시한 Diffusion Classifier 가 Classification 능력이 나쁘지 않았다.
+1. Diffusion 모델에서 knowledge 를 추출해내는 다른 방법들보다 성능이 뛰어났다.+ - Diffusion Classifier 는 **Zero-shot 성능**이,
+ **“Stable Diffusion 으로 생성된 영상을“ 학습한** **ResNet-50** **classifier** 보다 뛰어났다.
+ - **Synthetic SD data :**
+ Class 마다 10,000 장의 이미지를 Stable Diffusion 2.0 으로 생성해
+ 데이터셋을 구축하고 (90% train / 10% validation),
+ 해당 데이터셋으로 ResNet-50 classifier 를 학습시켜서 classification 수행한 결과
+ - Diffusion Classifier 는 **Classification 성능**이,
+ **Stable Diffusion 의 intermediate U-Net layer 를 추출해 학습시킨
+ ResNet-based 모델**보다 뛰어났다.
+ - **SD features :**
+ Input 이미지에 따른 Stable Diffusion 의 Intermediate U-Net features 를
+ ResNet 기반의 classifier 에 전달해서 추론.
+ 이 때 classifier 는 모든 데이터셋을 직접 학습한다. 따라서 zero-shot 은 아니다.
+2. **CLIP ResNet-50 모델보다도 성능이 뛰어났다.** +3. **OpenCLIP ViT-H/14 모델에 competitive** 했다. + +- **Table 2** + +:::{figure-md} +
+
+Table 2
+:::
+
+- **Stable Diffusion 은** +Resolution 이 높은지, Aesthetic 한지, Safe-for-work 한지에 따라서 **filtered 된
+LAION-5B 데이터셋을 학습**했다. +- 이와 같은 기준으로 filtering 하면,
+**CIFAR10, Pets, Flowers, STL10, ImageNet 데이터셋의 test set 은 97~100% 가 filtered out** 된다. +- 따라서, **이들 데이터셋은 Stable Diffusion 에게 완전한 out-of-distribution 데이터**이다. +- 따라서, **필터링이 안된 데이터로 Stable Diffusion 을 추가 학습시키면
+classification 성능도 올라갈 것**이다. + +- **Figure 5 & Table 3** + +:::{figure-md} +
+
+Figure 5
+:::
+
+:::{figure-md}
+
+
+Table 3
+:::
+
+- 본 논문에서는 Winoground 데이터셋을 활용해 +visio-linguistic compositional reasoning abilities 를 측정했다.
+ - 주어진 captions 를 적절한 이미지에 매치시키는 능력을 측정하는 것이다.
+ - Winoground 데이터셋
+ - Object 는 명사절끼리 뒤바뀐 경우
+ - Relation 은 동사끼리 or 형용사끼리 or 부사끼리 뒤바뀐 경우
+ - Both 는 다른 품사끼리 서로 뒤바뀐 경우
+- Stable Diffusion 의 Diffusion Classifier 가 최고의 성능을 보여주었다. +- 본 논문에서 제시한 method 를 통해서 **추가 학습 없이,**
+여느 diffusion 모델처럼 sample generation 만을 학습했음에도,
+**Stable Diffusion 모델을 훌륭한 classifier 이자 reasoner 로 변모**시킬 수 있었다. + +- **Table 4** + +:::{figure-md} +
+
+Table 4
+:::
+
+- ImageNet 에 존재하는 **1,000 개의 클래스를 활용해** +Pretrained **DiT** (Diffusion Transformer) 를 활용한 **Diffusion Classifier 의 성능**을,
+**Discriminative Classifiers** (ResNet-101 and ViT-B/16) **와 비교**했다. +- **ImageNet** 에 대해서, **79.1% 의 top-1 accuracy 를 기록하며 ViT-L/32 을 능가**했다. +- **더 적은 augmentation 기법**을 사용하였고,
+**regularization 은 사용하지 않았음에도** Discriminative Classifiers 의 성능을 능가했다. + +- **Figure 6** + +:::{figure-md} +
+
+Figure 6
+:::
+
+- ImageNet 데이터셋에서, +ImageNet-A 와 겹치는 클래스에 대해서만 Classification 을 수행한다. +- 일반적인 **discriminative classifiers 는 신뢰구간 과 함께 파란 점**으로 찍혀 있다. +- **Diffusion Classifiers 는 신뢰구간 과 함께 별 모양의 점**으로 찍혀 있다. +- Diffusion Classifiers 는 In-distribution (ImageNet) 에서 획득한 Accuracy 에 따라
+기대되는 것보다,
+훨씬 Out-of-distribution (ImageNet-A) 에서의 성능이 뛰어났다.
+ - 즉, OOD 에 훨씬 Robust 하다. + +- 결론 + - Diffusion Models 에서 **Diffusion Classifier 를 추출하는 방법을 제시**함 + - Stable Diffusion 에서 추출한 **Diffusion Classifier 가 Zero-shot 능력이 우수함을 확인** + - DiT 에서 추출한 **Diffusion Classifier 가 Standard Classification 능력이 우수함을 확인** + - Diffusion Classifiers 의 **Compositional Reasoning 능력이 우수함을 확인** + - Diffusion Classifiers 가 **OOD 에 매우 Robust 함** + - **Filtering 되지 않은 데이터도 학습시킬 수 있다면,
+ Stable Diffusion 의 Diffusion Classifier 성능은 더 개선될 것**임. + - Imagen 의 경우 OpenCLIP 보다 훨씬 큰 거대 언어 모델인, T5-XXL 을 활용했음.
**Imagen 의 Classification 능력은 Stable Diffusion 보다 뛰어날 것으로 예상**됨. \ No newline at end of file diff --git a/_sources/docs/review/consistency_models.md b/_sources/docs/review/consistency_models.md index 2f05044a..edac379e 100755 --- a/_sources/docs/review/consistency_models.md +++ b/_sources/docs/review/consistency_models.md @@ -1,322 +1,322 @@ -```{admonition} Information -- **Title:** Consistency Models (ICML 2023) - -- **Reference** - - Paper: [https://arxiv.org/pdf/2303.01469](https://arxiv.org/pdf/2303.01469) - - Code: [https://github.com/openai/consistency_models](https://github.com/openai/consistency_models) - -- **Author:** Sangwoo Jo - -- **Last updated on Apr. 26, 2024** -``` - -# Consistency Models - -## 1. Introduction - -Diffusion Models 은 image generation, audio synthesis, video generation 등의 다양한 분야에 연구가 진행되어 왔습니다. 하지만 single-step generative model 인 VAE, GAN, 그리고 normalizing flows 에 비해 추론 속도가 10-2000배 더 많은 연산작업을 요하는 치명적인 단점이 존재합니다. - -이러한 문제를 해결하기 위해 논문에서 Consistency Model 을 소개합니다. - -:::{figure-md} -
-
-Overview of Consistency Models
-:::
-
-위의 사진처럼 주어진 PF ODE (Probability Flow Ordinary Differential Equation) 에 대해서 동일한 trajectory 에 있는 point 들이 동일한 시작점으로 매핑되도록 모델을 학습하는 방식을 제안하고, 이러한 self-consistency 특성을 만족시킬 수 있도록 2가지 학습 방식을 소개합니다.
-
-1) 첫번째 방식으로는 우선적으로 numerical ODE solver 와 사전 학습된 diffusion model을 사용하여 PF ODE trajectory 에서 인접한 point 쌍을 생성합니다. 그리고 이러한 쌍에 대한 모델 출력 간의 차이를 최소화하도록 모델을 학습함으로써 diffusion model 을 consistency model 로 효과적으로 knowledge distillation 을 적용할 수 있고, 단 한번의 step 만으로도 high quality sample 을 생성할 수 있게 됩니다.
-
-2) 두번째 방식으로는 사전학습된 diffusion model 에 의존하지 않고 독립적으로 consistency model 을 학습하는 방식입니다.
-
-CIFAR-10, ImageNet 64x64, LSUN 256x256 데이터셋에 실험한 결과, 기존 distillation 기법을 적용한 모델 (i.e., progressive distillation) 보다 성능이 개선되고, 독립적인 모델로서도 사전학습된 diffusion model 없이 GAN 을 제외한 single-step generative model 보다 성능이 좋다고 합니다. 마지막으로 다양한 zero-shot data editing (image denoising, interpolation, inpainting, colorization, super-resolution, stroke-guided image editing) task 에도 consistency model 이 좋은 성능을 보여준다는 것을 확인하였습니다.
-
-## 2. Diffusion Models
-
-**Diffusion Models in Continuous Time**
-
-Continuous time 에서의 diffusion model 을 다음과 같이 SDE 수식으로 표현할 수 있습니다. ([Song et al., 2021](https://arxiv.org/abs/2011.13456))
-
-:::{figure-md}
-
-
-Diffusion Models in Continuous Time
-:::
-
-- $t \in [0,T], T > 0$
-- $\mu(\cdot,\cdot), \sigma(\cdot)$ := drift, diffusion coefficients
-- $\{w_t\}_{t \in [0,T]}$ := standard Brownian motion
-
-그리고 해당 SDE 는 아래 식과 같은 PF ODE 로 표현할 수 있다는 성질을 가지고 있습니다. 이때 $\nabla \log p_t(x_t)$ 를 *score function* 이라고 하고, 시점 t 에 대한 solution trajectory 가 $p_t(x)$ 에 따라 분포합니다.
-
-:::{figure-md}
-
-
-Probability Flow (PF) ODE
-:::
-
-일반적으로 위의 SDE 수식에서 $p_T(x)$ 가 Gaussian distribution $\pi(x)$ 를 따르도록 정의하고, 해당 논문에서 [Karras et al., 2022](https://arxiv.org/abs/2206.00364) 와 동일하게 $\mu(x,t) = 0, \sigma(t) = \sqrt{2}t$ 로 설정하였습니다. 그리고 sampling 시, score matching 을 통해 score model $s_{\phi}(x,t) \approx \nabla \log p_t(x)$ 우선적으로 학습한 후, 위의 식에 대입하면 다음과 같은 empirical PF ODE 로 표현할 수 있습니다
-
-:::{figure-md}
-
-
-Empirical PF ODE
-:::
-
-다음 과정으로는 initial condition $x_T \sim N(0, T^2I)$ 을 기반으로 Euler 나 Heun 등의 numerical ode solver 를 통해 역방향으로 풀어 solution trajectory $\{x_t\}_{t \in [0,T]}$${x_t}$$\hat{x}_0$${x_t}$$p_{data}(x)$ 로부터 나온 샘플에 대한 근사값이라고 할 수 있습니다.
-
-추가적으로 논문에서 numerical instability 를 방지하기 위해 고정된 작은 양수 $\epsilon$ 에 대해 $t = \epsilon$ 에서 solver 를 멈추고 $\hat{x}_{\epsilon}$ 를 $p_{data}(x)$ 에 대한 근사값으로 간주합니다. 그리고 [Karras et al., 2022](https://arxiv.org/abs/2206.00364) 와 동일하게 이미지 픽셀 값을 $[-1,1]$ 로 rescale 하고 $T = 80, \epsilon = 0.002$ 로 설정합니다.
-
-앞서 소개드린 방식으로 diffusion model 을 통한 sampling 시, ode solver 를 사용하는데 score model $s_{\phi}(x_t,t)$ 의 수많은 iterative evaluation 작업이 필요합니다. 빠른 sampling 작업을 위해, 더 빠른 numerical ode solver 에 대한 연구들이 진행되었지만, 이를 활용해도 최소 10번 이상의 evaluation step 을 거쳐야만 competitive 한 성능을 보여준다고 합니다. 여러 distillation 기법들에 대한 연구들도 진행되었지만, [Salimans & Ho (2022)](https://arxiv.org/abs/2202.00512) 를 제외하고는 distillation 작업을 하기 위해서 사전에 diffusion model 로부터 대량의 데이터를 수집해야한다는 단점이 있습니다.
-
-## 3. Consistency Models
-
-논문에서 single-step generation 이 가능한 consistency model 을 제안하고, 학습하는 방식으로 1) 사전학습된 diffusion model 로부터 knowledge distillation 진행하는 방식과 2) 독립적으로 학습하는 방식 을 소개합니다.
-
-**Definition**
-
-주어진 PF ODE 에 대한 trajectory $\{x_t\}_{t \in [0,T]}$ 에 대해서 다음과 같은 *consistency function* $f : (x_t, t) \mapsto x_{\epsilon}$ 을 정의하고, 함수 $f$ 는 동일한 trajectory 에 있는 임의의 두 $t, t' \in [\epsilon, T]$ 에 대해 $f(x_t, t) = f(x_{t'}, t')$, 즉 *self-consistency* 성질을 만족합니다. 이러한 함수 $f$ 를 예측하기 위해 데이터로부터 $f_{\theta}$ 을 학습하는 것이 consistency model 의 objective 이며, 이는 [Bilos et al., 2021](https://arxiv.org/abs/2110.13040) 에서 정의하는 neural flow 와 유사하지만, consistency model 은 invertible property 를 부여하지는 않습니다.
-
-:::{figure-md}
-
-
-Self-Consistency
-:::
-
-**Parameterization**
-
-앞서 정의한 부분에 의해, 모든 consistency function $f$ 에 대해서 $f(x_{\epsilon}, t) = x_{\epsilon}$ 를 만족해야 하는 *boundary condition* 이 존재하고, 이를 만족하기 위해 다음과 같이 두 가지 방식으로 parameterization 방식을 정의하였습니다.
-
-:::{figure-md}
-
-
-Parameterization Method 1
-:::
-
-여기서 $F_{\theta}(x,t)$ 는 output 차원이 $x$ 와 동일한 free-form deep neural network 입니다. 두번째 방식으로는, 다음과 같이 skip-connection 을 활용합니다.
-
-:::{figure-md}
-
-
-Parameterization Method 2
-:::
-
-이때, $F_{\theta}(x,t), c_{skip}(t), c_{out}(t)$ 는 $c_{skip}(\epsilon) = 1, c_{out}(\epsilon) = 0$ 조건을 만족시키는 미분 가능한 함수로 정의합니다.
-
-:::{figure-md}
-
-
-Parameterization Method 2 - $c_{skip}(t), c_{out}(t)$
-:::
-
-두번째 parameterization 기법이 diffusion model 형식과 매우 유사하여 이러한 diffusion model 아키텍쳐를 leverage 하기 위해 논문에서 두번째 방식으로 parameterization 을 하는 방식을 택합니다.
-
-**Sampling**
-
-학습된 consistency model $f_{\theta}(\cdot,\cdot)$ 와 initial distribution $\hat{x}_T \sim N(0, T^2I)$ 를 활용하여 단일 sampling step 만으로 $\hat{x}_{\epsilon} = f_{\theta}(\hat{x}_{T}, T)$ 를 생성할 수 있습니다. 더불어 하단 pseudo code 에 보이듯이, denoising 과 noise injection 작업을 여러 번 거치는 *multistep* consistency sampling 을 통해 computing cost 와 sample quality 를 trade-off 할 수 있는 유연성도 제공합니다.
-
-:::{figure-md}
-
-
-Multistep Consistency Sampling
-:::
-
-**Zero-Shot Data Editing**
-
-Diffusion model 과 유사하게 추가적인 학습 없이 zero-shot 형태로 image editing 그리고 manipulation task 이 가능합니다. 예를 들어, consistency model 은 Gaussian noise 로부터 one-to-one mapping 을 통해 $x_{\epsilon}$을 생성하기 때문에 GAN, VAE, normalizing flow 와 유사하게 latent space 을 통해 sample 들간의 interpolation 이 가능합니다. 또한, multistep consistency sampling 을 통해 zero-shot 의 한계점을 보완하면서 image editing, inpainting, colorization, super-resolution, stroke-guided image editing ([Meng et al., 2021](https://arxiv.org/abs/2108.01073)) 등의 다양한 task 를 수행할 수 있습니다. 대표적으로 몇 가지 zero-shot image editing 결과 예시들을 공유합니다.
-
-- Inpainting
-
- :::{figure-md}
-
-
- Consistency Models - Inpainting
- :::
-
-- Interpolation
-
- :::{figure-md}
-
-
- Consistency Models - Interpolation
- :::
-
-- Self-consistency
-
- :::{figure-md}
-
-
- Consistency Models - Self-consistency
- :::
-
-
-## 4. Training Consistency Models via Distillation
-
-앞서 소개한 두 가지 학습 방식 중, 첫번째로 사전학습된 score model $s_{\phi}(x,t)$ 를 consistency model 에 knowledge distillation 하는 학습하는 방식을 소개합니다.
-
-논문에서 특히 continuous time interval $[\epsilon, T]$ 을 boundary $t_1 = \epsilon < t_2 < \cdots < t_N=T$ 를 기준으로 $N-1$ 개의 interval 로 discretize 하는 상황을 가정하고, [Karras et al., 2022](https://arxiv.org/abs/2206.00364) 의 설정과 동일하게 boundary 를 다음과 같이 정의합니다.
-
-$$
-t_i = (\epsilon^{1/\rho} + \frac{i-1}{N-1}(T^{1/\rho}-\epsilon^{1/\rho}))^{\rho}, \quad \rho = 7
-$$
-
-이때, $N$ 이 충분히 크다면 다음과 같이 numerical ode solver 의 discretization step 을 한번 진행시켜 $x_{t_{n+1}}$ 로부터 $x_{t_n}$ 에 대한 정확한 예측값을 얻을 수 있다고 합니다.
-
-:::{figure-md}
-
-
-One Discretization Step of a Numerical ODE Solver
-:::
-
-이때, $\Phi(\cdots; \phi)$ 은 empirical PF ODE 에 적용되는 one step ODE solver 의 update function 입니다. Euler solver 같은 경우, $\Phi(x,t;\phi) = -ts_{\phi}(x,t)$ 를 대입하면 다음과 같이 표현할 수 있게 됩니다.
-
-:::{figure-md}
-
-
-One Discretization Step of a Euler ODE Solver
-:::
-
-위 수식을 활용하여 주어진 $x \sim p_{data}$ 에 대해서 PF ODE trajectory 에 있는 인접한 두 지점 $(\hat{x}^{\phi}_{t_n}, x_{t_{n+1}})$ 을 샘플링할 수 있게 됩니다. 더 자세하게는, $x_{t_{n+1}} \sim N(x,t^2_{n+1}I)$ 를 우선적으로 샘플링한 후, 위 수식을 기반으로 numerical ode solver 의 discretization step 을 한번 거쳐 $\hat{x}^{\phi}_{t_n}$ 을 계산합니다. 최종적으로 $(\hat{x}^{\phi}_{t_n}, x_{t_{n+1}})$ 로부터의 모델 출력값 차이를 최소화하도록 consistency model 을 학습하게 되고, 학습 시 사용되는 *consistency distillation loss* 는 다음과 같이 정의합니다.
-
-:::{figure-md}
-
-
-Consistency Distillation Loss
-:::
-
-여기서 metric function $d(\cdot,\cdot)$ 로는 L1 distance, L2 distance, 그리고 LPIPS distance 를 사용하였고, 실험적으로 확인해본 결과 $\lambda(t_n) \equiv 1$ 를 적용했을 때 모델 성능이 가장 좋은 부분을 확인할 수 있었다고 합니다. 파라미터 $\theta$ 는 stochastic gradient descent 그리고 $\theta^-$ 는 exponential moving average (EMA) 로 학습하였다고 합니다.
-
-:::{figure-md}
-
-
-Exponential Moving Average (EMA)
-:::
-
-이처럼 EMA update 와 stopgrad operator 로 학습할 시, $\theta = \theta^{-}$ 로 설정할때보다 모델을 더 안정적으로 학습할 수 있고 성능에도 개선이 있었다고 합니다. 전체적인 학습 절차는 하단의 Algorithm 2 처럼 정리할 수 있습니다.
-
-:::{figure-md}
-
-
-Overview of Consistency Distillation (CD)
-:::
-
-$\theta^{-}$ 는 과거 $\theta$ 에 대한 running average 이므로 Algorithm 2 가 수렴할 시 이 둘은 일치하게 됩니다. 즉, target network $f_{\theta^-}$와 online network $f_{\theta}$ 가 일치하게 됩니다.
-
-## 5. Training Consistency Models in Isolation
-
-Consistency Distillation 방식에서는 ground truth score function $\nabla \log p_t(x_t)$ 을 근사하는 사전학습된 score model $s_{\phi}(x,t)$ 에 의존했다면, 이에 의존하지 않고 다음과 같은 $\nabla \log p_t(x_t)$ 에 대한 unbiased estimator 를 활용할 수도 있습니다. 다시 말해, $-(x_t - x)/t^2$ 로 $\nabla \log p_t(x_t)$ 를 근사할 수 있습니다.
-
-:::{figure-md}
-
-
-Unbiased Estimator of Score Function
-:::
-
-- $x \sim p_{data}, x_t \sim N(x; t^2I)$
-
-Consistency Training (CT) Loss 는 다음과 같이 정의하고, 이는 사전학습된 diffusion model 파라미터 $\phi$ 와는 독립적인 사실을 확인할 수 있습다.
-
-$$
-L_{CT}^{N}(\theta,\theta^{-}) = \mathbb{E}[\lambda(t_n)d(f_{\theta}(x + t_{n+1}z, t_{n+1}), f_{\theta^-}(x+t_nz, t_n))]
-$$
-
-- $x \sim p_{data}, n \sim \mathbb{U}[[1,N-1]], x_{t_{n+1}} \sim N(x;t^2_{n+1}I), z \sim N(0,I)$
-- Consistency Training Loss 를 위와 같이 정의하게 된 배경은 다음과 같습니다.
-
- :::{figure-md}
-
-
- Consistency Training Loss
- :::
-
-
-:::{figure-md}
-
-
-Schedule Functions for Consistency Training
-:::
-
-논문에서 추가적인 성능 개선을 위해 $N$ 을 점진적으로 증가시키는 방식을 제안합니다. $N$ 이 작을수록 ($i.e., \Delta t$ 가 클수록) consistency training loss 가 consistency distillation loss 와 비교했을때 variance 는 감소하지만 bias 는 증가하게 되어, 초기에 더 빠른 convergence 에 이르는데 용이합니다. 반면에, $N$ 이 클수록 ($i.e., \Delta t$ 가 작을수록) variance 는 증가하고 bias 는 감소하게 되어, 학습의 마지막 단계에 적용하는 것이 바람직하다고 제안합니다. EMA decay rate schedule function $\mu(\cdot)$ 도 $N$ 에 따라 바뀌는 함수로 최종적으로 정의합니다. 전체적인 학습 절차는 하단의 Algorithm 3 처럼 정리할 수 있습니다.
-
-:::{figure-md}
-
-
-Overview of Consistency Training (CT)
-:::
-
-
-## 6. Experiments
-
-논문에서 CIFAR-10, ImageNet 64x64, LSUN Bedroom 256x256, 그리고 LSUN Cat 256x256 데이터셋에 consistency distillation, consistency training 두 학습 방식을 모두 실험하였고, 모델 성능 지표는 FID, IS, Precision, 그리고 Recall 을 사용하였습니다. 모델 architecture 는 CIFAR-10 데이터셋에는 NCSN++, 그리고 그 외 데이터셋에는 ADM 모델을 사용하였습니다.
-
-### 6.1. Training Consistency Models
-
-CIFAR-10 데이터셋에 다음과 같은 hyperparameter tuning 작업을 진행하였습니다. (metric function $d(\cdot,\cdot)$, ODE solver, CD (Consistency Distillation) 에서의 number of discretization steps $N$, 그리고 CT (Consistency Training)) 에서의 schedule functions $N(\cdot), \mu(\cdot)$)
-
-**Parameter Initialization**
-
-모델 초기 파라미터 값은 다음과 같이 설정하였습니다.
-
-- Consistency Distillation - 사전학습된 diffusion model 파라미터 값
-- Consistency Training - Random Initialization
-
-**Results**
-
-모델 실험 결과를 다음과 같이 정리할 수 있습니다.
-
-:::{figure-md}
-
-
-Experimental Results - Hyperparameters
-:::
-
-- Consistency Distillation (CD)
- - LPIPS 를 metric function 으로 사용했을때 모델 성능이 가장 좋았고, 이는 LPIPS metric 이 CIFAR-10 와 같은 natural image 들 간의 유사도를 측정하는데 특화되어 있기 때문이라고 합니다.
- - Euler ODE solver 보다 Heun ODE solver 를 사용했을 때, 그리고 $N = 18$ 로 설정했을때 모델 성능이 가장 좋았습니다. 또한, 동일한 $N$ 에 대해서 Heun’s second ode solver 를 사용했을때 Euler’s first ode solver 를 사용했을 때보다 모델 성능이 우월한 부분을 확인할 수 있었다고 합니다.
-
- 이외에도 다른 데이터셋에 hyperparameter tuning 작업을 별도로 진행하였습니다.
-
-- Consistency Training (CT)
- - CD 와 동일하게 LPIPS metric function 사용하였고, ODE solver 는 사용하지 않았습니다.
- - $N$ 이 작을수록, 모델이 더 빨리 수렴하지만 생성된 이미지 퀄리티는 좋지 않은 부분을 재차 확인할 수 있습니다. (and vice versa)
- - $N$ 을 점차적으로 증가시키면서 $\mu$ 도 변화시켰을때 성능이 가장 좋았습니다.
-
-
-#### 6.2. Few-Step Image Generation
-
-**Distillation**
-
-논문에서는 Consistency Distillation 모델의 성능을 synthetic data generation 을 필요하지 않는 knowledge distillation 기법 (PD, [Salimans & Ho (2022)](https://arxiv.org/abs/2202.00512)) 과 다음과 같이 비교합니다.
-
-:::{figure-md}
-
-
-Experimental Results - Distillation
-:::
-
-**Direct Generation**
-
-CIFAR-10 데이터셋 기준으로 VAE, normalizing flow 를 비롯한 타 single-step generative model 보다 CT 가 성능이 가장 좋았습니다. 또한, distillation 기법 없이도 Progressive Distillation (PD, [Salimans & Ho (2022)](https://arxiv.org/abs/2202.00512)) 와 견줄만한 성능을 가진 부분을 확인할 수 있습니다. 마지막으로 동일한 noise 로부터 높은 structural similarity 를 가진 이미지들을 생성함으로써 self-consistency 성질도 확인할 수 있었다고 합니다.
-
-:::{figure-md}
-
-
-Experimental Results - Direct Generation
-:::
-
-### 6.3. Zero-Shot Image Editing
-
-Diffusion model 과 유사하게 consistency model 도 multistep sampling 알고리즘을 수정함으로써 zero shot image editing 이 가능합니다. 해당 사진은 LSUN Bedroom 데이터셋에 colorization, super-resolution, stroke-guided image editing task 를 적용한 결과입니다.
-
-:::{figure-md}
-
-
-Pseudocode for Zero-Shot Image Editing
-:::
-
-:::{figure-md}
-
-
-Zero-Shot Image Editing Results
-:::
+```{admonition} Information
+- **Title:** Consistency Models (ICML 2023)
+
+- **Reference**
+ - Paper: [https://arxiv.org/pdf/2303.01469](https://arxiv.org/pdf/2303.01469)
+ - Code: [https://github.com/openai/consistency_models](https://github.com/openai/consistency_models)
+
+- **Author:** Sangwoo Jo
+
+- **Last updated on Apr. 26, 2024**
+```
+
+# Consistency Models
+
+## 1. Introduction
+
+Diffusion Models 은 image generation, audio synthesis, video generation 등의 다양한 분야에 연구가 진행되어 왔습니다. 하지만 single-step generative model 인 VAE, GAN, 그리고 normalizing flows 에 비해 추론 속도가 10-2000배 더 많은 연산작업을 요하는 치명적인 단점이 존재합니다.
+
+이러한 문제를 해결하기 위해 논문에서 Consistency Model 을 소개합니다.
+
+:::{figure-md}
+
+
+Overview of Consistency Models
+:::
+
+위의 사진처럼 주어진 PF ODE (Probability Flow Ordinary Differential Equation) 에 대해서 동일한 trajectory 에 있는 point 들이 동일한 시작점으로 매핑되도록 모델을 학습하는 방식을 제안하고, 이러한 self-consistency 특성을 만족시킬 수 있도록 2가지 학습 방식을 소개합니다.
+
+1) 첫번째 방식으로는 우선적으로 numerical ODE solver 와 사전 학습된 diffusion model을 사용하여 PF ODE trajectory 에서 인접한 point 쌍을 생성합니다. 그리고 이러한 쌍에 대한 모델 출력 간의 차이를 최소화하도록 모델을 학습함으로써 diffusion model 을 consistency model 로 효과적으로 knowledge distillation 을 적용할 수 있고, 단 한번의 step 만으로도 high quality sample 을 생성할 수 있게 됩니다.
+
+2) 두번째 방식으로는 사전학습된 diffusion model 에 의존하지 않고 독립적으로 consistency model 을 학습하는 방식입니다.
+
+CIFAR-10, ImageNet 64x64, LSUN 256x256 데이터셋에 실험한 결과, 기존 distillation 기법을 적용한 모델 (i.e., progressive distillation) 보다 성능이 개선되고, 독립적인 모델로서도 사전학습된 diffusion model 없이 GAN 을 제외한 single-step generative model 보다 성능이 좋다고 합니다. 마지막으로 다양한 zero-shot data editing (image denoising, interpolation, inpainting, colorization, super-resolution, stroke-guided image editing) task 에도 consistency model 이 좋은 성능을 보여준다는 것을 확인하였습니다.
+
+## 2. Diffusion Models
+
+**Diffusion Models in Continuous Time**
+
+Continuous time 에서의 diffusion model 을 다음과 같이 SDE 수식으로 표현할 수 있습니다. ([Song et al., 2021](https://arxiv.org/abs/2011.13456))
+
+:::{figure-md}
+
+
+Diffusion Models in Continuous Time
+:::
+
+- $t \in [0,T], T > 0$
+- $\mu(\cdot,\cdot), \sigma(\cdot)$ := drift, diffusion coefficients
+- $\{w_t\}_{t \in [0,T]}$ := standard Brownian motion
+
+그리고 해당 SDE 는 아래 식과 같은 PF ODE 로 표현할 수 있다는 성질을 가지고 있습니다. 이때 $\nabla \log p_t(x_t)$ 를 *score function* 이라고 하고, 시점 t 에 대한 solution trajectory 가 $p_t(x)$ 에 따라 분포합니다.
+
+:::{figure-md}
+
+
+Probability Flow (PF) ODE
+:::
+
+일반적으로 위의 SDE 수식에서 $p_T(x)$ 가 Gaussian distribution $\pi(x)$ 를 따르도록 정의하고, 해당 논문에서 [Karras et al., 2022](https://arxiv.org/abs/2206.00364) 와 동일하게 $\mu(x,t) = 0, \sigma(t) = \sqrt{2}t$ 로 설정하였습니다. 그리고 sampling 시, score matching 을 통해 score model $s_{\phi}(x,t) \approx \nabla \log p_t(x)$ 우선적으로 학습한 후, 위의 식에 대입하면 다음과 같은 empirical PF ODE 로 표현할 수 있습니다
+
+:::{figure-md}
+
+
+Empirical PF ODE
+:::
+
+다음 과정으로는 initial condition $x_T \sim N(0, T^2I)$ 을 기반으로 Euler 나 Heun 등의 numerical ode solver 를 통해 역방향으로 풀어 solution trajectory $\{x_t\}_{t \in [0,T]}$${x_t}$$\hat{x}_0$${x_t}$$p_{data}(x)$ 로부터 나온 샘플에 대한 근사값이라고 할 수 있습니다.
+
+추가적으로 논문에서 numerical instability 를 방지하기 위해 고정된 작은 양수 $\epsilon$ 에 대해 $t = \epsilon$ 에서 solver 를 멈추고 $\hat{x}_{\epsilon}$ 를 $p_{data}(x)$ 에 대한 근사값으로 간주합니다. 그리고 [Karras et al., 2022](https://arxiv.org/abs/2206.00364) 와 동일하게 이미지 픽셀 값을 $[-1,1]$ 로 rescale 하고 $T = 80, \epsilon = 0.002$ 로 설정합니다.
+
+앞서 소개드린 방식으로 diffusion model 을 통한 sampling 시, ode solver 를 사용하는데 score model $s_{\phi}(x_t,t)$ 의 수많은 iterative evaluation 작업이 필요합니다. 빠른 sampling 작업을 위해, 더 빠른 numerical ode solver 에 대한 연구들이 진행되었지만, 이를 활용해도 최소 10번 이상의 evaluation step 을 거쳐야만 competitive 한 성능을 보여준다고 합니다. 여러 distillation 기법들에 대한 연구들도 진행되었지만, [Salimans & Ho (2022)](https://arxiv.org/abs/2202.00512) 를 제외하고는 distillation 작업을 하기 위해서 사전에 diffusion model 로부터 대량의 데이터를 수집해야한다는 단점이 있습니다.
+
+## 3. Consistency Models
+
+논문에서 single-step generation 이 가능한 consistency model 을 제안하고, 학습하는 방식으로 1) 사전학습된 diffusion model 로부터 knowledge distillation 진행하는 방식과 2) 독립적으로 학습하는 방식 을 소개합니다.
+
+**Definition**
+
+주어진 PF ODE 에 대한 trajectory $\{x_t\}_{t \in [0,T]}$ 에 대해서 다음과 같은 *consistency function* $f : (x_t, t) \mapsto x_{\epsilon}$ 을 정의하고, 함수 $f$ 는 동일한 trajectory 에 있는 임의의 두 $t, t' \in [\epsilon, T]$ 에 대해 $f(x_t, t) = f(x_{t'}, t')$, 즉 *self-consistency* 성질을 만족합니다. 이러한 함수 $f$ 를 예측하기 위해 데이터로부터 $f_{\theta}$ 을 학습하는 것이 consistency model 의 objective 이며, 이는 [Bilos et al., 2021](https://arxiv.org/abs/2110.13040) 에서 정의하는 neural flow 와 유사하지만, consistency model 은 invertible property 를 부여하지는 않습니다.
+
+:::{figure-md}
+
+
+Self-Consistency
+:::
+
+**Parameterization**
+
+앞서 정의한 부분에 의해, 모든 consistency function $f$ 에 대해서 $f(x_{\epsilon}, t) = x_{\epsilon}$ 를 만족해야 하는 *boundary condition* 이 존재하고, 이를 만족하기 위해 다음과 같이 두 가지 방식으로 parameterization 방식을 정의하였습니다.
+
+:::{figure-md}
+
+
+Parameterization Method 1
+:::
+
+여기서 $F_{\theta}(x,t)$ 는 output 차원이 $x$ 와 동일한 free-form deep neural network 입니다. 두번째 방식으로는, 다음과 같이 skip-connection 을 활용합니다.
+
+:::{figure-md}
+
+
+Parameterization Method 2
+:::
+
+이때, $F_{\theta}(x,t), c_{skip}(t), c_{out}(t)$ 는 $c_{skip}(\epsilon) = 1, c_{out}(\epsilon) = 0$ 조건을 만족시키는 미분 가능한 함수로 정의합니다.
+
+:::{figure-md}
+
+
+Parameterization Method 2 - $c_{skip}(t), c_{out}(t)$
+:::
+
+두번째 parameterization 기법이 diffusion model 형식과 매우 유사하여 이러한 diffusion model 아키텍쳐를 leverage 하기 위해 논문에서 두번째 방식으로 parameterization 을 하는 방식을 택합니다.
+
+**Sampling**
+
+학습된 consistency model $f_{\theta}(\cdot,\cdot)$ 와 initial distribution $\hat{x}_T \sim N(0, T^2I)$ 를 활용하여 단일 sampling step 만으로 $\hat{x}_{\epsilon} = f_{\theta}(\hat{x}_{T}, T)$ 를 생성할 수 있습니다. 더불어 하단 pseudo code 에 보이듯이, denoising 과 noise injection 작업을 여러 번 거치는 *multistep* consistency sampling 을 통해 computing cost 와 sample quality 를 trade-off 할 수 있는 유연성도 제공합니다.
+
+:::{figure-md}
+
+
+Multistep Consistency Sampling
+:::
+
+**Zero-Shot Data Editing**
+
+Diffusion model 과 유사하게 추가적인 학습 없이 zero-shot 형태로 image editing 그리고 manipulation task 이 가능합니다. 예를 들어, consistency model 은 Gaussian noise 로부터 one-to-one mapping 을 통해 $x_{\epsilon}$을 생성하기 때문에 GAN, VAE, normalizing flow 와 유사하게 latent space 을 통해 sample 들간의 interpolation 이 가능합니다. 또한, multistep consistency sampling 을 통해 zero-shot 의 한계점을 보완하면서 image editing, inpainting, colorization, super-resolution, stroke-guided image editing ([Meng et al., 2021](https://arxiv.org/abs/2108.01073)) 등의 다양한 task 를 수행할 수 있습니다. 대표적으로 몇 가지 zero-shot image editing 결과 예시들을 공유합니다.
+
+- Inpainting
+
+ :::{figure-md}
+
+
+ Consistency Models - Inpainting
+ :::
+
+- Interpolation
+
+ :::{figure-md}
+
+
+ Consistency Models - Interpolation
+ :::
+
+- Self-consistency
+
+ :::{figure-md}
+
+
+ Consistency Models - Self-consistency
+ :::
+
+
+## 4. Training Consistency Models via Distillation
+
+앞서 소개한 두 가지 학습 방식 중, 첫번째로 사전학습된 score model $s_{\phi}(x,t)$ 를 consistency model 에 knowledge distillation 하는 학습하는 방식을 소개합니다.
+
+논문에서 특히 continuous time interval $[\epsilon, T]$ 을 boundary $t_1 = \epsilon < t_2 < \cdots < t_N=T$ 를 기준으로 $N-1$ 개의 interval 로 discretize 하는 상황을 가정하고, [Karras et al., 2022](https://arxiv.org/abs/2206.00364) 의 설정과 동일하게 boundary 를 다음과 같이 정의합니다.
+
+$$
+t_i = (\epsilon^{1/\rho} + \frac{i-1}{N-1}(T^{1/\rho}-\epsilon^{1/\rho}))^{\rho}, \quad \rho = 7
+$$
+
+이때, $N$ 이 충분히 크다면 다음과 같이 numerical ode solver 의 discretization step 을 한번 진행시켜 $x_{t_{n+1}}$ 로부터 $x_{t_n}$ 에 대한 정확한 예측값을 얻을 수 있다고 합니다.
+
+:::{figure-md}
+
+
+One Discretization Step of a Numerical ODE Solver
+:::
+
+이때, $\Phi(\cdots; \phi)$ 은 empirical PF ODE 에 적용되는 one step ODE solver 의 update function 입니다. Euler solver 같은 경우, $\Phi(x,t;\phi) = -ts_{\phi}(x,t)$ 를 대입하면 다음과 같이 표현할 수 있게 됩니다.
+
+:::{figure-md}
+
+
+One Discretization Step of a Euler ODE Solver
+:::
+
+위 수식을 활용하여 주어진 $x \sim p_{data}$ 에 대해서 PF ODE trajectory 에 있는 인접한 두 지점 $(\hat{x}^{\phi}_{t_n}, x_{t_{n+1}})$ 을 샘플링할 수 있게 됩니다. 더 자세하게는, $x_{t_{n+1}} \sim N(x,t^2_{n+1}I)$ 를 우선적으로 샘플링한 후, 위 수식을 기반으로 numerical ode solver 의 discretization step 을 한번 거쳐 $\hat{x}^{\phi}_{t_n}$ 을 계산합니다. 최종적으로 $(\hat{x}^{\phi}_{t_n}, x_{t_{n+1}})$ 로부터의 모델 출력값 차이를 최소화하도록 consistency model 을 학습하게 되고, 학습 시 사용되는 *consistency distillation loss* 는 다음과 같이 정의합니다.
+
+:::{figure-md}
+
+
+Consistency Distillation Loss
+:::
+
+여기서 metric function $d(\cdot,\cdot)$ 로는 L1 distance, L2 distance, 그리고 LPIPS distance 를 사용하였고, 실험적으로 확인해본 결과 $\lambda(t_n) \equiv 1$ 를 적용했을 때 모델 성능이 가장 좋은 부분을 확인할 수 있었다고 합니다. 파라미터 $\theta$ 는 stochastic gradient descent 그리고 $\theta^-$ 는 exponential moving average (EMA) 로 학습하였다고 합니다.
+
+:::{figure-md}
+
+
+Exponential Moving Average (EMA)
+:::
+
+이처럼 EMA update 와 stopgrad operator 로 학습할 시, $\theta = \theta^{-}$ 로 설정할때보다 모델을 더 안정적으로 학습할 수 있고 성능에도 개선이 있었다고 합니다. 전체적인 학습 절차는 하단의 Algorithm 2 처럼 정리할 수 있습니다.
+
+:::{figure-md}
+
+
+Overview of Consistency Distillation (CD)
+:::
+
+$\theta^{-}$ 는 과거 $\theta$ 에 대한 running average 이므로 Algorithm 2 가 수렴할 시 이 둘은 일치하게 됩니다. 즉, target network $f_{\theta^-}$와 online network $f_{\theta}$ 가 일치하게 됩니다.
+
+## 5. Training Consistency Models in Isolation
+
+Consistency Distillation 방식에서는 ground truth score function $\nabla \log p_t(x_t)$ 을 근사하는 사전학습된 score model $s_{\phi}(x,t)$ 에 의존했다면, 이에 의존하지 않고 다음과 같은 $\nabla \log p_t(x_t)$ 에 대한 unbiased estimator 를 활용할 수도 있습니다. 다시 말해, $-(x_t - x)/t^2$ 로 $\nabla \log p_t(x_t)$ 를 근사할 수 있습니다.
+
+:::{figure-md}
+
+
+Unbiased Estimator of Score Function
+:::
+
+- $x \sim p_{data}, x_t \sim N(x; t^2I)$
+
+Consistency Training (CT) Loss 는 다음과 같이 정의하고, 이는 사전학습된 diffusion model 파라미터 $\phi$ 와는 독립적인 사실을 확인할 수 있습다.
+
+$$
+L_{CT}^{N}(\theta,\theta^{-}) = \mathbb{E}[\lambda(t_n)d(f_{\theta}(x + t_{n+1}z, t_{n+1}), f_{\theta^-}(x+t_nz, t_n))]
+$$
+
+- $x \sim p_{data}, n \sim \mathbb{U}[[1,N-1]], x_{t_{n+1}} \sim N(x;t^2_{n+1}I), z \sim N(0,I)$
+- Consistency Training Loss 를 위와 같이 정의하게 된 배경은 다음과 같습니다.
+
+ :::{figure-md}
+
+
+ Consistency Training Loss
+ :::
+
+
+:::{figure-md}
+
+
+Schedule Functions for Consistency Training
+:::
+
+논문에서 추가적인 성능 개선을 위해 $N$ 을 점진적으로 증가시키는 방식을 제안합니다. $N$ 이 작을수록 ($i.e., \Delta t$ 가 클수록) consistency training loss 가 consistency distillation loss 와 비교했을때 variance 는 감소하지만 bias 는 증가하게 되어, 초기에 더 빠른 convergence 에 이르는데 용이합니다. 반면에, $N$ 이 클수록 ($i.e., \Delta t$ 가 작을수록) variance 는 증가하고 bias 는 감소하게 되어, 학습의 마지막 단계에 적용하는 것이 바람직하다고 제안합니다. EMA decay rate schedule function $\mu(\cdot)$ 도 $N$ 에 따라 바뀌는 함수로 최종적으로 정의합니다. 전체적인 학습 절차는 하단의 Algorithm 3 처럼 정리할 수 있습니다.
+
+:::{figure-md}
+
+
+Overview of Consistency Training (CT)
+:::
+
+
+## 6. Experiments
+
+논문에서 CIFAR-10, ImageNet 64x64, LSUN Bedroom 256x256, 그리고 LSUN Cat 256x256 데이터셋에 consistency distillation, consistency training 두 학습 방식을 모두 실험하였고, 모델 성능 지표는 FID, IS, Precision, 그리고 Recall 을 사용하였습니다. 모델 architecture 는 CIFAR-10 데이터셋에는 NCSN++, 그리고 그 외 데이터셋에는 ADM 모델을 사용하였습니다.
+
+### 6.1. Training Consistency Models
+
+CIFAR-10 데이터셋에 다음과 같은 hyperparameter tuning 작업을 진행하였습니다. (metric function $d(\cdot,\cdot)$, ODE solver, CD (Consistency Distillation) 에서의 number of discretization steps $N$, 그리고 CT (Consistency Training)) 에서의 schedule functions $N(\cdot), \mu(\cdot)$)
+
+**Parameter Initialization**
+
+모델 초기 파라미터 값은 다음과 같이 설정하였습니다.
+
+- Consistency Distillation - 사전학습된 diffusion model 파라미터 값
+- Consistency Training - Random Initialization
+
+**Results**
+
+모델 실험 결과를 다음과 같이 정리할 수 있습니다.
+
+:::{figure-md}
+
+
+Experimental Results - Hyperparameters
+:::
+
+- Consistency Distillation (CD)
+ - LPIPS 를 metric function 으로 사용했을때 모델 성능이 가장 좋았고, 이는 LPIPS metric 이 CIFAR-10 와 같은 natural image 들 간의 유사도를 측정하는데 특화되어 있기 때문이라고 합니다.
+ - Euler ODE solver 보다 Heun ODE solver 를 사용했을 때, 그리고 $N = 18$ 로 설정했을때 모델 성능이 가장 좋았습니다. 또한, 동일한 $N$ 에 대해서 Heun’s second ode solver 를 사용했을때 Euler’s first ode solver 를 사용했을 때보다 모델 성능이 우월한 부분을 확인할 수 있었다고 합니다.
+
+ 이외에도 다른 데이터셋에 hyperparameter tuning 작업을 별도로 진행하였습니다.
+
+- Consistency Training (CT)
+ - CD 와 동일하게 LPIPS metric function 사용하였고, ODE solver 는 사용하지 않았습니다.
+ - $N$ 이 작을수록, 모델이 더 빨리 수렴하지만 생성된 이미지 퀄리티는 좋지 않은 부분을 재차 확인할 수 있습니다. (and vice versa)
+ - $N$ 을 점차적으로 증가시키면서 $\mu$ 도 변화시켰을때 성능이 가장 좋았습니다.
+
+
+#### 6.2. Few-Step Image Generation
+
+**Distillation**
+
+논문에서는 Consistency Distillation 모델의 성능을 synthetic data generation 을 필요하지 않는 knowledge distillation 기법 (PD, [Salimans & Ho (2022)](https://arxiv.org/abs/2202.00512)) 과 다음과 같이 비교합니다.
+
+:::{figure-md}
+
+
+Experimental Results - Distillation
+:::
+
+**Direct Generation**
+
+CIFAR-10 데이터셋 기준으로 VAE, normalizing flow 를 비롯한 타 single-step generative model 보다 CT 가 성능이 가장 좋았습니다. 또한, distillation 기법 없이도 Progressive Distillation (PD, [Salimans & Ho (2022)](https://arxiv.org/abs/2202.00512)) 와 견줄만한 성능을 가진 부분을 확인할 수 있습니다. 마지막으로 동일한 noise 로부터 높은 structural similarity 를 가진 이미지들을 생성함으로써 self-consistency 성질도 확인할 수 있었다고 합니다.
+
+:::{figure-md}
+
+
+Experimental Results - Direct Generation
+:::
+
+### 6.3. Zero-Shot Image Editing
+
+Diffusion model 과 유사하게 consistency model 도 multistep sampling 알고리즘을 수정함으로써 zero shot image editing 이 가능합니다. 해당 사진은 LSUN Bedroom 데이터셋에 colorization, super-resolution, stroke-guided image editing task 를 적용한 결과입니다.
+
+:::{figure-md}
+
+
+Pseudocode for Zero-Shot Image Editing
+:::
+
+:::{figure-md}
+
+
+Zero-Shot Image Editing Results
+:::
diff --git a/_sources/docs/review/cycleGAN.md b/_sources/docs/review/cycleGAN.md
index 883f125f..147d2da5 100755
--- a/_sources/docs/review/cycleGAN.md
+++ b/_sources/docs/review/cycleGAN.md
@@ -1,297 +1,297 @@
-```{admonition} Information
-- **Title:** Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks (ICCV 2017)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/1703.10593](https://arxiv.org/abs/1703.10593)
- - Code: [TensorFlow CycleGAN tutorial](https://www.tensorflow.org/tutorials/generative/cyclegan?hl=ko)
- - [[논문리뷰] Cycle GAN: Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks](https://velog.io/@sjinu/CycleGAN)
- [CycleGAN을 만든 사람이 한국인이라고? CycleGAN 논문 뜯어보기](https://comlini8-8.tistory.com/9)
-
-- **Author:** KwangSu Mun
-
-- **Author:** ChangHwan Lee
-
-- **Last updated on May. 16, 2024**
-```
-
-# CycleGAN
-
-## Abstract
-
-- Image-to-image translation 은 한 이미지 도메인을 다른 이미지 도메인으로 변환시키는 computer vision 의 한 task 입니다.
-- Image-to-image translation 은 보통 input과 output이 짝이 지어진 상태에서 학습하지만 짝이 지어진 학습 데이터를 얻는 것이 어렵습니다. 따라서 CycleGAN 논문에서는 짝지어진 예시 없이 $X$ 라는 domain 으로부터 얻은 이미지를 target domain $Y$ 로 바꾸는 방법을 제안합니다. 이 연구는 Adversarial loss 를 활용해, $G(x)$ 로부터 생성된 이미지 데이터의 분포와 $Y$ 로부터의 이미지 데이터의 분포가 구분이 불가능하도록 함수 $G: X -> Y$ 를 학습시키는 것을 목표로 합니다. 더불어, $X -> Y$ 로의 mapping 에 제약을 가해서 원하는 이미지를 강제하기 위해 $F: Y -> X$ 와 같은 역방향 매핑을 함께 진행합니다. 즉, $F(G(x))$ 가 $X$ 와 유사해지도록 강제하는 cycle consistency loss 를 도입했습니다.
-- 결과적으로 collection style transfer, object transfiguration, season transfer, photo enhancement 등의 task 에서 이미지 pair 가 존재하지 않는 상태에서 우수한 결과를 보여줬다고 합니다.
-
-
-## Related work
-
-- GAN : adversarial loss 를 사용하여 이미지를 생성하는 방법입니다.
-- Image-to-Image Translation : 특정 image 를 input 로 넣으면 그에 맞는 image 가 output 로 나오는 방법입니다. pix2pix 같은 방법이 있으며 상세한 설명은 아래의 Background section 을 참조하면 됩니다.
-- Unpaired Image-to-Image Translation : 위의 Image-to-Image Translation 에서 pair 가 아닌 데이터로 학습해서 Image-to-Image Translation 과 같은 input, output 결과가 나오도록 만드는 방법입니다.
-- Cycle Consistency : 한 이미지를 다른 도메인으로 변환하고 다시 원래 도메인으로 변환할 때 처음의 원본으로 되도록 하여 일종의 순환(사이클)을 만드는 방법으로 학습 프로세스가 더 안정적이게 되고, 이미지 간의 일관성을 보다 잘 유지할 수 있도록 만듭니다. (ex) $X$ 를 모델 $A$ 에 거쳐 $Y$ 로 만든 뒤 다시 모델 $B$ 를 거쳐 $X$ 로 복구)
-- Neural Style Transfer : pre-trained 된 deep features 의 Gram matrix statistics 일치를 기반으로 이미지 content 를 다른 image 의 스타일과 결합하여 새로운 이미지를 합성하는 방법입니다.
-
-
-## Background
-
-### Image-to-Image Translation
-
-:::{figure-md}
-
-
-image-to-image translation
-:::
-
-
-Image-to-image translation 은 input image 를 다른 스타일, 속성, 구조 등을 가진 output image 로 변환하는 task 입니다. 예를 들어 사진을 그림으로 변환한다거나, 낮에 찍은 사진을 밤에 찍은 것 처럼 변환하는 것을 말합니다. 흔히 translation 은 input 과 output 로 짝이 지어진 데이터를 바탕으로 학습이 이루어져 있었는데요. 짝이 지어진 사진 데이터를 얻는 것은 어렵고 값이 비싼 일이 됩니다.
-
-:::{figure-md}
-
-
-paired and unpaired data
-:::
-
- 이 논문에서는 input image와 output image가 일대일로 짝지어지지 않은 상태에서 하나의 image 모음의 특성을 캡쳐하고, 이러한 특성을 다른 image 모음으로 변환할 수 있는 방법을 제시합니다.
-GAN은 domain $X$ 에 이미지 한 세트, domain $Y$ 에 이미지 한 세트가 제공되고, model 의 output 과 $Y$ 가 discriminator 에 의해 구별할 수 없도록 모델 $G: X -> Y$ 를 학습합니다. 하지만, 이것이 개별 입력 $x$ 와 출력 $y$ 가 무조건 유의미하게 쌍을 이룬다는 것을 뜻하지는 않습니다. $G$ 가 생성할 수 있는 image 에는 무한한 경우의 수가 있기 때문에 종종 mode collapse 현상이 일어나기도 합니다.
-
-### Mode Collapse
-
-:::{figure-md}
-
-
-mode collapsing 출처: http://dl-ai.blogspot.com/2017/08/gan-problems.html
-:::
-
-어떤 input image 든 모두 같은 output image 로 매핑하면서 최적화에 실패하는 현상입니다. 이 현상은 generator 입장에서, discriminator 가 이 사진이 진짜 $Y$인지 가짜인 $\hat{Y}$인지 구별하는 것을 '**속이기만**' 하면 되기 때문에 우리의 목적과 전혀 상관이 없는 데이터를 generator 가 만들더라도 문제가 생기지 않아서 발생합니다.
-- 참고: [http://dl-ai.blogspot.com/2017/08/gan-problems.html](http://dl-ai.blogspot.com/2017/08/gan-problems.html)
-
-이러한 이슈로 인해 추가 objective function 이 필요해졌습니다. 따라서 translation task 는 영어 -> 프랑스어 -> 영어로 번역했을 때 원래 문장에 다시 도달하는 것처럼, $X --> Y --> X'$ 로 돌아가는 과정에서 $X$ 와 $X'$ 이 최대한 같아야 한다는 의미의 cycle consistency 이라는 속성을 이용합니다. 필요한 목적식을 간단하게 정리하면 다음과 같습니다.
-
-- 정방향, 역방향 adversarial loss: $X -> Y & Y -> X$
-- Cycle consistency loss: $X $\approx$ F(G(x))$
-
-## Method
-
-
-
-### Overview
-
-:::{figure-md}
-
-
-CycleGAN 도식화 자료
-:::
-
-- 목표: $X$, $Y$ 를 mapping 하는 function 을 학습하는 것
-- 용어 정리
- - data 분포를 $x ~ p_{data}(x)$, $y ~ p_{data}(y)$ 로 표기
- - $G : X -> Y$, $F: Y -> X$ 는 generator
- - $D_X$, $D_Y$ 는 discriminator
- - $D_X$ 는 $X$ 와 $F(y)$ 그리고 $D_Y$ 는 $y$ 와 $G(x)$ 를 구분하고, 다음과 같이 두 개의 목적식으로 학습합니다.
- - adversarial loss: 생성된 이미지의 분포를 대상 domain 의 data distribution 과 일치시키기 위한 것.
- - cycle consistency loss: 학습된 mapping $G$ 와 $F$ 가 서로 모순되는 것을 방지하기 위한 것.
-
-### Adversarial Loss
-
-$G: X -> Y$ 와 $D_Y$ 에 대한 목적식은 다음과 같습니다.
-
-:::{figure-md} $\mathcal{L}_{GAN}$ Loss function
-
-
-$\mathcal{L}_{GAN}$ Loss function (source: https://arxiv.org/abs/1703.10593)
-:::
-
-이는 GAN 에서 쓰이는 loss function 를 사용하지만, 차이점이 있다면 $X -> Y$ 로 갈 때와 $Y -> X$ 로 갈 때 총 두 개의 수식이 나옵니다. 다시 말해, $F: Y -> X$ 와 $D_X$ 에 대해서도 $F$, $D_X$ 를 넣은 동일한 수식을 사용합니다.
-
-### Cycle Consistency Loss
-
-:::{figure-md}
-
-
-cycle consistency loss function
-:::
-
-- 앞서 말했듯이, mapping distribution 에 제한을 두어 최대한 우리가 원하는 이미지를 생성하기 위해 사용되는 loss function 입니다.
-- 예비 실험에서 L1 norm 을 adversarial loss 로 대체해봤는데, 성능 향상을 관찰할 수 없었다고 합니다.
-- cycle consistency loss 를 통해 유도된 결과는 아래 그림에서 볼 수 있습니다.
-
-:::{figure-md}
-
-
-cycle consistency loss result
-:::
-
-### Full Objective
-
-:::{figure-md}
-
-
-full objective function
-:::
-
-이때 consistency loss 앞에 붙은 가중치 $\lambda$ 는 GAN Loss 와의 상대적 중요도에 따라 결정됩니다.
-
-
-## Implementation
-
-### Network Architecture
-
-Baseline architecture 로서 neural style transfer 와 super-resolution 에 인상적인 결과를 보여준 논문(https://arxiv.org/abs/1603.08155) 에서 사용된 구조를 채택합니다.
-
-- 3 개의 convolutions and several residual blocks,
-- fractionally-strided convolution with stride 1/2,
-- feature 를 RGB 로 매핑하는 one convolution layer.
-- 6 blocks for 128 x 128 image // 9 blocks for 256 x 256 및 고해상도 학습 image.
-- instance normalization
-
-### Training details
-
-모델 학습을 안정화시키기 위해 아래와 같은 테크닉을 추가로 적용합니다.
-
-- Loss function $\mathcal{L}_{GAN}$ 에서 nll loss 를 least-squared loss 로 변경
-- 생성된 이미지 중 가장 최근의 50개를 따로 저장해 discriminator 가 이를 한꺼번에 분류(모델 진동을 최소화하기 위함)
-
-### (참고) least-square loss 추가 설명
-
-- [https://velog.io/@sjinu/CycleGAN](https://velog.io/@sjinu/CycleGAN)
--[https://ysbsb.github.io/gan/2022/02/23/LSGAN.html](https://ysbsb.github.io/gan/2022/02/23/LSGAN.html)
-
-LSGAN 을 참고했으며, 논문에서는 generator 업데이트시 더 안정적인 학습과 quality 높은 결과를 생성한다고 합니다.
-
-:::{figure-md}
-
-
-출처: https://velog.io/@sjinu/CycleGAN
-:::
-
-(원래 Discriminator 는 이보다 더 고차원이지만) 간략히 2차원을 표방하면 결정경계를 위와 같이 나타낼 수 있습니다. 윗 쪽이 가짜 영역, 아래 쪽이 진짜 영역입니다 이 때, 아래에 보면 진짜 데이터 샘플과 거리가 먼 가짜 데이터 샘플이 존재합니다. 즉, NLL Loss 를 사용한다면, Generator 의 입장에서는 이미 Discriminator 를 잘 속이고 있기 때문에 학습할 필요가 없게 됩니다. 즉, Vanishing Gradient 현상이 일어나기 때문에, Discriminator 를 잘 속인다는 이유만으로, 안 좋은 샘플을 생성하는 것에 대해 패널티를 줄 수가 없게 됩니다. 이 때, LSGAN 을 사용한다면 실제 데이터 분포와 가짜 데이터 샘플이 거리가 먼 것에 대해서도 패널티를 주게 됩니다.
-
-:::{figure-md}
-
-
-출처: https://velog.io/@sjinu/CycleGAN
-:::
-
-그리고 모든 실험에 대해서 $\lambda$ 를 10 으로 설정하고, batch size = 1, 그리고 Adam solver 를 사용했습니다. 첫 100 epoch 동안에는 learning rate 를 0.0002 로 설정했고, 다음 100 epoch 마다 0 으로 조금식 수렴하게 scheduling 하였습니다.
-
-
-## Evaluation
-
-모델 성능 평가를 위해 아래와 같은 세 개의 지표를 기반으로 기존의 CoGAN, SimGAN, pix2pix baseline 모델과 비교했습니다. 그 외 loss function 에 대한 ablation study 도 수행했습니다.
-
-1. AMT perceptual studies: 참가자들은 실제 사진이미지 vs 가짜 이미지, 또는 지도 이미지 vs 가짜이미지에 노출된 후 진짜라고 생각되는 이미지를 선택하게 합니다.
-2. FCN Score: 1번 study 가 테스트에 있어 매우 좋은 기준임에도 불구하고, 이번에는 사람을 대상으로 한 실험이 아닌 양적인 기준을 사용합니다. 우선적으로 FCN 모델을 통해 생성된 사진에 대한 레이블 맵을 예측합니다. 이 레이블 맵은 아래에서 설명하는 standard semantic segmentation metric 을 사용하여 input ground truth label 과 비교할 수 있습니다. "도로 상의 자동차"라는 label 에서 사진 이미지를 생성하면, 생성된 이미지에 적용된 FCN 이 "도로 상의 자동차"를 감지하면 성공한 것입니다.
-3. Semantic segmentation metric: pixel 당 정확도, class 당 정확도, 그리고 IoU(Intersection-Over-Union) 를 포함하는 cityscapes benchmark 의 표준 metric 를 사용합니다.
-
-
-### Comparison against baselines
-
-:::{figure-md}
-
-
-Comparison aginst baselines
-:::
-
-타 baseline 모델보다 성능이 좋을 뿐만 아니라, fully supervised 모델인 pix2pix 와 비슷한 품질의 translation 성능을 보여줍니다.
-
-* AMT Score *
-
-:::{figure-md}
-
-
-AMT score
-:::
-
-Table 1 은 AMT perceptual realism task 에 대한 성능을 나타냅니다. CycleGAN 의 지도에서 항공 사진, 그리고 항공 사진에서 지도 translation 결과에서 약 1/4의 참가자를 속일 수 있었던 반면에 그 외 모든 baseline 모델은 참가자를 거의 속일 수 없었습니다.
-
-* FCN Score *
-
-:::{figure-md}
-
-
-FCN scores
-:::
-
-Table 2, Table 3 는 각각 도시 풍경에 대한 label -> photo, 그리고 photo -> label translation task 의 성능을 보여줍니다. 두 경우 모두 CycleGAN 이 baseline 들의 성능을 능가합니다.
-
-### Ablation Study - Analysis of the loss function
-
-:::{figure-md}
-
-
-Analysis of loss function
-:::
-
-GAN 과 cycle consistency loss 의 중요성을 보여주는 ablation study 입니다. GAN loss 그리고 cycle consistency loss 를 각각 제거하면 성능이 크게 저하되는 부분을 확인할 수 있습니다. 또한 한쪽 방향에 대해서만 GAN + forward cycle 만 돌렸을 때와 GAN + backward cycle 만 돌렸을 때 학습의 불안정성을 보이고, mode collapse 를 유발하는 것을 확인할 수 있었다고 합니다.
-
-### Image reconstruction quality
-
-:::{figure-md}
-
-
-Results on Cycle Consistency
-:::
-
-Reconctructed 된 이미지 예시들입니다. 지도 -> 항공 사진과 같이 하나의 도메인이 훨씬 더 다양한 정보를 나타내는 경우에도 재구성된 이미지가 훈련 및 테스트 시 모두 원래 입력 $x$ 에 가깝게 복원되는 경우가 많았습니다.
-
-### Additional results on paired datasets
-
-:::{figure-md}
-
-
-Additional results on paired datasets
-:::
-
-Figure 8 은 CMP Facade Database 의 건축 레이블 <-> 사진, 그리고 UT Zapoos50K dataset 의 edge <-> 신발 을 비롯하여 pix2pix 에 사용된 paired dataset 에 대한 몇 가지 예시 결과를 보여줍니다. CycleGAN 이 생성한 이미지 품질이 fully supervised 된 pix2pix 에 대응하는 성능을 보여주는 것을 확인할 수 있습니다.
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
- : shallow depth of field: 얕은 초점. 초점이 맞은 대상과 배경이 흐릿하게 보이는 효과. 인물 사진 / 작품 사진에 활용. 구목하고자 하는 대상을 강조하기 위해 활용. -->
- 따라서 source domain은 스마트폰의 **작은 조리개로 깊은 초점** \--> target은 **조리개가 커서 얕은 초점**.-->
-
-
-
-
-## Limitations and Discusssion
-
-:::{figure-md}
-
-
-Limitations and Discussion
-:::
-
-이 방법은 많은 경우에 흥미로운 결과를 얻을 수 있지만, 결과가 균일하게 좋은 것은 아니었습니다.
-
-1. 개 <-> 고양이 translation task 와 같은 경우는 input image 에서 최소한의 변화만 주어, 사람이 보았을 때 실제로 변화가 안되는 경우도 있었고, 형체가 애매해진 경우도 있었습니다. 이를 보았을 때, geometry 가 반영되는 눈, 코, 입 등의 세부적인 구조에 대한 정확히 구현하는데 한계가 있어 보입니다.
-2. 말 <--> 얼룩말 translation 예제의 경우, 말은 사람이 타는 모습이 많았는데 얼룩말의 경우는 사람이 타는 사진이 없다보니, 사람 뿐만 아니라 배경도 얼룩 그림을 그리거나 단순히 얼룩말에서 노랗게 칠한 경우가 존재합니다.
-3. 때때로 photo -> image translation task 에서 나무와 건물의 label 을 바꾸는 경우도 있었습니다.
- 이러한 모호성을 해결하려면 weak semantic supervision 이 필요할 수도 있을 것 같습니다.
-
-그럼에도 불구하고 해당 논문은 완전히 paired 되지 않은 "unsupervised" setting 에서도 image translation task 의 한계를 늘리는데 기여합니다.
+```{admonition} Information
+- **Title:** Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks (ICCV 2017)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/1703.10593](https://arxiv.org/abs/1703.10593)
+ - Code: [TensorFlow CycleGAN tutorial](https://www.tensorflow.org/tutorials/generative/cyclegan?hl=ko)
+ - [[논문리뷰] Cycle GAN: Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks](https://velog.io/@sjinu/CycleGAN)
+ [CycleGAN을 만든 사람이 한국인이라고? CycleGAN 논문 뜯어보기](https://comlini8-8.tistory.com/9)
+
+- **Author:** KwangSu Mun
+
+- **Author:** ChangHwan Lee
+
+- **Last updated on May. 16, 2024**
+```
+
+# CycleGAN
+
+## Abstract
+
+- Image-to-image translation 은 한 이미지 도메인을 다른 이미지 도메인으로 변환시키는 computer vision 의 한 task 입니다.
+- Image-to-image translation 은 보통 input과 output이 짝이 지어진 상태에서 학습하지만 짝이 지어진 학습 데이터를 얻는 것이 어렵습니다. 따라서 CycleGAN 논문에서는 짝지어진 예시 없이 $X$ 라는 domain 으로부터 얻은 이미지를 target domain $Y$ 로 바꾸는 방법을 제안합니다. 이 연구는 Adversarial loss 를 활용해, $G(x)$ 로부터 생성된 이미지 데이터의 분포와 $Y$ 로부터의 이미지 데이터의 분포가 구분이 불가능하도록 함수 $G: X -> Y$ 를 학습시키는 것을 목표로 합니다. 더불어, $X -> Y$ 로의 mapping 에 제약을 가해서 원하는 이미지를 강제하기 위해 $F: Y -> X$ 와 같은 역방향 매핑을 함께 진행합니다. 즉, $F(G(x))$ 가 $X$ 와 유사해지도록 강제하는 cycle consistency loss 를 도입했습니다.
+- 결과적으로 collection style transfer, object transfiguration, season transfer, photo enhancement 등의 task 에서 이미지 pair 가 존재하지 않는 상태에서 우수한 결과를 보여줬다고 합니다.
+
+
+## Related work
+
+- GAN : adversarial loss 를 사용하여 이미지를 생성하는 방법입니다.
+- Image-to-Image Translation : 특정 image 를 input 로 넣으면 그에 맞는 image 가 output 로 나오는 방법입니다. pix2pix 같은 방법이 있으며 상세한 설명은 아래의 Background section 을 참조하면 됩니다.
+- Unpaired Image-to-Image Translation : 위의 Image-to-Image Translation 에서 pair 가 아닌 데이터로 학습해서 Image-to-Image Translation 과 같은 input, output 결과가 나오도록 만드는 방법입니다.
+- Cycle Consistency : 한 이미지를 다른 도메인으로 변환하고 다시 원래 도메인으로 변환할 때 처음의 원본으로 되도록 하여 일종의 순환(사이클)을 만드는 방법으로 학습 프로세스가 더 안정적이게 되고, 이미지 간의 일관성을 보다 잘 유지할 수 있도록 만듭니다. (ex) $X$ 를 모델 $A$ 에 거쳐 $Y$ 로 만든 뒤 다시 모델 $B$ 를 거쳐 $X$ 로 복구)
+- Neural Style Transfer : pre-trained 된 deep features 의 Gram matrix statistics 일치를 기반으로 이미지 content 를 다른 image 의 스타일과 결합하여 새로운 이미지를 합성하는 방법입니다.
+
+
+## Background
+
+### Image-to-Image Translation
+
+:::{figure-md}
+
+
+image-to-image translation
+:::
+
+
+Image-to-image translation 은 input image 를 다른 스타일, 속성, 구조 등을 가진 output image 로 변환하는 task 입니다. 예를 들어 사진을 그림으로 변환한다거나, 낮에 찍은 사진을 밤에 찍은 것 처럼 변환하는 것을 말합니다. 흔히 translation 은 input 과 output 로 짝이 지어진 데이터를 바탕으로 학습이 이루어져 있었는데요. 짝이 지어진 사진 데이터를 얻는 것은 어렵고 값이 비싼 일이 됩니다.
+
+:::{figure-md}
+
+
+paired and unpaired data
+:::
+
+ 이 논문에서는 input image와 output image가 일대일로 짝지어지지 않은 상태에서 하나의 image 모음의 특성을 캡쳐하고, 이러한 특성을 다른 image 모음으로 변환할 수 있는 방법을 제시합니다.
+GAN은 domain $X$ 에 이미지 한 세트, domain $Y$ 에 이미지 한 세트가 제공되고, model 의 output 과 $Y$ 가 discriminator 에 의해 구별할 수 없도록 모델 $G: X -> Y$ 를 학습합니다. 하지만, 이것이 개별 입력 $x$ 와 출력 $y$ 가 무조건 유의미하게 쌍을 이룬다는 것을 뜻하지는 않습니다. $G$ 가 생성할 수 있는 image 에는 무한한 경우의 수가 있기 때문에 종종 mode collapse 현상이 일어나기도 합니다.
+
+### Mode Collapse
+
+:::{figure-md}
+
+
+mode collapsing 출처: http://dl-ai.blogspot.com/2017/08/gan-problems.html
+:::
+
+어떤 input image 든 모두 같은 output image 로 매핑하면서 최적화에 실패하는 현상입니다. 이 현상은 generator 입장에서, discriminator 가 이 사진이 진짜 $Y$인지 가짜인 $\hat{Y}$인지 구별하는 것을 '**속이기만**' 하면 되기 때문에 우리의 목적과 전혀 상관이 없는 데이터를 generator 가 만들더라도 문제가 생기지 않아서 발생합니다.
+- 참고: [http://dl-ai.blogspot.com/2017/08/gan-problems.html](http://dl-ai.blogspot.com/2017/08/gan-problems.html)
+
+이러한 이슈로 인해 추가 objective function 이 필요해졌습니다. 따라서 translation task 는 영어 -> 프랑스어 -> 영어로 번역했을 때 원래 문장에 다시 도달하는 것처럼, $X --> Y --> X'$ 로 돌아가는 과정에서 $X$ 와 $X'$ 이 최대한 같아야 한다는 의미의 cycle consistency 이라는 속성을 이용합니다. 필요한 목적식을 간단하게 정리하면 다음과 같습니다.
+
+- 정방향, 역방향 adversarial loss: $X -> Y & Y -> X$
+- Cycle consistency loss: $X $\approx$ F(G(x))$
+
+## Method
+
+
+
+### Overview
+
+:::{figure-md}
+
+
+CycleGAN 도식화 자료
+:::
+
+- 목표: $X$, $Y$ 를 mapping 하는 function 을 학습하는 것
+- 용어 정리
+ - data 분포를 $x ~ p_{data}(x)$, $y ~ p_{data}(y)$ 로 표기
+ - $G : X -> Y$, $F: Y -> X$ 는 generator
+ - $D_X$, $D_Y$ 는 discriminator
+ - $D_X$ 는 $X$ 와 $F(y)$ 그리고 $D_Y$ 는 $y$ 와 $G(x)$ 를 구분하고, 다음과 같이 두 개의 목적식으로 학습합니다.
+ - adversarial loss: 생성된 이미지의 분포를 대상 domain 의 data distribution 과 일치시키기 위한 것.
+ - cycle consistency loss: 학습된 mapping $G$ 와 $F$ 가 서로 모순되는 것을 방지하기 위한 것.
+
+### Adversarial Loss
+
+$G: X -> Y$ 와 $D_Y$ 에 대한 목적식은 다음과 같습니다.
+
+:::{figure-md} $\mathcal{L}_{GAN}$ Loss function
+
+
+$\mathcal{L}_{GAN}$ Loss function (source: https://arxiv.org/abs/1703.10593)
+:::
+
+이는 GAN 에서 쓰이는 loss function 를 사용하지만, 차이점이 있다면 $X -> Y$ 로 갈 때와 $Y -> X$ 로 갈 때 총 두 개의 수식이 나옵니다. 다시 말해, $F: Y -> X$ 와 $D_X$ 에 대해서도 $F$, $D_X$ 를 넣은 동일한 수식을 사용합니다.
+
+### Cycle Consistency Loss
+
+:::{figure-md}
+
+
+cycle consistency loss function
+:::
+
+- 앞서 말했듯이, mapping distribution 에 제한을 두어 최대한 우리가 원하는 이미지를 생성하기 위해 사용되는 loss function 입니다.
+- 예비 실험에서 L1 norm 을 adversarial loss 로 대체해봤는데, 성능 향상을 관찰할 수 없었다고 합니다.
+- cycle consistency loss 를 통해 유도된 결과는 아래 그림에서 볼 수 있습니다.
+
+:::{figure-md}
+
+
+cycle consistency loss result
+:::
+
+### Full Objective
+
+:::{figure-md}
+
+
+full objective function
+:::
+
+이때 consistency loss 앞에 붙은 가중치 $\lambda$ 는 GAN Loss 와의 상대적 중요도에 따라 결정됩니다.
+
+
+## Implementation
+
+### Network Architecture
+
+Baseline architecture 로서 neural style transfer 와 super-resolution 에 인상적인 결과를 보여준 논문(https://arxiv.org/abs/1603.08155) 에서 사용된 구조를 채택합니다.
+
+- 3 개의 convolutions and several residual blocks,
+- fractionally-strided convolution with stride 1/2,
+- feature 를 RGB 로 매핑하는 one convolution layer.
+- 6 blocks for 128 x 128 image // 9 blocks for 256 x 256 및 고해상도 학습 image.
+- instance normalization
+
+### Training details
+
+모델 학습을 안정화시키기 위해 아래와 같은 테크닉을 추가로 적용합니다.
+
+- Loss function $\mathcal{L}_{GAN}$ 에서 nll loss 를 least-squared loss 로 변경
+- 생성된 이미지 중 가장 최근의 50개를 따로 저장해 discriminator 가 이를 한꺼번에 분류(모델 진동을 최소화하기 위함)
+
+### (참고) least-square loss 추가 설명
+
+- [https://velog.io/@sjinu/CycleGAN](https://velog.io/@sjinu/CycleGAN)
+-[https://ysbsb.github.io/gan/2022/02/23/LSGAN.html](https://ysbsb.github.io/gan/2022/02/23/LSGAN.html)
+
+LSGAN 을 참고했으며, 논문에서는 generator 업데이트시 더 안정적인 학습과 quality 높은 결과를 생성한다고 합니다.
+
+:::{figure-md}
+
+
+출처: https://velog.io/@sjinu/CycleGAN
+:::
+
+(원래 Discriminator 는 이보다 더 고차원이지만) 간략히 2차원을 표방하면 결정경계를 위와 같이 나타낼 수 있습니다. 윗 쪽이 가짜 영역, 아래 쪽이 진짜 영역입니다 이 때, 아래에 보면 진짜 데이터 샘플과 거리가 먼 가짜 데이터 샘플이 존재합니다. 즉, NLL Loss 를 사용한다면, Generator 의 입장에서는 이미 Discriminator 를 잘 속이고 있기 때문에 학습할 필요가 없게 됩니다. 즉, Vanishing Gradient 현상이 일어나기 때문에, Discriminator 를 잘 속인다는 이유만으로, 안 좋은 샘플을 생성하는 것에 대해 패널티를 줄 수가 없게 됩니다. 이 때, LSGAN 을 사용한다면 실제 데이터 분포와 가짜 데이터 샘플이 거리가 먼 것에 대해서도 패널티를 주게 됩니다.
+
+:::{figure-md}
+
+
+출처: https://velog.io/@sjinu/CycleGAN
+:::
+
+그리고 모든 실험에 대해서 $\lambda$ 를 10 으로 설정하고, batch size = 1, 그리고 Adam solver 를 사용했습니다. 첫 100 epoch 동안에는 learning rate 를 0.0002 로 설정했고, 다음 100 epoch 마다 0 으로 조금식 수렴하게 scheduling 하였습니다.
+
+
+## Evaluation
+
+모델 성능 평가를 위해 아래와 같은 세 개의 지표를 기반으로 기존의 CoGAN, SimGAN, pix2pix baseline 모델과 비교했습니다. 그 외 loss function 에 대한 ablation study 도 수행했습니다.
+
+1. AMT perceptual studies: 참가자들은 실제 사진이미지 vs 가짜 이미지, 또는 지도 이미지 vs 가짜이미지에 노출된 후 진짜라고 생각되는 이미지를 선택하게 합니다.
+2. FCN Score: 1번 study 가 테스트에 있어 매우 좋은 기준임에도 불구하고, 이번에는 사람을 대상으로 한 실험이 아닌 양적인 기준을 사용합니다. 우선적으로 FCN 모델을 통해 생성된 사진에 대한 레이블 맵을 예측합니다. 이 레이블 맵은 아래에서 설명하는 standard semantic segmentation metric 을 사용하여 input ground truth label 과 비교할 수 있습니다. "도로 상의 자동차"라는 label 에서 사진 이미지를 생성하면, 생성된 이미지에 적용된 FCN 이 "도로 상의 자동차"를 감지하면 성공한 것입니다.
+3. Semantic segmentation metric: pixel 당 정확도, class 당 정확도, 그리고 IoU(Intersection-Over-Union) 를 포함하는 cityscapes benchmark 의 표준 metric 를 사용합니다.
+
+
+### Comparison against baselines
+
+:::{figure-md}
+
+
+Comparison aginst baselines
+:::
+
+타 baseline 모델보다 성능이 좋을 뿐만 아니라, fully supervised 모델인 pix2pix 와 비슷한 품질의 translation 성능을 보여줍니다.
+
+* AMT Score *
+
+:::{figure-md}
+
+
+AMT score
+:::
+
+Table 1 은 AMT perceptual realism task 에 대한 성능을 나타냅니다. CycleGAN 의 지도에서 항공 사진, 그리고 항공 사진에서 지도 translation 결과에서 약 1/4의 참가자를 속일 수 있었던 반면에 그 외 모든 baseline 모델은 참가자를 거의 속일 수 없었습니다.
+
+* FCN Score *
+
+:::{figure-md}
+
+
+FCN scores
+:::
+
+Table 2, Table 3 는 각각 도시 풍경에 대한 label -> photo, 그리고 photo -> label translation task 의 성능을 보여줍니다. 두 경우 모두 CycleGAN 이 baseline 들의 성능을 능가합니다.
+
+### Ablation Study - Analysis of the loss function
+
+:::{figure-md}
+
+
+Analysis of loss function
+:::
+
+GAN 과 cycle consistency loss 의 중요성을 보여주는 ablation study 입니다. GAN loss 그리고 cycle consistency loss 를 각각 제거하면 성능이 크게 저하되는 부분을 확인할 수 있습니다. 또한 한쪽 방향에 대해서만 GAN + forward cycle 만 돌렸을 때와 GAN + backward cycle 만 돌렸을 때 학습의 불안정성을 보이고, mode collapse 를 유발하는 것을 확인할 수 있었다고 합니다.
+
+### Image reconstruction quality
+
+:::{figure-md}
+
+
+Results on Cycle Consistency
+:::
+
+Reconctructed 된 이미지 예시들입니다. 지도 -> 항공 사진과 같이 하나의 도메인이 훨씬 더 다양한 정보를 나타내는 경우에도 재구성된 이미지가 훈련 및 테스트 시 모두 원래 입력 $x$ 에 가깝게 복원되는 경우가 많았습니다.
+
+### Additional results on paired datasets
+
+:::{figure-md}
+
+
+Additional results on paired datasets
+:::
+
+Figure 8 은 CMP Facade Database 의 건축 레이블 <-> 사진, 그리고 UT Zapoos50K dataset 의 edge <-> 신발 을 비롯하여 pix2pix 에 사용된 paired dataset 에 대한 몇 가지 예시 결과를 보여줍니다. CycleGAN 이 생성한 이미지 품질이 fully supervised 된 pix2pix 에 대응하는 성능을 보여주는 것을 확인할 수 있습니다.
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ : shallow depth of field: 얕은 초점. 초점이 맞은 대상과 배경이 흐릿하게 보이는 효과. 인물 사진 / 작품 사진에 활용. 구목하고자 하는 대상을 강조하기 위해 활용. -->
+ 따라서 source domain은 스마트폰의 **작은 조리개로 깊은 초점** \--> target은 **조리개가 커서 얕은 초점**.-->
+
+
+
+
+## Limitations and Discusssion
+
+:::{figure-md}
+
+
+Limitations and Discussion
+:::
+
+이 방법은 많은 경우에 흥미로운 결과를 얻을 수 있지만, 결과가 균일하게 좋은 것은 아니었습니다.
+
+1. 개 <-> 고양이 translation task 와 같은 경우는 input image 에서 최소한의 변화만 주어, 사람이 보았을 때 실제로 변화가 안되는 경우도 있었고, 형체가 애매해진 경우도 있었습니다. 이를 보았을 때, geometry 가 반영되는 눈, 코, 입 등의 세부적인 구조에 대한 정확히 구현하는데 한계가 있어 보입니다.
+2. 말 <--> 얼룩말 translation 예제의 경우, 말은 사람이 타는 모습이 많았는데 얼룩말의 경우는 사람이 타는 사진이 없다보니, 사람 뿐만 아니라 배경도 얼룩 그림을 그리거나 단순히 얼룩말에서 노랗게 칠한 경우가 존재합니다.
+3. 때때로 photo -> image translation task 에서 나무와 건물의 label 을 바꾸는 경우도 있었습니다.
+ 이러한 모호성을 해결하려면 weak semantic supervision 이 필요할 수도 있을 것 같습니다.
+
+그럼에도 불구하고 해당 논문은 완전히 paired 되지 않은 "unsupervised" setting 에서도 image translation task 의 한계를 늘리는데 기여합니다.
diff --git a/_sources/docs/review/dalle.md b/_sources/docs/review/dalle.md
index 05066e68..8cf8662f 100755
--- a/_sources/docs/review/dalle.md
+++ b/_sources/docs/review/dalle.md
@@ -1,243 +1,243 @@
-```{admonition} Information
-- **Title:** Zero-shot text-to-image generation (ICML 2021)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2102.12092](https://arxiv.org/abs/2102.12092)
- - Code: [Unofficial-PyTorch](https://github.com/lucidrains/DALLE-pytorch)
- - Code: [Official](https://github.com/openai/DALL-E)
-
-- **Author:** Donggeun "Sean" Ko
-
-- **Last updated on June 22 2023**
-```
-
-# DALL-E
-
-## 1. Introduction
-
-- GPT-3 기반 모델이며 120억개 parameter 수와 2.5억 데이터 (text,image) set으로 학습
-- Autoregressive 한 모델링을 통하여 image와 text를 이용하여 text-to-image generation task를 수행
-- 2021년 기준 zero-shot SOTA performance 달성
-- 아래 그림과 같이 text input에 따라 diverse한 이미지 생성
-
-
-:::{figure-md}
-
-
-Images generated using DALL-E
-:::
-
-:::{figure-md}
-
-
-Images generated using DALL-E
-:::
-
-
-## 2. Background
-- GPT-3와 VQ-VAE를 활용하여 나온 논문.
-- VQ-VAE를 먼저 학습하고, Autoregressive Transformer을 순차적으로 학습하여 zero-shot architecture을 구축.
-
-### GPT-3
-- Autoregressive Language Model며 few-shot learning을 통해 fine-tuning 없이 높은 성능을 냄 *(fine-tuning 을 할 수는 있지만 본 논문에서는 task-agnostic performance 에 중점을 맞춰 Few shot을 함)
-- GPT-3 는 transformer에서 decoder 부분만 사용 (GPT-2 와 유사한 구조를 가지고 있음 )
-- 약 1750억 parameter 개수의 모델
-
-
-:::{figure-md}
-
-
-Transformer 아키텍쳐 \ (source: https://arxiv.org/pdf/2005.14165.pdf)
-
-:::
-
-:::{figure-md}
-
-
-GPT 3 Animation \ (source: https://jalammar.github.io/how-gpt3-works-visualizations-animations/)
-:::
-
-
-### VQ-VAE
-- Encoder에서 나온 output은 discrete 하며 posterior 과 prior 이 categorical distribution을 갖는다고 가정함.
-- CNN (encoder) 을 거친 각 D차원의 위치에 $H \times W$ 그리드로 이미지를 나누고 embedding space (Codebook) 에서 $𝑒_1$부터 $𝑒_𝑘$ 중에서 가까운 1개 embedding code로 변환.
-- Quantization: Encoding output $z_{e}(x)$ representation 과 유사한 codebook embedding $e_j$ 를 찾아서 $k$ 값을 부여함.
-
-:::{figure-md}
-
-
-VQ-VAE 아키텍쳐, Loss 함수 \ (source: https://velog.io/@p2yeong/Understanding-VQ-VAE-DALL-E-Explained-Pt.-1)
-
-:::
-
-
-
-:::{figure-md}
-
-
-Quantization of VQ-VAE
-:::
-
-
-
-## 3. Methodology
-
-## Limitation of Previous Works
-
-1. Memory/Bottleneck Issue
-- 각 Image에서 나오는 pixel을 직접적으로 image token을 사용하면 고화질 이미지일수록 너무 많은 메모리량이 필요해서 “비효율적”
-
-
-2. Short-range dependence modeling between pixels
-- Model들 중 Likelihood function을 objective function으로 사용하면 short-range dependency를 우선적으로 볼 것이며 low-frequency 보다 high-frequency detail에 더욱 집중하게 됨.
-- Low frequency 는 visually recognizable해서 시각적으로 더 도움이 되는 부분
-
-이 2가지 문제점을 극복하고자 Two-stage training process 제안
-
-
-## DALL-E Overview
-### Stage 1: Training VQ-VAE
-- **Discrete VAE**를 이용하여 $256 \times 256$ RGB image \rightarrow $32 \times 32$ 이미지 토큰으로 압축
-- 각 이미지 토큰은 8,192개의 code 값 중에 하나 배정
-- 이미지의 **quality 손실 없이** $8 \times 8 \times 3$ 배 만큼 context size를 적게 만들 수 있음.
-
-
-### Stage 2: Training an Autoregressive Transformer
-- **최대 256 BPE-Encoded text tokens**들과 1024 image tokens ($32 \times 32$) 를 연속적으로 입력함 (concatenate)
-- Text token과 Image Tokens 들의 joint distribution (결합 분포)를 모델링하여 autoregressive transformer을 학습
-
-
-## DALL-E Pipeline 예시
-
-
-:::{figure-md}
-
-
-DALL-E 시각화 \ (source:https://jiho-ml.com/weekly-nlp-40/)
-:::
-
-:::{figure-md}
-
-
-DALL-E 파이프라인 \ (source:https://www.youtube.com/watch?v=CQoM0r2kMvI&t=1729s)
-:::
-
-
-## Methodology Details
-
-### DALL-E Equations
-
-:::{figure-md}
-
-
-equation 1
-:::
-
-:::{figure-md}
-
-
-equation 2: Maximizing ELBO
-:::
-
-x: images, y: captions , z: encoded RGB image tokens
-
-**𝑞Φ (red)** : input image에서 dVAE encoder에서 생성한 32 x 32 image token를 예측
-
-**𝑝𝜃 (blue)**: image token에서 dVAE decoder에서 생성한 RGB image를 예측
-
-**𝑝ψ (purple)**: transformer 모델로 모델링한 text와 image token들의 결합 분포 (joint distribution)
-
-### DALL-E 학습과정 Stage 1: Learning the VIsual Codebook
-- Transformer을 고정하고 dVAE encoder & decoder (𝑞_Φ , 𝑝_𝜃) 을 학습함
- - 즉, ELB (Evidence Lower Bound를 maximize 함)
- - K = 8,192 codebook (embedding space)로 설정
-
-
-- **ELB를 optimize** 하기 위해서는 discrete distribution을 continuous를 바꿔야 함
- - 학습시에는 결국, argmax를 사용해서 codebook vector 인덱스를 선택하여 계산하면 Reparameterization gradient를 연산 X
- - argmax 대신 **gumbel softmax**를 사용하여 해결
-
- - 평가를 진행할 때에는 $z = codebook[\underset{i}{argmax}[g_i+log(q(e_i|x))]]$
-
-- Gumbel Softmax Relaxation를 사용하여 해결! $q_\phi \rightarrow q_{\phi}^{\tau}$, temperature $\tau \rightarrow 0$, relaxation을 tight하게 잡아줌.
-
-
-### DALL-E 학습과정 Stage 2: Learning the Prior
-- Transformer을 고정하고 dVAE encoder & decoder ($q_{phi}$ , $p_{\theta}$) transformer의 prior distribution $p_{\psi}$를 학습함.
-- 이때, $p_{\psi}$의 ELB를 maximize 하며 120억개의 parameter를 가진 sparse transformer 구조를 사용함
-
-- Image token은 dVAE Encoder logit에서 Argmax sampling을 통해 생성
-- Text token은 소문자화 후 16,384 개의 vocabulary를 BPE-encoding 통해 한번에 최대 256 token을 활용
-
-:::{figure-md}
-
-
-Text-to-text attention: causal attention mask
-Image-to-image attention: row/column/convolutional attention mask 적용
-:::
-
-
-## Results
-- 추론 시에는 text에 대하여 N개의 이미지를 생성.
-- Best of N개는 **N개 생성 후 best**를 골라서 선택 함.
-
-- 우수한 이미지를 고르기 위해 CLIP (Contrastive Language-Image Pretraining, 2021) 논문에서 제시한 text 와 k 번째로 similarity 점수가 높은 이미지를 선택함 (k=1)
-
-:::{figure-md}
-
-
-DALL-E 결과물. Best를 고를때 N 수가 증가할수록 주어진 text prompt랑 더 유사한 결과물이 나옴.
-:::
-
-- 생성한 512개 이미지 중 CLIP 알고리즘을 통해 similarity score이 제일 높은 이미지를 뽑음.
-- Ours (DALL-E) vs 다른 baseline method 와 비교 시 text에 더욱 알맞은 이미지를 생성한 것을 확인 할 수 있음.
-
-
-:::{figure-md}
-
-
-선택하는 이미지 개수에 따른 성능 향상
-:::
-
-
-- DF-GAN 이랑 비교해서 MS-COCO dataset에 대하여 정성적 평가를 진행.
-- Best-of-Five votes 중에 DF-GAN보다 매번 압도적인 차이로 투표 수를 받았음.
-
-
-:::{figure-md}
-
-
-DF-GAN 이랑 Qualitative Results 비교
-:::
-
-
-
-
-- FID (Frechet Inception Distance)는 값이 낮을수록 좋으며 / IS (Inception Score)는 높을수록 좋음
-- MS-COCO 랑 CUB (새 특화 데이터셋) 기준, DALL-E는 MS-COCO에서는 뛰어난 성능을 보여줬음.
-- CUB에서는 SOTA를 찍지 못하였고 Inception score에서는 낮은 점수를 기록함.
-- 저자들은 Fine-tuning 으로 CUB에 성능 계선을 할 수 있다고 생각함.
-
-:::{figure-md}
-
-
-MS-COCO 와 CUB dataset에서 FID/IS 결과값 비교
-:::
-
-## Conclusion
-- GPT-3의 확장 모델로 120억개의 parameter과 autoregressive Transformer (Decoder only) 기반 모델링을 통해 text-to-image generation task를 뛰어나게 해결함.
-- Zero-shot learning에서 다른 모델보다 훌륭한 일반화 성능을 보임
-- 정량적 / 정성적 평가에서 준수한 성능을 보이고 있으며 다양한 이미지 생성이 가능함.
-
-** Limitations: **
-- 생성하고 싶은 이미지에 다양한 객체가 포함되면 어려움을 겪음
-- (b)에 보면 고슴도치가 2마리거나 강아지와 고슴도치 둘다 크리스마스 스웨터를 입고 있음.
-
-- CUB dataset 처럼 다소 아쉬운 성능을 보인 데이터셋이 있지만 fine-tuning으로 해결
-
-
-:::{figure-md}
-
-
-Limitation을 보여주는 결과물.
-:::
+```{admonition} Information
+- **Title:** Zero-shot text-to-image generation (ICML 2021)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2102.12092](https://arxiv.org/abs/2102.12092)
+ - Code: [Unofficial-PyTorch](https://github.com/lucidrains/DALLE-pytorch)
+ - Code: [Official](https://github.com/openai/DALL-E)
+
+- **Author:** Donggeun "Sean" Ko
+
+- **Last updated on June 22 2023**
+```
+
+# DALL-E
+
+## 1. Introduction
+
+- GPT-3 기반 모델이며 120억개 parameter 수와 2.5억 데이터 (text,image) set으로 학습
+- Autoregressive 한 모델링을 통하여 image와 text를 이용하여 text-to-image generation task를 수행
+- 2021년 기준 zero-shot SOTA performance 달성
+- 아래 그림과 같이 text input에 따라 diverse한 이미지 생성
+
+
+:::{figure-md}
+
+
+Images generated using DALL-E
+:::
+
+:::{figure-md}
+
+
+Images generated using DALL-E
+:::
+
+
+## 2. Background
+- GPT-3와 VQ-VAE를 활용하여 나온 논문.
+- VQ-VAE를 먼저 학습하고, Autoregressive Transformer을 순차적으로 학습하여 zero-shot architecture을 구축.
+
+### GPT-3
+- Autoregressive Language Model며 few-shot learning을 통해 fine-tuning 없이 높은 성능을 냄 *(fine-tuning 을 할 수는 있지만 본 논문에서는 task-agnostic performance 에 중점을 맞춰 Few shot을 함)
+- GPT-3 는 transformer에서 decoder 부분만 사용 (GPT-2 와 유사한 구조를 가지고 있음 )
+- 약 1750억 parameter 개수의 모델
+
+
+:::{figure-md}
+
+
+Transformer 아키텍쳐 \ (source: https://arxiv.org/pdf/2005.14165.pdf)
+
+:::
+
+:::{figure-md}
+
+
+GPT 3 Animation \ (source: https://jalammar.github.io/how-gpt3-works-visualizations-animations/)
+:::
+
+
+### VQ-VAE
+- Encoder에서 나온 output은 discrete 하며 posterior 과 prior 이 categorical distribution을 갖는다고 가정함.
+- CNN (encoder) 을 거친 각 D차원의 위치에 $H \times W$ 그리드로 이미지를 나누고 embedding space (Codebook) 에서 $𝑒_1$부터 $𝑒_𝑘$ 중에서 가까운 1개 embedding code로 변환.
+- Quantization: Encoding output $z_{e}(x)$ representation 과 유사한 codebook embedding $e_j$ 를 찾아서 $k$ 값을 부여함.
+
+:::{figure-md}
+
+
+VQ-VAE 아키텍쳐, Loss 함수 \ (source: https://velog.io/@p2yeong/Understanding-VQ-VAE-DALL-E-Explained-Pt.-1)
+
+:::
+
+
+
+:::{figure-md}
+
+
+Quantization of VQ-VAE
+:::
+
+
+
+## 3. Methodology
+
+## Limitation of Previous Works
+
+1. Memory/Bottleneck Issue
+- 각 Image에서 나오는 pixel을 직접적으로 image token을 사용하면 고화질 이미지일수록 너무 많은 메모리량이 필요해서 “비효율적”
+
+
+2. Short-range dependence modeling between pixels
+- Model들 중 Likelihood function을 objective function으로 사용하면 short-range dependency를 우선적으로 볼 것이며 low-frequency 보다 high-frequency detail에 더욱 집중하게 됨.
+- Low frequency 는 visually recognizable해서 시각적으로 더 도움이 되는 부분
+
+이 2가지 문제점을 극복하고자 Two-stage training process 제안
+
+
+## DALL-E Overview
+### Stage 1: Training VQ-VAE
+- **Discrete VAE**를 이용하여 $256 \times 256$ RGB image \rightarrow $32 \times 32$ 이미지 토큰으로 압축
+- 각 이미지 토큰은 8,192개의 code 값 중에 하나 배정
+- 이미지의 **quality 손실 없이** $8 \times 8 \times 3$ 배 만큼 context size를 적게 만들 수 있음.
+
+
+### Stage 2: Training an Autoregressive Transformer
+- **최대 256 BPE-Encoded text tokens**들과 1024 image tokens ($32 \times 32$) 를 연속적으로 입력함 (concatenate)
+- Text token과 Image Tokens 들의 joint distribution (결합 분포)를 모델링하여 autoregressive transformer을 학습
+
+
+## DALL-E Pipeline 예시
+
+
+:::{figure-md}
+
+
+DALL-E 시각화 \ (source:https://jiho-ml.com/weekly-nlp-40/)
+:::
+
+:::{figure-md}
+
+
+DALL-E 파이프라인 \ (source:https://www.youtube.com/watch?v=CQoM0r2kMvI&t=1729s)
+:::
+
+
+## Methodology Details
+
+### DALL-E Equations
+
+:::{figure-md}
+
+
+equation 1
+:::
+
+:::{figure-md}
+
+
+equation 2: Maximizing ELBO
+:::
+
+x: images, y: captions , z: encoded RGB image tokens
+
+**𝑞Φ (red)** : input image에서 dVAE encoder에서 생성한 32 x 32 image token를 예측
+
+**𝑝𝜃 (blue)**: image token에서 dVAE decoder에서 생성한 RGB image를 예측
+
+**𝑝ψ (purple)**: transformer 모델로 모델링한 text와 image token들의 결합 분포 (joint distribution)
+
+### DALL-E 학습과정 Stage 1: Learning the VIsual Codebook
+- Transformer을 고정하고 dVAE encoder & decoder (𝑞_Φ , 𝑝_𝜃) 을 학습함
+ - 즉, ELB (Evidence Lower Bound를 maximize 함)
+ - K = 8,192 codebook (embedding space)로 설정
+
+
+- **ELB를 optimize** 하기 위해서는 discrete distribution을 continuous를 바꿔야 함
+ - 학습시에는 결국, argmax를 사용해서 codebook vector 인덱스를 선택하여 계산하면 Reparameterization gradient를 연산 X
+ - argmax 대신 **gumbel softmax**를 사용하여 해결
+
+ - 평가를 진행할 때에는 $z = codebook[\underset{i}{argmax}[g_i+log(q(e_i|x))]]$
+
+- Gumbel Softmax Relaxation를 사용하여 해결! $q_\phi \rightarrow q_{\phi}^{\tau}$, temperature $\tau \rightarrow 0$, relaxation을 tight하게 잡아줌.
+
+
+### DALL-E 학습과정 Stage 2: Learning the Prior
+- Transformer을 고정하고 dVAE encoder & decoder ($q_{phi}$ , $p_{\theta}$) transformer의 prior distribution $p_{\psi}$를 학습함.
+- 이때, $p_{\psi}$의 ELB를 maximize 하며 120억개의 parameter를 가진 sparse transformer 구조를 사용함
+
+- Image token은 dVAE Encoder logit에서 Argmax sampling을 통해 생성
+- Text token은 소문자화 후 16,384 개의 vocabulary를 BPE-encoding 통해 한번에 최대 256 token을 활용
+
+:::{figure-md}
+
+
+Text-to-text attention: causal attention mask
+Image-to-image attention: row/column/convolutional attention mask 적용
+:::
+
+
+## Results
+- 추론 시에는 text에 대하여 N개의 이미지를 생성.
+- Best of N개는 **N개 생성 후 best**를 골라서 선택 함.
+
+- 우수한 이미지를 고르기 위해 CLIP (Contrastive Language-Image Pretraining, 2021) 논문에서 제시한 text 와 k 번째로 similarity 점수가 높은 이미지를 선택함 (k=1)
+
+:::{figure-md}
+
+
+DALL-E 결과물. Best를 고를때 N 수가 증가할수록 주어진 text prompt랑 더 유사한 결과물이 나옴.
+:::
+
+- 생성한 512개 이미지 중 CLIP 알고리즘을 통해 similarity score이 제일 높은 이미지를 뽑음.
+- Ours (DALL-E) vs 다른 baseline method 와 비교 시 text에 더욱 알맞은 이미지를 생성한 것을 확인 할 수 있음.
+
+
+:::{figure-md}
+
+
+선택하는 이미지 개수에 따른 성능 향상
+:::
+
+
+- DF-GAN 이랑 비교해서 MS-COCO dataset에 대하여 정성적 평가를 진행.
+- Best-of-Five votes 중에 DF-GAN보다 매번 압도적인 차이로 투표 수를 받았음.
+
+
+:::{figure-md}
+
+
+DF-GAN 이랑 Qualitative Results 비교
+:::
+
+
+
+
+- FID (Frechet Inception Distance)는 값이 낮을수록 좋으며 / IS (Inception Score)는 높을수록 좋음
+- MS-COCO 랑 CUB (새 특화 데이터셋) 기준, DALL-E는 MS-COCO에서는 뛰어난 성능을 보여줬음.
+- CUB에서는 SOTA를 찍지 못하였고 Inception score에서는 낮은 점수를 기록함.
+- 저자들은 Fine-tuning 으로 CUB에 성능 계선을 할 수 있다고 생각함.
+
+:::{figure-md}
+
+
+MS-COCO 와 CUB dataset에서 FID/IS 결과값 비교
+:::
+
+## Conclusion
+- GPT-3의 확장 모델로 120억개의 parameter과 autoregressive Transformer (Decoder only) 기반 모델링을 통해 text-to-image generation task를 뛰어나게 해결함.
+- Zero-shot learning에서 다른 모델보다 훌륭한 일반화 성능을 보임
+- 정량적 / 정성적 평가에서 준수한 성능을 보이고 있으며 다양한 이미지 생성이 가능함.
+
+** Limitations: **
+- 생성하고 싶은 이미지에 다양한 객체가 포함되면 어려움을 겪음
+- (b)에 보면 고슴도치가 2마리거나 강아지와 고슴도치 둘다 크리스마스 스웨터를 입고 있음.
+
+- CUB dataset 처럼 다소 아쉬운 성능을 보인 데이터셋이 있지만 fine-tuning으로 해결
+
+
+:::{figure-md}
+
+
+Limitation을 보여주는 결과물.
+:::
diff --git a/_sources/docs/review/diffusion_beats_GANs.md b/_sources/docs/review/diffusion_beats_GANs.md
index 675d2240..9ab7da8d 100755
--- a/_sources/docs/review/diffusion_beats_GANs.md
+++ b/_sources/docs/review/diffusion_beats_GANs.md
@@ -1,247 +1,247 @@
-```{admonition} Information
-- **Title:** Diffusion Models Beat GANs on Image Synthesis (NeurIPS 2021)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2105.05233](https://arxiv.org/abs/2105.05233)
- - Code: [Official](https://github.com/openai/guided-diffusion)
-
-- **Author:** Donggeun Sean Ko
-
-- **Last updated on May. 17, 2023**
-```
-
-# Diffusion Models Beat GANs on Image Synthesis
-## Abstract
-
-- Diffusion 모델들은 기존 unconditional 이미지 생성 모델들의 SOTA를 뛰어넘음.
-- Conditional image synthesis 부분에서도 classifier guidance를 활용해 diffusion model을 활용하여 좋은 성능을 보여준다고 주장함.
-- Classifier guidance를 활용해 diversity와 fidelity의 trade-off에 대해서도 분석
-
-## 1. Introduction
-
-- Diffusion 모델들은 likelihood-based model들이며 고화질 이미지를 생성해내는데에 성공 했음.
-- 하지만, FID 수치는 BigGAN-deep에 비해 낮으며, 개선사항이 필요함.
-- 두가지 contribution을 통해 Diffusion Model들의 성능을 끌어올리며 FID 결과 수치를 낮추겠다고 주장.
- - 모델 아키텍쳐 개선
- - Classifier Guidance
-
-## 2. Background
-- DDPM, DDIM, Improved DDPM은 이전에 설명되있으므로, 각 background 논문들의 핵심 부분만 설명하겠습니다.
--
-### DDPM
-
-
- - $p_\theta(x_{t-1}|x_t)$은 $q(x_{t-1}|x_t)$의 근사값이라고 가정하며 계산한다.
- - $p_\theta(x_{t-1}|x_t)$를 학습하여 $p_\theta(x_{t-1}|x_t) \approx$ $q(x_{t-1}|x_t)$를 만든다.
- - $\epsilon_\theta(x_t,t)$ 을 모델링하여 **noise**를 예측한다.
-- 공분산 $\Sigma_\theta(X_t,t)$은 학습 불가능한 매개변수로 설정되며 constant 값을 가진다.
-- 아래와 같이 $L_{simple}$ 을 새로운 Loss function으로 제안한다.
-
-
-:::{figure-md}
-
-
-DDPM Pipeline
-:::
-
-:::{figure-md}
-
-
-DDPM Equation
-:::
-
-### Improved DDPM
-
-:::{figure-md}
-
-
-
-Improved DDPM scheduling comparison with DDPM (Linear vs Cosine)
-:::
-
-- 더 적은 diffusion step으로 샘플링 함.
-- Competitive log-likelihood 지표 성능 개선 (전 DDPM에선 log-likelihood 지표가 상대적으로 GAN 모델의 비해 낮았다)
-- 전 DDPM 논문에서는 linear scheduling을 사용했지만, 본 논문에서는 cosine scheduling을 사용해서 성능 향상을 했다고 주장했다.
-- 분산 $\Sigma_\theta(X_t,t)$을 학습에도 활용
-- $L_{hybrid}$라는 새로운 loss 함수 제시
-
-:::{figure-md}
-
-
-Improved DDPM Equation
-:::
-
-
-### DDIM
-
-:::{figure-md}
-
-
-DDIM Pipeline
-:::
-
-- Markovian Chain Process를 끊고 Non-Markovian 형태로 Deterministic 하게 수식을 바꿈
-- DDPM 보다 더 적은 iteration으로 image synthesis 가능
-
-:::{figure-md}
-
-
-DDIM Sampling Equation
-:::
-
-## 3. Architectural Improvements
-
-- DDPM에서 사용한 architecture을 그대로 채택했지만, 다양한 ablation 및 parameter을 변경하여 제일 높은 성능이 나오는 architecture을 설명 및 채택함
-
-- 모델 크기를 일정하게 가져가면서 Depth vs Width 증가 보기
-- Attention head 수 증가 시켜보기
-- 각 Attention head에 resolution 을 8x8, 16x16, 32x32 로 실험 해보기
-- 일반 ResNet Residual Block이 아닌 BigGAN의 residual block을 채택하여 upsampling / downsampling 사용 해보기
-- Residual Connection을 1/√2 로 rescaling 해보기
-
-:::{figure-md}
-
-
-Table 1: Ablation of various architecture changes
-:::
-
-:::{figure-md}
-
-
-Table 2: Ablation of various attention configurations. Attention head 가 32일때 FID 값이 제일 낮다 (좋다)
-:::
-
-** 3-1. Best Architecture **
-
-- Channel 수 160
-- Depth 2
-- number of Attention Head = 4
-- Attention Resolution을 32, 16, 8 로 block마다 줄이기
-- BigGAN residual block 채택
-- Rescaling X
-- 위와 같은 parameter를 통해 제일 좋은 FID 결과가 나옴
-
-:::{figure-md}
-
-
-Table 3: 다양한 parameter 튜닝을 통한 제일 좋은 FID 성능 테이블
-:::
-
-## 4. Adaptive Group Normalization
-- 본 저자들은 AdaIN이랑 비슷한 방식으로 연산하는 AdaGN 이라는 것을 소개했다. (원래 있는 방법론인지는 모르겠다...)
-- Group Normalization을 adpative하게 하는 방법으로 Group Normalization 후에 residual block에 time step embedding과 class embedding을 AdaIN 방식으로 곱하고 더함
-
-Equation
-
-$$AdaIN(x,y) = \sigma(y)(\frac{x-\mu(x)}{\sigma(x)})+\mu(y)$$
-$$AdaGN(h,y) = y_s + GroupNorm(h) + y_b$$
-where $h =$ residual block and $y = [y_s,y_b]$ time-step embedding and class embedding's linear projection respectively
-
-**4-1 AdaGN의 성능**
-
-:::{figure-md}
-
-
-AdaGN과 Additon+GroupNorm 비교 테이블. DDPM에서 사용한 normalization보다 더 좋은 성능을 보여주고 있음.
-:::
-
-- 기존 DDPM은 Addition + GroupNorm layer을 사용했는데, AdaGN 을 사용하는 것이 FID가 더 낮게 (즉 더 좋은 성능) 나온 것을 볼 수 있다
-
-## 5. Classifier Guidance
-- 본 논문의 주 contribution 중 하나가 classifier guidance를 사용했다는 점이다.
-- unconditional de-noising process에서 label y를 condition으로 줌으로써 conditional de-noising process로 진행
-
-Equation
- $$p_{\theta, \phi }(x_t|x_{t+1},y) = Zp_\theta(x_t|x_{t+1})p_\phi(y|x_t)$$
-
-- Z 는 normalizing을 위한 상수 이다
-
-**5-1 Classifier Guidance 유도**
-
-$log_\phi p(y|x_t)$가 $\Sigma^-1$ 에 비해 곡률이 낮으며, 이 가정을 따라, diffusion step이 무한으로 갈 시, $||\Sigma^ || \rightarrow0$ 이므로,$log_\phi p(y|x_t)$가 테일러 급수를 활용하여 식을 $x_t = \mu$ 로 재전개 할 수 있다.
-
-- classifier의 gradient를 활용해서 학습을 같이 해준다.
-- 식 유도는 아래와 같다. 본문의 (3) ~ (10) 번식이므로 본 논문을 참고하면 좋다.
-
-:::{figure-md}
-
-
-Classifier Guidance 유도 식 1,2
-:::
-
-:::{figure-md}
-
-
-Classifier Guidance 유도 식 3~7
-:::
-
-## 6. Algorithm
-
-:::{figure-md}
-
-
-Algorithm 1 & 2 sampling method. Algorithm 1은 일반적인 DDPM 기준, Algorithm 2는 DDIM 기준 guidance 한 sampling 방법
-:::
-
-- Algorithm 1 은 일반 DDPM에서 샘플링 하는 방법이다. 똑같이 Gaussian distribution에서 샘플링 할 시, classifier의 gradient를 활용하여 $x_{t-1}$를 sample한다.
-- Algorithm 2 는 DDIM에서 샘플링 하는 방법이다. $\epsilon$ 모델에서 나오는 output과 classifier의 gradient의 joint distribution 값을 빼 score을 구한다.
-
-
-
-- DDIM은 Deterministic하기때문에 모든 시점의 값을 모두 계산할 필요 없이 subset의 시점만으로 sampling이 가능하다.
-- 이 Accelerating method는 약간의 quality 저하가 있지만 Computational efficiency를 충분히 증가시킬 수 있다.
-- **DDIM 방식의 재학습 없이 DDPM의 training에 DDIM의 sampling이 가능하다.**
-
-
-## 7. Impact of parameter s in classifier guidance
-
-:::{figure-md}
-
-
-Classifier Guidance scaling의 영향 시각화
-:::
-- classifier guidance 앞에 hyperparameter \bf{s} 의 값에 따라 classifier가 줄 수 있는 scaling이 다르다.
-- scale을 1.0으로 주면 웰시코기라는 class의 scale 영향을 덜 받아 "웰시코기스러운" 강아지가 생성이 많이 되지는 않는다.
-- scale을 10.0으로 주면 웰시코기 class라는 scaling의 영향을 많이 받아 웰시코기 분위기의 강아지의 이미지가 더 많이 생성 되는 것을 볼 수 있다.
-- epsilon이라는 모델이 결국 scale에 따라 gradient의 영향을 얼마나 많이 받는지 sampling할 때 볼 수 있다.
-## 8. Results
-
-:::{figure-md}
-
-
-Fidelity vs Diversity Trade-off 결과
-:::
-
-- gradient scale이 높을수록 recall은 낮지만, precision은 높다. 즉 trade-off 가 생기는데, recall이 낮을수록 diveristy가 낮다는 의미이고, precision이 높을수록 fidelity가 높다는 뜻이다.
-- scale을 높일수록 다양한 이미지가 생성되는 것이 아닌, classifier가 준 label쪽으로 guide가 생기므로 일정한 class의 사진이 나온다.
-- FID와 sFID는 diversity와 fidelity의 trade-off로 도출되는 값이므로, 최고의 값은 중간 지점에서 나왔다.
-
-
-**8-1. Result Table**
-- ADM은 Ablated Diffusion Model의 약자이며, ADM-G는 Ablated Diffusion Model with Guidance의 약자이다.
-- Guidance를 주었을 시 제일 좋은 FID값이 나왔으며, Precision이 높을수록, Recall이 낮게 나왔다 (and vice versa).
-
-
-## 8-2. Image Synthesis Results
-
-:::{figure-md}
-
-
-Generated Images (Left: BigGAN, Center: DMs, Right: Train Dataset)
-:::
-
-- 두번쨰 플라밍고 생성된 사진을 볼때, BigGAN은 이미지간들의 diversity가 없다. 학습된 플라밍고가 다수 플라밍고 시 비슷한 느낌의 이미지만 뽑아낸다.
-- 반면, Diffusion model with guidance를 사용했을 시, 다채로운 플라밍고 사진을 볼 수 있다. 한마리만 있는 플라밍고 사진도 뽑아 낼 수 있다.
-
-## 9. Limitation and Future Work
-**Limitation 1**
-- Diffusion 모델들은 GAN보다 샘플링 시간이 아직 느리다.
-
-**Future Work 1**
-- DDIM의 sampling process를 distillation 해서 빠르게 하는 법을 고려
-
-**Limitation 2**
-- Classifier guidance는 classification function의 gradient를 사용함으로써, label이 없는 data에는 확장이 불가능하다.
-
-**Future Work 2**
-- Unlabeled sample을 clustering 하는 방법을 통해 방법론을 expand 하려 한다.
+```{admonition} Information
+- **Title:** Diffusion Models Beat GANs on Image Synthesis (NeurIPS 2021)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2105.05233](https://arxiv.org/abs/2105.05233)
+ - Code: [Official](https://github.com/openai/guided-diffusion)
+
+- **Author:** Donggeun Sean Ko
+
+- **Last updated on May. 17, 2023**
+```
+
+# Diffusion Models Beat GANs on Image Synthesis
+## Abstract
+
+- Diffusion 모델들은 기존 unconditional 이미지 생성 모델들의 SOTA를 뛰어넘음.
+- Conditional image synthesis 부분에서도 classifier guidance를 활용해 diffusion model을 활용하여 좋은 성능을 보여준다고 주장함.
+- Classifier guidance를 활용해 diversity와 fidelity의 trade-off에 대해서도 분석
+
+## 1. Introduction
+
+- Diffusion 모델들은 likelihood-based model들이며 고화질 이미지를 생성해내는데에 성공 했음.
+- 하지만, FID 수치는 BigGAN-deep에 비해 낮으며, 개선사항이 필요함.
+- 두가지 contribution을 통해 Diffusion Model들의 성능을 끌어올리며 FID 결과 수치를 낮추겠다고 주장.
+ - 모델 아키텍쳐 개선
+ - Classifier Guidance
+
+## 2. Background
+- DDPM, DDIM, Improved DDPM은 이전에 설명되있으므로, 각 background 논문들의 핵심 부분만 설명하겠습니다.
+-
+### DDPM
+
+
+ - $p_\theta(x_{t-1}|x_t)$은 $q(x_{t-1}|x_t)$의 근사값이라고 가정하며 계산한다.
+ - $p_\theta(x_{t-1}|x_t)$를 학습하여 $p_\theta(x_{t-1}|x_t) \approx$ $q(x_{t-1}|x_t)$를 만든다.
+ - $\epsilon_\theta(x_t,t)$ 을 모델링하여 **noise**를 예측한다.
+- 공분산 $\Sigma_\theta(X_t,t)$은 학습 불가능한 매개변수로 설정되며 constant 값을 가진다.
+- 아래와 같이 $L_{simple}$ 을 새로운 Loss function으로 제안한다.
+
+
+:::{figure-md}
+
+
+DDPM Pipeline
+:::
+
+:::{figure-md}
+
+
+DDPM Equation
+:::
+
+### Improved DDPM
+
+:::{figure-md}
+
+
+
+Improved DDPM scheduling comparison with DDPM (Linear vs Cosine)
+:::
+
+- 더 적은 diffusion step으로 샘플링 함.
+- Competitive log-likelihood 지표 성능 개선 (전 DDPM에선 log-likelihood 지표가 상대적으로 GAN 모델의 비해 낮았다)
+- 전 DDPM 논문에서는 linear scheduling을 사용했지만, 본 논문에서는 cosine scheduling을 사용해서 성능 향상을 했다고 주장했다.
+- 분산 $\Sigma_\theta(X_t,t)$을 학습에도 활용
+- $L_{hybrid}$라는 새로운 loss 함수 제시
+
+:::{figure-md}
+
+
+Improved DDPM Equation
+:::
+
+
+### DDIM
+
+:::{figure-md}
+
+
+DDIM Pipeline
+:::
+
+- Markovian Chain Process를 끊고 Non-Markovian 형태로 Deterministic 하게 수식을 바꿈
+- DDPM 보다 더 적은 iteration으로 image synthesis 가능
+
+:::{figure-md}
+
+
+DDIM Sampling Equation
+:::
+
+## 3. Architectural Improvements
+
+- DDPM에서 사용한 architecture을 그대로 채택했지만, 다양한 ablation 및 parameter을 변경하여 제일 높은 성능이 나오는 architecture을 설명 및 채택함
+
+- 모델 크기를 일정하게 가져가면서 Depth vs Width 증가 보기
+- Attention head 수 증가 시켜보기
+- 각 Attention head에 resolution 을 8x8, 16x16, 32x32 로 실험 해보기
+- 일반 ResNet Residual Block이 아닌 BigGAN의 residual block을 채택하여 upsampling / downsampling 사용 해보기
+- Residual Connection을 1/√2 로 rescaling 해보기
+
+:::{figure-md}
+
+
+Table 1: Ablation of various architecture changes
+:::
+
+:::{figure-md}
+
+
+Table 2: Ablation of various attention configurations. Attention head 가 32일때 FID 값이 제일 낮다 (좋다)
+:::
+
+** 3-1. Best Architecture **
+
+- Channel 수 160
+- Depth 2
+- number of Attention Head = 4
+- Attention Resolution을 32, 16, 8 로 block마다 줄이기
+- BigGAN residual block 채택
+- Rescaling X
+- 위와 같은 parameter를 통해 제일 좋은 FID 결과가 나옴
+
+:::{figure-md}
+
+
+Table 3: 다양한 parameter 튜닝을 통한 제일 좋은 FID 성능 테이블
+:::
+
+## 4. Adaptive Group Normalization
+- 본 저자들은 AdaIN이랑 비슷한 방식으로 연산하는 AdaGN 이라는 것을 소개했다. (원래 있는 방법론인지는 모르겠다...)
+- Group Normalization을 adpative하게 하는 방법으로 Group Normalization 후에 residual block에 time step embedding과 class embedding을 AdaIN 방식으로 곱하고 더함
+
+Equation
+
+$$AdaIN(x,y) = \sigma(y)(\frac{x-\mu(x)}{\sigma(x)})+\mu(y)$$
+$$AdaGN(h,y) = y_s + GroupNorm(h) + y_b$$
+where $h =$ residual block and $y = [y_s,y_b]$ time-step embedding and class embedding's linear projection respectively
+
+**4-1 AdaGN의 성능**
+
+:::{figure-md}
+
+
+AdaGN과 Additon+GroupNorm 비교 테이블. DDPM에서 사용한 normalization보다 더 좋은 성능을 보여주고 있음.
+:::
+
+- 기존 DDPM은 Addition + GroupNorm layer을 사용했는데, AdaGN 을 사용하는 것이 FID가 더 낮게 (즉 더 좋은 성능) 나온 것을 볼 수 있다
+
+## 5. Classifier Guidance
+- 본 논문의 주 contribution 중 하나가 classifier guidance를 사용했다는 점이다.
+- unconditional de-noising process에서 label y를 condition으로 줌으로써 conditional de-noising process로 진행
+
+Equation
+ $$p_{\theta, \phi }(x_t|x_{t+1},y) = Zp_\theta(x_t|x_{t+1})p_\phi(y|x_t)$$
+
+- Z 는 normalizing을 위한 상수 이다
+
+**5-1 Classifier Guidance 유도**
+
+$log_\phi p(y|x_t)$가 $\Sigma^-1$ 에 비해 곡률이 낮으며, 이 가정을 따라, diffusion step이 무한으로 갈 시, $||\Sigma^ || \rightarrow0$ 이므로,$log_\phi p(y|x_t)$가 테일러 급수를 활용하여 식을 $x_t = \mu$ 로 재전개 할 수 있다.
+
+- classifier의 gradient를 활용해서 학습을 같이 해준다.
+- 식 유도는 아래와 같다. 본문의 (3) ~ (10) 번식이므로 본 논문을 참고하면 좋다.
+
+:::{figure-md}
+
+
+Classifier Guidance 유도 식 1,2
+:::
+
+:::{figure-md}
+
+
+Classifier Guidance 유도 식 3~7
+:::
+
+## 6. Algorithm
+
+:::{figure-md}
+
+
+Algorithm 1 & 2 sampling method. Algorithm 1은 일반적인 DDPM 기준, Algorithm 2는 DDIM 기준 guidance 한 sampling 방법
+:::
+
+- Algorithm 1 은 일반 DDPM에서 샘플링 하는 방법이다. 똑같이 Gaussian distribution에서 샘플링 할 시, classifier의 gradient를 활용하여 $x_{t-1}$를 sample한다.
+- Algorithm 2 는 DDIM에서 샘플링 하는 방법이다. $\epsilon$ 모델에서 나오는 output과 classifier의 gradient의 joint distribution 값을 빼 score을 구한다.
+
+
+
+- DDIM은 Deterministic하기때문에 모든 시점의 값을 모두 계산할 필요 없이 subset의 시점만으로 sampling이 가능하다.
+- 이 Accelerating method는 약간의 quality 저하가 있지만 Computational efficiency를 충분히 증가시킬 수 있다.
+- **DDIM 방식의 재학습 없이 DDPM의 training에 DDIM의 sampling이 가능하다.**
+
+
+## 7. Impact of parameter s in classifier guidance
+
+:::{figure-md}
+
+
+Classifier Guidance scaling의 영향 시각화
+:::
+- classifier guidance 앞에 hyperparameter \bf{s} 의 값에 따라 classifier가 줄 수 있는 scaling이 다르다.
+- scale을 1.0으로 주면 웰시코기라는 class의 scale 영향을 덜 받아 "웰시코기스러운" 강아지가 생성이 많이 되지는 않는다.
+- scale을 10.0으로 주면 웰시코기 class라는 scaling의 영향을 많이 받아 웰시코기 분위기의 강아지의 이미지가 더 많이 생성 되는 것을 볼 수 있다.
+- epsilon이라는 모델이 결국 scale에 따라 gradient의 영향을 얼마나 많이 받는지 sampling할 때 볼 수 있다.
+## 8. Results
+
+:::{figure-md}
+
+
+Fidelity vs Diversity Trade-off 결과
+:::
+
+- gradient scale이 높을수록 recall은 낮지만, precision은 높다. 즉 trade-off 가 생기는데, recall이 낮을수록 diveristy가 낮다는 의미이고, precision이 높을수록 fidelity가 높다는 뜻이다.
+- scale을 높일수록 다양한 이미지가 생성되는 것이 아닌, classifier가 준 label쪽으로 guide가 생기므로 일정한 class의 사진이 나온다.
+- FID와 sFID는 diversity와 fidelity의 trade-off로 도출되는 값이므로, 최고의 값은 중간 지점에서 나왔다.
+
+
+**8-1. Result Table**
+- ADM은 Ablated Diffusion Model의 약자이며, ADM-G는 Ablated Diffusion Model with Guidance의 약자이다.
+- Guidance를 주었을 시 제일 좋은 FID값이 나왔으며, Precision이 높을수록, Recall이 낮게 나왔다 (and vice versa).
+
+
+## 8-2. Image Synthesis Results
+
+:::{figure-md}
+
+
+Generated Images (Left: BigGAN, Center: DMs, Right: Train Dataset)
+:::
+
+- 두번쨰 플라밍고 생성된 사진을 볼때, BigGAN은 이미지간들의 diversity가 없다. 학습된 플라밍고가 다수 플라밍고 시 비슷한 느낌의 이미지만 뽑아낸다.
+- 반면, Diffusion model with guidance를 사용했을 시, 다채로운 플라밍고 사진을 볼 수 있다. 한마리만 있는 플라밍고 사진도 뽑아 낼 수 있다.
+
+## 9. Limitation and Future Work
+**Limitation 1**
+- Diffusion 모델들은 GAN보다 샘플링 시간이 아직 느리다.
+
+**Future Work 1**
+- DDIM의 sampling process를 distillation 해서 빠르게 하는 법을 고려
+
+**Limitation 2**
+- Classifier guidance는 classification function의 gradient를 사용함으로써, label이 없는 data에는 확장이 불가능하다.
+
+**Future Work 2**
+- Unlabeled sample을 clustering 하는 방법을 통해 방법론을 expand 하려 한다.
diff --git a/_sources/docs/review/dreambooth.md b/_sources/docs/review/dreambooth.md
index 9d0c1b01..c8e3349d 100755
--- a/_sources/docs/review/dreambooth.md
+++ b/_sources/docs/review/dreambooth.md
@@ -1,247 +1,247 @@
-``` {admonition} Information
-- **Title:** DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation (CVPR 2023)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2208.12242](https://arxiv.org/abs/2208.12242)
- - Code: [https://github.com/huggingface/diffusers/tree/main/examples/dreambooth](https://github.com/huggingface/diffusers/tree/main/examples/dreambooth)
-
-- **Author:** Sangwoo Jo
-
-- **Last updated on May. 31, 2023**
-```
-
-# DreamBooth
-
-## Introduction
-
-최근에 DALL-E2, Imagen, Stable Diffusion 등 다양한 text-to-image generation 모델들이 등장하였지만, 어떠한 동일한 subject 에 대해서 다른 context 에 적용하는 부분에서 부족한 면들을 보여주고 있습니다. DreamBooth 논문은 이러한 문제점을 개선하기 위해 text-to-image 모델을 fine-tuning 하는 기법으로 소개되었고, 단 3-5장의 이미지를 학습하면 되며 이를 NVIDIA A100 으로 학습하는데 5분 정도밖에 소요되지 않는다고 합니다.
-
-:::{figure-md}
-
-
-Subject-Driven Generation
-:::
-
-DreamBooth 가 무엇인지 자세히 알아보기 전에 text-to-image diffusion model 에 대해 다시 한번 개념 정리를 해볼 필요가 있습니다.
-
-## Text-to-Image Diffusion Models
-
-사전학습된 text-to-image diffusion model $\hat{x}_{\theta}$ 는 input 으로 원본 이미지 $x$, 그리고 text prompt $P$ 와 text-encoder $\Gamma$ 로부터 나오는 conditioning vector $c = \Gamma(P)$ 를 입력받아서 이미지 $x_{gen} = \hat{x}_{\theta}(\epsilon, c)$ 를 생성하게 됩니다. 학습 시, mean squared loss 를 사용하고 이를 수식적으로 표현하면 다음과 같습니다.
-
-$$
-\mathbb{E}_{x,c,\epsilon,t}[w_t || \hat{x}_{\theta}(\alpha_tx + \sigma_{t}\epsilon, c) - x ||_{2}^{2}]
-$$
-
-이때, DreamBooth 에서는 text encoder 를 CLIP text embedding 과 사전학습된 T5-XXL 모델 중 T5-XXL 모델을 사용했다고 합니다. 그리고 DreamBooth 로 fine-tuning 할때, diffusion process 에서 사용되는 U-net (때로는 text encoder 도 포함) 은 learnable 한 parameter 로 설정하고 생성된 latent vector 로부터 새로운 이미지를 생성하는 Decoder 의 파라미터 값은 고정시킨다고 합니다.
-
-앞써 설명드렸던 내용들을 해당 implementation code 에서 확인할 수 있습니다.
-
-- **code**
-
- ```python
- # https://github.com/huggingface/diffusers/blob/main/examples/dreambooth/train_dreambooth.py
- text_encoder_cls = import_model_class_from_model_name_or_path(args.pretrained_model_name_or_path, args.revision)
-
- # Load scheduler and models
- noise_scheduler = DDPMScheduler.from_pretrained(args.pretrained_model_name_or_path, subfolder="scheduler")
- text_encoder = text_encoder_cls.from_pretrained(
- args.pretrained_model_name_or_path, subfolder="text_encoder", revision=args.revision
- )
- vae = AutoencoderKL.from_pretrained(args.pretrained_model_name_or_path, subfolder="vae", revision=args.revision)
- unet = UNet2DConditionModel.from_pretrained(
- args.pretrained_model_name_or_path, subfolder="unet", revision=args.revision
- )
- ```
-
-- **training code**
-
- ```python
- # https://github.com/huggingface/diffusers/blob/main/examples/dreambooth/train_dreambooth.py
- for epoch in range(first_epoch, args.num_train_epochs):
- unet.train()
- if args.train_text_encoder:
- text_encoder.train()
- for step, batch in enumerate(train_dataloader):
- # Skip steps until we reach the resumed step
- if args.resume_from_checkpoint and epoch == first_epoch and step < resume_step:
- if step % args.gradient_accumulation_steps == 0:
- progress_bar.update(1)
- continue
-
- with accelerator.accumulate(unet):
- # Convert images to latent space
- latents = vae.encode(batch["pixel_values"].to(dtype=weight_dtype)).latent_dist.sample()
- latents = latents * vae.config.scaling_factor
-
- # Sample noise that we'll add to the latents
- if args.offset_noise:
- noise = torch.randn_like(latents) + 0.1 * torch.randn(
- latents.shape[0], latents.shape[1], 1, 1, device=latents.device
- )
- else:
- noise = torch.randn_like(latents)
- bsz = latents.shape[0]
- # Sample a random timestep for each image
- timesteps = torch.randint(0, noise_scheduler.config.num_train_timesteps, (bsz,), device=latents.device)
- timesteps = timesteps.long()
-
- # Add noise to the latents according to the noise magnitude at each timestep
- # (this is the forward diffusion process)
- noisy_latents = noise_scheduler.add_noise(latents, noise, timesteps)
-
- # Get the text embedding for conditioning
- encoder_hidden_states = text_encoder(batch["input_ids"])[0]
-
- # Predict the noise residual
- model_pred = unet(noisy_latents, timesteps, encoder_hidden_states).sample
-
- # Get the target for loss depending on the prediction type
- if noise_scheduler.config.prediction_type == "epsilon":
- target = noise
- elif noise_scheduler.config.prediction_type == "v_prediction":
- target = noise_scheduler.get_velocity(latents, noise, timesteps)
- else:
- raise ValueError(f"Unknown prediction type {noise_scheduler.config.prediction_type}")
-
- if args.with_prior_preservation:
- # Chunk the noise and model_pred into two parts and compute the loss on each part separately.
- model_pred, model_pred_prior = torch.chunk(model_pred, 2, dim=0)
- target, target_prior = torch.chunk(target, 2, dim=0)
-
- # Compute instance loss
- loss = F.mse_loss(model_pred.float(), target.float(), reduction="mean")
-
- # Compute prior loss
- prior_loss = F.mse_loss(model_pred_prior.float(), target_prior.float(), reduction="mean")
-
- # Add the prior loss to the instance loss.
- loss = loss + args.prior_loss_weight * prior_loss
- else:
- loss = F.mse_loss(model_pred.float(), target.float(), reduction="mean")
-
- accelerator.backward(loss)
- if accelerator.sync_gradients:
- params_to_clip = (
- itertools.chain(unet.parameters(), text_encoder.parameters())
- if args.train_text_encoder
- else unet.parameters()
- )
- accelerator.clip_grad_norm_(params_to_clip, args.max_grad_norm)
- optimizer.step()
- lr_scheduler.step()
- optimizer.zero_grad(set_to_none=args.set_grads_to_none)
- ```
-
-
-## Fine-tuning
-
-DreamBooth 에서 pre-trained 된 text-to-image generation 모델을 fine-tuning 할 때 *“a [unique identifier] [class noun]”* 그리고 *“a [class noun]”* 형태의 두 가지 text prompt 를 사용합니다. 이때, *unique identifier* 에 유지하고자 하는 대상에 대한 정보를 담는 것을 목표로 하기 때문에 사전 정보가 없는 rare token 을 사용하는 것이 중요하다고 합니다. 논문에서는 3개 이하의 Unicode character 혹은 T5-XXL tokenizer 를 랜덤하게 샘플링해서 token 을 생성하고 이를 기반으로 *unique identifier* 를 정의합니다.
-
-또한, 논문에서 *Language Drift* 그리고 *Reduced Output Diversity* 두 가지 문제점을 해결하기 위해 Class-specific Prior Preservation Loss 를 소개합니다. 이를 활용하여 모델을 fine-tuning 하는 방법은 다음과 같습니다.
-
-:::{figure-md}
-
-
-Fine-tuning
-:::
-
-우선, Gaussian 노이즈 이미지와 *“A V [class noun]”* 형태의 text prompt 를 사전학습된 text-to-image diffusion 모델에 입력하여 이미지를 생성한 후, 원본 이미지와의 *Reconstruction Loss* 를 계산합니다. 그리고 비슷한 과정으로 Gaussian 노이즈 이미지와 *“A [class noun]”* 형태의 text prompt 를 학습하고자 하는 모델, 그리고 freeze 시킨 또 다른 pre-trained diffusion 모델에 각각 입력하여 이미지를 생성한 후 *Class-Specific Prior Preservation Loss* 를 계산합니다. 이에 대한 training objective 를 수식적으로 표현하면 다음과 같습니다.
-
-$$
-\mathbb{E}_{x,c,\epsilon,\epsilon^{'},t}[w_t || \hat{x}_{\theta}(\alpha_tx + \sigma_t\epsilon, c) - x ||_{2}^{2} + \lambda w_{t^{'}} || \hat{x}_{\theta}(\alpha_{t^{'}} x_{pr} + \sigma_{t^{'}}\epsilon^{'}, c_{pr}) - x_{pr} ||_{2}^{2}]
-$$
-
-*Class-Specific Prior Preservation Loss* 를 추가함으로써 class prior 에 대한 정보를 유지하게 되고, 이로써 동일한 class 에 대해 더 다양한 이미지들을 생성할 수 있는 부분을 아래 그림에서 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Encouraging diversity with prior-preservation loss
-:::
-
-## Experiments
-
-DreamBooth 논문에서 세 가지의 모델 평가 metric 을 소개합니다. 첫번째로는 *subject fidelity* 를 측정하는 CLIP-I, DINO 그리고 *prompt fidelity* 를 측정하는 CLIP-T metric 을 사용합니다. 이때, DINO metric 이 동일한 class 를 가진 subject 에 대해서 다른 embedding 이 생성되기 때문에 CLIP-I 보다 더 선호된다고 합니다. 더 자세하게는 각 metric 은 다음과 같이 계산됩니다.
-
-- CLIP-I := 생성된 이미지와 실제 이미지의 CLIP embedding 의 평균 pairwise cosine similarity
-- DINO := 생성된 이미지와 실제 이미지의 ViT-S/16 DINO embedding 의 평균 pairwise cosine similarity
-- CLIP-T := 입력 prompt 와 생성된 이미지의 CLIP embedding 의 평균 pairwise cosine similarity
-
-Textual Inversion 과 비교했을때, 세 개의 metric 에서 모두 DreamBooth 가 더 좋은 성능을 보여주는 것을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Comparison of models
-:::
-
-## Ablation Studies
-
-Prior Preservation Loss (PPL) 과 Class-Prior 에 대한 Ablation Studies 결과도 논문에서 공유합니다. PPL 가 적용됨으로써 앞써 소개드렸던 Language Drift 그리고 Reduced Output Diversity 문제점을 PRES 그리고 DIV metric 을 통해 해결되는 것을 보여줍니다. 또한, Class-Prior Ablation 에서 다음과 같은 세 가지 prompt 를 사용하여 fine-tuning 했을 때, 해당 subject 에 맞는 *class noun* 을 prompt 에 입력했을때가 가장 좋은 성능을 보여준다고 설명합니다.
-
-- “no class noun”
-- “a randomly sampled incorrect class noun” (e.g., “can” for a backpack)
-- “correct class noun”
-
-## Applications
-
-논문에서 DreamBooth 를 활용한 여러 application 도 소개합니다.
-
-:::{figure-md}
-
-
-Applications of DreamBooth
-:::
-
-1. Recontextualization
-- Prompt: “a [V] [class noun] [context description]”
-- 다음과 같은 prompt 입력 시, 사전에 보지 못했던 새로운 pose 나 articulation 을 잘 표현하는 부분을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Recontextualization
-:::
-
-2. Art Renditions
-- Prompt: “a painting of a [V] [class noun] in the style of [famous painter]” or “a statue of a [V] [class noun] in the style of [famous sculptor]”
-- Style Transfer 와 다르게 동일한 구조를 유지한 채 style 만 바꾸는 것이 아니라 다양한 pose 형태도 생성 가능합니다.
-
-3. Novel View Synthesis
-- 동일한 subject 에 대해 다양한 각도에서 보는 이미지 생성도 가능합니다.
-
-4. Property Modification
-- Prompt: “a cross of a [V] dog and a [target species]”
-- 사전 학습한 subject 의 고유 feature 들이 다른 target species 에서도 반영이 되는 부분을 확인할 수 있습니다.
-
-## Limitations
-
-하지만 DreamBooth 모델에 다음과 같은 한계점도 존재합니다.
-
-:::{figure-md}
-
-
-Limitations of DreamBooth
-:::
-
-- Incorrect context synthesis := 대표적으로 training set 에 자주 나타나지 않는 subject, prompt, context 에 대해서 낮은 성능을 보여줍니다.
-- Context-appearance entanglement := 유지하고자 하는 대상의 appearance (e.g, color) 가 prompted context 에 의해 달라지는 현상
-- Overfitting := 사전학습된 데이터와 유사한 prompt 입력 시, overfitting 현상 발생
-
-마지막으로 subject 대상에 따라 모델 성능(fidelity)이 차이를 보인다고 합니다.
-
-## Appendix
-
-마지막으로, 논문 본문에 소개되고 있지는 않지만 Appendix 부문에서도 흥미로운 결과들을 확인할 수 있습니다. Figure 20 은 fine tuning 하는 이미지 개수에 따른 DreamBooth 학습결과를 보여주는데, 단 한 장만으로도 identity 의 전반적인 특징을 잘 담는 것을 확인할 수 있습니다. Figure 18 은 만화 캐릭터의 identity 를 유지한 상태로 다양한 만화 사진들을 모델이 생성하는 사례들을 보여줍니다.
-
-:::{figure-md}
-
-
-Appendix-1
-:::
-
-:::{figure-md}
-
-
-Appendix-2
-:::
+``` {admonition} Information
+- **Title:** DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation (CVPR 2023)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2208.12242](https://arxiv.org/abs/2208.12242)
+ - Code: [https://github.com/huggingface/diffusers/tree/main/examples/dreambooth](https://github.com/huggingface/diffusers/tree/main/examples/dreambooth)
+
+- **Author:** Sangwoo Jo
+
+- **Last updated on May. 31, 2023**
+```
+
+# DreamBooth
+
+## Introduction
+
+최근에 DALL-E2, Imagen, Stable Diffusion 등 다양한 text-to-image generation 모델들이 등장하였지만, 어떠한 동일한 subject 에 대해서 다른 context 에 적용하는 부분에서 부족한 면들을 보여주고 있습니다. DreamBooth 논문은 이러한 문제점을 개선하기 위해 text-to-image 모델을 fine-tuning 하는 기법으로 소개되었고, 단 3-5장의 이미지를 학습하면 되며 이를 NVIDIA A100 으로 학습하는데 5분 정도밖에 소요되지 않는다고 합니다.
+
+:::{figure-md}
+
+
+Subject-Driven Generation
+:::
+
+DreamBooth 가 무엇인지 자세히 알아보기 전에 text-to-image diffusion model 에 대해 다시 한번 개념 정리를 해볼 필요가 있습니다.
+
+## Text-to-Image Diffusion Models
+
+사전학습된 text-to-image diffusion model $\hat{x}_{\theta}$ 는 input 으로 원본 이미지 $x$, 그리고 text prompt $P$ 와 text-encoder $\Gamma$ 로부터 나오는 conditioning vector $c = \Gamma(P)$ 를 입력받아서 이미지 $x_{gen} = \hat{x}_{\theta}(\epsilon, c)$ 를 생성하게 됩니다. 학습 시, mean squared loss 를 사용하고 이를 수식적으로 표현하면 다음과 같습니다.
+
+$$
+\mathbb{E}_{x,c,\epsilon,t}[w_t || \hat{x}_{\theta}(\alpha_tx + \sigma_{t}\epsilon, c) - x ||_{2}^{2}]
+$$
+
+이때, DreamBooth 에서는 text encoder 를 CLIP text embedding 과 사전학습된 T5-XXL 모델 중 T5-XXL 모델을 사용했다고 합니다. 그리고 DreamBooth 로 fine-tuning 할때, diffusion process 에서 사용되는 U-net (때로는 text encoder 도 포함) 은 learnable 한 parameter 로 설정하고 생성된 latent vector 로부터 새로운 이미지를 생성하는 Decoder 의 파라미터 값은 고정시킨다고 합니다.
+
+앞써 설명드렸던 내용들을 해당 implementation code 에서 확인할 수 있습니다.
+
+- **code**
+
+ ```python
+ # https://github.com/huggingface/diffusers/blob/main/examples/dreambooth/train_dreambooth.py
+ text_encoder_cls = import_model_class_from_model_name_or_path(args.pretrained_model_name_or_path, args.revision)
+
+ # Load scheduler and models
+ noise_scheduler = DDPMScheduler.from_pretrained(args.pretrained_model_name_or_path, subfolder="scheduler")
+ text_encoder = text_encoder_cls.from_pretrained(
+ args.pretrained_model_name_or_path, subfolder="text_encoder", revision=args.revision
+ )
+ vae = AutoencoderKL.from_pretrained(args.pretrained_model_name_or_path, subfolder="vae", revision=args.revision)
+ unet = UNet2DConditionModel.from_pretrained(
+ args.pretrained_model_name_or_path, subfolder="unet", revision=args.revision
+ )
+ ```
+
+- **training code**
+
+ ```python
+ # https://github.com/huggingface/diffusers/blob/main/examples/dreambooth/train_dreambooth.py
+ for epoch in range(first_epoch, args.num_train_epochs):
+ unet.train()
+ if args.train_text_encoder:
+ text_encoder.train()
+ for step, batch in enumerate(train_dataloader):
+ # Skip steps until we reach the resumed step
+ if args.resume_from_checkpoint and epoch == first_epoch and step < resume_step:
+ if step % args.gradient_accumulation_steps == 0:
+ progress_bar.update(1)
+ continue
+
+ with accelerator.accumulate(unet):
+ # Convert images to latent space
+ latents = vae.encode(batch["pixel_values"].to(dtype=weight_dtype)).latent_dist.sample()
+ latents = latents * vae.config.scaling_factor
+
+ # Sample noise that we'll add to the latents
+ if args.offset_noise:
+ noise = torch.randn_like(latents) + 0.1 * torch.randn(
+ latents.shape[0], latents.shape[1], 1, 1, device=latents.device
+ )
+ else:
+ noise = torch.randn_like(latents)
+ bsz = latents.shape[0]
+ # Sample a random timestep for each image
+ timesteps = torch.randint(0, noise_scheduler.config.num_train_timesteps, (bsz,), device=latents.device)
+ timesteps = timesteps.long()
+
+ # Add noise to the latents according to the noise magnitude at each timestep
+ # (this is the forward diffusion process)
+ noisy_latents = noise_scheduler.add_noise(latents, noise, timesteps)
+
+ # Get the text embedding for conditioning
+ encoder_hidden_states = text_encoder(batch["input_ids"])[0]
+
+ # Predict the noise residual
+ model_pred = unet(noisy_latents, timesteps, encoder_hidden_states).sample
+
+ # Get the target for loss depending on the prediction type
+ if noise_scheduler.config.prediction_type == "epsilon":
+ target = noise
+ elif noise_scheduler.config.prediction_type == "v_prediction":
+ target = noise_scheduler.get_velocity(latents, noise, timesteps)
+ else:
+ raise ValueError(f"Unknown prediction type {noise_scheduler.config.prediction_type}")
+
+ if args.with_prior_preservation:
+ # Chunk the noise and model_pred into two parts and compute the loss on each part separately.
+ model_pred, model_pred_prior = torch.chunk(model_pred, 2, dim=0)
+ target, target_prior = torch.chunk(target, 2, dim=0)
+
+ # Compute instance loss
+ loss = F.mse_loss(model_pred.float(), target.float(), reduction="mean")
+
+ # Compute prior loss
+ prior_loss = F.mse_loss(model_pred_prior.float(), target_prior.float(), reduction="mean")
+
+ # Add the prior loss to the instance loss.
+ loss = loss + args.prior_loss_weight * prior_loss
+ else:
+ loss = F.mse_loss(model_pred.float(), target.float(), reduction="mean")
+
+ accelerator.backward(loss)
+ if accelerator.sync_gradients:
+ params_to_clip = (
+ itertools.chain(unet.parameters(), text_encoder.parameters())
+ if args.train_text_encoder
+ else unet.parameters()
+ )
+ accelerator.clip_grad_norm_(params_to_clip, args.max_grad_norm)
+ optimizer.step()
+ lr_scheduler.step()
+ optimizer.zero_grad(set_to_none=args.set_grads_to_none)
+ ```
+
+
+## Fine-tuning
+
+DreamBooth 에서 pre-trained 된 text-to-image generation 모델을 fine-tuning 할 때 *“a [unique identifier] [class noun]”* 그리고 *“a [class noun]”* 형태의 두 가지 text prompt 를 사용합니다. 이때, *unique identifier* 에 유지하고자 하는 대상에 대한 정보를 담는 것을 목표로 하기 때문에 사전 정보가 없는 rare token 을 사용하는 것이 중요하다고 합니다. 논문에서는 3개 이하의 Unicode character 혹은 T5-XXL tokenizer 를 랜덤하게 샘플링해서 token 을 생성하고 이를 기반으로 *unique identifier* 를 정의합니다.
+
+또한, 논문에서 *Language Drift* 그리고 *Reduced Output Diversity* 두 가지 문제점을 해결하기 위해 Class-specific Prior Preservation Loss 를 소개합니다. 이를 활용하여 모델을 fine-tuning 하는 방법은 다음과 같습니다.
+
+:::{figure-md}
+
+
+Fine-tuning
+:::
+
+우선, Gaussian 노이즈 이미지와 *“A V [class noun]”* 형태의 text prompt 를 사전학습된 text-to-image diffusion 모델에 입력하여 이미지를 생성한 후, 원본 이미지와의 *Reconstruction Loss* 를 계산합니다. 그리고 비슷한 과정으로 Gaussian 노이즈 이미지와 *“A [class noun]”* 형태의 text prompt 를 학습하고자 하는 모델, 그리고 freeze 시킨 또 다른 pre-trained diffusion 모델에 각각 입력하여 이미지를 생성한 후 *Class-Specific Prior Preservation Loss* 를 계산합니다. 이에 대한 training objective 를 수식적으로 표현하면 다음과 같습니다.
+
+$$
+\mathbb{E}_{x,c,\epsilon,\epsilon^{'},t}[w_t || \hat{x}_{\theta}(\alpha_tx + \sigma_t\epsilon, c) - x ||_{2}^{2} + \lambda w_{t^{'}} || \hat{x}_{\theta}(\alpha_{t^{'}} x_{pr} + \sigma_{t^{'}}\epsilon^{'}, c_{pr}) - x_{pr} ||_{2}^{2}]
+$$
+
+*Class-Specific Prior Preservation Loss* 를 추가함으로써 class prior 에 대한 정보를 유지하게 되고, 이로써 동일한 class 에 대해 더 다양한 이미지들을 생성할 수 있는 부분을 아래 그림에서 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Encouraging diversity with prior-preservation loss
+:::
+
+## Experiments
+
+DreamBooth 논문에서 세 가지의 모델 평가 metric 을 소개합니다. 첫번째로는 *subject fidelity* 를 측정하는 CLIP-I, DINO 그리고 *prompt fidelity* 를 측정하는 CLIP-T metric 을 사용합니다. 이때, DINO metric 이 동일한 class 를 가진 subject 에 대해서 다른 embedding 이 생성되기 때문에 CLIP-I 보다 더 선호된다고 합니다. 더 자세하게는 각 metric 은 다음과 같이 계산됩니다.
+
+- CLIP-I := 생성된 이미지와 실제 이미지의 CLIP embedding 의 평균 pairwise cosine similarity
+- DINO := 생성된 이미지와 실제 이미지의 ViT-S/16 DINO embedding 의 평균 pairwise cosine similarity
+- CLIP-T := 입력 prompt 와 생성된 이미지의 CLIP embedding 의 평균 pairwise cosine similarity
+
+Textual Inversion 과 비교했을때, 세 개의 metric 에서 모두 DreamBooth 가 더 좋은 성능을 보여주는 것을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Comparison of models
+:::
+
+## Ablation Studies
+
+Prior Preservation Loss (PPL) 과 Class-Prior 에 대한 Ablation Studies 결과도 논문에서 공유합니다. PPL 가 적용됨으로써 앞써 소개드렸던 Language Drift 그리고 Reduced Output Diversity 문제점을 PRES 그리고 DIV metric 을 통해 해결되는 것을 보여줍니다. 또한, Class-Prior Ablation 에서 다음과 같은 세 가지 prompt 를 사용하여 fine-tuning 했을 때, 해당 subject 에 맞는 *class noun* 을 prompt 에 입력했을때가 가장 좋은 성능을 보여준다고 설명합니다.
+
+- “no class noun”
+- “a randomly sampled incorrect class noun” (e.g., “can” for a backpack)
+- “correct class noun”
+
+## Applications
+
+논문에서 DreamBooth 를 활용한 여러 application 도 소개합니다.
+
+:::{figure-md}
+
+
+Applications of DreamBooth
+:::
+
+1. Recontextualization
+- Prompt: “a [V] [class noun] [context description]”
+- 다음과 같은 prompt 입력 시, 사전에 보지 못했던 새로운 pose 나 articulation 을 잘 표현하는 부분을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Recontextualization
+:::
+
+2. Art Renditions
+- Prompt: “a painting of a [V] [class noun] in the style of [famous painter]” or “a statue of a [V] [class noun] in the style of [famous sculptor]”
+- Style Transfer 와 다르게 동일한 구조를 유지한 채 style 만 바꾸는 것이 아니라 다양한 pose 형태도 생성 가능합니다.
+
+3. Novel View Synthesis
+- 동일한 subject 에 대해 다양한 각도에서 보는 이미지 생성도 가능합니다.
+
+4. Property Modification
+- Prompt: “a cross of a [V] dog and a [target species]”
+- 사전 학습한 subject 의 고유 feature 들이 다른 target species 에서도 반영이 되는 부분을 확인할 수 있습니다.
+
+## Limitations
+
+하지만 DreamBooth 모델에 다음과 같은 한계점도 존재합니다.
+
+:::{figure-md}
+
+
+Limitations of DreamBooth
+:::
+
+- Incorrect context synthesis := 대표적으로 training set 에 자주 나타나지 않는 subject, prompt, context 에 대해서 낮은 성능을 보여줍니다.
+- Context-appearance entanglement := 유지하고자 하는 대상의 appearance (e.g, color) 가 prompted context 에 의해 달라지는 현상
+- Overfitting := 사전학습된 데이터와 유사한 prompt 입력 시, overfitting 현상 발생
+
+마지막으로 subject 대상에 따라 모델 성능(fidelity)이 차이를 보인다고 합니다.
+
+## Appendix
+
+마지막으로, 논문 본문에 소개되고 있지는 않지만 Appendix 부문에서도 흥미로운 결과들을 확인할 수 있습니다. Figure 20 은 fine tuning 하는 이미지 개수에 따른 DreamBooth 학습결과를 보여주는데, 단 한 장만으로도 identity 의 전반적인 특징을 잘 담는 것을 확인할 수 있습니다. Figure 18 은 만화 캐릭터의 identity 를 유지한 상태로 다양한 만화 사진들을 모델이 생성하는 사례들을 보여줍니다.
+
+:::{figure-md}
+
+
+Appendix-1
+:::
+
+:::{figure-md}
+
+
+Appendix-2
+:::
diff --git a/_sources/docs/review/gan.md b/_sources/docs/review/gan.md
index e5b4440a..96a44561 100755
--- a/_sources/docs/review/gan.md
+++ b/_sources/docs/review/gan.md
@@ -1,231 +1,231 @@
-```{admonition} Information
-- **Title:** Generative Adversarial Networks (NIPS 2014)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/1406.2661](https://arxiv.org/abs/1406.2661)
- - Code: [https://github.com/eriklindernoren/PyTorch-GAN](https://github.com/eriklindernoren/PyTorch-GAN)
- - [Smart Design Lab @KAIST | 딥러닝 Chp 3.4 GAN](https://www.youtube.com/watch?v=cd-kj1ysqOc)
-
-- **Author:** Sangwoo Jo
-
-- **Editor:** Changhwan Lee
-
-- **Last updated on Apr. 09, 2024**
-```
-
-# GAN
-
-
-## Introduction
-생성형 모델은 크게 생성하고자 하는 데이터의 explicit density 와 implicit density 를 계산하는 방식으로 나뉩니다. Explicit density 를 계산한다는 것은 데이터 분포를 명확하게 사전에 정의하고 모델을 학습하는 것을 의미합니다. 이때, 데이터의 분포를 직접적인 계산이 가능한 tractable density 로 추정하는 방법과 근사화시켜 approximate density 로 추정하는 방법으로 나뉩니다.
-- Tractable density: AutoRegressive 하게 구하는 방식이 있습니다. AutoRegressive 모델을 사용하여 이전 단계의 데이터를 활용하여 모델을 학습하고, 대표적인 모델로는 PixelCNN, PixelRNN 등이 있습니다.
-- Approximate density: 대표적으로 score-based model, Boltzmann Machine 등이 있습니다.
- - Score-based model - 모델 파라미터의 gradient 가 아닌 데이터의 gradient 활용하여 모델을 학습하는 방식으로, energy-based model 에서 MLE 에 사용하는 확률분포를 정규화하는 term 을 따로 계산하지 않아도 되는 장점이 있습니다.
- - Boltzmann Machine : 완전그래프 구조로 학습하는 생성형 모델입니다. 모델을 학습하는 과정에서 확률 분포의 학습이 어려워(계산량이 많아서 어려움) Markov chain 을 활용하여 학습합니다. 또한, 완전그래프이기 때문에 노드가 늘어날수록 간선, 파라미터 등이 급증하는 문제가 있어 Restricted Boltzmann Machine(RBM) 이 제안되기도 했습니다.
-
-반면에 데이터의 분포를 명확히 정의하지 않고 implicit 하게 모델을 학습하는 방식도 존재합니다. 대표적으로는 Ian Goodfellow 가 2014년에 발표한 GAN 모델이 있습니다. GAN 은 최근에 Diffusion Model 이 소개되기 전까지 몇 년 동안 이미지 생성 분야에서 대표적인 모델로 자리잡았었습니다. GAN 은 VAE 와 달리 marginal likelihood $p_{\theta}(x)$ 를 직접 구하지 않고, Adversarial Process 를 통해 implicit 하게 샘플링을 해서 분포를 구하게 됩니다.
-
-:::{figure-md}
-
-
-Taxonomy of Generative Models
-:::
-
-아래 그림과 같이 GAN 은 크게 잠재변수 $z$ 로부터 가짜 데이터를 생성하는 Generator 와 그로부터 생성된 데이터와 실제 training 데이터를 구분하는 Discriminator 로 구성이 되어 있습니다. 다시 말해서 Discriminator 는 실제 데이터가 들어오면 1, 그리고 가짜로 생성된 데이터가 들어오면 0 을 출력하는 binary classification task 를 진행합니다.
-
-:::{figure-md}
-
-
-Generative Adversarial Network(GAN) Architecture
-:::
-
-Generator 와 Discriminator 구현 코드도 같이 살펴보겠습니다.
-
-- **Generator 구현 code**
-
- ```python
- class Generator(nn.Module):
- def __init__(self):
- super(Generator, self).__init__()
-
- def block(in_feat, out_feat, normalize=True):
- layers = [nn.Linear(in_feat, out_feat)]
- if normalize:
- layers.append(nn.BatchNorm1d(out_feat, 0.8))
- layers.append(nn.LeakyReLU(0.2, inplace=True))
- return layers
-
- self.model = nn.Sequential(
- *block(opt.latent_dim, 128, normalize=False),
- *block(128, 256),
- *block(256, 512),
- *block(512, 1024),
- nn.Linear(1024, int(np.prod(img_shape))),
- nn.Tanh()
- )
-
- def forward(self, z):
- img = self.model(z)
- img = img.view(img.size(0), *img_shape)
- return img
- ```
-
-- **Discriminator 구현 code**
-
- ```python
- class Discriminator(nn.Module):
- def __init__(self):
- super(Discriminator, self).__init__()
-
- self.model = nn.Sequential(
- nn.Linear(int(np.prod(img_shape)), 512),
- nn.LeakyReLU(0.2, inplace=True),
- nn.Linear(512, 256),
- nn.LeakyReLU(0.2, inplace=True),
- nn.Linear(256, 1),
- nn.Sigmoid(),
- )
-
- def forward(self, img):
- img_flat = img.view(img.size(0), -1)
- validity = self.model(img_flat)
-
- return validity
- ```
-
-
-## Training Procedure
-
-GAN 을 학습할 시, **D를 먼저 최적화하는 k 단계**와 **G를 최적화하는 한 단계를 번갈아 수행**합니다. 그리고 이때 쓰이는 손실함수(loss function)은 다음과 같습니다.
-
-$$
-\min_G \max_D V(D,G) = \mathbb{E}\_{x \sim p_{data}(x)}[logD(x)] + \mathbb{E}\_{z \sim p_z(z)}[\log(1-D(G(z))]
-$$
-
-논문에서 제시한 학습 알고리즘과 실제 implementation code 를 비교해보겠습니다.
-
-:::{figure-md}
-
-
-Generative Adversarial Network(GAN) Training Procedure
-:::
-
-- **GAN 학습 code**
-
- ```python
- # ----------
- # Training
- # ----------
-
- for epoch in range(opt.n_epochs):
- for i, (imgs, _) in enumerate(dataloader):
-
- # Adversarial ground truths
- valid = Variable(Tensor(imgs.size(0), 1).fill_(1.0), requires_grad=False)
- fake = Variable(Tensor(imgs.size(0), 1).fill_(0.0), requires_grad=False)
-
- # Configure input
- real_imgs = Variable(imgs.type(Tensor))
-
- # -----------------
- # Train Generator
- # -----------------
-
- optimizer_G.zero_grad()
-
- # Sample noise as generator input
- z = Variable(Tensor(np.random.normal(0, 1, (imgs.shape[0], opt.latent_dim))))
-
- # Generate a batch of images
- gen_imgs = generator(z)
-
- # Loss measures generator's ability to fool the discriminator
- g_loss = adversarial_loss(discriminator(gen_imgs), valid)
-
- g_loss.backward()
- optimizer_G.step()
-
- # ---------------------
- # Train Discriminator
- # ---------------------
-
- optimizer_D.zero_grad()
-
- # Measure discriminator's ability to classify real from generated samples
- real_loss = adversarial_loss(discriminator(real_imgs), valid)
- fake_loss = adversarial_loss(discriminator(gen_imgs.detach()), fake)
- d_loss = (real_loss + fake_loss) / 2
-
- d_loss.backward()
- optimizer_D.step()
-
- print(
- "[Epoch %d/%d] [Batch %d/%d] [D loss: %f] [G loss: %f]"
- % (epoch, opt.n_epochs, i, len(dataloader), d_loss.item(), g_loss.item())
- )
-
- batches_done = epoch * len(dataloader) + i
- if batches_done % opt.sample_interval == 0:
- save_image(gen_imgs.data[:25], "images/%d.png" % batches_done, nrow=5, normalize=True)
- ```
-
-
-이렇게 Discriminator 와 Generator 는 각각 $V(D,G)$ 가 최대화하고 최소화하는 방향으로 stochastic gradient descent 를 진행하게 됩니다. 하지만 아래 그림처럼 실제로 Generator를 학습할 때, 초반에 $D(G(z)) \approx 0$ 일 경우 학습하지 못하는 상황이 발생합니다. 이 때, $\log(1-D(G(z))$ 를 최소화하지 않고 $\log(D(G(z))$ 를 최대화하는 방향으로 Generator 를 학습하는 기법도 있습니다.
-
-:::{figure-md}
-
-
-Alternative to Vanishing Gradient when Training the Generator
-:::
-
-이렇게 학습함으로써 최적화된 solution 에서는 Generator 가 training 데이터 분포를 완벽히 복원하고 Discriminator 는 binary classification 확률을 언제나 1/2 로 내뱉게 됩니다.
-
-### Theoretical Results
-
-**Proposition 1. 고정된 Generator 에 대해서, 최적화된 Discriminator 는 다음과 같습니다.**
-
-$$
-D_{G}^*(x) = \frac{p_{data}(x)}{p_{data}(x) + p_g(x)}
-$$
-
-이를 증명하자면, Discriminator 에 대한 손실함수를 다음과 같이 쓸 수 있고 $D = D_{G}^*(x)$ 가 이를 최대화하는 solution 입니다.
-
-$$
-V(D,G) = \int_x p_{data}(x) \log(D(x)) dx+ \int_z p_{z}(z) \log(1-D(g(z)) dz
-$$
-
-$$
-= \int_x p_{data}(x) \log(D(x)) + p_{g}(x) \log(1-D(x)) dx
-$$
-
-**Proposition 2. 최적화된 Discriminator 에 대해 $\max_D V(D,G)$ 를 최소화하는 Generator 는 $p_g = p_{data}$ 일때 성립하고 이때 $D = D_{G}^*(x) = 1/2$ 입니다.**
-
-이를 증명하자면, 최적화된 Discriminator 에 대한 손실함수는 다음과 같고
-
-$$
-V(D^{\ast},G) = \mathbb{E}\_{x \sim p_{data}(x)} [ \log D^{\ast}(x) ] + \mathbb{E}\_{x \sim p_g(x)} [ \log(1-D^{\ast}(x) ]
-$$
-
-$$
-= \int_x p_{data}(x) \log(\frac{p_{data}(x)}{p_{data}(x) + p_g(x)}) + \int_x p_{g}(x) \log(\frac{p_{g}(x)}{p_{data}(x) + p_g(x)})\ dx
-$$
-
-$$
-= -\log(4)\ + KL(p_{data}(x)\ ||\ \frac{p_{data}+p_{g}}{2}) + KL(p_{g}(x)\ ||\ \frac{p_{data}+p_{g}}{2})
-$$
-
-$KL(p_{data}(x)\ ||\ \frac{p_{data}+p_{g}}{2}) + KL(p_{g}(x)\ ||\ \frac{p_{data}+p_{g}}{2}) = 2\ \cdot\ JSD(p_{data}\ ||\ p_{g})$ 의 최솟값은 0 이고 이는 $p_g = p_{data}$ 일때 성립합니다.
-
-## Experiments
-
-논문에서 MNIST, the Toronto Face Database(TFD), 그리고 CIFAR-10 dataset 로 모델 실험 및 성능 평가했습니다. 평가시에는 $p_g$ 로부터 Parzen density estimation을 거쳐 계산한 log likelihood estimate 로 모델 성능 평가를 진행했습니다. 아래 표를 보면 실험 방법 중 GAN이 제일 결과가 좋은 것을 볼 수 있습니다.
-
-:::{figure-md}
-
-
-Experimental Results
-:::
-
-## Summary
-
-VAE는 새로운 데이터를 잘 생성하지만 생성된 이미지가 흐릿하다는 단점을 지니고 있습니다. 반면에 GAN 은 high quality image 를 잘 생성하지만 unstable 한 convergence 를 가지고 있습니다. 그래서 실제로 VAE 는 Encoder 를 활용한 차원축소로 많이 활용되고 이미지 데이터를 생성하는데는 GAN 이 많이 활용되었다고 합니다.
+```{admonition} Information
+- **Title:** Generative Adversarial Networks (NIPS 2014)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/1406.2661](https://arxiv.org/abs/1406.2661)
+ - Code: [https://github.com/eriklindernoren/PyTorch-GAN](https://github.com/eriklindernoren/PyTorch-GAN)
+ - [Smart Design Lab @KAIST | 딥러닝 Chp 3.4 GAN](https://www.youtube.com/watch?v=cd-kj1ysqOc)
+
+- **Author:** Sangwoo Jo
+
+- **Editor:** Changhwan Lee
+
+- **Last updated on Apr. 09, 2024**
+```
+
+# GAN
+
+
+## Introduction
+생성형 모델은 크게 생성하고자 하는 데이터의 explicit density 와 implicit density 를 계산하는 방식으로 나뉩니다. Explicit density 를 계산한다는 것은 데이터 분포를 명확하게 사전에 정의하고 모델을 학습하는 것을 의미합니다. 이때, 데이터의 분포를 직접적인 계산이 가능한 tractable density 로 추정하는 방법과 근사화시켜 approximate density 로 추정하는 방법으로 나뉩니다.
+- Tractable density: AutoRegressive 하게 구하는 방식이 있습니다. AutoRegressive 모델을 사용하여 이전 단계의 데이터를 활용하여 모델을 학습하고, 대표적인 모델로는 PixelCNN, PixelRNN 등이 있습니다.
+- Approximate density: 대표적으로 score-based model, Boltzmann Machine 등이 있습니다.
+ - Score-based model - 모델 파라미터의 gradient 가 아닌 데이터의 gradient 활용하여 모델을 학습하는 방식으로, energy-based model 에서 MLE 에 사용하는 확률분포를 정규화하는 term 을 따로 계산하지 않아도 되는 장점이 있습니다.
+ - Boltzmann Machine : 완전그래프 구조로 학습하는 생성형 모델입니다. 모델을 학습하는 과정에서 확률 분포의 학습이 어려워(계산량이 많아서 어려움) Markov chain 을 활용하여 학습합니다. 또한, 완전그래프이기 때문에 노드가 늘어날수록 간선, 파라미터 등이 급증하는 문제가 있어 Restricted Boltzmann Machine(RBM) 이 제안되기도 했습니다.
+
+반면에 데이터의 분포를 명확히 정의하지 않고 implicit 하게 모델을 학습하는 방식도 존재합니다. 대표적으로는 Ian Goodfellow 가 2014년에 발표한 GAN 모델이 있습니다. GAN 은 최근에 Diffusion Model 이 소개되기 전까지 몇 년 동안 이미지 생성 분야에서 대표적인 모델로 자리잡았었습니다. GAN 은 VAE 와 달리 marginal likelihood $p_{\theta}(x)$ 를 직접 구하지 않고, Adversarial Process 를 통해 implicit 하게 샘플링을 해서 분포를 구하게 됩니다.
+
+:::{figure-md}
+
+
+Taxonomy of Generative Models
+:::
+
+아래 그림과 같이 GAN 은 크게 잠재변수 $z$ 로부터 가짜 데이터를 생성하는 Generator 와 그로부터 생성된 데이터와 실제 training 데이터를 구분하는 Discriminator 로 구성이 되어 있습니다. 다시 말해서 Discriminator 는 실제 데이터가 들어오면 1, 그리고 가짜로 생성된 데이터가 들어오면 0 을 출력하는 binary classification task 를 진행합니다.
+
+:::{figure-md}
+
+
+Generative Adversarial Network(GAN) Architecture
+:::
+
+Generator 와 Discriminator 구현 코드도 같이 살펴보겠습니다.
+
+- **Generator 구현 code**
+
+ ```python
+ class Generator(nn.Module):
+ def __init__(self):
+ super(Generator, self).__init__()
+
+ def block(in_feat, out_feat, normalize=True):
+ layers = [nn.Linear(in_feat, out_feat)]
+ if normalize:
+ layers.append(nn.BatchNorm1d(out_feat, 0.8))
+ layers.append(nn.LeakyReLU(0.2, inplace=True))
+ return layers
+
+ self.model = nn.Sequential(
+ *block(opt.latent_dim, 128, normalize=False),
+ *block(128, 256),
+ *block(256, 512),
+ *block(512, 1024),
+ nn.Linear(1024, int(np.prod(img_shape))),
+ nn.Tanh()
+ )
+
+ def forward(self, z):
+ img = self.model(z)
+ img = img.view(img.size(0), *img_shape)
+ return img
+ ```
+
+- **Discriminator 구현 code**
+
+ ```python
+ class Discriminator(nn.Module):
+ def __init__(self):
+ super(Discriminator, self).__init__()
+
+ self.model = nn.Sequential(
+ nn.Linear(int(np.prod(img_shape)), 512),
+ nn.LeakyReLU(0.2, inplace=True),
+ nn.Linear(512, 256),
+ nn.LeakyReLU(0.2, inplace=True),
+ nn.Linear(256, 1),
+ nn.Sigmoid(),
+ )
+
+ def forward(self, img):
+ img_flat = img.view(img.size(0), -1)
+ validity = self.model(img_flat)
+
+ return validity
+ ```
+
+
+## Training Procedure
+
+GAN 을 학습할 시, **D를 먼저 최적화하는 k 단계**와 **G를 최적화하는 한 단계를 번갈아 수행**합니다. 그리고 이때 쓰이는 손실함수(loss function)은 다음과 같습니다.
+
+$$
+\min_G \max_D V(D,G) = \mathbb{E}\_{x \sim p_{data}(x)}[logD(x)] + \mathbb{E}\_{z \sim p_z(z)}[\log(1-D(G(z))]
+$$
+
+논문에서 제시한 학습 알고리즘과 실제 implementation code 를 비교해보겠습니다.
+
+:::{figure-md}
+
+
+Generative Adversarial Network(GAN) Training Procedure
+:::
+
+- **GAN 학습 code**
+
+ ```python
+ # ----------
+ # Training
+ # ----------
+
+ for epoch in range(opt.n_epochs):
+ for i, (imgs, _) in enumerate(dataloader):
+
+ # Adversarial ground truths
+ valid = Variable(Tensor(imgs.size(0), 1).fill_(1.0), requires_grad=False)
+ fake = Variable(Tensor(imgs.size(0), 1).fill_(0.0), requires_grad=False)
+
+ # Configure input
+ real_imgs = Variable(imgs.type(Tensor))
+
+ # -----------------
+ # Train Generator
+ # -----------------
+
+ optimizer_G.zero_grad()
+
+ # Sample noise as generator input
+ z = Variable(Tensor(np.random.normal(0, 1, (imgs.shape[0], opt.latent_dim))))
+
+ # Generate a batch of images
+ gen_imgs = generator(z)
+
+ # Loss measures generator's ability to fool the discriminator
+ g_loss = adversarial_loss(discriminator(gen_imgs), valid)
+
+ g_loss.backward()
+ optimizer_G.step()
+
+ # ---------------------
+ # Train Discriminator
+ # ---------------------
+
+ optimizer_D.zero_grad()
+
+ # Measure discriminator's ability to classify real from generated samples
+ real_loss = adversarial_loss(discriminator(real_imgs), valid)
+ fake_loss = adversarial_loss(discriminator(gen_imgs.detach()), fake)
+ d_loss = (real_loss + fake_loss) / 2
+
+ d_loss.backward()
+ optimizer_D.step()
+
+ print(
+ "[Epoch %d/%d] [Batch %d/%d] [D loss: %f] [G loss: %f]"
+ % (epoch, opt.n_epochs, i, len(dataloader), d_loss.item(), g_loss.item())
+ )
+
+ batches_done = epoch * len(dataloader) + i
+ if batches_done % opt.sample_interval == 0:
+ save_image(gen_imgs.data[:25], "images/%d.png" % batches_done, nrow=5, normalize=True)
+ ```
+
+
+이렇게 Discriminator 와 Generator 는 각각 $V(D,G)$ 가 최대화하고 최소화하는 방향으로 stochastic gradient descent 를 진행하게 됩니다. 하지만 아래 그림처럼 실제로 Generator를 학습할 때, 초반에 $D(G(z)) \approx 0$ 일 경우 학습하지 못하는 상황이 발생합니다. 이 때, $\log(1-D(G(z))$ 를 최소화하지 않고 $\log(D(G(z))$ 를 최대화하는 방향으로 Generator 를 학습하는 기법도 있습니다.
+
+:::{figure-md}
+
+
+Alternative to Vanishing Gradient when Training the Generator
+:::
+
+이렇게 학습함으로써 최적화된 solution 에서는 Generator 가 training 데이터 분포를 완벽히 복원하고 Discriminator 는 binary classification 확률을 언제나 1/2 로 내뱉게 됩니다.
+
+### Theoretical Results
+
+**Proposition 1. 고정된 Generator 에 대해서, 최적화된 Discriminator 는 다음과 같습니다.**
+
+$$
+D_{G}^*(x) = \frac{p_{data}(x)}{p_{data}(x) + p_g(x)}
+$$
+
+이를 증명하자면, Discriminator 에 대한 손실함수를 다음과 같이 쓸 수 있고 $D = D_{G}^*(x)$ 가 이를 최대화하는 solution 입니다.
+
+$$
+V(D,G) = \int_x p_{data}(x) \log(D(x)) dx+ \int_z p_{z}(z) \log(1-D(g(z)) dz
+$$
+
+$$
+= \int_x p_{data}(x) \log(D(x)) + p_{g}(x) \log(1-D(x)) dx
+$$
+
+**Proposition 2. 최적화된 Discriminator 에 대해 $\max_D V(D,G)$ 를 최소화하는 Generator 는 $p_g = p_{data}$ 일때 성립하고 이때 $D = D_{G}^*(x) = 1/2$ 입니다.**
+
+이를 증명하자면, 최적화된 Discriminator 에 대한 손실함수는 다음과 같고
+
+$$
+V(D^{\ast},G) = \mathbb{E}\_{x \sim p_{data}(x)} [ \log D^{\ast}(x) ] + \mathbb{E}\_{x \sim p_g(x)} [ \log(1-D^{\ast}(x) ]
+$$
+
+$$
+= \int_x p_{data}(x) \log(\frac{p_{data}(x)}{p_{data}(x) + p_g(x)}) + \int_x p_{g}(x) \log(\frac{p_{g}(x)}{p_{data}(x) + p_g(x)})\ dx
+$$
+
+$$
+= -\log(4)\ + KL(p_{data}(x)\ ||\ \frac{p_{data}+p_{g}}{2}) + KL(p_{g}(x)\ ||\ \frac{p_{data}+p_{g}}{2})
+$$
+
+$KL(p_{data}(x)\ ||\ \frac{p_{data}+p_{g}}{2}) + KL(p_{g}(x)\ ||\ \frac{p_{data}+p_{g}}{2}) = 2\ \cdot\ JSD(p_{data}\ ||\ p_{g})$ 의 최솟값은 0 이고 이는 $p_g = p_{data}$ 일때 성립합니다.
+
+## Experiments
+
+논문에서 MNIST, the Toronto Face Database(TFD), 그리고 CIFAR-10 dataset 로 모델 실험 및 성능 평가했습니다. 평가시에는 $p_g$ 로부터 Parzen density estimation을 거쳐 계산한 log likelihood estimate 로 모델 성능 평가를 진행했습니다. 아래 표를 보면 실험 방법 중 GAN이 제일 결과가 좋은 것을 볼 수 있습니다.
+
+:::{figure-md}
+
+
+Experimental Results
+:::
+
+## Summary
+
+VAE는 새로운 데이터를 잘 생성하지만 생성된 이미지가 흐릿하다는 단점을 지니고 있습니다. 반면에 GAN 은 high quality image 를 잘 생성하지만 unstable 한 convergence 를 가지고 있습니다. 그래서 실제로 VAE 는 Encoder 를 활용한 차원축소로 많이 활용되고 이미지 데이터를 생성하는데는 GAN 이 많이 활용되었다고 합니다.
diff --git a/_sources/docs/review/imagen.md b/_sources/docs/review/imagen.md
index 71a0f5b2..641d80f4 100755
--- a/_sources/docs/review/imagen.md
+++ b/_sources/docs/review/imagen.md
@@ -1,194 +1,194 @@
-``` {admonition} Information
-- **Title:** Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding (NeurIPS 2022)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2205.11487](https://arxiv.org/abs/2205.11487)
-
-- **Author:** Donggeun Sean Ko
-
-- **Last updated on Sep. 13, 2023**
-
-```
-
-# Imagen
-
-
-## Introduction
-- Multi-modal learning, 특히 text-to-image generation 에서 contrastive learning이 최근에 많은 주목을 받고 있음.
-
-- Contrastive learning 과 더불어 large language model (LLM) 들과 diffusion model 들을 사용하여 독창적인 image 생성도 가능함
-
-- 텍스트 전용 말뭉치 (text corpus)로 학습된 LLM들의 text embedding들은 text-to-image 합성에 매우 효과적이라고 함.
-
-- Classifier-free guidance 사용하여, 더 높은 충실도 (fidelity)의 이미지를 생성하는 새로운 샘플링 기술을 사용함.
-
-:::{figure-md}
-
-
-Concept of Contrastive Learning
-:::
-
-## Contributions
-
-1. **Pretrained Frozen** text encoder (T5-XXL) 이 text-to-image generation task 에 매우 좋은 성능을 보여줌.
-2. Pretrained Text Encoder 사이즈를 **fine-tuning**하는 것이 diffusion model size fine tuning 하는 것보다 더 중요하다는 것을 실험적으로 증명함
-3. **Dynamic Thresholding** 이라는 새로운 diffusion sampling technique (thresholding diffusion sampler) 을 제시하여 high guidance weight을 leverage 할 수 있게 만들어 더욱 “현실적인” 이미지 생성을 할 수 있음
-4. **Efficient U-Net**이라는 기존 Palette 나 DDIM에서 사용하는 U-Net 구조보다 computational, memory efficient 한 U-Net 구조를 제시함
-5. COCO FID 점수 **7.27** SOTA 점수를 달성함
-6. **DrawBench**라는 새로운 text-to-image generation evaluation용 benchmark dataset을 제시함
-
-## Methodology
-
-### Pretrained T5-XXL + Cascaded Diffusion Model
-
-- Pretrained Text Encoder 중 T5-XXL (구글 모델) 사용
-- 학습 시 pretrained text encoder을 Freeze 해놓음
-- Text-to-Image Diffusion Model (Improved DDPM 아키텍쳐) 사용해 64x64 image 생성
-- 2가지 SR model (Efficient U-Net)을 사용해서 64 → 256 → 1024 로 upsampling
-
-:::{figure-md}
-
-
-Imagen overall pipeline
-:::
-
-### Classifier-Free Guidance
-- Classifier-free guidance 이란 auxiliary classifier의 효과 없이 classifier guidance 효과를 얻는 방법
-- 아래의 그림처럼 guidance가 없을 시 image generation이 일정하지 않음. 즉, label/class 의 영향을 못받아서, 생성이 일정하지 않음.
-- guidance를 줄 시, 생성된 이미지의 class나 object이 일정하고 무엇을 생성하는것인지 좀 더 자세하게 알 수 있음.
-
-:::{figure-md}
-
-
-Comparison between when guidance is not used (left) vs when guidance is used with parameter, w=3 (right)
-:::
-
-### Large guidance weight sampler
-- Guide의 가중치 w 를 높이면 train-test 불일치가 생긴다.
-- 이로 인해, 높은 가중치의 이미지는 훈련 데이터 범위 안에 없어 [-1,1], classifier-free guidance가 평균과 분산을 이동시켜 이미지가 아예 “빗나가” 이상한 이미지를 생성하게 된다
-
-### Static Thresholding
-- x-prediction 을 [-1,1]로 clipping 한다. 여전히 saturation 이 되고 fidelity가 덜한 이미지가 생성 됌
-- 문제를 해결하고자 dynamic thresholding 을 제시함
-
-:::{figure-md}
-
-
-Graphical visualization of static thresholding
-:::
-
-### Dynamic Thresholding
-- 특정 백분위수 절대 픽셀 값을 s 라고 지정하고 s > 1 이면, 임계값을 [-s,s]로 지정한 다음 s로 나눈다.
-- 예시: 90% 지점의 픽셀 값이 3 이면 [-3,3]으로 clipping 한 후 3으로 나눠서 [-1,1] 로 normalize 함.
-- Thresholding 의 차이는 아래 결과 비교 이미지로 확인 할 수 있다.
-
-:::{figure-md}
-
-
-Graphical visualization of dynamic thresholding
-:::
-
-
-:::{figure-md}
-
-
-Comparison among no thresholding, static thresholding and dynamic thresholding, respectively
-:::
-
-### Super Resolution Models
-- Efficient U-Net이라는 새로운 모델을 만들어, 기존 U-Net에서 여러가지 modification을 하였다고 주장 (그렇지만 EffU-Net은 의료쪽으로 이름이 이미 있는걸로 아는데…)
-- Removed self-attention layer
-- Keep the text cross-attention layer
-- Skip connection scaling을 1/(√2)로 하여 convergence 를 더 빠르게 함
-- Lower resolution block에서 residual blocks를 더 추가함
-
-:::{figure-md}
-
-
-Architecture of Super Resolution Diffusion Model used in Imagen
-:::
-
-### DrawBench
-- Imagen 저자들이 제시한 새로운 벤치마크 데이터셋. 본 데이터셋은 text prompt 와 category label 로 이루어졌다
-- 깃허브에서 다운 받을 수 있으며, 예시는 아래 그림과 갗다
-11 categories, 200 text prompts
-Human evaluation 으로 진행 (25명의 평가자)
-Model A에서 생성한 이미지 set vs Model B에서 생성한 이미지 set
-
-평가자는 2가지 질문을 주며 2가지 기준점으로 평가함
-**Q1. Which set of images is of higher quality?**
-**Q2. Which set of images better represents the text caption: {text caption}?**
-
-
-기준점
-- Image Fidelity
-- Image-text alignment
-
-평가자는 3가지 답변 중 하나를 선택해야함
-1. I prefer set A
-2. I am Indifferent
-3. I prefer set B
-
-
-:::{figure-md}
-
-
-Screenshot of DrawBench dataset
-:::
-
-## Results
-- Figure 2 에서는 DrawBench에서 나온 결과를 체리피킹 없이 보여준다.
-- 아마 저자들은 체리피킹 없이도 좋은 결과를 보여주고, 다양한 카테고리에서도 훌륭한 이미지를 생성 할 수 있다는 주장인 것 같다.
-
-:::{figure-md}
-
-
-Result of Imagen in DrawBench dataset
-:::
-
-- Zero-shot 으로 한 FID값이 MS-COCO로 학습한 모델들 FID 보다 높음.
-
-- Table 2 에서는 Imagen이 no people (사람이 없는 사진) 에는 photorealism 점수가 올라감
-→ Imagen 은 photorealistic people을 생성하기에 한계가 있음.
-
-:::{figure-md}
-
-
-Result Table of Imagen
-:::
-
-### Qualitative Result Table of Imagen from Human Evaluators
-
-- Human raters (사람 평가자) 들은 T5-XXL로 text encoding 한 text-to-image generation 모델을 CLIP-based 보다 더 선호함
-
-- 기본적으로 Imagen 은 다른 text-to-image generation 모델에서 (SOTA 모델인 DALL-E 2) 보다도 human raters 에서 DrawBench 데이터셋에서 좋은 평가를 받음
-
-:::{figure-md}
-
-
-Qualitative Result Table of Imagen from Human evaulators
-:::
-
-## Ablation Study
-
-- Scaling text encoder size 가 U-Net size scaling 보다 더 중요함
-- (a)의 text encoder 사이즈의 변화가 FID 및 CLIP score 점수에 더욱 많은 영향을 끼침
-
-- Dynamic thresholding 이 performance boost에 더욱 영향을 끼침
-- Dynamic thresholding을 이용하면 성능을 더욱 끌어 올릴 수 있음
-
-:::{figure-md}
-
-
-Qualitative Result Table of Imagen from Human evaulators
-:::
-
-## Conclusion
-
-- Frozen large pretrained language model shows better performance over text-image paired multimodal encoders such as CLIP in text-to-image generation task
-- Efficient U-Net significantly improves performance time
-- Dynamic thresholding allows usage of much higher guidance weights with better fidelity of generated images
-
-
-
-
+``` {admonition} Information
+- **Title:** Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding (NeurIPS 2022)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2205.11487](https://arxiv.org/abs/2205.11487)
+
+- **Author:** Donggeun Sean Ko
+
+- **Last updated on Sep. 13, 2023**
+
+```
+
+# Imagen
+
+
+## Introduction
+- Multi-modal learning, 특히 text-to-image generation 에서 contrastive learning이 최근에 많은 주목을 받고 있음.
+
+- Contrastive learning 과 더불어 large language model (LLM) 들과 diffusion model 들을 사용하여 독창적인 image 생성도 가능함
+
+- 텍스트 전용 말뭉치 (text corpus)로 학습된 LLM들의 text embedding들은 text-to-image 합성에 매우 효과적이라고 함.
+
+- Classifier-free guidance 사용하여, 더 높은 충실도 (fidelity)의 이미지를 생성하는 새로운 샘플링 기술을 사용함.
+
+:::{figure-md}
+
+
+Concept of Contrastive Learning
+:::
+
+## Contributions
+
+1. **Pretrained Frozen** text encoder (T5-XXL) 이 text-to-image generation task 에 매우 좋은 성능을 보여줌.
+2. Pretrained Text Encoder 사이즈를 **fine-tuning**하는 것이 diffusion model size fine tuning 하는 것보다 더 중요하다는 것을 실험적으로 증명함
+3. **Dynamic Thresholding** 이라는 새로운 diffusion sampling technique (thresholding diffusion sampler) 을 제시하여 high guidance weight을 leverage 할 수 있게 만들어 더욱 “현실적인” 이미지 생성을 할 수 있음
+4. **Efficient U-Net**이라는 기존 Palette 나 DDIM에서 사용하는 U-Net 구조보다 computational, memory efficient 한 U-Net 구조를 제시함
+5. COCO FID 점수 **7.27** SOTA 점수를 달성함
+6. **DrawBench**라는 새로운 text-to-image generation evaluation용 benchmark dataset을 제시함
+
+## Methodology
+
+### Pretrained T5-XXL + Cascaded Diffusion Model
+
+- Pretrained Text Encoder 중 T5-XXL (구글 모델) 사용
+- 학습 시 pretrained text encoder을 Freeze 해놓음
+- Text-to-Image Diffusion Model (Improved DDPM 아키텍쳐) 사용해 64x64 image 생성
+- 2가지 SR model (Efficient U-Net)을 사용해서 64 → 256 → 1024 로 upsampling
+
+:::{figure-md}
+
+
+Imagen overall pipeline
+:::
+
+### Classifier-Free Guidance
+- Classifier-free guidance 이란 auxiliary classifier의 효과 없이 classifier guidance 효과를 얻는 방법
+- 아래의 그림처럼 guidance가 없을 시 image generation이 일정하지 않음. 즉, label/class 의 영향을 못받아서, 생성이 일정하지 않음.
+- guidance를 줄 시, 생성된 이미지의 class나 object이 일정하고 무엇을 생성하는것인지 좀 더 자세하게 알 수 있음.
+
+:::{figure-md}
+
+
+Comparison between when guidance is not used (left) vs when guidance is used with parameter, w=3 (right)
+:::
+
+### Large guidance weight sampler
+- Guide의 가중치 w 를 높이면 train-test 불일치가 생긴다.
+- 이로 인해, 높은 가중치의 이미지는 훈련 데이터 범위 안에 없어 [-1,1], classifier-free guidance가 평균과 분산을 이동시켜 이미지가 아예 “빗나가” 이상한 이미지를 생성하게 된다
+
+### Static Thresholding
+- x-prediction 을 [-1,1]로 clipping 한다. 여전히 saturation 이 되고 fidelity가 덜한 이미지가 생성 됌
+- 문제를 해결하고자 dynamic thresholding 을 제시함
+
+:::{figure-md}
+
+
+Graphical visualization of static thresholding
+:::
+
+### Dynamic Thresholding
+- 특정 백분위수 절대 픽셀 값을 s 라고 지정하고 s > 1 이면, 임계값을 [-s,s]로 지정한 다음 s로 나눈다.
+- 예시: 90% 지점의 픽셀 값이 3 이면 [-3,3]으로 clipping 한 후 3으로 나눠서 [-1,1] 로 normalize 함.
+- Thresholding 의 차이는 아래 결과 비교 이미지로 확인 할 수 있다.
+
+:::{figure-md}
+
+
+Graphical visualization of dynamic thresholding
+:::
+
+
+:::{figure-md}
+
+
+Comparison among no thresholding, static thresholding and dynamic thresholding, respectively
+:::
+
+### Super Resolution Models
+- Efficient U-Net이라는 새로운 모델을 만들어, 기존 U-Net에서 여러가지 modification을 하였다고 주장 (그렇지만 EffU-Net은 의료쪽으로 이름이 이미 있는걸로 아는데…)
+- Removed self-attention layer
+- Keep the text cross-attention layer
+- Skip connection scaling을 1/(√2)로 하여 convergence 를 더 빠르게 함
+- Lower resolution block에서 residual blocks를 더 추가함
+
+:::{figure-md}
+
+
+Architecture of Super Resolution Diffusion Model used in Imagen
+:::
+
+### DrawBench
+- Imagen 저자들이 제시한 새로운 벤치마크 데이터셋. 본 데이터셋은 text prompt 와 category label 로 이루어졌다
+- 깃허브에서 다운 받을 수 있으며, 예시는 아래 그림과 갗다
+11 categories, 200 text prompts
+Human evaluation 으로 진행 (25명의 평가자)
+Model A에서 생성한 이미지 set vs Model B에서 생성한 이미지 set
+
+평가자는 2가지 질문을 주며 2가지 기준점으로 평가함
+**Q1. Which set of images is of higher quality?**
+**Q2. Which set of images better represents the text caption: {text caption}?**
+
+
+기준점
+- Image Fidelity
+- Image-text alignment
+
+평가자는 3가지 답변 중 하나를 선택해야함
+1. I prefer set A
+2. I am Indifferent
+3. I prefer set B
+
+
+:::{figure-md}
+
+
+Screenshot of DrawBench dataset
+:::
+
+## Results
+- Figure 2 에서는 DrawBench에서 나온 결과를 체리피킹 없이 보여준다.
+- 아마 저자들은 체리피킹 없이도 좋은 결과를 보여주고, 다양한 카테고리에서도 훌륭한 이미지를 생성 할 수 있다는 주장인 것 같다.
+
+:::{figure-md}
+
+
+Result of Imagen in DrawBench dataset
+:::
+
+- Zero-shot 으로 한 FID값이 MS-COCO로 학습한 모델들 FID 보다 높음.
+
+- Table 2 에서는 Imagen이 no people (사람이 없는 사진) 에는 photorealism 점수가 올라감
+→ Imagen 은 photorealistic people을 생성하기에 한계가 있음.
+
+:::{figure-md}
+
+
+Result Table of Imagen
+:::
+
+### Qualitative Result Table of Imagen from Human Evaluators
+
+- Human raters (사람 평가자) 들은 T5-XXL로 text encoding 한 text-to-image generation 모델을 CLIP-based 보다 더 선호함
+
+- 기본적으로 Imagen 은 다른 text-to-image generation 모델에서 (SOTA 모델인 DALL-E 2) 보다도 human raters 에서 DrawBench 데이터셋에서 좋은 평가를 받음
+
+:::{figure-md}
+
+
+Qualitative Result Table of Imagen from Human evaulators
+:::
+
+## Ablation Study
+
+- Scaling text encoder size 가 U-Net size scaling 보다 더 중요함
+- (a)의 text encoder 사이즈의 변화가 FID 및 CLIP score 점수에 더욱 많은 영향을 끼침
+
+- Dynamic thresholding 이 performance boost에 더욱 영향을 끼침
+- Dynamic thresholding을 이용하면 성능을 더욱 끌어 올릴 수 있음
+
+:::{figure-md}
+
+
+Qualitative Result Table of Imagen from Human evaulators
+:::
+
+## Conclusion
+
+- Frozen large pretrained language model shows better performance over text-image paired multimodal encoders such as CLIP in text-to-image generation task
+- Efficient U-Net significantly improves performance time
+- Dynamic thresholding allows usage of much higher guidance weights with better fidelity of generated images
+
+
+
+
diff --git a/_sources/docs/review/imagen_editor.md b/_sources/docs/review/imagen_editor.md
index cfd93b82..dd46ad63 100755
--- a/_sources/docs/review/imagen_editor.md
+++ b/_sources/docs/review/imagen_editor.md
@@ -1,72 +1,72 @@
-``` {admonition} Information
-- **Title:** Imagen Editor and EditBench: Advancing and Evaluating Text-Guided Image Inpainting (CVPR 2023)
-
-- **Reference**
- - Paper: [https://arxiv.org/pdf/2212.06909](https://arxiv.org/pdf/2212.06909)
-
-- **Author:** Sangwoo Jo
-
-- **Last updated on Sep. 06, 2023**
-```
-
-# Imagen Editor
-
-이번 시간에는 Google Research 에서 소개하는 Imagen 모델 기반의 text-guided image inpainting 모델 Imagen Editor 와 text-guided impainting 의 평가기법 EditBench 에 대해 알아볼 예정입니다.
-
-Text-guided image inpainting 에서 기존에는 mask 영역을 random 하게 지정하여 학습을 진행했습니다. 이는 입력된 text prompt 와 무관한 영역을 masking 하게 됨으로써 모델이 prompt 를 참조하지 않고 오로지 image content 만으로 학습하게 되는 현상이 발생합니다. Imagen Editor 는 이를 해결하기 위해 Object Masking 기법을 소개합니다. Prompt 에 해당하는 객체 전체를 masking 함으로써 모델이 text prompt 를 더 참조할 수 있도록 유도하는 것이 목표입니다. SSD MobileNet v2 모델을 Object Detector 로 사용함으로써 모델 성능이 크게 개선되는 부분을 확인할 수 있었다고 합니다.
-
-:::{figure-md}
-
-
-Effect of Object Masking
-:::
-
-Imagen Editor 에서 또 다른 특징은 Imagen 모델 기반의 cascaded diffusion model architecture 를 지니고 있다는 점입니다. 이때, SR3, Palette, GLIDE 와 유사하게 이미지와 mask 가 Encoder 를 거친 후, diffusion latent 와 concatenate 하면서 conditioning input 으로 들어가게 되며, 모두 1024x1024 해상도를 가진다고 합니다. 따라서, base diffusion 64x64 모델 그리고 64x64 → 256x256 super resolution 모델에 입력 시, downsampling 작업 후 모델 input 으로 입력합니다. 또한, conditioning 이미지와 mask 없을 시 Imagen 모델을 사용하는 것과 동일한 효과를 내기 위해, 새로 추가되는 input channel weights 는 0으로 초기화해서 학습을 진행했다고 소개합니다.
-
-:::{figure-md}
-
-
-Imagen Editor Architecture
-:::
-
-Imagen 에서 소개되었던 Classifier-Free Guidance 를 동일하게 사용하고, 이때 guidance weight 를 1부터 30 까지 범위 내에서 변화시키는 oscillating guidance 기법을 적용함으로써 생성된 이미지 퀄리티 및 text-image alignment 가 상승되는 효과를 볼 수 있었다고 합니다.
-
-논문에서는 Imagen Editor 와 같은 text-guided image inpainting 모델들을 평가할 수 있는 새로운 benchmark EditBench 를 제시합니다. 240개의 (image, mask) 쌍으로 데이터셋이 구축되어있고, 각 쌍마다 3가지의 prompt 로 생성된 이미지로 사람이 모델 성능을 측정하게 됩니다. Automatic Evaluation Metric 으로는 CLIPScore, 그리고 CLIP-R-Prec 를 사용했습니다.
-
-EditBench 이미지 데이터셋의 절반은 open source 로 공개된 computer vision 데이터셋으로부터 수집되었고, 나머지 절반은 text-to-image 모델로 생성해서 구축했습니다. 이때, *attribute-object-scene* 의 요소들을 모두 갖추도록 이미지들을 수집 및 생성했습니다.
-
-- Attributes (material, color, shape, size, count)
-- Objects (common, rare, text rendering)
-- Scenes (indoor, outdoor, realistic, paintings)
-
-예를 들어서, ‘a=metal|o=cat|s=outdoor’ 요소들을 포함하는 문구를 ‘a metal cat standing in the middle of a farm field’ 처럼 생성하는 것입니다. 앞써 언급한 3가지 prompt 는 해당사진처럼 *Mask-Simple*, *Mask-Rich*, 그리고 *Full* 로 정의합니다.
-
-:::{figure-md}
-
-
-EditBench example
-:::
-
-데이터셋 구축시, mask 크기도 다양하게 설정하여 mask 크기에 따른 모델 성능도 확인할 수 있었습니다. 성능을 측정해본 결과, Object masking 으로 학습한 모델이 random masking 으로 학습한 모델보다 small/medium masks 에서 성능적으로 월등히 좋다는 것을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Human Evaluations on EditBench
-:::
-
-또한, object-rendering 에 비해 text-rendering 성능이 저하되는 부분을 확인할 수 있고, material/color/size 속성보다 count/size 속성에 더 취약한 부분도 확인할 수 있었습니다.
-
-:::{figure-md}
-
-
-Imagen Editor failure cases by attribute
-:::
-
-마지막으로, 동일한 prompt 에 대해 Stable Diffusion, DALL-E2, Imagen Editor 모델로 inpainting 한 결과를 비교한 예시 사진입니다.
-
-:::{figure-md}
-
-
-Example model outputs for Mask-Simple vs MaskRich prompts
-:::
+``` {admonition} Information
+- **Title:** Imagen Editor and EditBench: Advancing and Evaluating Text-Guided Image Inpainting (CVPR 2023)
+
+- **Reference**
+ - Paper: [https://arxiv.org/pdf/2212.06909](https://arxiv.org/pdf/2212.06909)
+
+- **Author:** Sangwoo Jo
+
+- **Last updated on Sep. 06, 2023**
+```
+
+# Imagen Editor
+
+이번 시간에는 Google Research 에서 소개하는 Imagen 모델 기반의 text-guided image inpainting 모델 Imagen Editor 와 text-guided impainting 의 평가기법 EditBench 에 대해 알아볼 예정입니다.
+
+Text-guided image inpainting 에서 기존에는 mask 영역을 random 하게 지정하여 학습을 진행했습니다. 이는 입력된 text prompt 와 무관한 영역을 masking 하게 됨으로써 모델이 prompt 를 참조하지 않고 오로지 image content 만으로 학습하게 되는 현상이 발생합니다. Imagen Editor 는 이를 해결하기 위해 Object Masking 기법을 소개합니다. Prompt 에 해당하는 객체 전체를 masking 함으로써 모델이 text prompt 를 더 참조할 수 있도록 유도하는 것이 목표입니다. SSD MobileNet v2 모델을 Object Detector 로 사용함으로써 모델 성능이 크게 개선되는 부분을 확인할 수 있었다고 합니다.
+
+:::{figure-md}
+
+
+Effect of Object Masking
+:::
+
+Imagen Editor 에서 또 다른 특징은 Imagen 모델 기반의 cascaded diffusion model architecture 를 지니고 있다는 점입니다. 이때, SR3, Palette, GLIDE 와 유사하게 이미지와 mask 가 Encoder 를 거친 후, diffusion latent 와 concatenate 하면서 conditioning input 으로 들어가게 되며, 모두 1024x1024 해상도를 가진다고 합니다. 따라서, base diffusion 64x64 모델 그리고 64x64 → 256x256 super resolution 모델에 입력 시, downsampling 작업 후 모델 input 으로 입력합니다. 또한, conditioning 이미지와 mask 없을 시 Imagen 모델을 사용하는 것과 동일한 효과를 내기 위해, 새로 추가되는 input channel weights 는 0으로 초기화해서 학습을 진행했다고 소개합니다.
+
+:::{figure-md}
+
+
+Imagen Editor Architecture
+:::
+
+Imagen 에서 소개되었던 Classifier-Free Guidance 를 동일하게 사용하고, 이때 guidance weight 를 1부터 30 까지 범위 내에서 변화시키는 oscillating guidance 기법을 적용함으로써 생성된 이미지 퀄리티 및 text-image alignment 가 상승되는 효과를 볼 수 있었다고 합니다.
+
+논문에서는 Imagen Editor 와 같은 text-guided image inpainting 모델들을 평가할 수 있는 새로운 benchmark EditBench 를 제시합니다. 240개의 (image, mask) 쌍으로 데이터셋이 구축되어있고, 각 쌍마다 3가지의 prompt 로 생성된 이미지로 사람이 모델 성능을 측정하게 됩니다. Automatic Evaluation Metric 으로는 CLIPScore, 그리고 CLIP-R-Prec 를 사용했습니다.
+
+EditBench 이미지 데이터셋의 절반은 open source 로 공개된 computer vision 데이터셋으로부터 수집되었고, 나머지 절반은 text-to-image 모델로 생성해서 구축했습니다. 이때, *attribute-object-scene* 의 요소들을 모두 갖추도록 이미지들을 수집 및 생성했습니다.
+
+- Attributes (material, color, shape, size, count)
+- Objects (common, rare, text rendering)
+- Scenes (indoor, outdoor, realistic, paintings)
+
+예를 들어서, ‘a=metal|o=cat|s=outdoor’ 요소들을 포함하는 문구를 ‘a metal cat standing in the middle of a farm field’ 처럼 생성하는 것입니다. 앞써 언급한 3가지 prompt 는 해당사진처럼 *Mask-Simple*, *Mask-Rich*, 그리고 *Full* 로 정의합니다.
+
+:::{figure-md}
+
+
+EditBench example
+:::
+
+데이터셋 구축시, mask 크기도 다양하게 설정하여 mask 크기에 따른 모델 성능도 확인할 수 있었습니다. 성능을 측정해본 결과, Object masking 으로 학습한 모델이 random masking 으로 학습한 모델보다 small/medium masks 에서 성능적으로 월등히 좋다는 것을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Human Evaluations on EditBench
+:::
+
+또한, object-rendering 에 비해 text-rendering 성능이 저하되는 부분을 확인할 수 있고, material/color/size 속성보다 count/size 속성에 더 취약한 부분도 확인할 수 있었습니다.
+
+:::{figure-md}
+
+
+Imagen Editor failure cases by attribute
+:::
+
+마지막으로, 동일한 prompt 에 대해 Stable Diffusion, DALL-E2, Imagen Editor 모델로 inpainting 한 결과를 비교한 예시 사진입니다.
+
+:::{figure-md}
+
+
+Example model outputs for Mask-Simple vs MaskRich prompts
+:::
diff --git a/_sources/docs/review/latent_consistency_models.md b/_sources/docs/review/latent_consistency_models.md
index 90728edc..b0f98590 100755
--- a/_sources/docs/review/latent_consistency_models.md
+++ b/_sources/docs/review/latent_consistency_models.md
@@ -1,325 +1,325 @@
-```{admonition} Information
-- **Title:** Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference
-
-- **Reference**
- - Paper: [https://arxiv.org/pdf/2310.04378](https://arxiv.org/pdf/2310.04378)
- - Code: [https://github.com/luosiallen/latent-consistency-model](https://github.com/luosiallen/latent-consistency-model)
- - Project Page: [https://latent-consistency-models.github.io/](https://latent-consistency-models.github.io/)
-
-- **Author:** Donghyun Han
-
-- **Last updated on May. 1, 2024**
-```
-
-# Latent Consistency Models
-
-## 1. Introduction
-
-Diffusion model은 다양한 분야에서 주목할만한 성과를 거두었지만 매우 느린 sampling 속도를 가지기 때문에 실시간 사용이 불가능하다. 이 같은 단점을 극복하기 위해 sampling 속도를 향상시키는 다양한 accelerating 방법이 제안되었다:
-
-
-
-1. ODE solver의 성능개선을 통해 10~20 step만으로도 좋은 성능을 가지는 방법.
-
- - DPM-Solver ([lu et al.](https://arxiv.org/pdf/2206.00927))
-
-2. 사전 학습된 Diffusion model을 몇 step만으로도 추론할수 있도록 **distillation**하는 방법.
-
- - PD (Progressive Distillation). → 2 stage ([Salimans et al.](https://arxiv.org/pdf/2202.00512))
- - On Distillation of Guided Diffusion Models. ([Meng et al.](https://arxiv.org/pdf/2210.03142))
- - Consistency Models ([Song et al.](https://arxiv.org/pdf/2303.01469))
-
-이중 특히 Consistency Models은 ODE-trajectory에 대한 일관성을 갖도록 하는 모델로서, single step만으로도 이미지를 생성할 수 있기 때문에 반복적인 계산이 필요하지 않다. 그러나 이 모델 또한 2가지의 단점을 가지고 있다:
-
-
-
-1. Pixel space의 Flow-based Model이기 때문에 **high-resolution 이미지 생성**에 적합하지 않음.
-2. Conditional(Classifer-free Guidance)한 이미지 생성을 고려하지 않아 **text2img**에 적합하지 않음.
-
----
-
-본 논문의 제안점은 다음 3가지다:
-
-
-
-- 빠르고 high-resolution 이미지를 생성하기 위한 Latent Consistency Models(LCMs)를 제안한다. LCMs은 영상의 latent space에 Consistency Models 개념을 적용해 매우 적은 step 만으로도 **고품질의 이미지**를 생성할 수 있다.
-
-- guided consistency distillation을 통해 Stable Diffusion을 매우 적은 step(1~4)으로 sampling 할 수 있는 방법을 제공한다. **Skipping-Step**이라는 테크닉을 통해 학습을 가속화 한다. 2, 4 step Model의 경우 학습에 A100 GPU 32시간 밖에 걸리지 않으며 LAION-5B-Aesthetics dataset에서 SOTA의 성능을 달성했다.
-
-- LCMs에 대한 새로운 fine-tuning 방식인 Latent Consistency Fine-tuning을 통해 **빠른 추론 속도를 유지하면서도 Custom Dataset에 효율적으로 적용**할 수 있다.
-
-
-
-:::{figure-md}
-
-
-768x768 Resolution image in 1~4 steps.
-:::
-
-## 2. Preliminaries
-
-### Diffusion Models
-
-Diffusion Models 혹은 Score-based Models는 데이터에 점진적으로 Gaussian noise를 주입하고 reverse denoise process로 noise를 제거하여 데이터를 sampling하는 기법이다. 반면 forwad process는 원본 데이터 분포인 $p_{data}(x)$를 주변 확률분포인 $q_{t}(x_{t})$로 변환한다:
-
-$$
-q_{0t}(x_{t}|x_{0})=\mathcal{N}(x_t|\alpha(t)x_0,\sigma^2(t)I)
-$$
-
-여기서 $\alpha(t)$와 $\sigma(t)$는 noise scheduler를 의미한다. 연속적인 timestep의 관점에서 이를 확률미분방정식(Stochastic Differential Equation, SDE)으로 나타낼 수 있는데, 다음과 같다:
-
-$$
-f(t)=\frac{d\log{\alpha(t)}}{dt}, g^2(t)=\frac{d\sigma^2(t)}{dt}-2\frac{d\log{\alpha(t)}}{dt}\sigma^2(t). \tag{1}
-$$
-
-또한 주변 확률분포 $q_t(x)$는 **Ptobability Flow ODE(PF-ODE)**라는 상미분방정식(Ordinary Differential Equation, ODE)을 만족하는데 다음과 같다:
-
-$$
-\frac{dx_t}{dt}=f(x)x_t-\frac{1}{2}g^2(t)\nabla_x\log{q_t(x_t)}, \ x_T \sim q_T(x_T). \tag{2}
-$$
-
-이때 Diffusion model은 $-\nabla\log{q_t(x_t)}$(score function)를 예측하는 noise 예측 모델($\epsilon_\theta(x_t,t)$)을 학습시킨다. 학습된 모델은 score function의 근사치를 예측하고 sampling하는데 이를 empirical PF-ODE라 한다 (경험적 PF-ODE):
-
-$$
-\frac{dx_t}{dt}=f(t)x_t+\frac{g^2(t)}{2\sigma_t}\epsilon_\theta(x_t,t), \ x_T \sim \mathcal{N}(0, \tilde{\sigma}^2I). \tag{3}
-$$
-
-Classifier-Free Guidance (CFG)는 sampling의 퀄리티를 높이기 위해 GLIDE, Stable Diffusion, DALL$\cdot$E2, Imagen 등 다양한 conditional model에서 사용되었다. CFG의 scale $\omega$가 주어졌을 때 원본 noise prediction은 conditional, unconditional noise prediction을 선형적으로 혼합하여 대체된다:
-
-$$
-\tilde{\epsilon}_\theta(z_t,\omega, c,t)=(1+\omega)\epsilon_\theta(z_t, c,t)-\omega\epsilon_\theta(z, \emptyset, t).
-$$
-
-
-
-### Consistency Models
-
-Consistenct Model(CM)은 몇 step 혹은 한번의 step 만으로 데이터를 생성할 수 있는 모델이다. CM의 핵심은 **PF-ODE의 궤적에 어떤 point와 PF-ODE의 solution에 대해 mapping되는 function ($f:(x_t, t) \mapsto x_\epsilon$)을 추정**하는 것이다.
-
-:::{figure-md}
-
-
-Consistency Models (CM).
-:::
-
-$\epsilon$은 고정된 매우 작은 양수값을 가지며 CM의 function은 자기 자신에 대한 **self-consistency**를 만족해야한다. 즉 어떠한 time step에 대해서도 $x_\epsilon$을 sampling 할 수 있어야 한다.
-
-$$
-f(x_t,t)=f(x_{t'},t'), \forall t,t' \in [\epsilon, T]. \tag{4}
-$$
-
-$f_\theta(x, \epsilon)=x$를 만족하는 모델 $f_\theta$는 다음과 같이 정리할 수 있다:
-
-$$
-f_\theta(x,t)=c_{skip}(t)x+c_{out}(t)F_\theta(x,t). \tag{5}
-$$
-
-$c_{skip}(t)$와 $c_{out}(t)$는 미분 가능한 함수이며 $c_{skip}=1, c_{out}=0$이기 때문에 $f_\theta(x, \epsilon)=x$를 만족한다. $\theta$는 학습 가능한 파라미터로 $F_\theta$는 심층 신경망을 의미한다.
-
-
-
-CM은 pre-trained 모델에 대한 Distillation 방식과 scratch부터 학습하는 방식이 있는데 주로 **Distillation 방식**을 사용한다. Distillation 방식은 parameter $\theta^-$가 $\theta$를 통해 학습하며 모델에 대한 self-consistency를 위해 다음과 같이 손실함수를 구성한다:
-
-$$
-\mathcal{L}(\theta,\theta^-;\Phi)=\mathbb{E}_{x,t}\bigg[d\bigg(f_\theta(x_{t_{n+1}, t_{n+1}}), f_{\theta^-}(\hat{x}^\phi_{t_n}, t_n)\bigg)\bigg]. \tag{6}
-$$
-
-이 때 $\theta^-$는 $\theta$에 대한 지수평균이동(Exponential Moving Average, EMA)이며 $\theta^- \leftarrow \mu\theta^-+(1-\mu)\theta$이다. $d(\cdot, \cdot)$은 두 sample 사이의 거리를 측정하는 지표이다. $\hat{x}^{\phi}_{t_n}$은 $x_{t_{n+1}}$에 대한 $x_{t_n}$을 추정한 값으로 다음과 같다:
-
-$$
-\hat{x}^\phi_{t_n} \leftarrow x_{t_{n+1}}+(t_{n}-t_{n+1})\Phi(x_{t_{n+1}}, t_{n+1};\phi). \tag{7}
-$$
-
-$\Phi$는 PF-ODE에 사용되는 ODE Solver로 [Euler](https://en.wikipedia.org/wiki/Euler_method)나 [Heun](https://en.wikipedia.org/wiki/Heun%27s_method) Method등의 수치적인 ODE solver를 사용할 수 있다. 즉 Consistency Distillation은 ODE Solver로 예측한 $\hat{x}^{\phi}_{t_n}$과 $x_{t_{n+1}}$을 입력으로 $f_{\theta^-}$와 $f_\theta$로 **예측한 값의 Consistency를 비교하는 방식으로 Distillation을 수행**한다.
-
-## 3. Latent Consistency Models
-
-CM의 한계:
-
-- ImageNet 64x64, LSUN 256x256 영상에 대한 Generation만 수행
-
- - **High Resolution**의 잠재성이 아직 탐구되지 않았음.
- - **Classifier-free Guidance(CFG)** 등을 사용하지 않음.
-
-Latent Consistency Models(LCMs)는 CM의 잠재력을 충분히 발휘하여 좀더 도전적인 task를 수행한다.
-
-### 3.1 Consistency Distillation in the Latent Space
-
-본 논문에서는 pre-trained 된 Stable Diffusion에 Consistency Distillation을 적용한 Latent Consistency Distillation (LCD)을 제안한다. LCMs는 LDM(SD)을 기반으로 설계되었기 때문에 $z=\varepsilon(x)$를 통해 $x$를 latent vector로 임베딩하고 $\hat{x}=\mathcal{D}(z)$를 통해 원본 영상으로 복원한다. latent space 상에서 연산이 이뤄지기 때문에 **Computation Cost를 크게 줄일 수 있어** high-resolution 영상을 laptop GPU에서 생성할 수도 있다.
-
-condition을 추가한 PF-ODE의 reverse process는 다음과 같이 정의된다:
-
-$$
-\frac{dz_t}{dt}=f(t)z_t+\frac{g^2(t)}{2\sigma_t}\epsilon_\theta(z_t,c,t), \ z_T\sim\mathcal{N}(0,\tilde{\sigma}^2I). \tag{8}
-$$
-
-$z_t$는 t step의 image latents, $\epsilon_\theta(z_t,c,t)$는 noise 예측 모델, c는 text와 같은 conditional prompt를 의미한다. PF-ODE상에서 모든 t step에 대해 consistency function $f_\theta :(z_t,c,t) \mapsto z_0$이기 때문에 이를 수식으로 정리하자면 다음과 같이 나타낼 수 있다 ($\hat{\epsilon}_\theta$는 noise prediction model.):
-
-$$
-f_\theta(z,c,t)=c_{skip}(t)z+c_{out}(t)\bigg( \frac{z-\sigma_t\hat{\epsilon}_\theta(z,c,t)}{\alpha_t} \bigg). \ (\epsilon-Prediction) \tag{9}
-$$
-
-수식을 살펴보면 ddpm 등의 reparameterization trick인 $x_t := \sqrt{\bar{\alpha}_t}x_0 + \sqrt{1-\bar{\alpha}_t}\epsilon$을 변형하여 식에 대입한 것을 알 수 있음. ($x$→$z$로 치환)
-
-$$
-x_0 = \frac{x_t-\sqrt{1-\bar{\alpha}_t}\epsilon}{\sqrt{\bar{\alpha}_t}}, \ \hat{z}_0 = \frac{z_t-\sigma(t)\hat{\epsilon}_{\theta}(z,c,t)}{\alpha(t)}.
-$$
-
-CM과 마찬가지로 $c_{skip}(0)=1, c_{out}(0)=0$이고 $\hat{\epsilon}_{\theta}(z,c,t)$는 teacher diffusion model과 유사한 noise 예측 모델 parameter이다. $f_\theta$는 $\epsilon-Prediction$ 외에도 $x-Prediction$이나 $v-Prediction$을 사용할 수도 있다. ($x-Prediction$은 DDPM, $v-prediction$은 PD에서 나온 개념)
-
-$$
-\mathcal{L_{CD}}(\theta,\theta^-;\psi)=\mathbb{E}_{z,c,n}\bigg[ d(f_\theta(z_{t_{n+1}},c,t_{n+1}), f_{\theta^-}(\hat{z}^\psi_{t_n},c,t_n)) \bigg]. \tag{10}
-$$
-
-$\psi(z_t,t,x,c)$는 ODE solver이며 특정한 time step $t \sim s$ 사이에 대한 Eq. 8의 우항을 근사한 값이다. ODE Solver이기 때문에 **DDIM, DPM-Solver, DPM-Solver++ 등을 사용할 수 있다.** 또한 $\psi$는 학습 및 Distillation시에만 사용한다. 이때 $t_n$은 EDM을 토대로 CM에서 나오는 값이다. 기존 timestep $[t, T]$에 대한 하위 간격으로 $t_1=\epsilon
-
-Quantitative results at 512 x 512 & 768 x 768 resolution.
-:::
-
-:::{figure-md}
-
-
-Qualitative results on LAION-Aesthetic-6.5+ Dataset. (2,4 steps)
-:::
-
-DDIM, DPM-Solver, DPM-Solver++, Guided-Distill 4가지 모델에 대해 LCM과 성능비교를 했는데 이때 Guided-Distill은 오픈소스 코드가 없기 때문에 논문의 내용과 동일하게 Implementation 해서 성능을 비교하였다. LCM은 같은 메모리 Cost 대비 더 빠르게 수렴하고 더 좋은 품질의 영상을 생성하였다. 특히 Guided-Distill은 2 stage Distillation이지만 LCM은 **1 Stage**만 사용해도 이같은 성능을 보여줬다.
-
-### 4.2 Abulation Study
-
-#### ODE Solvers & Skipping-Step Schedule
-
-augmented PF-ODE를 푸는 solver들(DDIM, DPM, DPM++)을 LCM에 사용할 때 성능 비교와 SKIPPING-STEP schedule의 $k$값에 따른 성능 변화를 비교하였다. 모든 모델은 2,000 iteration에서의 4-step inference로 고정해서 비교했다.
-
-:::{figure-md}
-
-
-Different ODE solvers and skipping step k.
-:::
-
-Skipping step의 경우 $k$ 값을 올렸을 때 훨씬더 빠르게 수렴하며 때때로 더 좋은 FID 값을 보여주었다. 또한 DPM과 DPM++은 $k$가 50일 때 DDIM보다 더 좋은 성능을 보였다. 이는 **$k$ 값이 클수록 더 큰 ODE approximation error를 가지는 DDIM에 비해 오차가 적기 때문**이다.
-
-$k=20$일 때, 3가지 모델 모두 좋은 성능이 보였다.
-
-#### The Effect of Guidance Scale $\omega$
-
-일반적으로 $\omega$값이 클수록 CLIP score 같은 품질의 지표는 좋아지지만 작을수록 다양성이 떨어져 FID Score가 떨어진다. 즉 $\omega$의 크기는 **Quality와 Diversity에 대한 trade-off가 있다.**
-
-:::{figure-md}
-
-
-Different classifier-free guidance scales $\omega$.
-:::
-
-그래프를 보면 2~8 step inference는 성능에 큰 차이를 가지지는 않는것으로 확인된다. 그러나 **1 step inference는 아직 개선의 여지가 있는것**을 확인할 수 있다.
-
-:::{figure-md}
-
-
-Different classifier-free guidance scales $\omega$.
-:::
-
-$\omega$에 따른 실제 생성 이미지를 비교해 봤을 때 생성 영상의 Quality 차이가 확연하게 들어난다. 즉 Distillation 시에도 CFG를 적용하는 것이 성능을 크게 개선할 수 있다는 것을 증명한다.
-
-### 4.3 Downstream Consistency Fine-tuning Results
-
-포켓몬 데이터셋과 심슨 데이터셋에 LCF를 적용했을 때를 비교하였다. 90%는 학습 데이터로, 10%는 검증 데이터로 사용했다. 완벽하진 않지만 Custom Dataset의 style을 잘 catch한 모습을 보여준다.
-
-:::{figure-md}
-
-
-Latent Consistency Fine-tuning(LCF) on two customized dataset.. $\omega$.
-:::
-
-# Conclusion
-
+```{admonition} Information
+- **Title:** Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference
+
+- **Reference**
+ - Paper: [https://arxiv.org/pdf/2310.04378](https://arxiv.org/pdf/2310.04378)
+ - Code: [https://github.com/luosiallen/latent-consistency-model](https://github.com/luosiallen/latent-consistency-model)
+ - Project Page: [https://latent-consistency-models.github.io/](https://latent-consistency-models.github.io/)
+
+- **Author:** Donghyun Han
+
+- **Last updated on May. 1, 2024**
+```
+
+# Latent Consistency Models
+
+## 1. Introduction
+
+Diffusion model은 다양한 분야에서 주목할만한 성과를 거두었지만 매우 느린 sampling 속도를 가지기 때문에 실시간 사용이 불가능하다. 이 같은 단점을 극복하기 위해 sampling 속도를 향상시키는 다양한 accelerating 방법이 제안되었다:
+
+
+
+1. ODE solver의 성능개선을 통해 10~20 step만으로도 좋은 성능을 가지는 방법.
+
+ - DPM-Solver ([lu et al.](https://arxiv.org/pdf/2206.00927))
+
+2. 사전 학습된 Diffusion model을 몇 step만으로도 추론할수 있도록 **distillation**하는 방법.
+
+ - PD (Progressive Distillation). → 2 stage ([Salimans et al.](https://arxiv.org/pdf/2202.00512))
+ - On Distillation of Guided Diffusion Models. ([Meng et al.](https://arxiv.org/pdf/2210.03142))
+ - Consistency Models ([Song et al.](https://arxiv.org/pdf/2303.01469))
+
+이중 특히 Consistency Models은 ODE-trajectory에 대한 일관성을 갖도록 하는 모델로서, single step만으로도 이미지를 생성할 수 있기 때문에 반복적인 계산이 필요하지 않다. 그러나 이 모델 또한 2가지의 단점을 가지고 있다:
+
+
+
+1. Pixel space의 Flow-based Model이기 때문에 **high-resolution 이미지 생성**에 적합하지 않음.
+2. Conditional(Classifer-free Guidance)한 이미지 생성을 고려하지 않아 **text2img**에 적합하지 않음.
+
+---
+
+본 논문의 제안점은 다음 3가지다:
+
+
+
+- 빠르고 high-resolution 이미지를 생성하기 위한 Latent Consistency Models(LCMs)를 제안한다. LCMs은 영상의 latent space에 Consistency Models 개념을 적용해 매우 적은 step 만으로도 **고품질의 이미지**를 생성할 수 있다.
+
+- guided consistency distillation을 통해 Stable Diffusion을 매우 적은 step(1~4)으로 sampling 할 수 있는 방법을 제공한다. **Skipping-Step**이라는 테크닉을 통해 학습을 가속화 한다. 2, 4 step Model의 경우 학습에 A100 GPU 32시간 밖에 걸리지 않으며 LAION-5B-Aesthetics dataset에서 SOTA의 성능을 달성했다.
+
+- LCMs에 대한 새로운 fine-tuning 방식인 Latent Consistency Fine-tuning을 통해 **빠른 추론 속도를 유지하면서도 Custom Dataset에 효율적으로 적용**할 수 있다.
+
+
+
+:::{figure-md}
+
+
+768x768 Resolution image in 1~4 steps.
+:::
+
+## 2. Preliminaries
+
+### Diffusion Models
+
+Diffusion Models 혹은 Score-based Models는 데이터에 점진적으로 Gaussian noise를 주입하고 reverse denoise process로 noise를 제거하여 데이터를 sampling하는 기법이다. 반면 forwad process는 원본 데이터 분포인 $p_{data}(x)$를 주변 확률분포인 $q_{t}(x_{t})$로 변환한다:
+
+$$
+q_{0t}(x_{t}|x_{0})=\mathcal{N}(x_t|\alpha(t)x_0,\sigma^2(t)I)
+$$
+
+여기서 $\alpha(t)$와 $\sigma(t)$는 noise scheduler를 의미한다. 연속적인 timestep의 관점에서 이를 확률미분방정식(Stochastic Differential Equation, SDE)으로 나타낼 수 있는데, 다음과 같다:
+
+$$
+f(t)=\frac{d\log{\alpha(t)}}{dt}, g^2(t)=\frac{d\sigma^2(t)}{dt}-2\frac{d\log{\alpha(t)}}{dt}\sigma^2(t). \tag{1}
+$$
+
+또한 주변 확률분포 $q_t(x)$는 **Ptobability Flow ODE(PF-ODE)**라는 상미분방정식(Ordinary Differential Equation, ODE)을 만족하는데 다음과 같다:
+
+$$
+\frac{dx_t}{dt}=f(x)x_t-\frac{1}{2}g^2(t)\nabla_x\log{q_t(x_t)}, \ x_T \sim q_T(x_T). \tag{2}
+$$
+
+이때 Diffusion model은 $-\nabla\log{q_t(x_t)}$(score function)를 예측하는 noise 예측 모델($\epsilon_\theta(x_t,t)$)을 학습시킨다. 학습된 모델은 score function의 근사치를 예측하고 sampling하는데 이를 empirical PF-ODE라 한다 (경험적 PF-ODE):
+
+$$
+\frac{dx_t}{dt}=f(t)x_t+\frac{g^2(t)}{2\sigma_t}\epsilon_\theta(x_t,t), \ x_T \sim \mathcal{N}(0, \tilde{\sigma}^2I). \tag{3}
+$$
+
+Classifier-Free Guidance (CFG)는 sampling의 퀄리티를 높이기 위해 GLIDE, Stable Diffusion, DALL$\cdot$E2, Imagen 등 다양한 conditional model에서 사용되었다. CFG의 scale $\omega$가 주어졌을 때 원본 noise prediction은 conditional, unconditional noise prediction을 선형적으로 혼합하여 대체된다:
+
+$$
+\tilde{\epsilon}_\theta(z_t,\omega, c,t)=(1+\omega)\epsilon_\theta(z_t, c,t)-\omega\epsilon_\theta(z, \emptyset, t).
+$$
+
+
+
+### Consistency Models
+
+Consistenct Model(CM)은 몇 step 혹은 한번의 step 만으로 데이터를 생성할 수 있는 모델이다. CM의 핵심은 **PF-ODE의 궤적에 어떤 point와 PF-ODE의 solution에 대해 mapping되는 function ($f:(x_t, t) \mapsto x_\epsilon$)을 추정**하는 것이다.
+
+:::{figure-md}
+
+
+Consistency Models (CM).
+:::
+
+$\epsilon$은 고정된 매우 작은 양수값을 가지며 CM의 function은 자기 자신에 대한 **self-consistency**를 만족해야한다. 즉 어떠한 time step에 대해서도 $x_\epsilon$을 sampling 할 수 있어야 한다.
+
+$$
+f(x_t,t)=f(x_{t'},t'), \forall t,t' \in [\epsilon, T]. \tag{4}
+$$
+
+$f_\theta(x, \epsilon)=x$를 만족하는 모델 $f_\theta$는 다음과 같이 정리할 수 있다:
+
+$$
+f_\theta(x,t)=c_{skip}(t)x+c_{out}(t)F_\theta(x,t). \tag{5}
+$$
+
+$c_{skip}(t)$와 $c_{out}(t)$는 미분 가능한 함수이며 $c_{skip}=1, c_{out}=0$이기 때문에 $f_\theta(x, \epsilon)=x$를 만족한다. $\theta$는 학습 가능한 파라미터로 $F_\theta$는 심층 신경망을 의미한다.
+
+
+
+CM은 pre-trained 모델에 대한 Distillation 방식과 scratch부터 학습하는 방식이 있는데 주로 **Distillation 방식**을 사용한다. Distillation 방식은 parameter $\theta^-$가 $\theta$를 통해 학습하며 모델에 대한 self-consistency를 위해 다음과 같이 손실함수를 구성한다:
+
+$$
+\mathcal{L}(\theta,\theta^-;\Phi)=\mathbb{E}_{x,t}\bigg[d\bigg(f_\theta(x_{t_{n+1}, t_{n+1}}), f_{\theta^-}(\hat{x}^\phi_{t_n}, t_n)\bigg)\bigg]. \tag{6}
+$$
+
+이 때 $\theta^-$는 $\theta$에 대한 지수평균이동(Exponential Moving Average, EMA)이며 $\theta^- \leftarrow \mu\theta^-+(1-\mu)\theta$이다. $d(\cdot, \cdot)$은 두 sample 사이의 거리를 측정하는 지표이다. $\hat{x}^{\phi}_{t_n}$은 $x_{t_{n+1}}$에 대한 $x_{t_n}$을 추정한 값으로 다음과 같다:
+
+$$
+\hat{x}^\phi_{t_n} \leftarrow x_{t_{n+1}}+(t_{n}-t_{n+1})\Phi(x_{t_{n+1}}, t_{n+1};\phi). \tag{7}
+$$
+
+$\Phi$는 PF-ODE에 사용되는 ODE Solver로 [Euler](https://en.wikipedia.org/wiki/Euler_method)나 [Heun](https://en.wikipedia.org/wiki/Heun%27s_method) Method등의 수치적인 ODE solver를 사용할 수 있다. 즉 Consistency Distillation은 ODE Solver로 예측한 $\hat{x}^{\phi}_{t_n}$과 $x_{t_{n+1}}$을 입력으로 $f_{\theta^-}$와 $f_\theta$로 **예측한 값의 Consistency를 비교하는 방식으로 Distillation을 수행**한다.
+
+## 3. Latent Consistency Models
+
+CM의 한계:
+
+- ImageNet 64x64, LSUN 256x256 영상에 대한 Generation만 수행
+
+ - **High Resolution**의 잠재성이 아직 탐구되지 않았음.
+ - **Classifier-free Guidance(CFG)** 등을 사용하지 않음.
+
+Latent Consistency Models(LCMs)는 CM의 잠재력을 충분히 발휘하여 좀더 도전적인 task를 수행한다.
+
+### 3.1 Consistency Distillation in the Latent Space
+
+본 논문에서는 pre-trained 된 Stable Diffusion에 Consistency Distillation을 적용한 Latent Consistency Distillation (LCD)을 제안한다. LCMs는 LDM(SD)을 기반으로 설계되었기 때문에 $z=\varepsilon(x)$를 통해 $x$를 latent vector로 임베딩하고 $\hat{x}=\mathcal{D}(z)$를 통해 원본 영상으로 복원한다. latent space 상에서 연산이 이뤄지기 때문에 **Computation Cost를 크게 줄일 수 있어** high-resolution 영상을 laptop GPU에서 생성할 수도 있다.
+
+condition을 추가한 PF-ODE의 reverse process는 다음과 같이 정의된다:
+
+$$
+\frac{dz_t}{dt}=f(t)z_t+\frac{g^2(t)}{2\sigma_t}\epsilon_\theta(z_t,c,t), \ z_T\sim\mathcal{N}(0,\tilde{\sigma}^2I). \tag{8}
+$$
+
+$z_t$는 t step의 image latents, $\epsilon_\theta(z_t,c,t)$는 noise 예측 모델, c는 text와 같은 conditional prompt를 의미한다. PF-ODE상에서 모든 t step에 대해 consistency function $f_\theta :(z_t,c,t) \mapsto z_0$이기 때문에 이를 수식으로 정리하자면 다음과 같이 나타낼 수 있다 ($\hat{\epsilon}_\theta$는 noise prediction model.):
+
+$$
+f_\theta(z,c,t)=c_{skip}(t)z+c_{out}(t)\bigg( \frac{z-\sigma_t\hat{\epsilon}_\theta(z,c,t)}{\alpha_t} \bigg). \ (\epsilon-Prediction) \tag{9}
+$$
+
+수식을 살펴보면 ddpm 등의 reparameterization trick인 $x_t := \sqrt{\bar{\alpha}_t}x_0 + \sqrt{1-\bar{\alpha}_t}\epsilon$을 변형하여 식에 대입한 것을 알 수 있음. ($x$→$z$로 치환)
+
+$$
+x_0 = \frac{x_t-\sqrt{1-\bar{\alpha}_t}\epsilon}{\sqrt{\bar{\alpha}_t}}, \ \hat{z}_0 = \frac{z_t-\sigma(t)\hat{\epsilon}_{\theta}(z,c,t)}{\alpha(t)}.
+$$
+
+CM과 마찬가지로 $c_{skip}(0)=1, c_{out}(0)=0$이고 $\hat{\epsilon}_{\theta}(z,c,t)$는 teacher diffusion model과 유사한 noise 예측 모델 parameter이다. $f_\theta$는 $\epsilon-Prediction$ 외에도 $x-Prediction$이나 $v-Prediction$을 사용할 수도 있다. ($x-Prediction$은 DDPM, $v-prediction$은 PD에서 나온 개념)
+
+$$
+\mathcal{L_{CD}}(\theta,\theta^-;\psi)=\mathbb{E}_{z,c,n}\bigg[ d(f_\theta(z_{t_{n+1}},c,t_{n+1}), f_{\theta^-}(\hat{z}^\psi_{t_n},c,t_n)) \bigg]. \tag{10}
+$$
+
+$\psi(z_t,t,x,c)$는 ODE solver이며 특정한 time step $t \sim s$ 사이에 대한 Eq. 8의 우항을 근사한 값이다. ODE Solver이기 때문에 **DDIM, DPM-Solver, DPM-Solver++ 등을 사용할 수 있다.** 또한 $\psi$는 학습 및 Distillation시에만 사용한다. 이때 $t_n$은 EDM을 토대로 CM에서 나오는 값이다. 기존 timestep $[t, T]$에 대한 하위 간격으로 $t_1=\epsilon
+
+Quantitative results at 512 x 512 & 768 x 768 resolution.
+:::
+
+:::{figure-md}
+
+
+Qualitative results on LAION-Aesthetic-6.5+ Dataset. (2,4 steps)
+:::
+
+DDIM, DPM-Solver, DPM-Solver++, Guided-Distill 4가지 모델에 대해 LCM과 성능비교를 했는데 이때 Guided-Distill은 오픈소스 코드가 없기 때문에 논문의 내용과 동일하게 Implementation 해서 성능을 비교하였다. LCM은 같은 메모리 Cost 대비 더 빠르게 수렴하고 더 좋은 품질의 영상을 생성하였다. 특히 Guided-Distill은 2 stage Distillation이지만 LCM은 **1 Stage**만 사용해도 이같은 성능을 보여줬다.
+
+### 4.2 Abulation Study
+
+#### ODE Solvers & Skipping-Step Schedule
+
+augmented PF-ODE를 푸는 solver들(DDIM, DPM, DPM++)을 LCM에 사용할 때 성능 비교와 SKIPPING-STEP schedule의 $k$값에 따른 성능 변화를 비교하였다. 모든 모델은 2,000 iteration에서의 4-step inference로 고정해서 비교했다.
+
+:::{figure-md}
+
+
+Different ODE solvers and skipping step k.
+:::
+
+Skipping step의 경우 $k$ 값을 올렸을 때 훨씬더 빠르게 수렴하며 때때로 더 좋은 FID 값을 보여주었다. 또한 DPM과 DPM++은 $k$가 50일 때 DDIM보다 더 좋은 성능을 보였다. 이는 **$k$ 값이 클수록 더 큰 ODE approximation error를 가지는 DDIM에 비해 오차가 적기 때문**이다.
+
+$k=20$일 때, 3가지 모델 모두 좋은 성능이 보였다.
+
+#### The Effect of Guidance Scale $\omega$
+
+일반적으로 $\omega$값이 클수록 CLIP score 같은 품질의 지표는 좋아지지만 작을수록 다양성이 떨어져 FID Score가 떨어진다. 즉 $\omega$의 크기는 **Quality와 Diversity에 대한 trade-off가 있다.**
+
+:::{figure-md}
+
+
+Different classifier-free guidance scales $\omega$.
+:::
+
+그래프를 보면 2~8 step inference는 성능에 큰 차이를 가지지는 않는것으로 확인된다. 그러나 **1 step inference는 아직 개선의 여지가 있는것**을 확인할 수 있다.
+
+:::{figure-md}
+
+
+Different classifier-free guidance scales $\omega$.
+:::
+
+$\omega$에 따른 실제 생성 이미지를 비교해 봤을 때 생성 영상의 Quality 차이가 확연하게 들어난다. 즉 Distillation 시에도 CFG를 적용하는 것이 성능을 크게 개선할 수 있다는 것을 증명한다.
+
+### 4.3 Downstream Consistency Fine-tuning Results
+
+포켓몬 데이터셋과 심슨 데이터셋에 LCF를 적용했을 때를 비교하였다. 90%는 학습 데이터로, 10%는 검증 데이터로 사용했다. 완벽하진 않지만 Custom Dataset의 style을 잘 catch한 모습을 보여준다.
+
+:::{figure-md}
+
+
+Latent Consistency Fine-tuning(LCF) on two customized dataset.. $\omega$.
+:::
+
+# Conclusion
+
LCM은 Consistency Distillation을 Latent 상에 적용하여 **고화질의 영상을 매우 적은 time step으로 inference 할 수 있도록 한 모델**이다. 즉 성능 좋고 고해상도의 영상을 few-step으로 가능하게 만들었다. 특히 Custom Dataset에도 Distillation을 적용했을 때 적은 time step으로도 어느정도의 style을 간단하게 학습하는 결과를 보여주었다.
\ No newline at end of file
diff --git a/_sources/docs/review/magic-3d.md b/_sources/docs/review/magic-3d.md
index 108bcaf5..f515bdfb 100755
--- a/_sources/docs/review/magic-3d.md
+++ b/_sources/docs/review/magic-3d.md
@@ -1,185 +1,185 @@
-``` {admonition} Information
-- **Title:** Magic3D: High-Resolution Text-to-3D Content Creation (CVPR 2023)
-
-- **Reference**
- - Paper: [https://arxiv.org/pdf/2211.10440](https://arxiv.org/pdf/2211.10440)
-
-- **Author:** Sangwoo Jo
-
-- **Last updated on Sep. 24, 2024**
-```
-
-# Magic3D
-
-## 1. Introduction
-
-Pre-trained 된 text-to-image diffusion model 을 활용하여 NeRF 를 optimize 하는 DreamFusion 모델의 두 가지 단점을 명시합니다.
-
-- Extremely slow optimization of NeRF
-- Low-resolution image (64x64) space supervision on NeRF, leading to low-quality 3D models with a long processing time (1.5 hours per prompt on average using TPUv4)
-
-따라서, 논문에서는 이러한 단점을 해결하기 위해 two-stage optimization framework 제시합니다. 첫번째 단계로 DreamFusion 과 동일하게 coarse 한 NeRF representation 을 optimize 하는데, hash grid 를 활용하여 memory 그리고 computationally efficient 하게 최적화합니다. 두번째 단계로 high resolution diffusion prior 를 기반으로 mesh representation 를 최적화합니다. 3D mesh 로 rasterizing 함으로써 graphics software 에 유동적으로 전환하여 사용할 수 있다는 장점이 있습니다.
-
-정리하자면, Magic3D 는 다음과 같은 contribution 을 제공합니다.
-
-- Synthesizes 3D content with an 8× higher resolution supervision, is also
-2× faster than DreamFusion
-- 3D object editing
-
-## 3. Background: DreamFusion
-
-DreamFusion 을 크게 두 가지 component 로 구성되어있다고 할 수 있습니다.
-
-- Neural scene representation
-
- Volumetric renderer $g$ 와 3D volume 을 나타내는 parameter $\theta$ 를 입력받아 rendered image 를 생성하는 scene model $x=g(\theta)$ 를 정의합니다. DreamFusion 에서는 scene model 로 Mip-NeRF 360 에서 shading model 를 추가하여 사용합니다.
-
-- Pre-trained text-to-image diffusion-based generative model $\phi$
-
- DreamFusion 에서 diffusion model 로 Imagen 모델을 사용합니다.
-
-
-이를 기반으로, 다음과 같은 Score Distillation Sampling (SDS) 을 통해 parameter $\theta$ 를 update 합니다.
-
-:::{figure-md}
-
-
-Score Distillation Sampling
-:::
-
-## 4. High-Resolution 3D Generation
-
-Magic3D 에서 high-resolution text-to-3D synthesis 를 위한 two-stage coarse-to-fine framework 를 다음과 같이 소개합니다.
-
-:::{figure-md}
-
-
-Magic3D Framework
-:::
-
-### 4.1. Coarse-to-fine Diffusion Priors
-
-1) 64x64 rendered image 에 대한 rendered loss 를 계산하기 위해 Imagen 과 유사한 eDiff-I 를 base diffusion 모델로 사용합니다.
-
-2) 512x512 high resolution rendered image 를 기반으로 backpropagation 할 수 있도록 Stable Diffusion model 을 LDM 으로 사용합니다. 다음과 같이 SDS 를 계산하는 과정에서 $\partial{x}/\partial{\theta}$ 와 $\partial{z}/\partial{x}$ 를 계산하는데 시간이 다소 소요된다고 합니다.
-
-:::{figure-md}
-
-
-SDS in high resolution 512x512
-:::
-
-### 4.2. Scene Models
-
-**Neural fields as coarse scene models**
-
-기존에 DreamFusion 에서 scene model 로 사용하였던 Mip-NeRF 360 모델이 3D geometry 에 대한 정보를 scratch 로부터 담아내는데 유용하다는 것을 보였지만, MLP 네트워크를 통해 dense 하게 sampling 하여 rendering 하는 과정이 computation cost 가 높다고 말합니다.
-
-이를 해결하기 위한 방법으로 InstantNGP 에서 소개하는 hash grid encoding 을 사용한다고 합니다. Hash grid 를 활용하여 두 개의 single layer neural network 를 학습하는데, 하나는 albedo 와 density 그리고 나머지 하나는 normal 을 예측합니다. 또한, density-based voxel pruning (empty space 에 대한 처리) 과 octree-based ray sampling/rendering 기법을 활용하여 computation cost 를 줄였다고 합니다.
-
-**Textured meshes as fine scene models**
-
-Fine stage 에서도 high resolution image 를 기반으로 동일한 scene model (neural field) 을 학습하는 방식도 있지만, 아래 예시처럼 메모리와 연산적인 제한이 있어 좋은 성능을 내기가 어렵다고 합니다.
-
-따라서, Magic3D 에서는 textured 3D mesh 를 scene representation 으로 사용합니다. 더 자세하게는, 다음과 같은 tetrahedral grid $(V_T,T)$ 형태로 3D mesh 를 표현합니다. 이때, $V_T$ 는 grid $T$ 에 존재하는 vertices 를 의미하고, 각 vertex $v_i \in V_T \subset \mathbb{R}^3$ 는 signed distance field (SDF) $s_i \in \mathbb{R}^3$ 그리고 deformation $\Delta v_i \in \mathbb{R}^3$ 값을 가집니다.
-
-이로부터 differentiable 한 marching tetrahedra 알고리즘을 통해 SDF 로부터 surface mesh 를 생성할 수 있으며, texture 에 대한 정보는 neural color field 로 정의할 수 있다고 합니다.
-
-### 4.3. Coarse-to-fine Optimization
-
-**Neural field optimization**
-
-Instant NGP 와 동일하게 $256^3$ resolution 의 occupancy grid 로 initialize 하고, 10 iterations 마다 grid 를 업데이트하며 empty space skipping 을 위한 octree 를 생성합니다. 매 업데이트마다 Instant NGP 와 동일한 파라미터 값을 설정하였다고 합니다.
-
-또한, DreamFusion 과 동일하게 background 를 표현하는 environment map MLP 를 사용하는데, 이때 Mip-NeRF 360 에서 사용하는 scene representation 을 사용할 수 없어, 모델이 background 로부터 object 에 대한 정보를 학습할 수 있어 이를 방지하기 위해 MLP 사이즈를 작게 하고 learning rate 를 10배 증가시켰다고 합니다.
-
-**Mesh optimization**
-
-Mesh 에 대한 optimization 을 진행하기 위해, 앞서 최적화한 coarse neural field 를 non-zero constant 를 차감함으로써 SDF 로 전환하고, texture field 는 coarse stage 에서 최적화된 color field 로 초기값을 설정합니다.
-
-최적화 단계를 진행할때, differentiable rasterizer 를 사용하여 surface mesh 를 rendering 하는 작업을 진행합니다. 각 vertex $v_i$ 에 대해 앞서 정의한 high resolution 에서의 SDS gradient 를 통해 $s_i$ 와 $\Delta v_i$ 를 최적화하게 됩니다. 이때, rendering 하는 과정에서 각 pixel 에 해당하는 3D coordinate 를 추적하여 texture field 도 동시에 최적화합니다.
-
-## 5. Experiments
-
-DreamFusion 과 397 개의 text prompt 에 대한 성능을 비교합니다.
-
-**Speed evaluation**
-
-- Coarse stage : 5000 iterations / 1024 samples / batch size 32 와 같은 설정으로 학습하였고, 하나의 객체를 생성하는데 8 NVIDIA A100 GPU 기준 15 분 소요된다고 합니다.
-- Fine stage : 3000 iterations / batch size 32 와 같은 설정으로 학습하였고, 하나의 객체를 생성하는데 8 NVIDIA A100 GPU 기준 25 분 소요된다고 합니다.
-
-**Qualitative comparisons**
-
-3D 객체에서의 geometry 와 texture 에 대한 생성을 잘하는 부분을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Qualitative comparisons
-:::
-
-**User studies**
-
-397 개의 text prompt 을 입력받아 생성한 Magic3D 와 DreamFusion 로 생성한 3D 객체들에 대해 설문조사해본 결과, 61.7% 의 유저들이 Magic3D 모델을 더 우세하게 평가하였습니다.
-
-:::{figure-md}
-
-
-User studies
-:::
-
-**Can single-stage optimization work with LDM prior?**
-
-LDM prior 를 활용한 single-stage optimization setup 으로 scene model 을 최적화할 시에 대한 ablation study 를 진행해본 결과, 성능이 좋지 않은 부분을 확인할 수 있었다고 합니다.
-
-:::{figure-md}
-
-
-Single-stage vs Coarse-to-fine
-:::
-
-**Can we use NeRF for the fine model?**
-
-NeRF 를 scratch 로부터 single-step 으로 최적화하는 것은 어렵지만, fine stage 에서 scene model 을 NeRF 로 변경하는 것은 가능합니다. 위 그림의 하단 4개 그림 중 좌측, 우측 사진이 각각 coarse stage 그리고 fine stage 에서 NeRF 를 학습한 결과입니다.
-
-**Coarse models vs. fine models**
-
-동일한 coarse model 에 대해서 NeRF 와 Mesh 모델을 모두 fine-tuning 한 결과, 모두 좋은 성능을 보이고 fine-tuned 된 mesh 모델이 특히 3D 객체 퀄리티를 실사적으로 잘 표현하는 것을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Coarse models vs. fine models
-:::
-
-## 6. Controllable 3D Generation
-
-**Personalized text-to-3D**
-
-사전에 diffusion model (eDiff-I, LDM) 을 DreamBooth 을 통해 학습하고, unique identifier $[V]$ 와 함께 3D scene model 을 학습합니다. 아래 사진과 같이, subject 에 대한 정보를 유지한 채 3D model 을 잘 생성하는 부분을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Controllable 3D Generation
-:::
-
-**Prompt-based editing through fine-tuning**
-
-다음과 같은 3단계로 prompt-based editing 으로 fine-tuning 을 진행합니다.
-
-1) 우선, coarse model 을 base prompt 로 학습합니다.
-
-2) Base prompt 를 수정한 후, coarse NeRF 모델을 학습하고 이와 LDM 을 기반으로 high resolution NeRF 모델을 만듭니다.
-
-3) 마지막으로, NeRF 모델을 기반으로 high-resolution fine-tuning 을 진행합니다.
-
-:::{figure-md}
-
-
-Prompt-based editing through fine-tuning
-:::
-
-## 7. Conclusion
-
+``` {admonition} Information
+- **Title:** Magic3D: High-Resolution Text-to-3D Content Creation (CVPR 2023)
+
+- **Reference**
+ - Paper: [https://arxiv.org/pdf/2211.10440](https://arxiv.org/pdf/2211.10440)
+
+- **Author:** Sangwoo Jo
+
+- **Last updated on Sep. 24, 2024**
+```
+
+# Magic3D
+
+## 1. Introduction
+
+Pre-trained 된 text-to-image diffusion model 을 활용하여 NeRF 를 optimize 하는 DreamFusion 모델의 두 가지 단점을 명시합니다.
+
+- Extremely slow optimization of NeRF
+- Low-resolution image (64x64) space supervision on NeRF, leading to low-quality 3D models with a long processing time (1.5 hours per prompt on average using TPUv4)
+
+따라서, 논문에서는 이러한 단점을 해결하기 위해 two-stage optimization framework 제시합니다. 첫번째 단계로 DreamFusion 과 동일하게 coarse 한 NeRF representation 을 optimize 하는데, hash grid 를 활용하여 memory 그리고 computationally efficient 하게 최적화합니다. 두번째 단계로 high resolution diffusion prior 를 기반으로 mesh representation 를 최적화합니다. 3D mesh 로 rasterizing 함으로써 graphics software 에 유동적으로 전환하여 사용할 수 있다는 장점이 있습니다.
+
+정리하자면, Magic3D 는 다음과 같은 contribution 을 제공합니다.
+
+- Synthesizes 3D content with an 8× higher resolution supervision, is also
+2× faster than DreamFusion
+- 3D object editing
+
+## 3. Background: DreamFusion
+
+DreamFusion 을 크게 두 가지 component 로 구성되어있다고 할 수 있습니다.
+
+- Neural scene representation
+
+ Volumetric renderer $g$ 와 3D volume 을 나타내는 parameter $\theta$ 를 입력받아 rendered image 를 생성하는 scene model $x=g(\theta)$ 를 정의합니다. DreamFusion 에서는 scene model 로 Mip-NeRF 360 에서 shading model 를 추가하여 사용합니다.
+
+- Pre-trained text-to-image diffusion-based generative model $\phi$
+
+ DreamFusion 에서 diffusion model 로 Imagen 모델을 사용합니다.
+
+
+이를 기반으로, 다음과 같은 Score Distillation Sampling (SDS) 을 통해 parameter $\theta$ 를 update 합니다.
+
+:::{figure-md}
+
+
+Score Distillation Sampling
+:::
+
+## 4. High-Resolution 3D Generation
+
+Magic3D 에서 high-resolution text-to-3D synthesis 를 위한 two-stage coarse-to-fine framework 를 다음과 같이 소개합니다.
+
+:::{figure-md}
+
+
+Magic3D Framework
+:::
+
+### 4.1. Coarse-to-fine Diffusion Priors
+
+1) 64x64 rendered image 에 대한 rendered loss 를 계산하기 위해 Imagen 과 유사한 eDiff-I 를 base diffusion 모델로 사용합니다.
+
+2) 512x512 high resolution rendered image 를 기반으로 backpropagation 할 수 있도록 Stable Diffusion model 을 LDM 으로 사용합니다. 다음과 같이 SDS 를 계산하는 과정에서 $\partial{x}/\partial{\theta}$ 와 $\partial{z}/\partial{x}$ 를 계산하는데 시간이 다소 소요된다고 합니다.
+
+:::{figure-md}
+
+
+SDS in high resolution 512x512
+:::
+
+### 4.2. Scene Models
+
+**Neural fields as coarse scene models**
+
+기존에 DreamFusion 에서 scene model 로 사용하였던 Mip-NeRF 360 모델이 3D geometry 에 대한 정보를 scratch 로부터 담아내는데 유용하다는 것을 보였지만, MLP 네트워크를 통해 dense 하게 sampling 하여 rendering 하는 과정이 computation cost 가 높다고 말합니다.
+
+이를 해결하기 위한 방법으로 InstantNGP 에서 소개하는 hash grid encoding 을 사용한다고 합니다. Hash grid 를 활용하여 두 개의 single layer neural network 를 학습하는데, 하나는 albedo 와 density 그리고 나머지 하나는 normal 을 예측합니다. 또한, density-based voxel pruning (empty space 에 대한 처리) 과 octree-based ray sampling/rendering 기법을 활용하여 computation cost 를 줄였다고 합니다.
+
+**Textured meshes as fine scene models**
+
+Fine stage 에서도 high resolution image 를 기반으로 동일한 scene model (neural field) 을 학습하는 방식도 있지만, 아래 예시처럼 메모리와 연산적인 제한이 있어 좋은 성능을 내기가 어렵다고 합니다.
+
+따라서, Magic3D 에서는 textured 3D mesh 를 scene representation 으로 사용합니다. 더 자세하게는, 다음과 같은 tetrahedral grid $(V_T,T)$ 형태로 3D mesh 를 표현합니다. 이때, $V_T$ 는 grid $T$ 에 존재하는 vertices 를 의미하고, 각 vertex $v_i \in V_T \subset \mathbb{R}^3$ 는 signed distance field (SDF) $s_i \in \mathbb{R}^3$ 그리고 deformation $\Delta v_i \in \mathbb{R}^3$ 값을 가집니다.
+
+이로부터 differentiable 한 marching tetrahedra 알고리즘을 통해 SDF 로부터 surface mesh 를 생성할 수 있으며, texture 에 대한 정보는 neural color field 로 정의할 수 있다고 합니다.
+
+### 4.3. Coarse-to-fine Optimization
+
+**Neural field optimization**
+
+Instant NGP 와 동일하게 $256^3$ resolution 의 occupancy grid 로 initialize 하고, 10 iterations 마다 grid 를 업데이트하며 empty space skipping 을 위한 octree 를 생성합니다. 매 업데이트마다 Instant NGP 와 동일한 파라미터 값을 설정하였다고 합니다.
+
+또한, DreamFusion 과 동일하게 background 를 표현하는 environment map MLP 를 사용하는데, 이때 Mip-NeRF 360 에서 사용하는 scene representation 을 사용할 수 없어, 모델이 background 로부터 object 에 대한 정보를 학습할 수 있어 이를 방지하기 위해 MLP 사이즈를 작게 하고 learning rate 를 10배 증가시켰다고 합니다.
+
+**Mesh optimization**
+
+Mesh 에 대한 optimization 을 진행하기 위해, 앞서 최적화한 coarse neural field 를 non-zero constant 를 차감함으로써 SDF 로 전환하고, texture field 는 coarse stage 에서 최적화된 color field 로 초기값을 설정합니다.
+
+최적화 단계를 진행할때, differentiable rasterizer 를 사용하여 surface mesh 를 rendering 하는 작업을 진행합니다. 각 vertex $v_i$ 에 대해 앞서 정의한 high resolution 에서의 SDS gradient 를 통해 $s_i$ 와 $\Delta v_i$ 를 최적화하게 됩니다. 이때, rendering 하는 과정에서 각 pixel 에 해당하는 3D coordinate 를 추적하여 texture field 도 동시에 최적화합니다.
+
+## 5. Experiments
+
+DreamFusion 과 397 개의 text prompt 에 대한 성능을 비교합니다.
+
+**Speed evaluation**
+
+- Coarse stage : 5000 iterations / 1024 samples / batch size 32 와 같은 설정으로 학습하였고, 하나의 객체를 생성하는데 8 NVIDIA A100 GPU 기준 15 분 소요된다고 합니다.
+- Fine stage : 3000 iterations / batch size 32 와 같은 설정으로 학습하였고, 하나의 객체를 생성하는데 8 NVIDIA A100 GPU 기준 25 분 소요된다고 합니다.
+
+**Qualitative comparisons**
+
+3D 객체에서의 geometry 와 texture 에 대한 생성을 잘하는 부분을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Qualitative comparisons
+:::
+
+**User studies**
+
+397 개의 text prompt 을 입력받아 생성한 Magic3D 와 DreamFusion 로 생성한 3D 객체들에 대해 설문조사해본 결과, 61.7% 의 유저들이 Magic3D 모델을 더 우세하게 평가하였습니다.
+
+:::{figure-md}
+
+
+User studies
+:::
+
+**Can single-stage optimization work with LDM prior?**
+
+LDM prior 를 활용한 single-stage optimization setup 으로 scene model 을 최적화할 시에 대한 ablation study 를 진행해본 결과, 성능이 좋지 않은 부분을 확인할 수 있었다고 합니다.
+
+:::{figure-md}
+
+
+Single-stage vs Coarse-to-fine
+:::
+
+**Can we use NeRF for the fine model?**
+
+NeRF 를 scratch 로부터 single-step 으로 최적화하는 것은 어렵지만, fine stage 에서 scene model 을 NeRF 로 변경하는 것은 가능합니다. 위 그림의 하단 4개 그림 중 좌측, 우측 사진이 각각 coarse stage 그리고 fine stage 에서 NeRF 를 학습한 결과입니다.
+
+**Coarse models vs. fine models**
+
+동일한 coarse model 에 대해서 NeRF 와 Mesh 모델을 모두 fine-tuning 한 결과, 모두 좋은 성능을 보이고 fine-tuned 된 mesh 모델이 특히 3D 객체 퀄리티를 실사적으로 잘 표현하는 것을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Coarse models vs. fine models
+:::
+
+## 6. Controllable 3D Generation
+
+**Personalized text-to-3D**
+
+사전에 diffusion model (eDiff-I, LDM) 을 DreamBooth 을 통해 학습하고, unique identifier $[V]$ 와 함께 3D scene model 을 학습합니다. 아래 사진과 같이, subject 에 대한 정보를 유지한 채 3D model 을 잘 생성하는 부분을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Controllable 3D Generation
+:::
+
+**Prompt-based editing through fine-tuning**
+
+다음과 같은 3단계로 prompt-based editing 으로 fine-tuning 을 진행합니다.
+
+1) 우선, coarse model 을 base prompt 로 학습합니다.
+
+2) Base prompt 를 수정한 후, coarse NeRF 모델을 학습하고 이와 LDM 을 기반으로 high resolution NeRF 모델을 만듭니다.
+
+3) 마지막으로, NeRF 모델을 기반으로 high-resolution fine-tuning 을 진행합니다.
+
+:::{figure-md}
+
+
+Prompt-based editing through fine-tuning
+:::
+
+## 7. Conclusion
+
정리하자면, 논문에서 Magic3D 의 coarse-to-fine optimization 방식을 소개하고, mesh 형태의 scene model 과 고해상도 이미지에 대한 diffusion prior 를 활용함으로써 high resolution 에 대해서도 좋은 성능을 보여줄 수 있었습니다. 추가적으로, 주어진 text prompt 에 대해 3D mesh model 을 40분 만에 생성이 가능하고, 그래픽 소프트웨어와 호환이 바로 가능하다는 장점이 있습니다.
\ No newline at end of file
diff --git a/_sources/docs/review/one-step-image-translation.md b/_sources/docs/review/one-step-image-translation.md
index f8de2ef0..63a471f6 100755
--- a/_sources/docs/review/one-step-image-translation.md
+++ b/_sources/docs/review/one-step-image-translation.md
@@ -1,344 +1,344 @@
-``` {admonition} Information
-- **Title:** One-Step Image Translation with Text-to-Image Models
-
-- **Reference**
- - Paper: [https://arxiv.org/pdf/2403.12036](https://arxiv.org/pdf/2403.12036)
- - Code: [https://github.com/GaParmar/img2img-turbo](https://github.com/GaParmar/img2img-turbo)
-
-- **Author:** Sangwoo Jo
-
-- **Last updated on Sep. 24, 2024**
-```
-
-# One-Step Image Translation with Text-to-Image Models
-
-## 1. Introduction
-
-논문에서 기존의 conditional diffusion model 에 대해 다음과 같이 1) slow inference time, 2) paired data 에 대한 의존성 두 가지 한계점을 명시합니다. 이를 보완하기 위해, paired setting 과 unpaired setting 에서 모두 적용 가능한 학습 아키텍쳐를 제시합니다.
-
-기존에 adapter 를 추가하는 방식은 one-step diffusion model 에 적합하지 않다고 설명하고, 또한 SD-Turbo 모델의 Encoder-UNet-Decoder 형태의 multi-stage pipeline 에서 이미지의 많은 시각적 디테일이 손실된다고 주장합니다. 그리고 이러한 정보 손실은 입력 이미지가 실제 이미지일 때 특히 더 치명적이라고 합니다.
-
-이를 보완하기 위해, 논문에서는 첫번째로 input image 를 직접 noise encoder 에 입력함으로써 noise map 과 input control 의 충돌을 방지합니다. 두번째로, Encoder-Unet-Decoder 를 하나의 end-to-end 로 학습 가능한 아키텍처를 정의하고, 이를 위해 여러 LoRA adapter 를 정의합니다. 마지막으로, high-frequency detail 을 담아내기 위해 encoder 와 decoder 간의 skip connection 을 추가합니다.
-
-:::{figure-md}
-
-
-Overall Architecture
-:::
-
-- **CycleGAN-Turbo 코드**
-
- ```python
- class CycleGAN_Turbo(torch.nn.Module):
- def __init__(self, pretrained_name=None, pretrained_path=None, ckpt_folder="checkpoints", lora_rank_unet=8, lora_rank_vae=4):
- super().__init__()
- self.tokenizer = AutoTokenizer.from_pretrained("stabilityai/sd-turbo", subfolder="tokenizer")
- self.text_encoder = CLIPTextModel.from_pretrained("stabilityai/sd-turbo", subfolder="text_encoder").cuda()
- self.sched = make_1step_sched()
- vae = AutoencoderKL.from_pretrained("stabilityai/sd-turbo", subfolder="vae")
- unet = UNet2DConditionModel.from_pretrained("stabilityai/sd-turbo", subfolder="unet")
- vae.encoder.forward = my_vae_encoder_fwd.__get__(vae.encoder, vae.encoder.__class__)
- vae.decoder.forward = my_vae_decoder_fwd.__get__(vae.decoder, vae.decoder.__class__)
- # add the skip connection convs
- vae.decoder.skip_conv_1 = torch.nn.Conv2d(512, 512, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda()
- vae.decoder.skip_conv_2 = torch.nn.Conv2d(256, 512, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda()
- vae.decoder.skip_conv_3 = torch.nn.Conv2d(128, 512, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda()
- vae.decoder.skip_conv_4 = torch.nn.Conv2d(128, 256, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda()
- vae.decoder.ignore_skip = False
- self.unet, self.vae = unet, vae
- ```
-
-
-또한, 해당 논문에서 제시하는 아케텍쳐는 CycleGAN, pix2pix 등의 GAN 기반의 모델에 plug-and-play 형태로도 적용 가능하며, CycleGAN-Turbo, pix2pix-Turbo 모델이 기존의 GAN 기반 그리고 diffusion model 기반 모델의 image translation 성능보다 우수하다고 합니다.
-
-## 2. Related Work
-
-기존에 paired dataset 에서의 image-to-image translation 모델들은 대표적으로 reconstruction loss 와 adversarial loss 를 기반으로 학습되었습니다. 최근에는 GLIGEN, T2I-Adapter, ControlNet 와 같이 adapter 를 통한 input conditioning 하는 방식도 소개되었습니다. 그리고 unpaired dataset 에서 diffusion 모델을 활용하여 image translation 하는 사례들도 있지만, 이들은 새로 보이는 domain 마다 scratch 로부터 모델을 학습해야 하는 치명적인 단점이 있습니다.
-
-SDEdit 와 Prompt-to-Prompt 모델과 같이 zero-shot 으로 이미지를 editing 하는 연구 사례들도 있지만, 이들은 multi-object 와 complex scene setting 에서 약점을 보인다고 합니다.
-
-이와 동시에 diffusion model 의 inference time 을 단축하기 위해서 ODE solver 혹은 knowledge distillation 을 활용한 연구 사례들도 있었습니다.
-
-## 3. Method
-
-### 3.1. Adding Conditional Input
-
-SD-Turbo 와 같이 pretrained 된 one-step text-to-image 모델을 기반으로 input image 에 대한 conditioning 을 하는 방법을 다음과 같이 처음에 제안합니다. 아래 사진과 같이, 사전학습된 stable diffusion encoder 의 가중치 혹은 랜덤한 가중치를 가진 adapter 를 새로 정의하여 input image 에 대한 feature map 을 추출합니다.
-
-:::{figure-md}
-
-
-Adding Conditional Input
-:::
-
-하지만 multi-step diffusion model 과 다르게 single-step 만으로도 noise map 이 생성되는 이미지의 전체적인 layout 을 결정하기 때문에, condition encoder 를 거쳐서 나온 feature map 와의 충돌이 생겨 학습에 어려움이 생기는 현상을 보여준다고 합니다.
-
-따라서, adapter 를 추가적으로 정의하는 방식이 아닌 conditioning input 을 network 에 직접 적용하는 방식을 논문에서 제안합니다.
-
-### 3.2. Preserving Input Details
-
-Latent Diffusion Model (LDM) 이 image 를 encoding 하는 과정에서 차원을 8 배 축소하기 때문에 정보에 대한 손실이 크고, 따라서 이러한 방식은 fine detail 에 민감한 image translation task 에 적합하지 않을 수 있다고 주장합니다. 아래 사진을 보시면, 기존 아키텍쳐에서 skip connection 을 추가하기 전후로 원본 이미지에 대한 detail preservation 정도 차이를 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Preserving Input Details
-:::
-
-더 자세하게는, skip connection 을 encoder 내의 각 downsampling layer 를 거쳐 4개의 activation 을 추출하고 이를 1 x 1 zero-convolution layer 를 통과시켜 decoder 에 대응되는 upsampling block 에 입력시킵니다.
-
-### 3.3. Unpaired Training
-
-논문에서는 SD-Turbo (v2.1) 를 base network 로 사용하고, 변형된 CycleGAN objective 를 적용하여 unpaired translation 을 진행하였습니다. 이때, cycle-consistency loss 와 adversarial loss 를 다음과 같이 정의합니다.
-
-:::{figure-md}
-
-
-Cycle-Consistency Loss
-:::
-
-:::{figure-md}
-
-
-Adversarial Loss
-:::
-
-여기서 $X \subset \mathbb{R}^{H \times W \times 3}$, $Y \subset \mathbb{R}^{H \times W \times 3}$ 는 각각 source domain, target domain, 그리고 $G(x, c_Y): X → Y$, $G(y, c_X):
-Y → X$ 는 translation 함수입니다. 두 translation 모두 동일한 generator $G$ 를 사용하며, caption $c_X,c_Y$ 만 task 에 따라 변형하게 됩니다. (i.e., day → night translation task 에서 $c_X$ 는 “Driving in the day” 그리고 $c_Y$ 는 “Driving in the night”)
-
-대부분의 layer 는 고정시킨 상태에서 U-Net 의 첫번째 convolutional layer 와 LoRA adapter 를 학습시켰다고 합니다.
-
-:::{figure-md}
-
-
-Overall Architecture
-:::
-
-또한, 새롭게 소개되는 $L_{rec}$ 손실함수는 $L_1$ 과 $LPIPS$ 의 조합으로 구성되어있습니다. 그리고 adversarial loss 에서 사용되는 discriminator $D_X(x),D_Y(y)$ 는 CLIP 모델을 backbone 으로 사용하였습니다.
-
-마지막으로, identity regularization loss 도 $L_{idt} = E_y [L_{rec}(G(y, c_Y ), y)] + E_x [L_{rec}(G(x, c_X), x)]$ 와 같이 정의하고, 최종 objective 를 이들의 가중치 합으로 정의합니다.
-
-:::{figure-md}
-
-
-Full objective
-:::
-
-### 3.4. Extensions
-
-해당 논문에서 unpaired training setting 뿐만 아니라 paired training 그리고 stochastic output generation 에 대해서도 실험을 진행하였습니다.
-
-**Paired Training**
-
-Paired setting 에서는 single translation function $G(x,c): X \rightarrow Y$ 를 학습하고, objective 는 (1) perceptual loss 와 pixel-space reconstruction loss 로 구성된 reconstruction loss (2) unpaired setting 에서 target domain 에 대해서만 정의된 GAN loss, 그리고 (3) CLIP text-image alignment loss $L_{CLIP}$ 의 가중치 합으로 정의합니다.
-
-**Generating Diverse Outputs**
-
-One-step model 로 diverse 한 output 을 생성하는 것은 어려운 일입니다. 논문에서는 해당 task 를 수행하기 위해 input image $x$, noise map $z$, 그리고 interpolation coefficient $\gamma$ 를 입력받는 $G(x,z,\gamma)$ 를 정의합니다.
-
-$G(x,z,\gamma)$ 는 우선 noise $z$ 와 encoder output $G_{enc}(x)$ 를 다음과 같이 interpolation 합니다: $\gamma G_{enc}(x) + (1 − \gamma) z$. 그리고 LoRA adapter 가중치와 skip connection 출력값을 $\theta = \theta_0 + \gamma \cdot \Delta \theta$ 와 같이 조정합니다. 여기서 $\theta_0$ 는 원래 가중치이고, $\Delta \theta$ 는 새로 추가된 가중치입니다.
-
-:::{figure-md}
-
-
-Reconstruction loss with interpolation coefficient
-:::
-
-해당 objective 로 interpolation coefficient $\gamma$ 를 변화시키면서 모델을 fine-tuning 함으로써 다양한 output 을 생성할 수 있었다고 합니다.
-
-## 4. Experiments
-
-**Training Details**
-
-학습하는 파라미터: LoRA 가중치, zero-convolutional layer, 그리고 첫번째 U-Net convolutional layer 가 330MB 소요됩니다.
-
-- **UNet initialization 코드**
-
- ```python
- def initialize_unet(rank, return_lora_module_names=False):
- unet = UNet2DConditionModel.from_pretrained("stabilityai/sd-turbo", subfolder="unet")
- unet.requires_grad_(False)
- unet.train()
- l_target_modules_encoder, l_target_modules_decoder, l_modules_others = [], [], []
- l_grep = ["to_k", "to_q", "to_v", "to_out.0", "conv", "conv1", "conv2", "conv_in", "conv_shortcut", "conv_out", "proj_out", "proj_in", "ff.net.2", "ff.net.0.proj"]
- for n, p in unet.named_parameters():
- if "bias" in n or "norm" in n: continue
- for pattern in l_grep:
- if pattern in n and ("down_blocks" in n or "conv_in" in n):
- l_target_modules_encoder.append(n.replace(".weight",""))
- break
- elif pattern in n and "up_blocks" in n:
- l_target_modules_decoder.append(n.replace(".weight",""))
- break
- elif pattern in n:
- l_modules_others.append(n.replace(".weight",""))
- break
- lora_conf_encoder = LoraConfig(r=rank, init_lora_weights="gaussian",target_modules=l_target_modules_encoder, lora_alpha=rank)
- lora_conf_decoder = LoraConfig(r=rank, init_lora_weights="gaussian",target_modules=l_target_modules_decoder, lora_alpha=rank)
- lora_conf_others = LoraConfig(r=rank, init_lora_weights="gaussian",target_modules=l_modules_others, lora_alpha=rank)
- unet.add_adapter(lora_conf_encoder, adapter_name="default_encoder")
- unet.add_adapter(lora_conf_decoder, adapter_name="default_decoder")
- unet.add_adapter(lora_conf_others, adapter_name="default_others")
- unet.set_adapters(["default_encoder", "default_decoder", "default_others"])
- if return_lora_module_names:
- return unet, l_target_modules_encoder, l_target_modules_decoder, l_modules_others
- else:
- return unet
- ```
-
-- **VAE initialization 코드**
-
- ```python
- def initialize_vae(rank=4, return_lora_module_names=False):
- vae = AutoencoderKL.from_pretrained("stabilityai/sd-turbo", subfolder="vae")
- vae.requires_grad_(False)
- vae.encoder.forward = my_vae_encoder_fwd.__get__(vae.encoder, vae.encoder.__class__)
- vae.decoder.forward = my_vae_decoder_fwd.__get__(vae.decoder, vae.decoder.__class__)
- vae.requires_grad_(True)
- vae.train()
- # add the skip connection convs
- vae.decoder.skip_conv_1 = torch.nn.Conv2d(512, 512, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda().requires_grad_(True)
- vae.decoder.skip_conv_2 = torch.nn.Conv2d(256, 512, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda().requires_grad_(True)
- vae.decoder.skip_conv_3 = torch.nn.Conv2d(128, 512, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda().requires_grad_(True)
- vae.decoder.skip_conv_4 = torch.nn.Conv2d(128, 256, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda().requires_grad_(True)
- torch.nn.init.constant_(vae.decoder.skip_conv_1.weight, 1e-5)
- torch.nn.init.constant_(vae.decoder.skip_conv_2.weight, 1e-5)
- torch.nn.init.constant_(vae.decoder.skip_conv_3.weight, 1e-5)
- torch.nn.init.constant_(vae.decoder.skip_conv_4.weight, 1e-5)
- vae.decoder.ignore_skip = False
- vae.decoder.gamma = 1
- l_vae_target_modules = ["conv1","conv2","conv_in", "conv_shortcut",
- "conv", "conv_out", "skip_conv_1", "skip_conv_2", "skip_conv_3",
- "skip_conv_4", "to_k", "to_q", "to_v", "to_out.0",
- ]
- vae_lora_config = LoraConfig(r=rank, init_lora_weights="gaussian", target_modules=l_vae_target_modules)
- vae.add_adapter(vae_lora_config, adapter_name="vae_skip")
- if return_lora_module_names:
- return vae, l_vae_target_modules
- else:
- return vae
- ```
-
-
-**Datasets**
-
-Unpaired datasets 에서 자주 사용되는 Horse $\leftrightarrow$ Zebra, Yosemite Summer $\leftrightarrow$ Winter, 그리고 고차원 이미지의 주행 데이터셋 BDD100k 의 day $\leftrightarrow$ night, clear $\leftrightarrow$ foggy 데이터셋으로 실험하였습니다.
-
-**Evaluation Protocol**
-
-Image translation task 에서 다음과 같은 2가지 요소를 만족시켜야 한다고 합니다.
-
-(1) target domain 의 데이터셋 분포와의 일치: FID 로 측정
-
-(2) input image 의 구조적인 정보 유지: DINO-Struct-Dist 로 측정
-
-### 4.1. Comparison to Unpaired Methods
-
-기존에 GAN-based 그리고 Diffusion-based 모델들이 output realism 그리고 structure preservation 에 모두 좋은 성능을 내지는 못하는 것을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Comparison to baselines on 256 × 256 datasets.
-:::
-
-:::{figure-md}
-
-
-Comparison to baselines on driving datasets (512 × 512).
-:::
-
-아래 예시 사진들과 table 에서 보이듯이, CycleGAN-Turbo 모델이 CycleGAN 과 CUT 모델보다 더 낮은 FID, DINO Structure score 를 보여주는 것을 확인할 수 있습니다.
-
-또한, diffusion 기반의 zero-shot image translation 모델: SDEdit, Plug-and Play, pix2pix-zero, CycleDiffusion, 그리고 DDIB 들이 realistic 한 이미지는 잘 생성하지만 원본 이미지의 structure 를 훼손시키는 경우가 있음을 확인할 수 있습니다. 이러한 현상은 multiple object 가 존재하는 주행 데이터셋에서 더 빈번하게 발생하고, 이는 Instructpix2pix 모델을 제외하고는 noise map 으로 inverting 하는 과정에서 원본 이미지에 대한 손실이 일어나기 때문이라고 주장합니다.
-
-- **Comparison to GAN-based methods**
-
- :::{figure-md}
-
-
- Comparison to GAN-based methods on 256 × 256 datasets.
- :::
-
- :::{figure-md}
-
-
- Comparison to GAN-based methods on driving datasets (512 × 512).
- :::
-
-- **Comparison to Diffusion-based editing methods**
-
- :::{figure-md}
-
-
- Comparison to Diffusion-based editing methods on driving datasets (512 × 512).
- :::
-
- :::{figure-md}
-
-
- Comparison to Diffusion-based editing methods on driving datasets (512 × 512).
- :::
-
-
-:::{figure-md}
-
-
-Evaluation on standard CycleGAN datasets (256 × 256).
-:::
-
-:::{figure-md}
-
-
-Comparison on 512 × 512 driving datasets.
-:::
-
-### 4.2. Ablation Study
-
-**Using pre-trained weights**
-
-랜덤한 가중치로 초기화하는 것보다 pre-trained 된 모델을 사용할 때, 모델 성능이 더 좋은 것을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Ablation with Horse to Zebra
-:::
-
-**Different ways of adding conditioning inputs**
-
-ControlNet 이나 T2I-Adapter 를 사용하여 conditioning 할 때, 원본 이미지와의 structure 충돌이 일어나는 부분을 재차 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Ablating individual components
-:::
-
-**Skip Connections and trainable encoder and decoder**
-
-Config D 와 비교하였을 때, FID 에 대한 성능이 미세하게 떨어지는 반면에 structure preservation 성능이 월등히 높음을 확인할 수 있습니다.
-
-### 4.3. Extensions
-
-**Paired translation**
-
-Pix2pix-Turbo 와 LCM-ControlNet, SD-Turbo ControlNet, 그리고 SD ControlNet 모델과 정성적인 평가를 진행하였습니다. Classifier-free guidance, negative prompt 없이 단일 step 만으로도 좋은 성능을 보여줌을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Comparison on paired edge-to-image task (512 × 512).
-:::
-
-**Generating diverse outputs**
-
-:::{figure-md}
-
-
-Generating diverse outputs
-:::
-
-## 5. Discussions and Limitations
-
+``` {admonition} Information
+- **Title:** One-Step Image Translation with Text-to-Image Models
+
+- **Reference**
+ - Paper: [https://arxiv.org/pdf/2403.12036](https://arxiv.org/pdf/2403.12036)
+ - Code: [https://github.com/GaParmar/img2img-turbo](https://github.com/GaParmar/img2img-turbo)
+
+- **Author:** Sangwoo Jo
+
+- **Last updated on Sep. 24, 2024**
+```
+
+# One-Step Image Translation with Text-to-Image Models
+
+## 1. Introduction
+
+논문에서 기존의 conditional diffusion model 에 대해 다음과 같이 1) slow inference time, 2) paired data 에 대한 의존성 두 가지 한계점을 명시합니다. 이를 보완하기 위해, paired setting 과 unpaired setting 에서 모두 적용 가능한 학습 아키텍쳐를 제시합니다.
+
+기존에 adapter 를 추가하는 방식은 one-step diffusion model 에 적합하지 않다고 설명하고, 또한 SD-Turbo 모델의 Encoder-UNet-Decoder 형태의 multi-stage pipeline 에서 이미지의 많은 시각적 디테일이 손실된다고 주장합니다. 그리고 이러한 정보 손실은 입력 이미지가 실제 이미지일 때 특히 더 치명적이라고 합니다.
+
+이를 보완하기 위해, 논문에서는 첫번째로 input image 를 직접 noise encoder 에 입력함으로써 noise map 과 input control 의 충돌을 방지합니다. 두번째로, Encoder-Unet-Decoder 를 하나의 end-to-end 로 학습 가능한 아키텍처를 정의하고, 이를 위해 여러 LoRA adapter 를 정의합니다. 마지막으로, high-frequency detail 을 담아내기 위해 encoder 와 decoder 간의 skip connection 을 추가합니다.
+
+:::{figure-md}
+
+
+Overall Architecture
+:::
+
+- **CycleGAN-Turbo 코드**
+
+ ```python
+ class CycleGAN_Turbo(torch.nn.Module):
+ def __init__(self, pretrained_name=None, pretrained_path=None, ckpt_folder="checkpoints", lora_rank_unet=8, lora_rank_vae=4):
+ super().__init__()
+ self.tokenizer = AutoTokenizer.from_pretrained("stabilityai/sd-turbo", subfolder="tokenizer")
+ self.text_encoder = CLIPTextModel.from_pretrained("stabilityai/sd-turbo", subfolder="text_encoder").cuda()
+ self.sched = make_1step_sched()
+ vae = AutoencoderKL.from_pretrained("stabilityai/sd-turbo", subfolder="vae")
+ unet = UNet2DConditionModel.from_pretrained("stabilityai/sd-turbo", subfolder="unet")
+ vae.encoder.forward = my_vae_encoder_fwd.__get__(vae.encoder, vae.encoder.__class__)
+ vae.decoder.forward = my_vae_decoder_fwd.__get__(vae.decoder, vae.decoder.__class__)
+ # add the skip connection convs
+ vae.decoder.skip_conv_1 = torch.nn.Conv2d(512, 512, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda()
+ vae.decoder.skip_conv_2 = torch.nn.Conv2d(256, 512, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda()
+ vae.decoder.skip_conv_3 = torch.nn.Conv2d(128, 512, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda()
+ vae.decoder.skip_conv_4 = torch.nn.Conv2d(128, 256, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda()
+ vae.decoder.ignore_skip = False
+ self.unet, self.vae = unet, vae
+ ```
+
+
+또한, 해당 논문에서 제시하는 아케텍쳐는 CycleGAN, pix2pix 등의 GAN 기반의 모델에 plug-and-play 형태로도 적용 가능하며, CycleGAN-Turbo, pix2pix-Turbo 모델이 기존의 GAN 기반 그리고 diffusion model 기반 모델의 image translation 성능보다 우수하다고 합니다.
+
+## 2. Related Work
+
+기존에 paired dataset 에서의 image-to-image translation 모델들은 대표적으로 reconstruction loss 와 adversarial loss 를 기반으로 학습되었습니다. 최근에는 GLIGEN, T2I-Adapter, ControlNet 와 같이 adapter 를 통한 input conditioning 하는 방식도 소개되었습니다. 그리고 unpaired dataset 에서 diffusion 모델을 활용하여 image translation 하는 사례들도 있지만, 이들은 새로 보이는 domain 마다 scratch 로부터 모델을 학습해야 하는 치명적인 단점이 있습니다.
+
+SDEdit 와 Prompt-to-Prompt 모델과 같이 zero-shot 으로 이미지를 editing 하는 연구 사례들도 있지만, 이들은 multi-object 와 complex scene setting 에서 약점을 보인다고 합니다.
+
+이와 동시에 diffusion model 의 inference time 을 단축하기 위해서 ODE solver 혹은 knowledge distillation 을 활용한 연구 사례들도 있었습니다.
+
+## 3. Method
+
+### 3.1. Adding Conditional Input
+
+SD-Turbo 와 같이 pretrained 된 one-step text-to-image 모델을 기반으로 input image 에 대한 conditioning 을 하는 방법을 다음과 같이 처음에 제안합니다. 아래 사진과 같이, 사전학습된 stable diffusion encoder 의 가중치 혹은 랜덤한 가중치를 가진 adapter 를 새로 정의하여 input image 에 대한 feature map 을 추출합니다.
+
+:::{figure-md}
+
+
+Adding Conditional Input
+:::
+
+하지만 multi-step diffusion model 과 다르게 single-step 만으로도 noise map 이 생성되는 이미지의 전체적인 layout 을 결정하기 때문에, condition encoder 를 거쳐서 나온 feature map 와의 충돌이 생겨 학습에 어려움이 생기는 현상을 보여준다고 합니다.
+
+따라서, adapter 를 추가적으로 정의하는 방식이 아닌 conditioning input 을 network 에 직접 적용하는 방식을 논문에서 제안합니다.
+
+### 3.2. Preserving Input Details
+
+Latent Diffusion Model (LDM) 이 image 를 encoding 하는 과정에서 차원을 8 배 축소하기 때문에 정보에 대한 손실이 크고, 따라서 이러한 방식은 fine detail 에 민감한 image translation task 에 적합하지 않을 수 있다고 주장합니다. 아래 사진을 보시면, 기존 아키텍쳐에서 skip connection 을 추가하기 전후로 원본 이미지에 대한 detail preservation 정도 차이를 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Preserving Input Details
+:::
+
+더 자세하게는, skip connection 을 encoder 내의 각 downsampling layer 를 거쳐 4개의 activation 을 추출하고 이를 1 x 1 zero-convolution layer 를 통과시켜 decoder 에 대응되는 upsampling block 에 입력시킵니다.
+
+### 3.3. Unpaired Training
+
+논문에서는 SD-Turbo (v2.1) 를 base network 로 사용하고, 변형된 CycleGAN objective 를 적용하여 unpaired translation 을 진행하였습니다. 이때, cycle-consistency loss 와 adversarial loss 를 다음과 같이 정의합니다.
+
+:::{figure-md}
+
+
+Cycle-Consistency Loss
+:::
+
+:::{figure-md}
+
+
+Adversarial Loss
+:::
+
+여기서 $X \subset \mathbb{R}^{H \times W \times 3}$, $Y \subset \mathbb{R}^{H \times W \times 3}$ 는 각각 source domain, target domain, 그리고 $G(x, c_Y): X → Y$, $G(y, c_X):
+Y → X$ 는 translation 함수입니다. 두 translation 모두 동일한 generator $G$ 를 사용하며, caption $c_X,c_Y$ 만 task 에 따라 변형하게 됩니다. (i.e., day → night translation task 에서 $c_X$ 는 “Driving in the day” 그리고 $c_Y$ 는 “Driving in the night”)
+
+대부분의 layer 는 고정시킨 상태에서 U-Net 의 첫번째 convolutional layer 와 LoRA adapter 를 학습시켰다고 합니다.
+
+:::{figure-md}
+
+
+Overall Architecture
+:::
+
+또한, 새롭게 소개되는 $L_{rec}$ 손실함수는 $L_1$ 과 $LPIPS$ 의 조합으로 구성되어있습니다. 그리고 adversarial loss 에서 사용되는 discriminator $D_X(x),D_Y(y)$ 는 CLIP 모델을 backbone 으로 사용하였습니다.
+
+마지막으로, identity regularization loss 도 $L_{idt} = E_y [L_{rec}(G(y, c_Y ), y)] + E_x [L_{rec}(G(x, c_X), x)]$ 와 같이 정의하고, 최종 objective 를 이들의 가중치 합으로 정의합니다.
+
+:::{figure-md}
+
+
+Full objective
+:::
+
+### 3.4. Extensions
+
+해당 논문에서 unpaired training setting 뿐만 아니라 paired training 그리고 stochastic output generation 에 대해서도 실험을 진행하였습니다.
+
+**Paired Training**
+
+Paired setting 에서는 single translation function $G(x,c): X \rightarrow Y$ 를 학습하고, objective 는 (1) perceptual loss 와 pixel-space reconstruction loss 로 구성된 reconstruction loss (2) unpaired setting 에서 target domain 에 대해서만 정의된 GAN loss, 그리고 (3) CLIP text-image alignment loss $L_{CLIP}$ 의 가중치 합으로 정의합니다.
+
+**Generating Diverse Outputs**
+
+One-step model 로 diverse 한 output 을 생성하는 것은 어려운 일입니다. 논문에서는 해당 task 를 수행하기 위해 input image $x$, noise map $z$, 그리고 interpolation coefficient $\gamma$ 를 입력받는 $G(x,z,\gamma)$ 를 정의합니다.
+
+$G(x,z,\gamma)$ 는 우선 noise $z$ 와 encoder output $G_{enc}(x)$ 를 다음과 같이 interpolation 합니다: $\gamma G_{enc}(x) + (1 − \gamma) z$. 그리고 LoRA adapter 가중치와 skip connection 출력값을 $\theta = \theta_0 + \gamma \cdot \Delta \theta$ 와 같이 조정합니다. 여기서 $\theta_0$ 는 원래 가중치이고, $\Delta \theta$ 는 새로 추가된 가중치입니다.
+
+:::{figure-md}
+
+
+Reconstruction loss with interpolation coefficient
+:::
+
+해당 objective 로 interpolation coefficient $\gamma$ 를 변화시키면서 모델을 fine-tuning 함으로써 다양한 output 을 생성할 수 있었다고 합니다.
+
+## 4. Experiments
+
+**Training Details**
+
+학습하는 파라미터: LoRA 가중치, zero-convolutional layer, 그리고 첫번째 U-Net convolutional layer 가 330MB 소요됩니다.
+
+- **UNet initialization 코드**
+
+ ```python
+ def initialize_unet(rank, return_lora_module_names=False):
+ unet = UNet2DConditionModel.from_pretrained("stabilityai/sd-turbo", subfolder="unet")
+ unet.requires_grad_(False)
+ unet.train()
+ l_target_modules_encoder, l_target_modules_decoder, l_modules_others = [], [], []
+ l_grep = ["to_k", "to_q", "to_v", "to_out.0", "conv", "conv1", "conv2", "conv_in", "conv_shortcut", "conv_out", "proj_out", "proj_in", "ff.net.2", "ff.net.0.proj"]
+ for n, p in unet.named_parameters():
+ if "bias" in n or "norm" in n: continue
+ for pattern in l_grep:
+ if pattern in n and ("down_blocks" in n or "conv_in" in n):
+ l_target_modules_encoder.append(n.replace(".weight",""))
+ break
+ elif pattern in n and "up_blocks" in n:
+ l_target_modules_decoder.append(n.replace(".weight",""))
+ break
+ elif pattern in n:
+ l_modules_others.append(n.replace(".weight",""))
+ break
+ lora_conf_encoder = LoraConfig(r=rank, init_lora_weights="gaussian",target_modules=l_target_modules_encoder, lora_alpha=rank)
+ lora_conf_decoder = LoraConfig(r=rank, init_lora_weights="gaussian",target_modules=l_target_modules_decoder, lora_alpha=rank)
+ lora_conf_others = LoraConfig(r=rank, init_lora_weights="gaussian",target_modules=l_modules_others, lora_alpha=rank)
+ unet.add_adapter(lora_conf_encoder, adapter_name="default_encoder")
+ unet.add_adapter(lora_conf_decoder, adapter_name="default_decoder")
+ unet.add_adapter(lora_conf_others, adapter_name="default_others")
+ unet.set_adapters(["default_encoder", "default_decoder", "default_others"])
+ if return_lora_module_names:
+ return unet, l_target_modules_encoder, l_target_modules_decoder, l_modules_others
+ else:
+ return unet
+ ```
+
+- **VAE initialization 코드**
+
+ ```python
+ def initialize_vae(rank=4, return_lora_module_names=False):
+ vae = AutoencoderKL.from_pretrained("stabilityai/sd-turbo", subfolder="vae")
+ vae.requires_grad_(False)
+ vae.encoder.forward = my_vae_encoder_fwd.__get__(vae.encoder, vae.encoder.__class__)
+ vae.decoder.forward = my_vae_decoder_fwd.__get__(vae.decoder, vae.decoder.__class__)
+ vae.requires_grad_(True)
+ vae.train()
+ # add the skip connection convs
+ vae.decoder.skip_conv_1 = torch.nn.Conv2d(512, 512, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda().requires_grad_(True)
+ vae.decoder.skip_conv_2 = torch.nn.Conv2d(256, 512, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda().requires_grad_(True)
+ vae.decoder.skip_conv_3 = torch.nn.Conv2d(128, 512, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda().requires_grad_(True)
+ vae.decoder.skip_conv_4 = torch.nn.Conv2d(128, 256, kernel_size=(1, 1), stride=(1, 1), bias=False).cuda().requires_grad_(True)
+ torch.nn.init.constant_(vae.decoder.skip_conv_1.weight, 1e-5)
+ torch.nn.init.constant_(vae.decoder.skip_conv_2.weight, 1e-5)
+ torch.nn.init.constant_(vae.decoder.skip_conv_3.weight, 1e-5)
+ torch.nn.init.constant_(vae.decoder.skip_conv_4.weight, 1e-5)
+ vae.decoder.ignore_skip = False
+ vae.decoder.gamma = 1
+ l_vae_target_modules = ["conv1","conv2","conv_in", "conv_shortcut",
+ "conv", "conv_out", "skip_conv_1", "skip_conv_2", "skip_conv_3",
+ "skip_conv_4", "to_k", "to_q", "to_v", "to_out.0",
+ ]
+ vae_lora_config = LoraConfig(r=rank, init_lora_weights="gaussian", target_modules=l_vae_target_modules)
+ vae.add_adapter(vae_lora_config, adapter_name="vae_skip")
+ if return_lora_module_names:
+ return vae, l_vae_target_modules
+ else:
+ return vae
+ ```
+
+
+**Datasets**
+
+Unpaired datasets 에서 자주 사용되는 Horse $\leftrightarrow$ Zebra, Yosemite Summer $\leftrightarrow$ Winter, 그리고 고차원 이미지의 주행 데이터셋 BDD100k 의 day $\leftrightarrow$ night, clear $\leftrightarrow$ foggy 데이터셋으로 실험하였습니다.
+
+**Evaluation Protocol**
+
+Image translation task 에서 다음과 같은 2가지 요소를 만족시켜야 한다고 합니다.
+
+(1) target domain 의 데이터셋 분포와의 일치: FID 로 측정
+
+(2) input image 의 구조적인 정보 유지: DINO-Struct-Dist 로 측정
+
+### 4.1. Comparison to Unpaired Methods
+
+기존에 GAN-based 그리고 Diffusion-based 모델들이 output realism 그리고 structure preservation 에 모두 좋은 성능을 내지는 못하는 것을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Comparison to baselines on 256 × 256 datasets.
+:::
+
+:::{figure-md}
+
+
+Comparison to baselines on driving datasets (512 × 512).
+:::
+
+아래 예시 사진들과 table 에서 보이듯이, CycleGAN-Turbo 모델이 CycleGAN 과 CUT 모델보다 더 낮은 FID, DINO Structure score 를 보여주는 것을 확인할 수 있습니다.
+
+또한, diffusion 기반의 zero-shot image translation 모델: SDEdit, Plug-and Play, pix2pix-zero, CycleDiffusion, 그리고 DDIB 들이 realistic 한 이미지는 잘 생성하지만 원본 이미지의 structure 를 훼손시키는 경우가 있음을 확인할 수 있습니다. 이러한 현상은 multiple object 가 존재하는 주행 데이터셋에서 더 빈번하게 발생하고, 이는 Instructpix2pix 모델을 제외하고는 noise map 으로 inverting 하는 과정에서 원본 이미지에 대한 손실이 일어나기 때문이라고 주장합니다.
+
+- **Comparison to GAN-based methods**
+
+ :::{figure-md}
+
+
+ Comparison to GAN-based methods on 256 × 256 datasets.
+ :::
+
+ :::{figure-md}
+
+
+ Comparison to GAN-based methods on driving datasets (512 × 512).
+ :::
+
+- **Comparison to Diffusion-based editing methods**
+
+ :::{figure-md}
+
+
+ Comparison to Diffusion-based editing methods on driving datasets (512 × 512).
+ :::
+
+ :::{figure-md}
+
+
+ Comparison to Diffusion-based editing methods on driving datasets (512 × 512).
+ :::
+
+
+:::{figure-md}
+
+
+Evaluation on standard CycleGAN datasets (256 × 256).
+:::
+
+:::{figure-md}
+
+
+Comparison on 512 × 512 driving datasets.
+:::
+
+### 4.2. Ablation Study
+
+**Using pre-trained weights**
+
+랜덤한 가중치로 초기화하는 것보다 pre-trained 된 모델을 사용할 때, 모델 성능이 더 좋은 것을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Ablation with Horse to Zebra
+:::
+
+**Different ways of adding conditioning inputs**
+
+ControlNet 이나 T2I-Adapter 를 사용하여 conditioning 할 때, 원본 이미지와의 structure 충돌이 일어나는 부분을 재차 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Ablating individual components
+:::
+
+**Skip Connections and trainable encoder and decoder**
+
+Config D 와 비교하였을 때, FID 에 대한 성능이 미세하게 떨어지는 반면에 structure preservation 성능이 월등히 높음을 확인할 수 있습니다.
+
+### 4.3. Extensions
+
+**Paired translation**
+
+Pix2pix-Turbo 와 LCM-ControlNet, SD-Turbo ControlNet, 그리고 SD ControlNet 모델과 정성적인 평가를 진행하였습니다. Classifier-free guidance, negative prompt 없이 단일 step 만으로도 좋은 성능을 보여줌을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Comparison on paired edge-to-image task (512 × 512).
+:::
+
+**Generating diverse outputs**
+
+:::{figure-md}
+
+
+Generating diverse outputs
+:::
+
+## 5. Discussions and Limitations
+
해당 논문은 multi-step diffusion training 에 의존하지 않고, single-step 만으로 다양한 GAN 기반의 objective 와 융합해서 downstream task 에 적용할 수 있는 방식을 제안합니다. 하지만, 다음과 같은 3가지 한계점을 제시합니다: (1) SD-Turbo 는 classifier-free guidance 를 사용하지 않아, guidance control 에 대한 설정할 수 없습니다. (2) 해당 방식은 negative prompt 를 지원하지 않습니다. 그리고 마지막으로 (3) high capacity generator 기반의 cycle consistency loss 로 학습하는데 메모리에 대한 부담이 큽니다.
\ No newline at end of file
diff --git a/_sources/docs/review/one_step_diffusion_with_distribution_matching_distillation.md b/_sources/docs/review/one_step_diffusion_with_distribution_matching_distillation.md
index 9733e0a4..a38ab2b4 100755
--- a/_sources/docs/review/one_step_diffusion_with_distribution_matching_distillation.md
+++ b/_sources/docs/review/one_step_diffusion_with_distribution_matching_distillation.md
@@ -1,209 +1,209 @@
-``` {admonition} Information
-- **Title:** One-Step Image Diffusion with Distribution Matching Distillation
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2311.18828](https://arxiv.org/abs/2311.18828)
- - Code: [https://github.com/tianweiy/DMD2](https://github.com/tianweiy/DMD2)
-
-- **Author:** Joongwon Lee
-
-- **Last updated on Oct. 16, 2024**
-```
-
-# One-step Diffusion with Distribution Matching Distillation
-
-# Introduction and Preliminaries
-
-## Overview
-
-- Diffusion model has revolutionized image generation, 하지만 느린 sampling speed 가 느린 문제점이 있음
-- Accelerating sampling speed 를 목적으로 하는 많은 연구가 이루어져 왔음
- - ODE solving: diffusion model 의 큰 틀은 유지한 채 sampling step 의 수를 줄이면서 유사한 수준의 sample 생성 (DDIM, InstaFlow, CFM)
-
- - 하지만 여전히 50 ~ 100 step 이하로 step 을 줄이게 되면 sample quality 가 크게 감소하여 diffusion distillation 을 통한 one-step generation 방법이 연구되어지고 있음
- - Single step distillation: Diffusion model 을 teacher 삼아 one-step generation model 학습
- - 직관적으로 생각해보면, diffusion model 을 학습 시킨후 학습된 모델을 통해 다수의 (noise, image) pair 얻은 후 one-step VAE 를 학습시키는 것을 생각 해 볼 수 있음.
- - 그러나, 학습된 multi step 으로 학습 된 diffusion model 을 one-step generation model 에 distillation 을 하는 것은 어려움이 있음
- - Noise level 을 점진적으로 증가 시키며, one-step generation 을 학습시키는 방법
-- GAN 에서 영감을 받아, (noise, image) 의 대응을 강제하는 대신 (such as autoencoder), student model 이 생성하는 이미지를 teacher model (original diffusion model) 이 생성하는 이미지와 indistinguishable 하게 학습시키는 distribution matching 전략을 생각해 볼 수 있음
-
-- Diffusion model 의 score ($\newcommand{\laplacianx}{\Delta x}$$\nabla_{\mathbf{x}} \log p(\mathbf{x})$) 을 사용해서 student model ($p(x)$) 을 학습시킬 수 있음 (real image score 가 증가하는 방향으로 pattern 을 업데이트 하는 것이 desired 방향 + fake image 를 생성하는 diffusion model 의 score 을 감소시키는 방향으로 parameter update)
- - Diffusion model and score base model
-
- 엄밀하게 본다면, 이 논문은 diffusion model (DDPM style) 보다는 score matching 의 철학과 논리전개를 바탕으로 두고 있음. 그러나, diffusion model 과 score based model 은 궁극적으로 같은 objective 를 다른 방식으로 학습하고 있을 뿐이고, 그 score 과 diffusion model 이 예측하는 one-step denoised 분포 ($\mu_{base}$) 는 쉽게 변환 가능함.
-
- $$
- s_{\text{real}}(x_t, t) = - \frac{x_t - \alpha_t \mu_{\text{base}}(x_t, t)}{\sigma_t^2}
- $$
-
- :::{figure-md}
-
-
- NCSN
- :::
-
- :::{figure-md}
-
-
- Langevin sampling of score models
- :::
-
-
-# Method
-
-## Overview
-
-:::{figure-md}
-
-
-Overall scheme
-:::
-
-- 학습된 diffusion model (real data score function) 이 주어진 상황에서 one-step generator ($G_{\theta}$) 를 학습시키기 위해, 두개의 loss 1) distribution matching gradient (엄밀하게는 loss 보다는 parameter update gradient) 2) regression loss 를 사용
-- Adversarial AutoEncoder 가 연상되는 architecture 를 가지고 있음
- - Adversarial AutoEncoder
-
- :::{figure-md}
-
-
- Adeverserial AE architecture
- :::
-
- AAE 는 VAE 가 생성하는 이미지에 대한 1) regression loss 와 2) implicit distribution matching loss 를 가지고 있는데, 여기서 implicit distribution matching 을 teacher diffusion model 의 distribution matching gradient 로 대체한 형태
-
-- 총 네 부분으로 나뉘어져 있음
- - Paired dataset construction
- - Pretrained base model (= real data score function, freezed)
- - One-step generator (main objective)
- - Fake data generator (= fake data score function, on-line training)
-
-## Distribution Matching Loss
-
-우선, 생성모델의 training objective를 생각해보면, $p_\text{fake}$ (one-step generator이 생성하는 분포) $p_\text{real}$ (실제 데이터의 분포) 를 matching 시키도록 학습을 시켜야하는 것이 one-step generator의 학습 objective이고 아래와 같이 씌여질 수 있음:
-
-$$
-\begin{align*}
-D_{KL}(p_{\text{fake}} \parallel p_{\text{real}}) &= \mathbb{E}_{x \sim p_{\text{fake}}} \left( \log \frac{p_{\text{fake}}(x)}{p_{\text{real}}(x)} \right) \\
-&= \mathbb{E}_{\substack{z \sim \mathcal{N}(0; I) \\ x = G_{\theta}(z)}} \left( - \log p_{\text{real}}(x) + \log p_{\text{fake}}(x|z)\right)
-\end{align*}
-$$
-
-지만, $p_\text{real}(x)$ 를 바로 구하는 것이 어려움 (이것이 곧 생성모델의 objective). 그러나, 모델을 학습시키기 위해서는 $D_{KL}$ 을 직접 구할 필요는 없고, $D_{KL}$ 을 minimize 하는 (fake 과 real 의 분포사이의 거리를 최소화 시키는 방향으로) parameter update 를 하기 위한 미분값만 알면 충분함. 위 식을 one-step generator 의 learnable paramter ($\theta$) 에 대해 미분 해주면,
-
-$$
-\nabla_{\theta} D_{KL} = \mathbb{E}_{\substack{z \sim \mathcal{N}(0; I) \\ x = G_{\theta}(z)}} \left[ - \left( s_{\text{real}}(x) - s_{\text{fake}}(x) \right) \nabla_{\theta} G_{\theta}(z) \right]
-$$
-
-$$
-s_{\text{real}}(x) = \nabla_x \log p_{\text{real}}(x), \quad s_{\text{fake}}(x) = \nabla_x \log p_{\text{fake}}(x)
-$$
-
-이 유도되는데, 여기서 score $s_{\text{real}}(x)$ 와 $s_{\text{fake}}(x)$ 를 정확히 알 수 있다면, one-step generator 을 학습시킬 수 있음. 단, score 이 $x$ 가 존재하는 전체 space 에 대해서 잘 작동하는 score 이여야함 (= Score-SDE).
-
-이제, 그러면 우리의 objective 는 real score 와 fake score 을 어떻게 구할지가 되는데, $s_{\text{real}}(x)$ 은 pretrained diffusion model 에서:
-
-$$
-s_{\text{real}}(x_t, t) = - \frac{x_t - \alpha_t \mu_{\text{base}}(x_t, t)}{\sigma_t^2}
-$$
-
-와 같이 유도됨. $s_{\text{fake}}(x)$ 의 경우가 복잡해지는데, $s_{\text{fake}}(x)$ 는 one-step generator 가 생성하는 이미지의 score function 라서 one-step generator 로 생성 된 이미지가 있어야 해당 이미지를 생성하는 diffusion 모델을 학습시켜서 구할 수 있음.
-
-:::{figure-md}
-
-
-Distribution matching gradient computation
-:::
-
-여기서 저자들은 fake data score function (initialized to real data score function) 을 동시에 학습시키는 방법으로 해결
-
-$$
-s_{\text{fake}}(x_t, t) = - \frac{x_t - \alpha_t \mu_{\text{fake}}^{\phi}(x_t, t)}{\sigma_t^2}
-$$
-
-$$
-\mathcal{L}_{\text{denoise}}^{\phi} = \left\lVert \mu_{\text{fake}}^{\phi}(x_t, t) - x_0 \right\rVert_2^2
-$$
-
-정리하자면, real score 은 real distribution (data distribution) 방향으로 parameter update를 하면서 fake distribution (one-step generation 의 output) 을 real distribution 에 가깝게 일치시키는 역할을 하며, fake score 의 반대방향으로 parameter update 를 하는 것은 fake data generator (one-step generator) 의 반대방향으로 distribution 을 밀어내서 most probable 한 한개의 점으로 모든 fake image 가 collapse 하는것을 방지하는 regularizer 역할을 한다.
-
-
-## Regression Loss
-
-그런데, score 만을 사용하여 one-step generator 을 학습시키는 것은 충분하지 않음. 두가지 측면에서 생각 해 볼 수 있는데 1) Practically, 매우 작은 noise level 에서는 score 이 reliable 하지 않아짐 2) Theoretically, $\nabla_x \log p_(x)$ 는 $p(x)$ 의 scale 에 영향을 받지 않아, 데이터의 높고 낮음에 대한 정보를 줄 수 없음.
-
-따라서, real + fake score 로 학습이 진행된다면, 낮은 real score 을 보이는 영역은 커버하지 못하는 부분으로 one-step generation 모델이 수렴하게 될 것 이고, high dimension 에서는 generated image 의 pixel level accuracy 에 문제가 생길 수 있음.
-
-여기서 저자들은 pixel-wise MSE (regression loss) 를 사용하여 간단히 이 문제를 해결함.
-
-:::{figure-md}
-
-
-Regression loss
-:::
-
-:::{figure-md}
-
-
-The effect of real and fake scores and regression loss
-:::
-
-- 그렇다면, Regression loss 하나만으로는 학습이 왜 불가능한가? (개인적 생각)
-
- 이론상 regression loss 만을 사용해도 충분히 one-step generator 을 학습시킬 수 있어 보인다. 그러나, regression 의 근본적 문제점은 distribution to distribution matching 이 아니라는 점이다. e.g.
-
-
-
-
-Regression loss 를 얻기 위해서는 (noise, real image) pair 가 필요하게 되는데, 저자들은 학습된 diffusion model 에서부터 ODE solver 을 사용하여 gaussian noise와 real image 사이에 쌍을 얻어서 데이터셋을 학습 이전에 구축, 해당 pair들을 바탕으로 regression loss 를 구함 (Learned Perceptual Image Patch Similarity).
-
-$$
-\mathcal{L}_{\text{reg}} = \mathbb{E}_{(z,y) \sim \mathcal{D}} \, \ell(G_\theta(z), y)
-$$
-
-## Full algorithm
-
-:::{figure-md}
-
-
-Training algorithm
-:::
-
-
-# Results
-
-## Main comparison
-
-:::{figure-md}
-
-
-Image generation benchmarks
-:::
-
-## Ablation Study
-
-:::{figure-md}
-
-
-Ablation on distribution matching
-:::
-
-:::{figure-md}
-
-
-Ablation on regression loss
-:::
-
-
-## Comparison with Unaccelerated Models
-
-:::{figure-md}
-
-
-Comparison with Unaccelerated Models
-:::
-
-# Conclusion and Limitations
-
-- Score model 을 사용한 distribution matching loss 와 regularizing term 인 regression loss 를 통해, teacher model 에 준하는 성능을 낼 수 있었다
-- One step generator 와 multi-step generation 사이에는 근본적인 성능 tradeoff 가 존재함
+``` {admonition} Information
+- **Title:** One-Step Image Diffusion with Distribution Matching Distillation
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2311.18828](https://arxiv.org/abs/2311.18828)
+ - Code: [https://github.com/tianweiy/DMD2](https://github.com/tianweiy/DMD2)
+
+- **Author:** Joongwon Lee
+
+- **Last updated on Oct. 16, 2024**
+```
+
+# One-step Diffusion with Distribution Matching Distillation
+
+# Introduction and Preliminaries
+
+## Overview
+
+- Diffusion model has revolutionized image generation, 하지만 느린 sampling speed 가 느린 문제점이 있음
+- Accelerating sampling speed 를 목적으로 하는 많은 연구가 이루어져 왔음
+ - ODE solving: diffusion model 의 큰 틀은 유지한 채 sampling step 의 수를 줄이면서 유사한 수준의 sample 생성 (DDIM, InstaFlow, CFM)
+
+ - 하지만 여전히 50 ~ 100 step 이하로 step 을 줄이게 되면 sample quality 가 크게 감소하여 diffusion distillation 을 통한 one-step generation 방법이 연구되어지고 있음
+ - Single step distillation: Diffusion model 을 teacher 삼아 one-step generation model 학습
+ - 직관적으로 생각해보면, diffusion model 을 학습 시킨후 학습된 모델을 통해 다수의 (noise, image) pair 얻은 후 one-step VAE 를 학습시키는 것을 생각 해 볼 수 있음.
+ - 그러나, 학습된 multi step 으로 학습 된 diffusion model 을 one-step generation model 에 distillation 을 하는 것은 어려움이 있음
+ - Noise level 을 점진적으로 증가 시키며, one-step generation 을 학습시키는 방법
+- GAN 에서 영감을 받아, (noise, image) 의 대응을 강제하는 대신 (such as autoencoder), student model 이 생성하는 이미지를 teacher model (original diffusion model) 이 생성하는 이미지와 indistinguishable 하게 학습시키는 distribution matching 전략을 생각해 볼 수 있음
+
+- Diffusion model 의 score ($\newcommand{\laplacianx}{\Delta x}$$\nabla_{\mathbf{x}} \log p(\mathbf{x})$) 을 사용해서 student model ($p(x)$) 을 학습시킬 수 있음 (real image score 가 증가하는 방향으로 pattern 을 업데이트 하는 것이 desired 방향 + fake image 를 생성하는 diffusion model 의 score 을 감소시키는 방향으로 parameter update)
+ - Diffusion model and score base model
+
+ 엄밀하게 본다면, 이 논문은 diffusion model (DDPM style) 보다는 score matching 의 철학과 논리전개를 바탕으로 두고 있음. 그러나, diffusion model 과 score based model 은 궁극적으로 같은 objective 를 다른 방식으로 학습하고 있을 뿐이고, 그 score 과 diffusion model 이 예측하는 one-step denoised 분포 ($\mu_{base}$) 는 쉽게 변환 가능함.
+
+ $$
+ s_{\text{real}}(x_t, t) = - \frac{x_t - \alpha_t \mu_{\text{base}}(x_t, t)}{\sigma_t^2}
+ $$
+
+ :::{figure-md}
+
+
+ NCSN
+ :::
+
+ :::{figure-md}
+
+
+ Langevin sampling of score models
+ :::
+
+
+# Method
+
+## Overview
+
+:::{figure-md}
+
+
+Overall scheme
+:::
+
+- 학습된 diffusion model (real data score function) 이 주어진 상황에서 one-step generator ($G_{\theta}$) 를 학습시키기 위해, 두개의 loss 1) distribution matching gradient (엄밀하게는 loss 보다는 parameter update gradient) 2) regression loss 를 사용
+- Adversarial AutoEncoder 가 연상되는 architecture 를 가지고 있음
+ - Adversarial AutoEncoder
+
+ :::{figure-md}
+
+
+ Adeverserial AE architecture
+ :::
+
+ AAE 는 VAE 가 생성하는 이미지에 대한 1) regression loss 와 2) implicit distribution matching loss 를 가지고 있는데, 여기서 implicit distribution matching 을 teacher diffusion model 의 distribution matching gradient 로 대체한 형태
+
+- 총 네 부분으로 나뉘어져 있음
+ - Paired dataset construction
+ - Pretrained base model (= real data score function, freezed)
+ - One-step generator (main objective)
+ - Fake data generator (= fake data score function, on-line training)
+
+## Distribution Matching Loss
+
+우선, 생성모델의 training objective를 생각해보면, $p_\text{fake}$ (one-step generator이 생성하는 분포) $p_\text{real}$ (실제 데이터의 분포) 를 matching 시키도록 학습을 시켜야하는 것이 one-step generator의 학습 objective이고 아래와 같이 씌여질 수 있음:
+
+$$
+\begin{align*}
+D_{KL}(p_{\text{fake}} \parallel p_{\text{real}}) &= \mathbb{E}_{x \sim p_{\text{fake}}} \left( \log \frac{p_{\text{fake}}(x)}{p_{\text{real}}(x)} \right) \\
+&= \mathbb{E}_{\substack{z \sim \mathcal{N}(0; I) \\ x = G_{\theta}(z)}} \left( - \log p_{\text{real}}(x) + \log p_{\text{fake}}(x|z)\right)
+\end{align*}
+$$
+
+지만, $p_\text{real}(x)$ 를 바로 구하는 것이 어려움 (이것이 곧 생성모델의 objective). 그러나, 모델을 학습시키기 위해서는 $D_{KL}$ 을 직접 구할 필요는 없고, $D_{KL}$ 을 minimize 하는 (fake 과 real 의 분포사이의 거리를 최소화 시키는 방향으로) parameter update 를 하기 위한 미분값만 알면 충분함. 위 식을 one-step generator 의 learnable paramter ($\theta$) 에 대해 미분 해주면,
+
+$$
+\nabla_{\theta} D_{KL} = \mathbb{E}_{\substack{z \sim \mathcal{N}(0; I) \\ x = G_{\theta}(z)}} \left[ - \left( s_{\text{real}}(x) - s_{\text{fake}}(x) \right) \nabla_{\theta} G_{\theta}(z) \right]
+$$
+
+$$
+s_{\text{real}}(x) = \nabla_x \log p_{\text{real}}(x), \quad s_{\text{fake}}(x) = \nabla_x \log p_{\text{fake}}(x)
+$$
+
+이 유도되는데, 여기서 score $s_{\text{real}}(x)$ 와 $s_{\text{fake}}(x)$ 를 정확히 알 수 있다면, one-step generator 을 학습시킬 수 있음. 단, score 이 $x$ 가 존재하는 전체 space 에 대해서 잘 작동하는 score 이여야함 (= Score-SDE).
+
+이제, 그러면 우리의 objective 는 real score 와 fake score 을 어떻게 구할지가 되는데, $s_{\text{real}}(x)$ 은 pretrained diffusion model 에서:
+
+$$
+s_{\text{real}}(x_t, t) = - \frac{x_t - \alpha_t \mu_{\text{base}}(x_t, t)}{\sigma_t^2}
+$$
+
+와 같이 유도됨. $s_{\text{fake}}(x)$ 의 경우가 복잡해지는데, $s_{\text{fake}}(x)$ 는 one-step generator 가 생성하는 이미지의 score function 라서 one-step generator 로 생성 된 이미지가 있어야 해당 이미지를 생성하는 diffusion 모델을 학습시켜서 구할 수 있음.
+
+:::{figure-md}
+
+
+Distribution matching gradient computation
+:::
+
+여기서 저자들은 fake data score function (initialized to real data score function) 을 동시에 학습시키는 방법으로 해결
+
+$$
+s_{\text{fake}}(x_t, t) = - \frac{x_t - \alpha_t \mu_{\text{fake}}^{\phi}(x_t, t)}{\sigma_t^2}
+$$
+
+$$
+\mathcal{L}_{\text{denoise}}^{\phi} = \left\lVert \mu_{\text{fake}}^{\phi}(x_t, t) - x_0 \right\rVert_2^2
+$$
+
+정리하자면, real score 은 real distribution (data distribution) 방향으로 parameter update를 하면서 fake distribution (one-step generation 의 output) 을 real distribution 에 가깝게 일치시키는 역할을 하며, fake score 의 반대방향으로 parameter update 를 하는 것은 fake data generator (one-step generator) 의 반대방향으로 distribution 을 밀어내서 most probable 한 한개의 점으로 모든 fake image 가 collapse 하는것을 방지하는 regularizer 역할을 한다.
+
+
+## Regression Loss
+
+그런데, score 만을 사용하여 one-step generator 을 학습시키는 것은 충분하지 않음. 두가지 측면에서 생각 해 볼 수 있는데 1) Practically, 매우 작은 noise level 에서는 score 이 reliable 하지 않아짐 2) Theoretically, $\nabla_x \log p_(x)$ 는 $p(x)$ 의 scale 에 영향을 받지 않아, 데이터의 높고 낮음에 대한 정보를 줄 수 없음.
+
+따라서, real + fake score 로 학습이 진행된다면, 낮은 real score 을 보이는 영역은 커버하지 못하는 부분으로 one-step generation 모델이 수렴하게 될 것 이고, high dimension 에서는 generated image 의 pixel level accuracy 에 문제가 생길 수 있음.
+
+여기서 저자들은 pixel-wise MSE (regression loss) 를 사용하여 간단히 이 문제를 해결함.
+
+:::{figure-md}
+
+
+Regression loss
+:::
+
+:::{figure-md}
+
+
+The effect of real and fake scores and regression loss
+:::
+
+- 그렇다면, Regression loss 하나만으로는 학습이 왜 불가능한가? (개인적 생각)
+
+ 이론상 regression loss 만을 사용해도 충분히 one-step generator 을 학습시킬 수 있어 보인다. 그러나, regression 의 근본적 문제점은 distribution to distribution matching 이 아니라는 점이다. e.g.
+
+
+
+
+Regression loss 를 얻기 위해서는 (noise, real image) pair 가 필요하게 되는데, 저자들은 학습된 diffusion model 에서부터 ODE solver 을 사용하여 gaussian noise와 real image 사이에 쌍을 얻어서 데이터셋을 학습 이전에 구축, 해당 pair들을 바탕으로 regression loss 를 구함 (Learned Perceptual Image Patch Similarity).
+
+$$
+\mathcal{L}_{\text{reg}} = \mathbb{E}_{(z,y) \sim \mathcal{D}} \, \ell(G_\theta(z), y)
+$$
+
+## Full algorithm
+
+:::{figure-md}
+
+
+Training algorithm
+:::
+
+
+# Results
+
+## Main comparison
+
+:::{figure-md}
+
+
+Image generation benchmarks
+:::
+
+## Ablation Study
+
+:::{figure-md}
+
+
+Ablation on distribution matching
+:::
+
+:::{figure-md}
+
+
+Ablation on regression loss
+:::
+
+
+## Comparison with Unaccelerated Models
+
+:::{figure-md}
+
+
+Comparison with Unaccelerated Models
+:::
+
+# Conclusion and Limitations
+
+- Score model 을 사용한 distribution matching loss 와 regularizing term 인 regression loss 를 통해, teacher model 에 준하는 성능을 낼 수 있었다
+- One step generator 와 multi-step generation 사이에는 근본적인 성능 tradeoff 가 존재함
- one-step generator 의 성능은 teacher diffusion model 의 성능에 종속된다
\ No newline at end of file
diff --git a/_sources/docs/review/progressive_distillation.md b/_sources/docs/review/progressive_distillation.md
index 9c01ddf6..f3246ce5 100755
--- a/_sources/docs/review/progressive_distillation.md
+++ b/_sources/docs/review/progressive_distillation.md
@@ -1,233 +1,233 @@
-``` {admonition} Information
-- **Title:** Progressive Distillation for Fast Sampling of Diffusion Models (ICLR 2022)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2202.00512](https://arxiv.org/abs/2202.00512)
- - Code: [https://github.com/google-research/google-research/tree/master/diffusion_distillation/diffusion_distillation](https://github.com/google-research/google-research/tree/master/diffusion_distillation/diffusion_distillation)
-
-- **Author:** Sangwoo Jo
-
-- **Last updated on Nov. 14, 2023**
-```
-
-# Progressive Distillation for Fast Sampling of Diffusion Models
-
-## 1. Introduction
-
-Diffusion model 이 ImageNet generation task 에서 기존 BigGAN-deep 그리고 VQ-VAE-2 모델보다 FID/CAS score 기준으로 더 좋은 성능을 보여주며 많은 각광을 받고 있습니다. 그러나 sampling 속도가 느리다는 치명적인 단점을 가지고 있습니다.
-
-이를 해결하기 위해, 논문에서는 Progressive Distillation 기법을 소개하게 됩니다. 간략히 설명하자면 사전학습된 $N$-step DDIM 모델을 $N/2$-step student 모델에 distillation 하는 과정을 반복하여 최종적으로 4 steps 만으로도 state-of-the-art 모델을 수천번의 sampling steps 를 거쳐 생성한 이미지들과 유사한 모델 성능을 보여준다고 합니다.
-
-## 2. Background - Diffusion model in continuous time ##
-
-### 2.1. Definition
-
-Continuous 한 time domain 에서의 diffusion model 을 다음과 같은 요소들로 정의합니다.
-
-- Training data $x \sim p(x)$
-- Latent variables $z = \{z_t | t \in [0,1]\}$
-
-여기서 $z_t$ 는 differentiable 한 noise schedule functions $\alpha_t, \sigma_t$ 로 값이 정의되고, 이 함수들은 log *signal-to-noise-ratio* $\lambda_t = \log[\alpha_t^2/\sigma_t^2]$ 가 monotonically decreasing 하도록 설정됩니다. 그리고 이들을 기반으로 다음과 같은 Markovian forward process 를 정의합니다.
-
-:::{figure-md}
-
-
-Markovian Forward Process
-:::
-
- where $0 \leq s < t \leq 1$ and $\sigma_{t|s}^2 = (1-e^{\lambda_t - \lambda_s}) \sigma_t^2$
-
-### 2.2. Objective
-
-Diffusion model 의 objective 는 $\hat{x}_{\theta}(z_t)$ 모델에서 $z_t \sim q(z_t | x)$ 와 $\lambda_t$ 를 입력받아 다음과 같이 Mean Squared Error Loss 를 최소화하는 방향으로 원본 이미지 $x$ 를 예측하는 것입니다. 이때, $w(\lambda_t)$ 를 *weighting function* 이라 부릅니다.
-
-:::{figure-md}
-
-
-Objective
-:::
-
-where $t \sim U[0,1]$
-
-### 2.3. Sampling
-
-Diffusion model 에서 sampling 하는 방식은 다양하게 존재합니다.
-
-#### 2.3.1. Ancestral Sampling - DDPM
-
-첫번째로는 DDPM 논문에서 소개하는 discrete time ancestral sampling 방식입니다. 위에 소개했던 notation 기준으로 reverse process 를 다음과 같이 수식적으로 표현 가능합니다.
-
-$$
-q(z_s | z_t,x) = N(z_s | \hat{\mu}_{s|t}(z_t,x), \tilde{\sigma}_{s|t}^2I)
-$$
-
-:::{figure-md}
-
-
-Reverse Process
-:::
-
-이를 기반으로 $z_1 \sim N(0,I)$ 로부터 다음과 같은 ancestral sampler 를 정의하게 됩니다. 이때, $\gamma$ 는 sampling 시 얼마나 많은 noise 를 추가할지 설정하는 hyperparameter 입니다.
-
-:::{figure-md}
-
-
-Ancestral Sampler
-:::
-
-#### 2.3.2. Probability Flow ODE
-
-반면에, Song et al. (2021c) 에서 forward diffusion process 를 SDE 로 표현할 수 있고, 이를 통한 sampling process 를 *probabiility flow* ODE 로 표현해서 구할 수 있다고 제시합니다.
-
-:::{figure-md}
-
-
-Probability flow ODE
-:::
-
-이때, $f(z_t,t) = \frac{d \log \alpha_t}{dt}z_t, g^2(t) = \frac{dσ_t^2}{dt} − 2 \frac{d\log \alpha_t}{dt}\sigma_t^2, \text{and}$ $\nabla_z \log \hat{p}_{\theta}(z_t) = \frac{\alpha_t\hat{x}_{\theta}(z_t) -z_t}{\sigma_t^2}$ 로 정의합니다.
-
-다시 말해 $z_1 \sim N(0,I)$ 로부터 이미지 $x$ 를 생성하는 task 를 위와 같이 ODE solver 문제로 해석할 수 있고, Euler rule 이나 Runge-Kutta method 등의 전통적인 ODE integrator 보다 DDIM sampler 를 적용했을때 성능이 가장 좋다고 논문에서 제시합니다. 아래 사진은 다양한 Probabiltity Flow ODE solver 들의 128x128 ImageNet 데이터셋 FID 성능을 비교한 결과입니다.
-
-:::{figure-md}
-
-
-FID scores on 128 × 128 ImageNet for various probability flow ODE integrators
-:::
-
-참고로 DDIM sampler 를 ODE solver 문제로 해석하면 다음과 같이 표현할 수 있고, 이 수식은 앞으로 자주 보게 될 예정입니다.
-
-:::{figure-md}
-
-
-DDIM sampler
-:::
-
-## 3. Progressive Distillation
-
-Diffusion model 을 더 효율적으로 sampling 하기 위해 소개한 *progressive distillation* 기법은 다음과 같은 절차로 진행됩니다.
-
-:::{figure-md}
-
-
-Progressive Distillation
-:::
-
-1. Standard diffusion training 기법으로 Teacher Diffusion Model 학습
-2. Student Model 정의 - Teacher Model 로부터 모델 구조 및 parameter 복사
-3. Student Model 학습
- 1. 이때, original data $x$ 대신에 $\tilde{x}$ 를 target 로 student model 을 학습합니다. $\tilde{x}$ 에 대한 공식은 아래 pseudocode 에 소개되는데, 이는 one-step student sample $\tilde{z}_{t''}$ 과 two-step teacher sample $z_{t''}$ 를 일치시키기 위해 나온 공식입니다.
- 2. 2 DDIM steps of teacher model 결과와 1 DDIM step of student model 결과를 일치시키는 것이 핵심입니다. 여기서 $z_t$ 에서 $z_{t-1/N}$ 로 넘어가는 과정을 1 DDIM step 라 정의하고, $N$ 은 총 진행되는 student sampling steps 입니다.
- 3. 기존 denoising model 학습 시, $x$ 가 $z_t$ 에 대해 deterministic 하지 않기 때문에 (다른 $x$ 값들에 대해 동일한 $z_t$ 생성 가능) 모델은 사실상 $x$ 가 아닌 weighted average of possible $x$ values 를 예측하는 모델이라고 합니다. 따라서, $z_t$에 대해 deterministic 한 $\tilde{x}(z_t)$ 를 예측하도록 학습한 student model 은 teacher model 보다 더 sharp 한 prediction 을 할 수 있다고 주장합니다.
-4. Student Model 이 새로운 Teacher Model 이 되고 sampling steps $N$ → $N/2$ 로 줄어드는 이 과정을 계속 반복
-
-이에 대한 pseudocode 도 확인해보겠습니다.
-
-- **PseudoCode**
-
- :::{figure-md}
-
-
- Pseudocode for Progresssive Distillation
- :::
-
-
-## 4. Diffusion Model Parameterization and Training Loss
-
-이제 denoising model $\hat{x}_{\theta}$ 와 reconstruction loss weight $w(\lambda_t)$ 에 대한 설정값에 대해 자세히 알아보겠습니다. 우선, 논문에서는 일반성을 잃지 않고 (without loss of generalization) *variance-preserving* diffusion process (i.e., $\alpha_t^2 + \sigma_t^2 = 1$ ) 라는 가정을 하게 됩니다. 더 자세하게는 cosine schedule $\alpha_t = cos(0.5\pi t)$ 를 사용합니다.
-
-DDPM 을 비롯한 대다수의 논문에서 이미지 $x$ 가 아닌 noise $\epsilon$ 를 예측하는 denoising model $\hat{\epsilon}_{\theta}(z_t)$ 를 정의합니다. $\epsilon$-space 에 정의된 손실함수에 $\hat{x_{\theta}}(z_t) = \frac{1}{\alpha_t}(z_t - \sigma_t \hat{\epsilon}_{\theta}(z_t))$ 식을 대입해보겠습니다.
-
-:::{figure-md}
-
-
-Training loss on $\epsilon$-space and $x$-space
-:::
-
-따라서, 이는 이미지 $x$ domain 에서 weighted reconstruction loss 를 적용하는 것과 동일하며 이때 weighting function $w(\lambda_t) = exp(\lambda_t), \lambda_t = \log[\alpha_t^2/\sigma_t^2]$ 로 정의할 수 있습니다. 그러나 이러한 standard training procedure 는 progressive distillation 에 적합하지 않다고 주장합니다.
-
-Standard diffusion training 기법에서는 다양한 범위 내에서의 signal-to-noise ratio $\alpha_t^2/\sigma_t^2$ 에서 모델이 학습되지만, distillation 이 진행될수록 이 signal-to-noise ratio 가 감소한다는 단점을 확인하게 됩니다. 더 자세히 설명하자면, $t$ 가 증가할수록 signal-to-noise-ratio $\alpha_t^2/\sigma_t^2$ 는 0 에 가까워지게 되고, $\hat{x_{\theta}}(z_t) = \frac{1}{\alpha_t}(z_t - \sigma_t \hat{\epsilon}_{\theta}(z_t))$ 에서 $\alpha_t \rightarrow 0$ 이므로 $\hat{\epsilon}_{\theta}(z_t)$ 에 대한 $x$-prediction 변화량이 점차적으로 커지게 됩니다. 이는 여러번의 training step 을 거칠 때 상관없지만, sampling steps 가 줄어들수록 치명적이게 됩니다. 최종적으로 sampling steps=1 일 때까지 progressively distillation 을 적용하면 모델의 입력으로는 단순한 pure noise $\epsilon$ (i.e., $\alpha_t = 0, \sigma_t = 1$ ) 이 들어가게 되고, $\epsilon$-prediction 과 $x$-prediction 의 상관관계가 완전히 사라지게 됩니다. 이는 위 loss function 에서 weighting function $w(\lambda_t) = 0$ 인 부분에서 확인할 수 있습니다.
-
-그래서 논문에서는 다음과 같은 세가지 방법으로 stable 한 $\hat{x}_{\theta}(z_t)$ prediction 을 구할 수 있는 방법들을 제시합니다.
-
-:::{figure-md}
-
-
-Different parameterizations
-:::
-
-Weighting function $w(\lambda_t)$ 도 두 가지 방안으로 실험했습니다. 이는 signal-to-noise ratio 가 0 으로 수렴하는 현상을 방지하도록 설정되었다고 합니다.
-
-:::{figure-md}
-
-
-Different loss weighting functions
-:::
-
-:::{figure-md}
-
-
-Visualization of different loss weighting functions
-:::
-
-## 5. Experiments
-
-논문에서 32x32 부터 128x128 까지 다양한 resolution 에서 모델 성능을 확인했습니다. 또한, cosine schedule $\alpha_t = cos(0.5 \pi t)$ 그리고 DDPM 에서 소개한 U-Net 아키텍쳐를 사용했으며 부가적으로 Nichol & Dhariwal (2021), Song et al. (2021c) 에서 사용된 BigGAN-style up/downsampling 기법을 활용했습니다.
-
-### 5.1. Model Parametrization and Training Loss
-
-아래 지표는 unconditional CIFAR-10 데이터셋에 앞써 소개드린 $\epsilon$-prediction 외에 다른 세 가지 parametrization 기법들로 original diffusion model 의 FID 와 Inception Score 성능을 확인해본 결과입니다.
-
-:::{figure-md}
-
-
-Ablation Study on Parameterizations and Loss Weightings
-:::
-
-성능을 비교해본 결과 $v$-prediction/$x$-prediction 과 Truncated SNR loss function 을 사용했을때 성능이 가장 좋은 부분을 확인할 수 있습니다. 또한, $\epsilon$-prediction 과 Truncated SNR loss function 의 조합을 사용하여 학습 시, unstable 한 convergence 를 보이는 현상도 볼 수 있습니다.
-
-위 실험결과를 바탕으로 progressive distillation 진행시 CIFAR-10 데이터셋에는 $x$-prediction, 그 외 데이터셋에서는 $(x,\epsilon)$-prediction 을 사용했다고 합니다. 더 자세한 hyperparameter setting 은 Appendix E 참조하시면 됩니다.
-
-### 5.2. Progressive Distillation
-
-논문에서 CIFAR-10, 64x64 downsampled ImageNet, 128 × 128 LSUN bedrooms, 그리고 128 × 128 LSUN Church-Outdoor 데이터셋에 progressive distillation 을 적용하여 모델 성능을 측정합니다. CIFAR-10 데이터셋 기준으로 teacher model 로부터 progressive distillation 진행 시 8192 steps 부터 시작하였고 batch size=128 로 설정하였습니다. 그 외 resolution 이 큰 데이터셋에 대해서는 1024 steps 부터 시작하고 batch size=2048 로 실험을 진행했습니다. 또한, 매 iteration 마다 $10^{-4}$ 에서 $0$ 으로 learning rate 를 linearly anneal 했다고 합니다.
-
-FID 성능을 확인해본 결과, 실험을 진행한 모든 4개의 데이터셋에 대해 progressive distillation 을 통해 4-8 sampling steps 만 진행해도 undistilled DDIM 그리고 stochastic sampler 에 준하는 성능을 보여주는 것을 확인할 수 있습니다. 4 sampling steps 까지 progressive distillation 진행하면서 발생하는 computational cost 가 baseline 모델 학습하는 것과 비슷한 부분을 생각했을때 엄청난 장점이라고 생각합니다.
-
-:::{figure-md}
-
-
-Comparison between Distilled, DDIM, and Stochastic Sampler
-:::
-
-추가적으로 CIFAR-10 데이터셋에서 타 fast sampling method 들과 FID 성능을 비교해본 결과입니다.
-
-:::{figure-md}
-
-
-Comparison of fast sampling results
-:::
-
-그리고 64x64 ImageNet 데이터셋에 distilled 모델로 생성한 예시 이미지들입니다. 동일한 seed 에 대해서 input noise 로부터 output image 까지 mapping 이 잘되는 부분을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Random samples from distilled 64 × 64 ImageNet models
-:::
-
-마지막으로 distillation scheduling 에 대한 ablation study 도 논문에서 진행했습니다. 첫번째 ablation study 로는 매 distillation iteration 마다 parameter update 횟수를 $50k$ 에서 $25k, 10k, 5k$ 로 점차 줄이면서 FID 성능을 비교해보고, 두번째 ablation study 로는 매 distillation iteration 마다 sampling step 을 2배 대신에 4배씩 줄여가면서 student model 을 학습하여 성능을 비교합니다. 그 결과 parameter update 횟수를 현저히 줄임에도 불구하고 FID 성능이 크게 줄지 않는 반면, 각 iteration 마다 sampling step 을 4배씩 줄이는 학습방식으로는 모델 성능이 좋지 못한 부분을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Ablation study on fast sampling schedule
-:::
-
-동일하게 CIFAR-10 외 ImageNet 그리고 LSUN 데이터셋에서 fast sampling schedule 을 적용한 성능 결과도 공유합니다.
-
-:::{figure-md}
-
-
-50k updates vs 10k updates on ImageNet/LSUN datasets
-:::
+``` {admonition} Information
+- **Title:** Progressive Distillation for Fast Sampling of Diffusion Models (ICLR 2022)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2202.00512](https://arxiv.org/abs/2202.00512)
+ - Code: [https://github.com/google-research/google-research/tree/master/diffusion_distillation/diffusion_distillation](https://github.com/google-research/google-research/tree/master/diffusion_distillation/diffusion_distillation)
+
+- **Author:** Sangwoo Jo
+
+- **Last updated on Nov. 14, 2023**
+```
+
+# Progressive Distillation for Fast Sampling of Diffusion Models
+
+## 1. Introduction
+
+Diffusion model 이 ImageNet generation task 에서 기존 BigGAN-deep 그리고 VQ-VAE-2 모델보다 FID/CAS score 기준으로 더 좋은 성능을 보여주며 많은 각광을 받고 있습니다. 그러나 sampling 속도가 느리다는 치명적인 단점을 가지고 있습니다.
+
+이를 해결하기 위해, 논문에서는 Progressive Distillation 기법을 소개하게 됩니다. 간략히 설명하자면 사전학습된 $N$-step DDIM 모델을 $N/2$-step student 모델에 distillation 하는 과정을 반복하여 최종적으로 4 steps 만으로도 state-of-the-art 모델을 수천번의 sampling steps 를 거쳐 생성한 이미지들과 유사한 모델 성능을 보여준다고 합니다.
+
+## 2. Background - Diffusion model in continuous time ##
+
+### 2.1. Definition
+
+Continuous 한 time domain 에서의 diffusion model 을 다음과 같은 요소들로 정의합니다.
+
+- Training data $x \sim p(x)$
+- Latent variables $z = \{z_t | t \in [0,1]\}$
+
+여기서 $z_t$ 는 differentiable 한 noise schedule functions $\alpha_t, \sigma_t$ 로 값이 정의되고, 이 함수들은 log *signal-to-noise-ratio* $\lambda_t = \log[\alpha_t^2/\sigma_t^2]$ 가 monotonically decreasing 하도록 설정됩니다. 그리고 이들을 기반으로 다음과 같은 Markovian forward process 를 정의합니다.
+
+:::{figure-md}
+
+
+Markovian Forward Process
+:::
+
+ where $0 \leq s < t \leq 1$ and $\sigma_{t|s}^2 = (1-e^{\lambda_t - \lambda_s}) \sigma_t^2$
+
+### 2.2. Objective
+
+Diffusion model 의 objective 는 $\hat{x}_{\theta}(z_t)$ 모델에서 $z_t \sim q(z_t | x)$ 와 $\lambda_t$ 를 입력받아 다음과 같이 Mean Squared Error Loss 를 최소화하는 방향으로 원본 이미지 $x$ 를 예측하는 것입니다. 이때, $w(\lambda_t)$ 를 *weighting function* 이라 부릅니다.
+
+:::{figure-md}
+
+
+Objective
+:::
+
+where $t \sim U[0,1]$
+
+### 2.3. Sampling
+
+Diffusion model 에서 sampling 하는 방식은 다양하게 존재합니다.
+
+#### 2.3.1. Ancestral Sampling - DDPM
+
+첫번째로는 DDPM 논문에서 소개하는 discrete time ancestral sampling 방식입니다. 위에 소개했던 notation 기준으로 reverse process 를 다음과 같이 수식적으로 표현 가능합니다.
+
+$$
+q(z_s | z_t,x) = N(z_s | \hat{\mu}_{s|t}(z_t,x), \tilde{\sigma}_{s|t}^2I)
+$$
+
+:::{figure-md}
+
+
+Reverse Process
+:::
+
+이를 기반으로 $z_1 \sim N(0,I)$ 로부터 다음과 같은 ancestral sampler 를 정의하게 됩니다. 이때, $\gamma$ 는 sampling 시 얼마나 많은 noise 를 추가할지 설정하는 hyperparameter 입니다.
+
+:::{figure-md}
+
+
+Ancestral Sampler
+:::
+
+#### 2.3.2. Probability Flow ODE
+
+반면에, Song et al. (2021c) 에서 forward diffusion process 를 SDE 로 표현할 수 있고, 이를 통한 sampling process 를 *probabiility flow* ODE 로 표현해서 구할 수 있다고 제시합니다.
+
+:::{figure-md}
+
+
+Probability flow ODE
+:::
+
+이때, $f(z_t,t) = \frac{d \log \alpha_t}{dt}z_t, g^2(t) = \frac{dσ_t^2}{dt} − 2 \frac{d\log \alpha_t}{dt}\sigma_t^2, \text{and}$ $\nabla_z \log \hat{p}_{\theta}(z_t) = \frac{\alpha_t\hat{x}_{\theta}(z_t) -z_t}{\sigma_t^2}$ 로 정의합니다.
+
+다시 말해 $z_1 \sim N(0,I)$ 로부터 이미지 $x$ 를 생성하는 task 를 위와 같이 ODE solver 문제로 해석할 수 있고, Euler rule 이나 Runge-Kutta method 등의 전통적인 ODE integrator 보다 DDIM sampler 를 적용했을때 성능이 가장 좋다고 논문에서 제시합니다. 아래 사진은 다양한 Probabiltity Flow ODE solver 들의 128x128 ImageNet 데이터셋 FID 성능을 비교한 결과입니다.
+
+:::{figure-md}
+
+
+FID scores on 128 × 128 ImageNet for various probability flow ODE integrators
+:::
+
+참고로 DDIM sampler 를 ODE solver 문제로 해석하면 다음과 같이 표현할 수 있고, 이 수식은 앞으로 자주 보게 될 예정입니다.
+
+:::{figure-md}
+
+
+DDIM sampler
+:::
+
+## 3. Progressive Distillation
+
+Diffusion model 을 더 효율적으로 sampling 하기 위해 소개한 *progressive distillation* 기법은 다음과 같은 절차로 진행됩니다.
+
+:::{figure-md}
+
+
+Progressive Distillation
+:::
+
+1. Standard diffusion training 기법으로 Teacher Diffusion Model 학습
+2. Student Model 정의 - Teacher Model 로부터 모델 구조 및 parameter 복사
+3. Student Model 학습
+ 1. 이때, original data $x$ 대신에 $\tilde{x}$ 를 target 로 student model 을 학습합니다. $\tilde{x}$ 에 대한 공식은 아래 pseudocode 에 소개되는데, 이는 one-step student sample $\tilde{z}_{t''}$ 과 two-step teacher sample $z_{t''}$ 를 일치시키기 위해 나온 공식입니다.
+ 2. 2 DDIM steps of teacher model 결과와 1 DDIM step of student model 결과를 일치시키는 것이 핵심입니다. 여기서 $z_t$ 에서 $z_{t-1/N}$ 로 넘어가는 과정을 1 DDIM step 라 정의하고, $N$ 은 총 진행되는 student sampling steps 입니다.
+ 3. 기존 denoising model 학습 시, $x$ 가 $z_t$ 에 대해 deterministic 하지 않기 때문에 (다른 $x$ 값들에 대해 동일한 $z_t$ 생성 가능) 모델은 사실상 $x$ 가 아닌 weighted average of possible $x$ values 를 예측하는 모델이라고 합니다. 따라서, $z_t$에 대해 deterministic 한 $\tilde{x}(z_t)$ 를 예측하도록 학습한 student model 은 teacher model 보다 더 sharp 한 prediction 을 할 수 있다고 주장합니다.
+4. Student Model 이 새로운 Teacher Model 이 되고 sampling steps $N$ → $N/2$ 로 줄어드는 이 과정을 계속 반복
+
+이에 대한 pseudocode 도 확인해보겠습니다.
+
+- **PseudoCode**
+
+ :::{figure-md}
+
+
+ Pseudocode for Progresssive Distillation
+ :::
+
+
+## 4. Diffusion Model Parameterization and Training Loss
+
+이제 denoising model $\hat{x}_{\theta}$ 와 reconstruction loss weight $w(\lambda_t)$ 에 대한 설정값에 대해 자세히 알아보겠습니다. 우선, 논문에서는 일반성을 잃지 않고 (without loss of generalization) *variance-preserving* diffusion process (i.e., $\alpha_t^2 + \sigma_t^2 = 1$ ) 라는 가정을 하게 됩니다. 더 자세하게는 cosine schedule $\alpha_t = cos(0.5\pi t)$ 를 사용합니다.
+
+DDPM 을 비롯한 대다수의 논문에서 이미지 $x$ 가 아닌 noise $\epsilon$ 를 예측하는 denoising model $\hat{\epsilon}_{\theta}(z_t)$ 를 정의합니다. $\epsilon$-space 에 정의된 손실함수에 $\hat{x_{\theta}}(z_t) = \frac{1}{\alpha_t}(z_t - \sigma_t \hat{\epsilon}_{\theta}(z_t))$ 식을 대입해보겠습니다.
+
+:::{figure-md}
+
+
+Training loss on $\epsilon$-space and $x$-space
+:::
+
+따라서, 이는 이미지 $x$ domain 에서 weighted reconstruction loss 를 적용하는 것과 동일하며 이때 weighting function $w(\lambda_t) = exp(\lambda_t), \lambda_t = \log[\alpha_t^2/\sigma_t^2]$ 로 정의할 수 있습니다. 그러나 이러한 standard training procedure 는 progressive distillation 에 적합하지 않다고 주장합니다.
+
+Standard diffusion training 기법에서는 다양한 범위 내에서의 signal-to-noise ratio $\alpha_t^2/\sigma_t^2$ 에서 모델이 학습되지만, distillation 이 진행될수록 이 signal-to-noise ratio 가 감소한다는 단점을 확인하게 됩니다. 더 자세히 설명하자면, $t$ 가 증가할수록 signal-to-noise-ratio $\alpha_t^2/\sigma_t^2$ 는 0 에 가까워지게 되고, $\hat{x_{\theta}}(z_t) = \frac{1}{\alpha_t}(z_t - \sigma_t \hat{\epsilon}_{\theta}(z_t))$ 에서 $\alpha_t \rightarrow 0$ 이므로 $\hat{\epsilon}_{\theta}(z_t)$ 에 대한 $x$-prediction 변화량이 점차적으로 커지게 됩니다. 이는 여러번의 training step 을 거칠 때 상관없지만, sampling steps 가 줄어들수록 치명적이게 됩니다. 최종적으로 sampling steps=1 일 때까지 progressively distillation 을 적용하면 모델의 입력으로는 단순한 pure noise $\epsilon$ (i.e., $\alpha_t = 0, \sigma_t = 1$ ) 이 들어가게 되고, $\epsilon$-prediction 과 $x$-prediction 의 상관관계가 완전히 사라지게 됩니다. 이는 위 loss function 에서 weighting function $w(\lambda_t) = 0$ 인 부분에서 확인할 수 있습니다.
+
+그래서 논문에서는 다음과 같은 세가지 방법으로 stable 한 $\hat{x}_{\theta}(z_t)$ prediction 을 구할 수 있는 방법들을 제시합니다.
+
+:::{figure-md}
+
+
+Different parameterizations
+:::
+
+Weighting function $w(\lambda_t)$ 도 두 가지 방안으로 실험했습니다. 이는 signal-to-noise ratio 가 0 으로 수렴하는 현상을 방지하도록 설정되었다고 합니다.
+
+:::{figure-md}
+
+
+Different loss weighting functions
+:::
+
+:::{figure-md}
+
+
+Visualization of different loss weighting functions
+:::
+
+## 5. Experiments
+
+논문에서 32x32 부터 128x128 까지 다양한 resolution 에서 모델 성능을 확인했습니다. 또한, cosine schedule $\alpha_t = cos(0.5 \pi t)$ 그리고 DDPM 에서 소개한 U-Net 아키텍쳐를 사용했으며 부가적으로 Nichol & Dhariwal (2021), Song et al. (2021c) 에서 사용된 BigGAN-style up/downsampling 기법을 활용했습니다.
+
+### 5.1. Model Parametrization and Training Loss
+
+아래 지표는 unconditional CIFAR-10 데이터셋에 앞써 소개드린 $\epsilon$-prediction 외에 다른 세 가지 parametrization 기법들로 original diffusion model 의 FID 와 Inception Score 성능을 확인해본 결과입니다.
+
+:::{figure-md}
+
+
+Ablation Study on Parameterizations and Loss Weightings
+:::
+
+성능을 비교해본 결과 $v$-prediction/$x$-prediction 과 Truncated SNR loss function 을 사용했을때 성능이 가장 좋은 부분을 확인할 수 있습니다. 또한, $\epsilon$-prediction 과 Truncated SNR loss function 의 조합을 사용하여 학습 시, unstable 한 convergence 를 보이는 현상도 볼 수 있습니다.
+
+위 실험결과를 바탕으로 progressive distillation 진행시 CIFAR-10 데이터셋에는 $x$-prediction, 그 외 데이터셋에서는 $(x,\epsilon)$-prediction 을 사용했다고 합니다. 더 자세한 hyperparameter setting 은 Appendix E 참조하시면 됩니다.
+
+### 5.2. Progressive Distillation
+
+논문에서 CIFAR-10, 64x64 downsampled ImageNet, 128 × 128 LSUN bedrooms, 그리고 128 × 128 LSUN Church-Outdoor 데이터셋에 progressive distillation 을 적용하여 모델 성능을 측정합니다. CIFAR-10 데이터셋 기준으로 teacher model 로부터 progressive distillation 진행 시 8192 steps 부터 시작하였고 batch size=128 로 설정하였습니다. 그 외 resolution 이 큰 데이터셋에 대해서는 1024 steps 부터 시작하고 batch size=2048 로 실험을 진행했습니다. 또한, 매 iteration 마다 $10^{-4}$ 에서 $0$ 으로 learning rate 를 linearly anneal 했다고 합니다.
+
+FID 성능을 확인해본 결과, 실험을 진행한 모든 4개의 데이터셋에 대해 progressive distillation 을 통해 4-8 sampling steps 만 진행해도 undistilled DDIM 그리고 stochastic sampler 에 준하는 성능을 보여주는 것을 확인할 수 있습니다. 4 sampling steps 까지 progressive distillation 진행하면서 발생하는 computational cost 가 baseline 모델 학습하는 것과 비슷한 부분을 생각했을때 엄청난 장점이라고 생각합니다.
+
+:::{figure-md}
+
+
+Comparison between Distilled, DDIM, and Stochastic Sampler
+:::
+
+추가적으로 CIFAR-10 데이터셋에서 타 fast sampling method 들과 FID 성능을 비교해본 결과입니다.
+
+:::{figure-md}
+
+
+Comparison of fast sampling results
+:::
+
+그리고 64x64 ImageNet 데이터셋에 distilled 모델로 생성한 예시 이미지들입니다. 동일한 seed 에 대해서 input noise 로부터 output image 까지 mapping 이 잘되는 부분을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Random samples from distilled 64 × 64 ImageNet models
+:::
+
+마지막으로 distillation scheduling 에 대한 ablation study 도 논문에서 진행했습니다. 첫번째 ablation study 로는 매 distillation iteration 마다 parameter update 횟수를 $50k$ 에서 $25k, 10k, 5k$ 로 점차 줄이면서 FID 성능을 비교해보고, 두번째 ablation study 로는 매 distillation iteration 마다 sampling step 을 2배 대신에 4배씩 줄여가면서 student model 을 학습하여 성능을 비교합니다. 그 결과 parameter update 횟수를 현저히 줄임에도 불구하고 FID 성능이 크게 줄지 않는 반면, 각 iteration 마다 sampling step 을 4배씩 줄이는 학습방식으로는 모델 성능이 좋지 못한 부분을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Ablation study on fast sampling schedule
+:::
+
+동일하게 CIFAR-10 외 ImageNet 그리고 LSUN 데이터셋에서 fast sampling schedule 을 적용한 성능 결과도 공유합니다.
+
+:::{figure-md}
+
+
+50k updates vs 10k updates on ImageNet/LSUN datasets
+:::
diff --git a/_sources/docs/review/t2i_adapter.md b/_sources/docs/review/t2i_adapter.md
index e5c1842b..b1a5b2f7 100755
--- a/_sources/docs/review/t2i_adapter.md
+++ b/_sources/docs/review/t2i_adapter.md
@@ -1,366 +1,366 @@
-```{admonition} Information
-- **Title:** T2I-Adapter: Learning Adapters to Dig out More Controllable Ability for Text-to-Image Diffusion Models
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2302.08453](https://arxiv.org/abs/2302.08453)
- - Code: [https://github.com/huggingface/diffusers/tree/main/src/diffusers/pipelines/t2i_adapter](https://github.com/huggingface/diffusers/tree/main/src/diffusers/pipelines/t2i_adapter)
-
-- **Author:** Sangwoo Jo
-
-- **Last updated on Oct. 03, 2023**
-```
-
-# T2I-Adapter
-
-## Introduction
-
-이번 시간에는 Tencent ARC Lab 에서 소개하는 T2I-Adapter 모델에 대해 알아볼 예정입니다.
-
-Stable Diffusion 을 비롯한 기존의 T2I 모델들이 난해한 prompt (e.g., “A car with flying wings” & “Iron Man with bunny ears”) 을 입력받을 시, 생성되는 이미지 퀄리티가 저하되는 부분을 확인할 수 있는데요. 논문에서는 T2I 모델이 low level (e.g., textures), middle level (e.g., edges), 그리고 high level (e.g., semantics) 에 대한 정보들을 implicit 하게 가지고 있지만, 이를 표현하기 위해서는 text prompt 만으로는 한계가 있고 보다 세밀한 controlling (e.g., color, structure) 이 필요하다고 서술합니다. 즉, T2I 모델의 internal knowledge 와 external guidance 의 alignment 에 대한 추가적인 학습이 필요하다고 주장합니다.
-
-:::{figure-md}
-
-
-Effect of External Guidance
-:::
-
-논문에서는 이를 해결하기 위해 T2I-Adapter 모델을 소개하고 다음과 같이 5가지 장점이 있다고 합니다.
-
-:::{figure-md}
-
-
-Various Guidance of T2I-Adapter
-:::
-
-- *Plug-and-play* : 기존의 T2I 모델의 generalization ability 유지
-- *Simple and small* : ~77M parameters and ~300M storage
-
- :::{figure-md}
-
-
- ControlNet vs T2I-Adapter
- :::
-
- - ControlNet 같은 경우에 reverse diffusion process 에서 ControlNet 과 Unet 모두 연산작업이 실행됩니다. 이때 ControlNet 은 Unet Encoder 의 구조를 그대로 가져오기 때문에 parameter size 및 storage 용량이 크고, 이는 이미지 생성하는데 큰 bottleneck 이 됩니다.
-- *Flexible* : 다양한 adapter (e.g., color, structure) 학습 가능
-- *Composable* : Multiple adapter 적용 가능
-- *Generalizable* : 동일한 구조를 가진 다른 T2I 모델에 동일한 adapter 적용 가능
-
-## Method
-
-### 3.1. Preliminary: Stable Diffusion
-
-T2I-Adapter 의 기반이 되는 T2I 모델 Stable Diffusion 모델은 기본적으로 two-stage model 이고, autoencoder 와 Unet denoiser 로 구성되어 있습니다. Autoencoder 를 통해 이미지를 latent space 로 바꾸고 다시 복원하는 역할을 하고, Unet denoiser 는 diffusion process 를 통해 다음과 같은 손실함수를 최소화하는 방향으로 학습하게 됩니다.
-
-$$
-L = \mathbb{E}_{Z_{t}, C, \epsilon, t}(||\epsilon-\epsilon_{\theta}(Z_t, C)||_2^2)
-$$
-
-- $Z_t = \sqrt{\bar{\alpha}_t}Z_0 + \sqrt{1-\bar{\alpha}_t}\epsilon, \epsilon \sim N(0,I)$ := noised feature map at step t
-- $C$ := conditional information
-- $\epsilon_{\theta}$ := UNet denoiser
-
-Inference 시에는 random Gaussian distribution 을 따르는 $Z_T$, 그리고 text prompt 를 CLIP text encoder 에 입력함으로써 생성한 token $y$ 를 cross attention 을 통해 Unet denoiser $\epsilon_{\theta}$ 에 입력합니다. 최종적으로, diffusion process 로부터 생성된 denoise 된 latent feature 를 decoder 를 통해 최종 이미지를 생성하게 됩니다. 자세한 cross attention 하는 방식은 다음과 같습니다.
-
-:::{figure-md}
-
-
-Cross Attention
-:::
-
-- $W_Q, W_K, W_V$ := learnable projection matrices
-- $\phi(\cdot), \tau(\cdot)$ := learnable embeddings
-
-### 3.2. Overview of T2I-Adapter
-
-논문에서는 다음과 같은 형태로 pre-trained 된 Stable Diffusion 을 비롯한 T2I 모델에 Adapter 를 추가하는 방식을 소개합니다. Adapter 의 자세한 구조는 다음과 같습니다.
-
-:::{figure-md}
-
-
-Overview of T2I-Adapter
-:::
-
-### 3.3. Adapter Design
-
-:::{figure-md}
-
-
-Adapter Design
-:::
-
-Conditional input 은 512x512 의 크기를 가지며, 이는 *pixel unshuffle downsampling* 을 통해 64x64 이미지로 변환이 되어 1개의 convolution layer 와 2개의 residual block 으로 구성된 *scale* 을 4번 통과하게 됩니다. 이때, 각 *scale* 을 거치고 나온 condition feature 를 $F_c^k$ 라 정의합니다.
-
-최종적으로 multi-scale condition feature $F_c = \{F_c^1, F_c^2, F_c^3, F_c^4\}$ 가 생성되고, 이는 Unet encoder 에서의 intermediate feature $F_{enc} = \{F_{enc}^1, F_{enc}^2, F_{enc}^3, F_{enc}^4\}$ 와 더해지게 됩니다. 이때, dimension 크기는 동일하도록 설정했기 때문에 덧셈 연산하는데 문제 없습니다.
-
-:::{figure-md}
-
-
-Multi-Scale Condition Feature
-:::
-
-해당 implementation code 도 살펴보겠습니다.
-
-- **T2I-Adapter module code**
-
- ```python
- class FullAdapter(nn.Module):
- def __init__(
- self,
- in_channels: int = 3,
- channels: List[int] = [320, 640, 1280, 1280],
- num_res_blocks: int = 2,
- downscale_factor: int = 8,
- ):
- super().__init__()
-
- in_channels = in_channels * downscale_factor**2
-
- self.unshuffle = nn.PixelUnshuffle(downscale_factor)
- self.conv_in = nn.Conv2d(in_channels, channels[0], kernel_size=3, padding=1)
-
- self.body = nn.ModuleList(
- [
- AdapterBlock(channels[0], channels[0], num_res_blocks),
- *[
- AdapterBlock(channels[i - 1], channels[i], num_res_blocks, down=True)
- for i in range(1, len(channels))
- ],
- ]
- )
-
- self.total_downscale_factor = downscale_factor * 2 ** (len(channels) - 1)
-
- def forward(self, x: torch.Tensor) -> List[torch.Tensor]:
- x = self.unshuffle(x)
- x = self.conv_in(x)
-
- features = []
-
- for block in self.body:
- x = block(x)
- features.append(x)
-
- return features
- ```
-
- ```python
- class AdapterBlock(nn.Module):
- def __init__(self, in_channels, out_channels, num_res_blocks, down=False):
- super().__init__()
-
- self.downsample = None
- if down:
- self.downsample = Downsample2D(in_channels)
-
- self.in_conv = None
- if in_channels != out_channels:
- self.in_conv = nn.Conv2d(in_channels, out_channels, kernel_size=1)
-
- self.resnets = nn.Sequential(
- *[AdapterResnetBlock(out_channels) for _ in range(num_res_blocks)],
- )
-
- def forward(self, x):
- if self.downsample is not None:
- x = self.downsample(x)
-
- if self.in_conv is not None:
- x = self.in_conv(x)
-
- x = self.resnets(x)
-
- return x
-
- class AdapterResnetBlock(nn.Module):
- def __init__(self, channels):
- super().__init__()
- self.block1 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
- self.act = nn.ReLU()
- self.block2 = nn.Conv2d(channels, channels, kernel_size=1)
-
- def forward(self, x):
- h = x
- h = self.block1(h)
- h = self.act(h)
- h = self.block2(h)
-
- return h + x
- ```
-
-- **SD + T2I-Adapter implementation code**
-
- ```python
- # 7. Denoising loop
- adapter_state = self.adapter(adapter_input)
- for k, v in enumerate(adapter_state):
- adapter_state[k] = v * adapter_conditioning_scale
- if num_images_per_prompt > 1:
- for k, v in enumerate(adapter_state):
- adapter_state[k] = v.repeat(num_images_per_prompt, 1, 1, 1)
- if do_classifier_free_guidance:
- for k, v in enumerate(adapter_state):
- adapter_state[k] = torch.cat([v] * 2, dim=0)
-
- num_warmup_steps = len(timesteps) - num_inference_steps * self.scheduler.order
- with self.progress_bar(total=num_inference_steps) as progress_bar:
- for i, t in enumerate(timesteps):
- # expand the latents if we are doing classifier free guidance
- latent_model_input = torch.cat([latents] * 2) if do_classifier_free_guidance else latents
- latent_model_input = self.scheduler.scale_model_input(latent_model_input, t)
-
- # predict the noise residual
- noise_pred = self.unet(
- latent_model_input,
- t,
- encoder_hidden_states=prompt_embeds,
- cross_attention_kwargs=cross_attention_kwargs,
- down_block_additional_residuals=[state.clone() for state in adapter_state],
- ).sample
-
- # perform guidance
- if do_classifier_free_guidance:
- noise_pred_uncond, noise_pred_text = noise_pred.chunk(2)
- noise_pred = noise_pred_uncond + guidance_scale * (noise_pred_text - noise_pred_uncond)
-
- # compute the previous noisy sample x_t -> x_t-1
- latents = self.scheduler.step(noise_pred, t, latents, **extra_step_kwargs).prev_sample
- ```
-
-
-Adapter 종류로는 크게 structure 에 대한 conditioning 과 color 에 대한 conditioning 으로 분류할 수 있습니다. Structure controlling 으로는 대표적으로 sketch, depth map, semantic segmentation map, keypose 등이 있습니다. Color map 은 이미지를 우선적으로 *high bicubic downsampling* 을 통해 semantic 및 structural 한 정보를 제외시키고, *nearest upsampling* 기법으로 다시 원본 이미지 크기로 복원하는 작업을 통해 생성합니다.
-
-앞써 설명한 부분처럼 추가 학습 없이 여러 adapter 로 conditioning 할 수도 있습니다. Multi-adapter 로 controlling 할 시, 다음과 같이 각 adapter 로부터 나온 condition feature 에 weight $w_k$ 를 부여해 최종 condition feature 를 정의하게 됩니다.
-
-:::{figure-md}
-
-
-Multi-Adapter Conditioning
-:::
-
-### 3.4. Model Optimization
-
-모델 학습 시, SD 파라미터는 고정시킨 상태로 T2I-Adapter 파라미터만 학습합니다. 이때, T2-Adapter 손실함수는 SD 학습 시와 유사하게 다음과 같이 정의합니다.
-
-$$
-L_{AD} = \mathbb{E}_{Z_{0}, t, F_c, \epsilon \sim N(0,I)}[||\epsilon-\epsilon_{\theta}(Z_t, t, \tau(y), F_c)||_2^2]
-$$
-
-where $t \sim U(0,T)$
-
-**Non-uniform time step sampling during training**
-
-Diffusion 모델 학습 시와 동일하게, time embedding 을 adapter 에 input 으로 넣으면서 성능 개선 효과가 있는 것을 확인했지만 매 time step $t$ 마다 $F_c$ 를 conditioning 하는 것은 computationally expensive 합니다.
-
-따라서, 논문에서는 DDIM inference sampling 을 크게 3가지 stage (i.e., beginning, middle, late stage) 로 분류하는 방법을 소개합니다. 실험해본 결과, middle 그리고 late stage 에 적용하는 것보다 beginning stage 에서 guidance 를 주는 효과가 더 크다고 합니다.
-
-:::{figure-md}
-
-
-DDIM Inference Sampling Stages
-:::
-
-따라서, 최대한 time step $t$ 가 early sampling stage 에 포함되도록 다음 수식처럼 non-uniformly 하게 sampling 작업을 진행했고, 이에 대한 결과도 공유합니다.
-
-$$
-t = (1-(t/T)^3) \times T, t \in U(0,T)
-$$
-
-:::{figure-md}
-
-
-Effect of Cubic Sampling
-:::
-
-## Experiment
-
-### 4.1. Implementation Details
-
-T2I-Adapter 학습 시, hyperparameter 및 데이터셋 구축 상세사항은 다음과 같습니다.
-
-- Hyperparameters
- - 10 epochs
- - Batch size = 8
- - Learning rate = $1 \times 10^{-5}$
- - Adam optimizer
- - 4X NVIDIA Tesla 32G-V100 GPUs (3 days)
-
-- 실험별 데이터셋 구축
- - *Sketch Map*
- - COCO17 데이터셋 - 164K images
- - PiDiNet 를 활용해 sketch map 생성
- - *Semantic segmentation map*
- - COCO-Stuff 데이터셋 - 164K images
- - *Keypoints & Color & Depth maps*
- - LAION-AESTHETICS 데이터셋로부터 600K images-text pairs 추출
- - MM-Pose, MiDaS 모델로 각각 Keypoint, Depth map 생성
-
-### 4.2. Comparison
-
-기존 SOTA 모델들과 정량적인 수치로 비교하는데 FID 와 CLIP Score 를 사용하였고, 하단 사진처럼 기존 GAN-based 그리고 diffusion-based method 모델들보다 성능이 좋습니다.
-
-:::{figure-md}
-
-
-Qualitative Comparison
-:::
-
-:::{figure-md}
-
-
-Quantitative Comparisoin
-:::
-
-### 4.3. Applications
-
-해당 예시들은 다양한 single adapter controlling 에 대한 결과들을 보여줍니다. 특히 인상적인 부분은 sketch 로 controlling 시, sketch 가 정확하지 않아도 이미지 생성에 robust 한 성능을 보여주는 것을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Visualization of Single-Adapter Controlling
-:::
-
-또한, image editing 도 가능합니다. SD inpainting mode 로 특정 지역을 masking 한 후, T2I-Adapter 를 통해 image editing 을 한 예시 사진입니다. Adapter 없이, SD inpainting 만으로는 성능이 좋지 못하다고 합니다.
-
-:::{figure-md}
-
-
-Image Editing with T2I-Adapter
-:::
-
-아래 예시는 multiple adapter 를 적용한 것로 위에서부터 아래로 각각 depth + keypose 그리고 sketch + color map 을 conditioning 한 결과입니다.
-
-:::{figure-md}
-
-
-Composable Controlling
-:::
-
-마지막으로, 장점들 중 하나로 명시되었던 generalization ability 를 보여준 사례입니다. 학습 완료한 Adapter 를 동일한 구조를 가진 T2I 모델에 적용 가능한 것을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Generalizable Controlling
-:::
-
-### 4.4. Ablation Study
-
-논문에서는 guidance mode, 그리고 complexity 에 대한 ablation study 를 진행했습니다.
-
-SD 모델은 encoder 그리고 decoder 에 각각 4개의 scale (i.e., 64×64, 32×32, 16×16, 8×8) 을 가지고 있는데, 하단 table 처럼 각각 다른 scale 에 adapter guidance 를 적용하면서 FID 성능을 비교했습니다. Scale Number 가 4보다 작을 경우, large scale 에 순차적으로 guidance 를 적용했습니다. 그 결과, Unet encoder 에만 4 scales 모두 guidance 를 적용하는 것이 성능이 제일 좋다고 합니다.
-
-:::{figure-md}
-
-
-Guidance Mode
-:::
-
-또한, condition map 는 비교적 sparse 하기 때문에 더 경량화된 adapter 를 사용해도 성능이 좋은 부분을 하단 예시처럼 확인할 수 있었다고 합니다. 더 자세하게는, adapter block 의 intermediate channel 숫자를 바꿔가며 adapter-small, adapter-tiny 모델을 각각 x4, x8 compression 작업을 진행했습니다.
-
-:::{figure-md}
-
-
-Complexity Ablation
-:::
+```{admonition} Information
+- **Title:** T2I-Adapter: Learning Adapters to Dig out More Controllable Ability for Text-to-Image Diffusion Models
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2302.08453](https://arxiv.org/abs/2302.08453)
+ - Code: [https://github.com/huggingface/diffusers/tree/main/src/diffusers/pipelines/t2i_adapter](https://github.com/huggingface/diffusers/tree/main/src/diffusers/pipelines/t2i_adapter)
+
+- **Author:** Sangwoo Jo
+
+- **Last updated on Oct. 03, 2023**
+```
+
+# T2I-Adapter
+
+## Introduction
+
+이번 시간에는 Tencent ARC Lab 에서 소개하는 T2I-Adapter 모델에 대해 알아볼 예정입니다.
+
+Stable Diffusion 을 비롯한 기존의 T2I 모델들이 난해한 prompt (e.g., “A car with flying wings” & “Iron Man with bunny ears”) 을 입력받을 시, 생성되는 이미지 퀄리티가 저하되는 부분을 확인할 수 있는데요. 논문에서는 T2I 모델이 low level (e.g., textures), middle level (e.g., edges), 그리고 high level (e.g., semantics) 에 대한 정보들을 implicit 하게 가지고 있지만, 이를 표현하기 위해서는 text prompt 만으로는 한계가 있고 보다 세밀한 controlling (e.g., color, structure) 이 필요하다고 서술합니다. 즉, T2I 모델의 internal knowledge 와 external guidance 의 alignment 에 대한 추가적인 학습이 필요하다고 주장합니다.
+
+:::{figure-md}
+
+
+Effect of External Guidance
+:::
+
+논문에서는 이를 해결하기 위해 T2I-Adapter 모델을 소개하고 다음과 같이 5가지 장점이 있다고 합니다.
+
+:::{figure-md}
+
+
+Various Guidance of T2I-Adapter
+:::
+
+- *Plug-and-play* : 기존의 T2I 모델의 generalization ability 유지
+- *Simple and small* : ~77M parameters and ~300M storage
+
+ :::{figure-md}
+
+
+ ControlNet vs T2I-Adapter
+ :::
+
+ - ControlNet 같은 경우에 reverse diffusion process 에서 ControlNet 과 Unet 모두 연산작업이 실행됩니다. 이때 ControlNet 은 Unet Encoder 의 구조를 그대로 가져오기 때문에 parameter size 및 storage 용량이 크고, 이는 이미지 생성하는데 큰 bottleneck 이 됩니다.
+- *Flexible* : 다양한 adapter (e.g., color, structure) 학습 가능
+- *Composable* : Multiple adapter 적용 가능
+- *Generalizable* : 동일한 구조를 가진 다른 T2I 모델에 동일한 adapter 적용 가능
+
+## Method
+
+### 3.1. Preliminary: Stable Diffusion
+
+T2I-Adapter 의 기반이 되는 T2I 모델 Stable Diffusion 모델은 기본적으로 two-stage model 이고, autoencoder 와 Unet denoiser 로 구성되어 있습니다. Autoencoder 를 통해 이미지를 latent space 로 바꾸고 다시 복원하는 역할을 하고, Unet denoiser 는 diffusion process 를 통해 다음과 같은 손실함수를 최소화하는 방향으로 학습하게 됩니다.
+
+$$
+L = \mathbb{E}_{Z_{t}, C, \epsilon, t}(||\epsilon-\epsilon_{\theta}(Z_t, C)||_2^2)
+$$
+
+- $Z_t = \sqrt{\bar{\alpha}_t}Z_0 + \sqrt{1-\bar{\alpha}_t}\epsilon, \epsilon \sim N(0,I)$ := noised feature map at step t
+- $C$ := conditional information
+- $\epsilon_{\theta}$ := UNet denoiser
+
+Inference 시에는 random Gaussian distribution 을 따르는 $Z_T$, 그리고 text prompt 를 CLIP text encoder 에 입력함으로써 생성한 token $y$ 를 cross attention 을 통해 Unet denoiser $\epsilon_{\theta}$ 에 입력합니다. 최종적으로, diffusion process 로부터 생성된 denoise 된 latent feature 를 decoder 를 통해 최종 이미지를 생성하게 됩니다. 자세한 cross attention 하는 방식은 다음과 같습니다.
+
+:::{figure-md}
+
+
+Cross Attention
+:::
+
+- $W_Q, W_K, W_V$ := learnable projection matrices
+- $\phi(\cdot), \tau(\cdot)$ := learnable embeddings
+
+### 3.2. Overview of T2I-Adapter
+
+논문에서는 다음과 같은 형태로 pre-trained 된 Stable Diffusion 을 비롯한 T2I 모델에 Adapter 를 추가하는 방식을 소개합니다. Adapter 의 자세한 구조는 다음과 같습니다.
+
+:::{figure-md}
+
+
+Overview of T2I-Adapter
+:::
+
+### 3.3. Adapter Design
+
+:::{figure-md}
+
+
+Adapter Design
+:::
+
+Conditional input 은 512x512 의 크기를 가지며, 이는 *pixel unshuffle downsampling* 을 통해 64x64 이미지로 변환이 되어 1개의 convolution layer 와 2개의 residual block 으로 구성된 *scale* 을 4번 통과하게 됩니다. 이때, 각 *scale* 을 거치고 나온 condition feature 를 $F_c^k$ 라 정의합니다.
+
+최종적으로 multi-scale condition feature $F_c = \{F_c^1, F_c^2, F_c^3, F_c^4\}$ 가 생성되고, 이는 Unet encoder 에서의 intermediate feature $F_{enc} = \{F_{enc}^1, F_{enc}^2, F_{enc}^3, F_{enc}^4\}$ 와 더해지게 됩니다. 이때, dimension 크기는 동일하도록 설정했기 때문에 덧셈 연산하는데 문제 없습니다.
+
+:::{figure-md}
+
+
+Multi-Scale Condition Feature
+:::
+
+해당 implementation code 도 살펴보겠습니다.
+
+- **T2I-Adapter module code**
+
+ ```python
+ class FullAdapter(nn.Module):
+ def __init__(
+ self,
+ in_channels: int = 3,
+ channels: List[int] = [320, 640, 1280, 1280],
+ num_res_blocks: int = 2,
+ downscale_factor: int = 8,
+ ):
+ super().__init__()
+
+ in_channels = in_channels * downscale_factor**2
+
+ self.unshuffle = nn.PixelUnshuffle(downscale_factor)
+ self.conv_in = nn.Conv2d(in_channels, channels[0], kernel_size=3, padding=1)
+
+ self.body = nn.ModuleList(
+ [
+ AdapterBlock(channels[0], channels[0], num_res_blocks),
+ *[
+ AdapterBlock(channels[i - 1], channels[i], num_res_blocks, down=True)
+ for i in range(1, len(channels))
+ ],
+ ]
+ )
+
+ self.total_downscale_factor = downscale_factor * 2 ** (len(channels) - 1)
+
+ def forward(self, x: torch.Tensor) -> List[torch.Tensor]:
+ x = self.unshuffle(x)
+ x = self.conv_in(x)
+
+ features = []
+
+ for block in self.body:
+ x = block(x)
+ features.append(x)
+
+ return features
+ ```
+
+ ```python
+ class AdapterBlock(nn.Module):
+ def __init__(self, in_channels, out_channels, num_res_blocks, down=False):
+ super().__init__()
+
+ self.downsample = None
+ if down:
+ self.downsample = Downsample2D(in_channels)
+
+ self.in_conv = None
+ if in_channels != out_channels:
+ self.in_conv = nn.Conv2d(in_channels, out_channels, kernel_size=1)
+
+ self.resnets = nn.Sequential(
+ *[AdapterResnetBlock(out_channels) for _ in range(num_res_blocks)],
+ )
+
+ def forward(self, x):
+ if self.downsample is not None:
+ x = self.downsample(x)
+
+ if self.in_conv is not None:
+ x = self.in_conv(x)
+
+ x = self.resnets(x)
+
+ return x
+
+ class AdapterResnetBlock(nn.Module):
+ def __init__(self, channels):
+ super().__init__()
+ self.block1 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
+ self.act = nn.ReLU()
+ self.block2 = nn.Conv2d(channels, channels, kernel_size=1)
+
+ def forward(self, x):
+ h = x
+ h = self.block1(h)
+ h = self.act(h)
+ h = self.block2(h)
+
+ return h + x
+ ```
+
+- **SD + T2I-Adapter implementation code**
+
+ ```python
+ # 7. Denoising loop
+ adapter_state = self.adapter(adapter_input)
+ for k, v in enumerate(adapter_state):
+ adapter_state[k] = v * adapter_conditioning_scale
+ if num_images_per_prompt > 1:
+ for k, v in enumerate(adapter_state):
+ adapter_state[k] = v.repeat(num_images_per_prompt, 1, 1, 1)
+ if do_classifier_free_guidance:
+ for k, v in enumerate(adapter_state):
+ adapter_state[k] = torch.cat([v] * 2, dim=0)
+
+ num_warmup_steps = len(timesteps) - num_inference_steps * self.scheduler.order
+ with self.progress_bar(total=num_inference_steps) as progress_bar:
+ for i, t in enumerate(timesteps):
+ # expand the latents if we are doing classifier free guidance
+ latent_model_input = torch.cat([latents] * 2) if do_classifier_free_guidance else latents
+ latent_model_input = self.scheduler.scale_model_input(latent_model_input, t)
+
+ # predict the noise residual
+ noise_pred = self.unet(
+ latent_model_input,
+ t,
+ encoder_hidden_states=prompt_embeds,
+ cross_attention_kwargs=cross_attention_kwargs,
+ down_block_additional_residuals=[state.clone() for state in adapter_state],
+ ).sample
+
+ # perform guidance
+ if do_classifier_free_guidance:
+ noise_pred_uncond, noise_pred_text = noise_pred.chunk(2)
+ noise_pred = noise_pred_uncond + guidance_scale * (noise_pred_text - noise_pred_uncond)
+
+ # compute the previous noisy sample x_t -> x_t-1
+ latents = self.scheduler.step(noise_pred, t, latents, **extra_step_kwargs).prev_sample
+ ```
+
+
+Adapter 종류로는 크게 structure 에 대한 conditioning 과 color 에 대한 conditioning 으로 분류할 수 있습니다. Structure controlling 으로는 대표적으로 sketch, depth map, semantic segmentation map, keypose 등이 있습니다. Color map 은 이미지를 우선적으로 *high bicubic downsampling* 을 통해 semantic 및 structural 한 정보를 제외시키고, *nearest upsampling* 기법으로 다시 원본 이미지 크기로 복원하는 작업을 통해 생성합니다.
+
+앞써 설명한 부분처럼 추가 학습 없이 여러 adapter 로 conditioning 할 수도 있습니다. Multi-adapter 로 controlling 할 시, 다음과 같이 각 adapter 로부터 나온 condition feature 에 weight $w_k$ 를 부여해 최종 condition feature 를 정의하게 됩니다.
+
+:::{figure-md}
+
+
+Multi-Adapter Conditioning
+:::
+
+### 3.4. Model Optimization
+
+모델 학습 시, SD 파라미터는 고정시킨 상태로 T2I-Adapter 파라미터만 학습합니다. 이때, T2-Adapter 손실함수는 SD 학습 시와 유사하게 다음과 같이 정의합니다.
+
+$$
+L_{AD} = \mathbb{E}_{Z_{0}, t, F_c, \epsilon \sim N(0,I)}[||\epsilon-\epsilon_{\theta}(Z_t, t, \tau(y), F_c)||_2^2]
+$$
+
+where $t \sim U(0,T)$
+
+**Non-uniform time step sampling during training**
+
+Diffusion 모델 학습 시와 동일하게, time embedding 을 adapter 에 input 으로 넣으면서 성능 개선 효과가 있는 것을 확인했지만 매 time step $t$ 마다 $F_c$ 를 conditioning 하는 것은 computationally expensive 합니다.
+
+따라서, 논문에서는 DDIM inference sampling 을 크게 3가지 stage (i.e., beginning, middle, late stage) 로 분류하는 방법을 소개합니다. 실험해본 결과, middle 그리고 late stage 에 적용하는 것보다 beginning stage 에서 guidance 를 주는 효과가 더 크다고 합니다.
+
+:::{figure-md}
+
+
+DDIM Inference Sampling Stages
+:::
+
+따라서, 최대한 time step $t$ 가 early sampling stage 에 포함되도록 다음 수식처럼 non-uniformly 하게 sampling 작업을 진행했고, 이에 대한 결과도 공유합니다.
+
+$$
+t = (1-(t/T)^3) \times T, t \in U(0,T)
+$$
+
+:::{figure-md}
+
+
+Effect of Cubic Sampling
+:::
+
+## Experiment
+
+### 4.1. Implementation Details
+
+T2I-Adapter 학습 시, hyperparameter 및 데이터셋 구축 상세사항은 다음과 같습니다.
+
+- Hyperparameters
+ - 10 epochs
+ - Batch size = 8
+ - Learning rate = $1 \times 10^{-5}$
+ - Adam optimizer
+ - 4X NVIDIA Tesla 32G-V100 GPUs (3 days)
+
+- 실험별 데이터셋 구축
+ - *Sketch Map*
+ - COCO17 데이터셋 - 164K images
+ - PiDiNet 를 활용해 sketch map 생성
+ - *Semantic segmentation map*
+ - COCO-Stuff 데이터셋 - 164K images
+ - *Keypoints & Color & Depth maps*
+ - LAION-AESTHETICS 데이터셋로부터 600K images-text pairs 추출
+ - MM-Pose, MiDaS 모델로 각각 Keypoint, Depth map 생성
+
+### 4.2. Comparison
+
+기존 SOTA 모델들과 정량적인 수치로 비교하는데 FID 와 CLIP Score 를 사용하였고, 하단 사진처럼 기존 GAN-based 그리고 diffusion-based method 모델들보다 성능이 좋습니다.
+
+:::{figure-md}
+
+
+Qualitative Comparison
+:::
+
+:::{figure-md}
+
+
+Quantitative Comparisoin
+:::
+
+### 4.3. Applications
+
+해당 예시들은 다양한 single adapter controlling 에 대한 결과들을 보여줍니다. 특히 인상적인 부분은 sketch 로 controlling 시, sketch 가 정확하지 않아도 이미지 생성에 robust 한 성능을 보여주는 것을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Visualization of Single-Adapter Controlling
+:::
+
+또한, image editing 도 가능합니다. SD inpainting mode 로 특정 지역을 masking 한 후, T2I-Adapter 를 통해 image editing 을 한 예시 사진입니다. Adapter 없이, SD inpainting 만으로는 성능이 좋지 못하다고 합니다.
+
+:::{figure-md}
+
+
+Image Editing with T2I-Adapter
+:::
+
+아래 예시는 multiple adapter 를 적용한 것로 위에서부터 아래로 각각 depth + keypose 그리고 sketch + color map 을 conditioning 한 결과입니다.
+
+:::{figure-md}
+
+
+Composable Controlling
+:::
+
+마지막으로, 장점들 중 하나로 명시되었던 generalization ability 를 보여준 사례입니다. 학습 완료한 Adapter 를 동일한 구조를 가진 T2I 모델에 적용 가능한 것을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Generalizable Controlling
+:::
+
+### 4.4. Ablation Study
+
+논문에서는 guidance mode, 그리고 complexity 에 대한 ablation study 를 진행했습니다.
+
+SD 모델은 encoder 그리고 decoder 에 각각 4개의 scale (i.e., 64×64, 32×32, 16×16, 8×8) 을 가지고 있는데, 하단 table 처럼 각각 다른 scale 에 adapter guidance 를 적용하면서 FID 성능을 비교했습니다. Scale Number 가 4보다 작을 경우, large scale 에 순차적으로 guidance 를 적용했습니다. 그 결과, Unet encoder 에만 4 scales 모두 guidance 를 적용하는 것이 성능이 제일 좋다고 합니다.
+
+:::{figure-md}
+
+
+Guidance Mode
+:::
+
+또한, condition map 는 비교적 sparse 하기 때문에 더 경량화된 adapter 를 사용해도 성능이 좋은 부분을 하단 예시처럼 확인할 수 있었다고 합니다. 더 자세하게는, adapter block 의 intermediate channel 숫자를 바꿔가며 adapter-small, adapter-tiny 모델을 각각 x4, x8 compression 작업을 진행했습니다.
+
+:::{figure-md}
+
+
+Complexity Ablation
+:::
diff --git a/_sources/docs/review/vae.md b/_sources/docs/review/vae.md
index fde3cd26..82ac5fcf 100755
--- a/_sources/docs/review/vae.md
+++ b/_sources/docs/review/vae.md
@@ -1,175 +1,175 @@
-```{admonition} Information
-- **Title:** Auto-Encoding Variational Bayes (ICLR 2014)
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/1312.6114](https://arxiv.org/abs/1312.6114)
- - Code: [https://github.com/GunhoChoi/PyTorch-FastCampus](https://github.com/GunhoChoi/PyTorch-FastCampus)
- - [Smart Design Lab @KAIST | 딥러닝 Ch.3.3 VAE](https://www.youtube.com/watch?v=GbCAwVVKaHY&t=95s)
-
-- **Author:** Sangwoo Jo
-
-- **Editor:** Changhwan Lee
-
-- **Last updated on Apr. 26, 2024**
-```
-
-# VAE
-
-
-## Introduction
-
-논문의 Introduction 에 다음과 같은 문구가 적혀있는데요.
-
-> "Variational Bayesian (VB) approach involves the optimization of an approximation to the intractable posterior”
->
-
-이처럼 Variational Autoencoder 는 논문에서 제시하는 Auto-Encoding Variational Bayes(AEVB) 알고리즘 중 하나로, intractable 한 posterior 분포를 다루기 쉬운 뉴럴 네트워크로 근사함으로써 Variational Inference 를 하게 됩니다.
-
-이가 의미하는 바가 무엇인지 한번 살펴보도록 하겠습니다.
-
-## Intractability
-
-Variational Autoencoder(VAE) 는 크게 Encoder 와 Decoder 부분으로 이루어져 있습니다. 더 자세하게는, Encoder는 입력 데이터 $x$ 를 받아서 잠재변수(Latent Variable) $z$ 를 만들어내고, Decoder 는 잠재변수 $z$ 를 활용해서 다시 $x$ 를 복원하게 됩니다.
-
-:::{figure-md}
-
-
-Variational Autoencoder(VAE) Architecture
-:::
-
-Variational Autoencoder (VAE) 는 AutoEncoder 와 달리 확률 분포를 이용해 어떤 새로운 데이터를 생성하는 Decoder 부분에 초점을 둡니다. 이때 논문에서 다음과 같은 assumption 들을 내립니다. 첫번째로 $p_{\theta}(z)$ 와 $p_{\theta}(x|z)$ 는 parametric 한 distribution 을 가지고 있고, 이는 $\theta$ 와 $z$ 에 대해 differentiable 하다는 가정을 내립니다. 이 때, 대표적으로 $p_{\theta}(z)$ 는 Gaussian distribution 을 따르고 $p_{\theta}(x|z)$ 는 생성하고자 하는 데이터 성질에 따라 Bernoulli 혹은 Gaussian distribution 을 따르도록 정의합니다. 그리고 $p_{\theta}(x|z)$ 의 파라미터 $p$ 혹은 $(\mu, \sigma)$ 는 아래 그림과 같이 뉴럴 네트워크로 구성된 Decoder 로부터 계산이 됩니다.
-
-:::{figure-md}
-
-
-Overview of Bernoulli(left) and Gaussian(right) Decoder
-:::
-
-이를 기반으로 우리는 ML/MAP estimation 을 통해 marginal likelihood $p_{\theta}(x)$ 를 최대화시키는 파라미터 $\theta$ 를 구하는 것이 목적입니다. 하지만, $p_{\theta}(x) = \int p_{\theta}(z)p_{\theta}(x|z) \ dz$ 는 intractable 하기 때문에 $p_{\theta}(z|x)$ 를 계산하기 위한 Encoder 가 등장하게 됩니다.
-
-$$
-p_{\theta}(x) = p_{\theta}(x|z)p_{\theta}(z)/p_{\theta}(z|x)
-$$
-
-여기서 $p_{\theta}(z|x)$ 역시 intractable 하기 때문에 이를 잘 근사화하는 뉴럴 네트워크 $q_{\phi}(z|x)$ 를 정의하게 되고, 이러한 과정을 변분추론(Variational Inference) 라고 합니다. 아래는 Encoder 와 Decoder 를 함께 도식화한 그림입니다. 정리하자면, MLP Encoder 를 통해 계산된 $\mu$ 와 $\sigma$ 로 잠재변수 $z$ 를 생성하게 되고, 이를 기반으로 Decoder 는 원본 이미지와 유사한 데이터를 생성하게 됩니다.
-
-:::{figure-md}
-
-
-Overview of Gaussian Encoder and Decoder
-:::
-
-해당 implementation code 도 확인해보겠습니다.
-
-- **Encoder 구현 code**
-
- ```python
-
- class Encoder(nn.Module):
- def __init__(self):
- super(Encoder,self).__init__()
- self.fc1_1 = nn.Linear(784, hidden_size)
- self.fc1_2 = nn.Linear(784, hidden_size)
- self.relu = nn.ReLU()
-
- def encode(self,x):
- x = x.view(batch_size,-1)
- mu = self.relu(self.fc1_1(x))
- log_var = self.relu(self.fc1_2(x))
-
- return mu,log_var
-
- def reparametrize(self, mu, logvar):
- std = logvar.mul(0.5).exp_()
-
- eps = torch.FloatTensor(std.size()).normal_()
- eps = Variable(eps).cuda()
-
- return eps.mul(std).add_(mu)
-
- def forward(self,x):
- mu, logvar = self.encode(x)
- reparam = self.reparametrize(mu,logvar)
-
- return mu,logvar,reparam
- ```
-
-- **Decoder 구현 code**
-
- ```python
- class Decoder(nn.Module):
- def __init__(self):
- super(Decoder,self).__init__()
- self.fc1 = nn.Linear(hidden_size, 784)
- self.sigmoid = nn.Sigmoid()
-
- def forward(self,x):
- out = self.fc1(x)
- out = self.sigmoid(out)
- out = out.view(batch_size,28,28,1)
-
- return out
- ```
-
-## SGVB(Stochastic Gradient Variational Bayes)
-
-이로써 우리는 marginal likelihood $p_{\theta}(x)$ 를 최대화시키는 파라미터 $(\theta, \phi)$ 를 찾으면 되고, 이에 대한 lower bound 를 수식적으로 표현하면 손실함수(loss function) 를 다음과 같이 Reconstruction Error 와 Regularization term 로 분할할 수 있습니다.
-
-$$
-L(\theta, \phi;x_i) = \arg \min_{\theta, \phi} \sum_{i} -\mathbb{E}\_{q_{\phi}(z|x_i)}[\log(p(x_i|g_{\theta}(z))] + KL(q_{\phi}(z|x_i)||p(z))
-$$
-
-Reconstruction Error 는 Decoder 에서 생성하는 데이터가 최대한 원본 데이터와 유사하도록 하는 term 이고, Regularization 은 Encoder 에서 만드는 잠재변수의 분포가 저희가 부여한 prior distribution 이랑 가깝도록 설정하는 term 입니다. 이때, Reconstruction Error 는 다음과 같은 Monte Carlo Estimator $\tilde{\mathcal{L}}^{B}$ 로 근사값을 구할 수 있고, 하나의 sample 을 계산하는 것도 연산량이 많으므로 논문에서는 sample size $L$ 을 1 로 설정합니다.
-
-$$ \tilde{\mathcal{L}}^{B}(\theta, \phi; x^{(i)})=-D_{KL}(q_{\phi}(z|x^{(i)})||p_{\theta}(z))+\frac{1}{L}\sum^{L}_{l=1} \log p\_\theta (x^{(i)}|z^{(i,l)})) $$
-
-Lower bound 에 대한 수식을 변환하여 수식 전체에 대한 Monte Carlo Estimator $\tilde{\mathcal{L}}^{A}$ 로도 근사값을 구할 수 있는데 이는 평균적으로 $\tilde{\mathcal{L}}^{B}$ 에 비해 variance 가 높다고 합니다.
-
-$$ \tilde{\mathcal{L}}^{A}(\theta,\phi;x^{(i)})=\frac{1}{L}\sum^{L}_{l=1}\log p_{\theta}(x^{(i)},z^{(i,l)})-\log q_{\phi}(z^{(i,l)}|x^{(i)}) $$
-
-
-## Reparameterization Trick
-
-논문에서는 모델 학습 시 backpropagation 을 원활히 사용할 수 있도록 reparameterization trick 을 소개합니다. 잠재변수 $z$ 를 Encoder 에서 나온 $\mu$ 와 $\sigma$ 로 직접 샘플링하지 않고, backpropagation 이 가능하도록 Gaussian noise 를 우선적으로 샘플링하고 해당 $\mu$ 와 $\sigma$ 를 각각 더하고 곱하게 됩니다. 이는 $q_{\phi}(z|x)$ 이 Gaussian distribution 을 따른다고 설정했을 때이고, $q_{\phi}(z|x)$ 에 대해 다른 분포를 가정하여 그에 따른 다른 reparameterization trick 을 시도할 수 있다고 논문에 명시되어 있습니다.
-
-하단에는 Gaussian 분포에 대한 reparameterization trick 를 도식화한 그림입니다. 왼쪽에는 reparameterization trick이 적용되지 않은 경우로 $\mu$ 나 $\sigma$ 값이 고정되어 있어도 $\mathcal{N}(\mu,\sigma^2)$ 에서 샘플링하므로 $z$ 는 랜덤한 값이 되고 loss function 을 $\mu$ 나 $\sigma$ 에 대해 미분할 수 없어 backpropagation 을 적용하기가 어렵습니다. 반면에, 오른쪽처럼 reparameterization trick 을 적용하면, $z$ 가 deterministic 한 형태로 정의되고 $\mu$ 나 $\sigma$ 에 대한 변수로도 미분이 가능해지기 때문에 backpropagation 을 활용하여 모델을 학습시킬 수 있습니다.
-
-:::{figure-md}
-
-
-Overview of Reparameterization Trick
-:::
-
-## Training Algorithm
-
-모델을 학습하는 전체적인 과정은 아래와 같습니다.
-
-:::{figure-md}
-
-
-Overview of Training Algorithm
-:::
-
-## Experiments
-논문에서는 MNIST 와 Frey Face 데이터셋에 대해 AEVB(Auto-Encoder variational Bayesian)와 wake-sleep 알고리즘를 적용해서 비교합니다. 여기서 Frey Face 데이터셋은 continuous 하므로 Gaussian Decoder 를 사용합니다. 실험결과는 아래 그림과 같습니다.
-
-:::{figure-md}
-
-
-Experimental Results - Likelihood lower bound
-:::
-
-해당 그림처럼 lower bound 를 최적화하는데 AEVB 알고리즘이 더 빠르게 수렴하며 모든 실험에서 성능적으로도 더 나은 부분을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Experimental Results - Marginal likelihood
-:::
-
-또한, latent variable $z$ 의 차원이 작으면 marginal likelihood 를 직접 Monte Carlo EM 을 할용하여 구할 수 있는데, 이에 대한 결과도 논문에서 보여줍니다. Monte Carlo EM 의 경우 학습 데이터가 많으면 수렴이 되지 않는 부분을 확인할 수 있습니다.
-
-
-## Summary
-
-AutoEncoder 는 latent space 에 하나의 값으로 지정해줬다면, VAE 는 평균 그리고 분산 파라미터들과 Gaussian 분포를 가진 샘플을 통해 잠재변수를 생성합니다. 그리고 VAE 를 실제로 사용해보면 생성된 데이터 image quality 가 낮다는 단점을 가지고 있다고 합니다.
+```{admonition} Information
+- **Title:** Auto-Encoding Variational Bayes (ICLR 2014)
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/1312.6114](https://arxiv.org/abs/1312.6114)
+ - Code: [https://github.com/GunhoChoi/PyTorch-FastCampus](https://github.com/GunhoChoi/PyTorch-FastCampus)
+ - [Smart Design Lab @KAIST | 딥러닝 Ch.3.3 VAE](https://www.youtube.com/watch?v=GbCAwVVKaHY&t=95s)
+
+- **Author:** Sangwoo Jo
+
+- **Editor:** Changhwan Lee
+
+- **Last updated on Apr. 26, 2024**
+```
+
+# VAE
+
+
+## Introduction
+
+논문의 Introduction 에 다음과 같은 문구가 적혀있는데요.
+
+> "Variational Bayesian (VB) approach involves the optimization of an approximation to the intractable posterior”
+>
+
+이처럼 Variational Autoencoder 는 논문에서 제시하는 Auto-Encoding Variational Bayes(AEVB) 알고리즘 중 하나로, intractable 한 posterior 분포를 다루기 쉬운 뉴럴 네트워크로 근사함으로써 Variational Inference 를 하게 됩니다.
+
+이가 의미하는 바가 무엇인지 한번 살펴보도록 하겠습니다.
+
+## Intractability
+
+Variational Autoencoder(VAE) 는 크게 Encoder 와 Decoder 부분으로 이루어져 있습니다. 더 자세하게는, Encoder는 입력 데이터 $x$ 를 받아서 잠재변수(Latent Variable) $z$ 를 만들어내고, Decoder 는 잠재변수 $z$ 를 활용해서 다시 $x$ 를 복원하게 됩니다.
+
+:::{figure-md}
+
+
+Variational Autoencoder(VAE) Architecture
+:::
+
+Variational Autoencoder (VAE) 는 AutoEncoder 와 달리 확률 분포를 이용해 어떤 새로운 데이터를 생성하는 Decoder 부분에 초점을 둡니다. 이때 논문에서 다음과 같은 assumption 들을 내립니다. 첫번째로 $p_{\theta}(z)$ 와 $p_{\theta}(x|z)$ 는 parametric 한 distribution 을 가지고 있고, 이는 $\theta$ 와 $z$ 에 대해 differentiable 하다는 가정을 내립니다. 이 때, 대표적으로 $p_{\theta}(z)$ 는 Gaussian distribution 을 따르고 $p_{\theta}(x|z)$ 는 생성하고자 하는 데이터 성질에 따라 Bernoulli 혹은 Gaussian distribution 을 따르도록 정의합니다. 그리고 $p_{\theta}(x|z)$ 의 파라미터 $p$ 혹은 $(\mu, \sigma)$ 는 아래 그림과 같이 뉴럴 네트워크로 구성된 Decoder 로부터 계산이 됩니다.
+
+:::{figure-md}
+
+
+Overview of Bernoulli(left) and Gaussian(right) Decoder
+:::
+
+이를 기반으로 우리는 ML/MAP estimation 을 통해 marginal likelihood $p_{\theta}(x)$ 를 최대화시키는 파라미터 $\theta$ 를 구하는 것이 목적입니다. 하지만, $p_{\theta}(x) = \int p_{\theta}(z)p_{\theta}(x|z) \ dz$ 는 intractable 하기 때문에 $p_{\theta}(z|x)$ 를 계산하기 위한 Encoder 가 등장하게 됩니다.
+
+$$
+p_{\theta}(x) = p_{\theta}(x|z)p_{\theta}(z)/p_{\theta}(z|x)
+$$
+
+여기서 $p_{\theta}(z|x)$ 역시 intractable 하기 때문에 이를 잘 근사화하는 뉴럴 네트워크 $q_{\phi}(z|x)$ 를 정의하게 되고, 이러한 과정을 변분추론(Variational Inference) 라고 합니다. 아래는 Encoder 와 Decoder 를 함께 도식화한 그림입니다. 정리하자면, MLP Encoder 를 통해 계산된 $\mu$ 와 $\sigma$ 로 잠재변수 $z$ 를 생성하게 되고, 이를 기반으로 Decoder 는 원본 이미지와 유사한 데이터를 생성하게 됩니다.
+
+:::{figure-md}
+
+
+Overview of Gaussian Encoder and Decoder
+:::
+
+해당 implementation code 도 확인해보겠습니다.
+
+- **Encoder 구현 code**
+
+ ```python
+
+ class Encoder(nn.Module):
+ def __init__(self):
+ super(Encoder,self).__init__()
+ self.fc1_1 = nn.Linear(784, hidden_size)
+ self.fc1_2 = nn.Linear(784, hidden_size)
+ self.relu = nn.ReLU()
+
+ def encode(self,x):
+ x = x.view(batch_size,-1)
+ mu = self.relu(self.fc1_1(x))
+ log_var = self.relu(self.fc1_2(x))
+
+ return mu,log_var
+
+ def reparametrize(self, mu, logvar):
+ std = logvar.mul(0.5).exp_()
+
+ eps = torch.FloatTensor(std.size()).normal_()
+ eps = Variable(eps).cuda()
+
+ return eps.mul(std).add_(mu)
+
+ def forward(self,x):
+ mu, logvar = self.encode(x)
+ reparam = self.reparametrize(mu,logvar)
+
+ return mu,logvar,reparam
+ ```
+
+- **Decoder 구현 code**
+
+ ```python
+ class Decoder(nn.Module):
+ def __init__(self):
+ super(Decoder,self).__init__()
+ self.fc1 = nn.Linear(hidden_size, 784)
+ self.sigmoid = nn.Sigmoid()
+
+ def forward(self,x):
+ out = self.fc1(x)
+ out = self.sigmoid(out)
+ out = out.view(batch_size,28,28,1)
+
+ return out
+ ```
+
+## SGVB(Stochastic Gradient Variational Bayes)
+
+이로써 우리는 marginal likelihood $p_{\theta}(x)$ 를 최대화시키는 파라미터 $(\theta, \phi)$ 를 찾으면 되고, 이에 대한 lower bound 를 수식적으로 표현하면 손실함수(loss function) 를 다음과 같이 Reconstruction Error 와 Regularization term 로 분할할 수 있습니다.
+
+$$
+L(\theta, \phi;x_i) = \arg \min_{\theta, \phi} \sum_{i} -\mathbb{E}\_{q_{\phi}(z|x_i)}[\log(p(x_i|g_{\theta}(z))] + KL(q_{\phi}(z|x_i)||p(z))
+$$
+
+Reconstruction Error 는 Decoder 에서 생성하는 데이터가 최대한 원본 데이터와 유사하도록 하는 term 이고, Regularization 은 Encoder 에서 만드는 잠재변수의 분포가 저희가 부여한 prior distribution 이랑 가깝도록 설정하는 term 입니다. 이때, Reconstruction Error 는 다음과 같은 Monte Carlo Estimator $\tilde{\mathcal{L}}^{B}$ 로 근사값을 구할 수 있고, 하나의 sample 을 계산하는 것도 연산량이 많으므로 논문에서는 sample size $L$ 을 1 로 설정합니다.
+
+$$ \tilde{\mathcal{L}}^{B}(\theta, \phi; x^{(i)})=-D_{KL}(q_{\phi}(z|x^{(i)})||p_{\theta}(z))+\frac{1}{L}\sum^{L}_{l=1} \log p\_\theta (x^{(i)}|z^{(i,l)})) $$
+
+Lower bound 에 대한 수식을 변환하여 수식 전체에 대한 Monte Carlo Estimator $\tilde{\mathcal{L}}^{A}$ 로도 근사값을 구할 수 있는데 이는 평균적으로 $\tilde{\mathcal{L}}^{B}$ 에 비해 variance 가 높다고 합니다.
+
+$$ \tilde{\mathcal{L}}^{A}(\theta,\phi;x^{(i)})=\frac{1}{L}\sum^{L}_{l=1}\log p_{\theta}(x^{(i)},z^{(i,l)})-\log q_{\phi}(z^{(i,l)}|x^{(i)}) $$
+
+
+## Reparameterization Trick
+
+논문에서는 모델 학습 시 backpropagation 을 원활히 사용할 수 있도록 reparameterization trick 을 소개합니다. 잠재변수 $z$ 를 Encoder 에서 나온 $\mu$ 와 $\sigma$ 로 직접 샘플링하지 않고, backpropagation 이 가능하도록 Gaussian noise 를 우선적으로 샘플링하고 해당 $\mu$ 와 $\sigma$ 를 각각 더하고 곱하게 됩니다. 이는 $q_{\phi}(z|x)$ 이 Gaussian distribution 을 따른다고 설정했을 때이고, $q_{\phi}(z|x)$ 에 대해 다른 분포를 가정하여 그에 따른 다른 reparameterization trick 을 시도할 수 있다고 논문에 명시되어 있습니다.
+
+하단에는 Gaussian 분포에 대한 reparameterization trick 를 도식화한 그림입니다. 왼쪽에는 reparameterization trick이 적용되지 않은 경우로 $\mu$ 나 $\sigma$ 값이 고정되어 있어도 $\mathcal{N}(\mu,\sigma^2)$ 에서 샘플링하므로 $z$ 는 랜덤한 값이 되고 loss function 을 $\mu$ 나 $\sigma$ 에 대해 미분할 수 없어 backpropagation 을 적용하기가 어렵습니다. 반면에, 오른쪽처럼 reparameterization trick 을 적용하면, $z$ 가 deterministic 한 형태로 정의되고 $\mu$ 나 $\sigma$ 에 대한 변수로도 미분이 가능해지기 때문에 backpropagation 을 활용하여 모델을 학습시킬 수 있습니다.
+
+:::{figure-md}
+
+
+Overview of Reparameterization Trick
+:::
+
+## Training Algorithm
+
+모델을 학습하는 전체적인 과정은 아래와 같습니다.
+
+:::{figure-md}
+
+
+Overview of Training Algorithm
+:::
+
+## Experiments
+논문에서는 MNIST 와 Frey Face 데이터셋에 대해 AEVB(Auto-Encoder variational Bayesian)와 wake-sleep 알고리즘를 적용해서 비교합니다. 여기서 Frey Face 데이터셋은 continuous 하므로 Gaussian Decoder 를 사용합니다. 실험결과는 아래 그림과 같습니다.
+
+:::{figure-md}
+
+
+Experimental Results - Likelihood lower bound
+:::
+
+해당 그림처럼 lower bound 를 최적화하는데 AEVB 알고리즘이 더 빠르게 수렴하며 모든 실험에서 성능적으로도 더 나은 부분을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Experimental Results - Marginal likelihood
+:::
+
+또한, latent variable $z$ 의 차원이 작으면 marginal likelihood 를 직접 Monte Carlo EM 을 할용하여 구할 수 있는데, 이에 대한 결과도 논문에서 보여줍니다. Monte Carlo EM 의 경우 학습 데이터가 많으면 수렴이 되지 않는 부분을 확인할 수 있습니다.
+
+
+## Summary
+
+AutoEncoder 는 latent space 에 하나의 값으로 지정해줬다면, VAE 는 평균 그리고 분산 파라미터들과 Gaussian 분포를 가진 샘플을 통해 잠재변수를 생성합니다. 그리고 VAE 를 실제로 사용해보면 생성된 데이터 image quality 가 낮다는 단점을 가지고 있다고 합니다.
diff --git a/_sources/docs/review/zero123.md b/_sources/docs/review/zero123.md
new file mode 100755
index 00000000..7b905bcc
--- /dev/null
+++ b/_sources/docs/review/zero123.md
@@ -0,0 +1,421 @@
+# zero 1-to-3 : Zero-shot One Image to 3D Object
+
+``` {admonition} Information
+- **Title:** zero 1-to-3 : Zero-shot One Image to 3D Object
+
+- **Reference**
+ - Paper: [
+:::
+
+1. **단일 RGB 이미지**를 입력으로 **Object 의 카메라 viewpoint 를 변경**하여 이미지를 합성하는 프레임워크
+2. **제한된 셋팅** 하에서 다중 view 합성 수행을 위해 **large-scale diffusion model** 의 Geometric priors 활용
+ 1. 조건부 diffusion 모델은 특정 카메라 시점 변형 하에 동일 객체의 새로운 이미지들을 생성할 수있는 **상대적인 카메라 시점의 조정(control)** 을 학습하기 위해 **3D 합성 데이터셋** 사용
+ 2. 합성 데이터셋에서 훈련되었음에도 wild images , OOD(out-of-distribution) 데이터 등에 대해 강력한 zero-shot 일반화 능력 보유
+3. viewpoint-conditioned diffusion 접근법은 단일 이미지로부터의 3D 재구성을 위해서도 사용 가능
+
+# 1. Introduction
+
+---
+
+1. **인간의 3D 인지 능력**
+ - 사람은 단일 시점의 이미지에서도 물체의 3D 형태와 외형을 상상 가능
+ - 대칭과 같은 기하학적 prior에 의존하기도 하지만 물리적 제약을 넘는 일반화가 가능
+ - 현실에 존재하지 않는 객체의 3D 형태까지 예측할 수 있는 능력은 평생동안의 시각적 경험에서 축적된 사전지식(prior)를 기반으로 함.
+2. **기존 3D 재구성 접근 방식의 한계**
+ - 대부분의 3D 이미지 재구성 접근 방식은 **closed-world setting**에 제한
+ - 고비용 3D annotation(CAD model) 과 카테고리별 prior에 의존
+ - CO3D 등 대규모 데이터셋으로 open-world 재구성 연구가 진전되었으나
+ 여전히 stereo view나 카메라 포즈 정보들과 같은 학습을 위한 기하적 정보가 필요
+ - large-scale diffusion 모델의 성공을 가능하게 한 인터넷 규모의 text-image 데이터셋들과 비교할 때 아직 3D 데이터의 수집 규모는 미미한 상태
+3. **diffusion 모델의 인터넷 규모 사전 학습과 한계**
+ - 인터넷 규모의 사전학습은 large-scale diffusion model 에 풍부한 semantic prior 를 부여
+ - 하지만, 여전히 기하학적 정보 캡처 능력은 부족
+4. **Zero 1-to-3 를 제안**
+ - **Zero 1-to-3 :**
+ - Stable Diffusion과 같은 large-scale diffusion 모델이 단일 RGB 이미지를 입력으로,
+
+
+
+ 를 수행하기 위해 **카메라 view point(시점)을 조작을 컨트롤하는 매커니즘 학습**
+
+ - 주어진 단일 RGB 이미지 입력하에 이러한 TASK를 수행 하는 것은 매우 많은 제약이 존재
+ → Diffusion 모델을 기반으로 다양한 시점에서 방대한 객체 이미지를 생성하여 이용
+ - Diffusion 모델은 카메라 포즈 없이 2D 이미지에 대한 학습만 수행되었으므로,
+ **파인튜닝을 통해 상대적인 카메라 회전 및 이동을 컨트롤**하여 새로운 시점의 이미지를 생성하는 접근법 제시
+ - 파인튜닝을 통해 선택한 다른 카메라 시점에서의 임의의 이미지를 생성 가능
+
+# 2. Related Work
+
+1. **3D generative models**
+ - 생성 모델의 동향
+ - 대규모 이미지-텍스트 데이터셋과 결합된 생성 모델의 발전으로 고품질의 다양한 장면과 객체를 합성 가능해짐.
+ - 특히 diffusion 모델의 경우 denoising objective를 통해 확장 가능한 이미지 생성 학습에 효과적
+ - 이를 3D 도메인으로 확장하려면 많은 3D annotation 데이터를 필요로 하므로, 이에 대한 대안으로 **대규모 2D diffusion 모델을 3D task 에 전이하는 방식**이 연구되고 있음.
+ - **NeRF과 DreamFields의 역할**
+ - **NeRF**는 고품질 장면 인코딩에 탁월하여 단일 장면 재구성에 주로 사용되며, 관찰되지 않은 각도에서 새로운 view 를 예측
+ - **DreamFields**는 NeRF를 3D 생성 시스템의 주요 요소로 활용하여, 텍스트 입력에서 고품질 3D 객체와 장면을 생성할 수 있게 함.
+ - **Zero-1-to-3 의 접근법**
+ - 새로운 시점 합성을 **뷰포인트로 조건화된 image-to-image 변환** 작업으로 보고 **diffusion** 모델을 활용
+ - 학습된 모델은 **3D distillation** 과 결합해 단일 이미지로부터 3D Shape reconstruction 수행
+ - 합성 데이터셋으로 시점 조작을 학습하여 wild 이미지에 대해 zero-shot 일반화를 입증
+ - **선행 연구와의 비교**
+ - 선행연구는 **Zero-1-to-3** 와 유사한 파이프라인을 채택하였으나, 제로샷 일반화 능력을 입증하지 못함
+ - 이 외에도 다양한 접근방식이 language-guided 와 text-inversion 을 활용하여 image-to-3D 생성 태스크를 위한 유사한 방법론들을 제안
+ - 하지만 본 방법론은 합성 데이터셋을 통해 view point 컨트롤을 학습하고, 제로샷 일반화 능력을 보여줬다는 데에서 차이가 있음.
+
+2. **Single-view object reconstruction**
+ - **단일 뷰에서 3D 객체 재구성**:
+ - 단일 뷰에서 3D 객체를 재구성하는 것은 매우 어려운 문제
+ - 이를 해결하기 위한 강력한 사전 지식(**prior**) 필요
+ - [**기존 접근 방식**:](https://velog.io/@dldydldy75/3D-Understanding)
+
+ :::{figure-md}
+
+ :::
+
+ 1. **데이터 수집 형태에 따른 전역적인(global) 특성 기반의 조건화 모델**
+ - 기존 연구 중 일부는 3D 데이터를 **메쉬, 복셀, 또는 포인트 클라우드** 형식으로 수집해 이를 기반으로 조건에 대한 이미지 인코사전 지식을 형성
+ - 사용된 3D 데이터의 종류에 큰 제약 존재
+ - 데이터에 따른 조건의 타입에 대한 **global nature** 로 인해 일반화 능력이 부족
+ - 새로운 관점에서 재구성하기 위해 추가적인 포즈 추정 단계가 필요
+ 2. **국소적으로(locally) 조건화된 모델**
+ - 이미지의 국소적 특성을 직접 사용하여 장면 재구성을 시도
+ - 교차 도메인 일반화 능력이 더 좋지만, 일반적으로 가까운 뷰 재구성에 제한됨.
+
+
+
+ - **MCC (Multiview Compressive Coding for 3D Reconstruction)**
+ - **RGB-D** 뷰를 사용하여 3D 재구성을 위한 general-purpose representation 을 학습하며, 대규모 객체 중심 비디오 데이터셋으로 훈련됨
+ - **Zero-1-to-3**
+ - 사전 훈련된 Stable Diffusion 모델에서 직접 풍부한 기하학적 정보를 추출할 수 있음을 보여주며, 이는 **추가적인 깊이 정보 없이**도 가능함을 보임
+
+# 3. Methods
+
+- **목표 :** 주어진 단일 RGB 이미지 $x \in \mathbb{R}^{H \times W \times 3}$ 를 입력으로, 다른 카메라 시점에서의 객체 이미지를 합성
+- **카메라 변환**
+ - $R \in \mathbb{R}^{3 \times 3}$ : relative camera rotation
+ - $T \in \mathbb{R}^{3}$ : relative camera translation
+- **모델 학습**
+ - 함수 $f$ 를 학습하여 새로운 이미지를 합성
+
+ $$
+ \hat{x}_{R,T} = f(x, R, T)
+ $$
+
+ - $*x$ : 주어진 단일 RGB 이미지 $(x \in \mathbb{R}^{H \times W \times 3})$*
+ - $*\hat{x}_{R,T}$ :* 합성 이미지
+ - $\hat{x}_{R,T}$ 가 실제지만 관측되지 않은 새로운 view $x_{R,T}$ 와 지각적으로 유사하도록 추정
+
+- 단일 RGB 이미지에서 새로운 시점으로의 합성은 많은 제약사항이 존재 (단일 이미지로 많은 정보를 예측해야 하므로)
+- **large-scale Diffusion(Stable Diffusion)을 활용하여 태스크 수행**
+ - 프롬프트로부터 다양한 이미지를 생성할 때 갖는 뛰어난 zero-shot 능력을 활용
+- **large-scale Diffusion에서 3D 정보를 추출하는 능력을 저해하는 요인 두가지**
+ 1. **뷰포인트 간의 명확한 대응 관계의 부족** : 대규모 생성 모델들은 다양한 객체와 시점에서 훈련되었지만, 서로 다른 시점들 간의 연관성을 명시 으로 인코딩하지 않음.
+ 2. **인터넷 규모 데이터셋에 반영된 뷰포인트 편향** : 생성 모델들은 인터넷에서 반영된 시점 편향을 물려받아, 특정한 자세 및 시점에서의 이미지를 생성하는 경향 존재
+
+ :::{figure-md}
+
+ :::
+
+
+
+## 3.1. Learning to Control Camera Viewpoint
+
+- **목표**: Diffusion 모델을 통해, 촬영된 이미지에서 카메라의 외부 매개변수를 제어할 수 있는 메커니즘을 학습하여 새로운 시점의 이미지를 합성하는 것.
+- **데이터셋**: 이미지 쌍과 상대적 카메라 외부 매개변수로 구성된 데이터셋 ${ (x, x_{(R,T)}, R, T) }$
+- **접근법 [Figure3]**
+
+ :::{figure-md}
+
+ :::
+
+- 사전 훈련된 diffusion 모델을 미세조정하여 나머지 표현을 손상시키지 않고 카메라 파라미터를 제어하도록 학습.
+- **Latent Diffusion Architecture 를 이용**
+ - **[참고] LDM**
+ :::{figure-md}
+
+ :::
+ - Encoder($\mathcal{E}$), Denoiser(U-Net, $\epsilon_\theta$), Decoder($\mathcal{D}$)로 구성
+ - **The Objective**
+
+ $$
+ \text{min}_{\theta} \mathbb{E}_{z \sim \mathcal{E}(x), t, \epsilon \sim \mathcal{N}(0, 1)} \left\| \epsilon - \epsilon_{\theta}(z_t, t, c(x, R, T)) \right\|^2_2
+ $$
+
+ - $z \sim \mathcal{E}(x)$: $x$ 에 대한 Encoder의 출력
+ - $t ∼ [1, 1000]$ : Diffusion time step
+ - $\epsilon \sim \mathcal{N}(0, 1)$: 가우시안 노이즈 샘플.
+ - $c(x, R, T)$ : input view 와 상대적 camera extrinsic 임베딩
+ - $\epsilon_\theta$ **가 훈련된 후, 추론 모델 $f$는 $c(x, R, T)$ 를 조건으로 가우시안 noise image로부터 반복적인 denoising 을 통해 이미지를 생성**
+
+- **본 방법론의 효과**
+ - 사전 훈련모델에 대한 이러한 방식의 파인튜닝을 통해 모델은 카메라 viewpoints 통제를 위한 일반적인 메커니즘을 학습 가능
+
+ → fine tuning 데이터셋에서 보이는 객체 외부의 정보를 외삽
+
+ - fine tuning 을 통해 제어 기능이 “**부착**”될 수 있고 diffusion의 포토리얼리스틱 이미지 생성 능력을 유지
+ - 이러한 **compositionality**(구성 가능성)는 모델에서 제로샷 기능을 확립하며,
+ 최종모델은 3D assets 이 부족하고 fine-tuning 집합에 존재하지 않는 객체 클래스에 대한 새로운 뷰를 합성 가능
+
+## 3.2. View-Conditioned Diffusion
+
+- 단일이미지로부터 3D 객체를 재구성하기 위해 저수준 인식(깊이, 음영, 텍스처 등)과 고수준 이해(형태, 기능, 구조 등) 모두를 필요로 함.
+
+**→ 하이브리드 조건부 메커니즘 채택**: 두 가지 스트림을 결합
+
+1. **1st Stream**
+ - 입력 이미지를 CLIP(Contrastive Language–Image Pretraining) 임베딩으로 변환
+ - 이 CLIP 임베딩에 카메라의 상대적인 회전($R$)과 변환($T$)를 연결하여 “posed CLIP” 임베딩인 $c(x, R, T)$을 생성
+ - 이 임베딩을 통해 고수준의 의미 정보를 제공하는 **cross-attention**을 U-Net의 디노이징 과정에 적용
+2. **2nd Stream**
+ - input image 와 denoising 중의 이미지를 channel-concatenated
+ - 모델이 합성되는 중인 객체의 identity 와 details 을 유지하도록 함.
+- **classifier-free guidance** 적용을 위해 이미지와 posed CLIP 임베딩을 무작위로 영(0) 벡터로 설정하고, 추론 중 조건부 정보를 스케일링하는 메커니즘
+
+## 3.3 3D Reconstruction
+
+- 많은 응용에서, 객체의 새로운 뷰를 합성하는 것만으로는 충분하지 않으며, 객체의 외관과 기하 구조를 모두 캡처하는 전체 3D 재구성이 필요
+- **Score Jacobian Chaining(SJC)**을 채택하여, 텍스트-이미지 확산 모델의 사전 정보를 사용하여 3D 표현을 최적화
+
+ - diffusion모델의 확률적 특성으로 인해, 그래디언트 업데이트가 매우 불확실하게 변함.
+ - DreamFusion을 기반으로 한 **SJC**에서 사용된 기술로, **classifier-free guidance 값을 기존보다 상당히 증가 → 각 샘플의 다양성 감소 & reconstruction 의 fiderlity 향상**
+ - **SJC** : Dream Fusion 에서 NeRF로 만들어지는 이미지는 pretrained된 Diffusion Model을 학습시킬 때, 없었던 확률 분포이기 때문에 OOD (Out of Distribution) 문제가 발생 [참고](https://arxiv.org/abs/2208.01618)
+- **3D reconstruction with Zero-1-to-3 [Figure4]**
+ 1. **SJC 와 유사하게 임의의 뷰포인트를 샘플링**하고, 볼륨 렌더링을 수행
+ 2. 볼륨 렌더링으로 생성된 이미지에 가우시안 노이즈를 주입
+ 3. input 이미지 $x$, CLIP 임베딩 $c(x, R, T)$ 및 타임스텝 $t$ 를 조건부로 Denoising U-Net, $\epsilon_\theta$을 사용하여 non-noisy input $x_π$에 대한 스코어를 근사
+
+ $$
+ \nabla \mathcal{L}_{SJC} = \nabla _{I_{\pi}} \log p_{\sqrt{2}\epsilon}(x_{\pi})
+ $$
+
+ - $\nabla \mathcal{L}_{SJC}$ : PAAS 스코어
+
+ :::{figure-md}
+
+ :::
+
+- 입력 뷰와의 **MSE** 손실로 최적화
+- NeRF representation 규제를 위한 추가 loss term
+ - **Depth smoothness loss** to every sampled viewpoint
+ - **near-view consistency loss** : 근접 뷰 간의 외관 변화(appearance change)를 규제, 가까운 뷰 간의 일관성을 유지
+
+## 3.4. Dataset
+
+- **Dataset** : Objaverse, 800K+ 3D models created by 100K+ artists
+- **데이터 구성**
+ - ShapeNet과 같이 명시적인 클래스 레이블이 없지만, 다양한 고품질 3D 모델을 포함
+ - 모델은 정교한 기하학적 세부사항과 재질 속성을 갖춘 많은 모델을 포함
+- **Camera Extrinsics matrices 샘플링**
+ - 각 객체에 대해, 객체 중심을 가리키는 **12**개 카메라 외부 매트릭스 $\mathcal{M}_{\rceil}$를 무작위로 샘플링
+ - 각 객체에서 12개 뷰를 ray 트레이싱 엔진을 사용해 렌더링합니다.
+- **Training**
+ - 각 객체에 대해 이미지 쌍$(x, x_{R,T})$을 형성하기 위해 2개 뷰를 샘플링
+ - 이 때 두 시점간의 맵핑을 정의하는 relative viewpoint transformation$(R, T)$ 는 두 시점 각각의 extrinsic matrices 를 통해 쉽게 유도 가능
+- **카메라 외부 파라미터 (Camera Extrinsics)**
+ - **3D 장면 내에서 카메라의 위치와 방향**을 정의하는 요소
+ - 카메라의 시점과 실제 세계 좌표계(**World Coordinate system**)를 연결하여, 특정 객체가 3D 공간에서 정확히 어디에 위치하는지를 파악
+ - **Camera Extrinsics 구성 요소**
+ - **회전(Rotation)**: 카메라가 세계 좌표계에 대해 어떤 방향으로 회전되어 있는지를 나타냄
+ - **변환(Translation)**: 카메라가 세계 좌표계의 특정 위치에 어느 좌표로 이동해 있는지를 나타냄
+ - [참조 링크](https://jhtobigs.oopy.io/3dcoordinate)
+
+# 4.Experiments
+
+- 평가 대상 : **model’s performance zero-shot novel view synthesis & 3D reconstruction**
+- Objaverse 데이터셋 외의 데이터와 이미지를 사용하였으므로, 제로샷 결과로 간주
+- 모델 성능을 합성 객체와 장면들을 다양한 복잡함 수준에서 정량적으로 결과 비교
+- 다양한 자연 이미지(일상적인 객체 사진부터 그림까지)를 사용하여 질적 결과를 보고
+
+## 4.1. Tasks
+
+- 단일 RGB 이미지를 입력으로, 밀접하게 연관된 두가지 태스크를 수행 & zero-shot 적용
+1. **Novel View Synthesis**
+ - 단일 뷰에서 객체의 깊이, 텍스처 및 형태를 학습하도록 요구되는 오랜 3D problem
+ - 입력 정보가 극히 제한적일 때, 모델은 prior 를 활용한 새로운 synthesis method 가 필요
+ - 최근 방법들 : CLIP consistency 목적함수를 사용, implicit neural fields 최적화에 의존
+ - **본 연구의 방법론**
+ - **3D reconstruction** 과 **Novel View Synthesis** 간에 **orthogonal** (독립적)
+ - **3D reconstruction** 과 **Novel View Synthesis**의 순서를 반대로 전환하여 여전히 입력 이미지에 묘사된 객체의 정체성을 유지
+ - Self-occlusion로 인한 **aleatoric uncertainty**을 확률적 생성 모델을 사용해 모델링
+ - 대규모 Diffusion 모델로 학습된 semantic, geometric priors 들을 효율적으로 활용
+2. **3D reconstruction**
+ - **SJC(Symmetric Jacobian Chaining) 및 DreamFusion과 같은 확률적 3D 재구성 프레임워크를 채택하여 최적의 3D 표현을 생성**
+ - **parameterize**
+ - 3D 표현을 **voxel radiance field**으로 파라미터화
+ - density 필드에서 **Marching Cubes** 알고리즘을 사용하여 3D 메쉬를 추출합
+ - **Marchinng Cube** 알고리즘 : 3D 스칼라 필드에서 등치선(iso-surface)을 추출하기 위해 사용되는 알고리즘
+ - **3D reconstruction 에 대한 view-conditioned diffusion model 활용**
+ - diffusion 모델이 학습한 풍부한 2D 외양 prior를 3D 기하학으로 전환 가능한 경로 제공
+
+## 4.2. Baselines
+
+- 본 방법론이 다루는 범위와 일관되도록 아래 두가지 모두에 해당되는 방법론들만 비교
+ - **zero-shot setting**
+ - **input : single-view RGB image**
+1. **Novel View Synthesis**
+ 1. **DietNeRF**: viewpoints 전반에 걸쳐 CLIP mage-to-image consistency loss 로 NeRF 규제
+ 2. **Image Variations (IV)**
+ - 텍스트 프롬프트가 아닌 이미지 조건을 받기 위해 Stable Diffusion 을 파인튜닝한 모델로, Stable Diffusion 을 활용한 semantic 최근접 이웃 탐색 엔진으로 간주될 수 있음.
+ 3. **SJC (SJC-I) :**
+ - diffusion-based text-to-3D 모델인 SJC 를 선택, 이때 텍스트 프롬프트 조건을 이미지 조건으로 대체한 모델을 사용하며 이를 SJC-I 로 명명
+2. **3D Reconstruction**
+ - **Multiview Compressive Coding (MCC)**
+ - 신경 필드 기반 접근 방식으로, RGB-D 관측치를 바탕으로 3D 표현을 완성
+ - CO3Dv2 데이터셋에서 훈련
+ - **Point-E**
+ - 색칠된 포인트 클라우드 위에 구축된 Diffusion모델
+ - OpenAI의 내부 3D 데이터셋에서 훈련되어 더 큰 데이터셋을 사용
+ - **MCC**와 **Point**-**E** 외에도, **SJC**-**I**와 같은 다른 기법들과도 비교
+ - 특정 데이터셋에서 낮은 수준의 정보와 높은 수준의 이해를 요구하는 3D reconstruction 수행
+
+ ---
+
+
+
+
+## 4.3. Benchmarks and Metrics
+
+- **데이터셋 평가**
+ - Google Scanned Objects (GSO): 고품질 스캔된 가정용 아이템 데이터셋
+ - RTMV: 20개의 랜덤 객체로 구성된 복잡한 장면 데이터셋
+ - 모든 실험에서 각 데이터셋의 ground truth 3D data 를 사용하여 3D reconstruction을 평가
+- **Novel view synthesis evaluation metrics**
+ - **이미지의 유사성을 평가 → PSNR, SSIM, LPIPS, FID**
+- **3D reconstruction evaluation metrics**
+ - **Chamfer Distance, Volumetric IoU (Intersection over Union)**
+
+## 4.4. Novel View Synthesis Results
+
+:::{figure-md}
+
+:::
+- **Table 2** : RTMV에서의 새로운 뷰 합성 결과. RTMV의 장면은 Objaverse 훈련 데이터와 분포가 다르지만, 우리의 모델은 여전히 기준선을 상당한 차이로 능가.
+
+:::{figure-md}
+
+:::
+- **Figure 5 : Novel view synthesis on Google Scanned Object**
+왼쪽에 표시된 입력 뷰는 두 개의 무작위 샘플링된 새로운 뷰를 합성하는 데 사용됨. 해당하는 실제 뷰는 오른쪽에 표시되어 있음. 기준 방법들과 비교할 때, 우리가 합성한 새로운 뷰는 실제와 매우 일치하는 풍부한 텍스트 및 기하학적 세부 사항을 포함하고 있으며, 반면 기준 방법들은 고주파 세부 사항의 유의미한 손실을 보임.
+
+:::{figure-md}
+
+:::
+- **Figure 6 Novel view synthesis on RTMV**
+왼쪽에 표시된 입력 뷰는 두 개의 무작위로 샘플링된 새로운 뷰를 합성하는 데 사용됨. 오른쪽에는 해당하는 실제 뷰가 표시됨. 우리가 합성한 뷰는 큰 카메라 시점 변화가 있을 때조차도 높은 충실도를 유지하며, 대부분의 다른 방법들은 품질이 급격히 저하됨.
+****
+- **Point-E**
+ - Point-E 모델은 다른 기준선(baselines)들보다 더 뛰어난 성능을 발휘하며, 우수한 제로샷(Zero-shot) 일반화 능력을 보임
+ - 그러나 생성된 포인트 클라우드의 크기가 작아 Point-E가 새로운 뷰 합성(novel view synthesis)에서의 적용 가능성을 제한함.
+
+:::{figure-md}
+
+:::
+
+- **Figure 7 Novel view synthesis on in-the-wild images.**
+1, 3, 4 행은 iPhone으로 촬영한 이미지에 대한 결과를 보여주며, 2nd 행은 인터넷에서 다운로드한 이미지에 대한 결과를 제시. 본 방법은 서로 다른 표면 재료와 기하학을 가진 객체에 대해 로버스트함.
+- **샘플의 다양성**
+ - diffusion 모델이 NeRF보다 이러한 기본적인 불확실성을 포착하는 데 더 적합한 아키텍처
+ - 입력 이미지가 2D이기 때문에 항상 객체의 부분적인 뷰만을 나타내고 많은 부분이 관찰되지 않으므로, diffusion 을 통해 다양한 시점에서 샘플들을 랜덤으로 생성
+
+:::{figure-md}
+
+:::
+
+- Figure 8: 입력 뷰를 고정하고, 다양한 시점에서 새로운 샘플을 랜덤으로 생성하여 시각화
+이러한 다양한 결과는 입력 뷰에서 놓친 기하학적 및 외관 정보를 반영
+
+## 4.5. 3D Reconstruction Results
+
+:::{figure-md}
+
+:::
+
+- 실제 ground truth 와 유사한 고충실도의 3D 메쉬를 reconstruct
+
+:::{figure-md}
+
+:::
+:::{figure-md}
+
+:::
+
+- **MCC (Multiview Compressive Coding)**:
+ - 입력 뷰에서 보이는 표면에 대한 좋은 추정을 제공하지만, 종종 물체 뒷면의 기하학을 올바르게 추론하지 못함.
+- **SJC-I** : 의미 있는 기하학을 재구성하는 데 실패
+- **Point-E**: 인상적인 제로샷 일반화 능력을 보여주며, 물체 기하학에 대한 합리적인 추정을 예측
+ - 그러나, 4,096 포인트로 구성된 비균일한 희소 포인트 클라우드만 생성 가능하고, 이로 인해 재구성된 표면에 구멍이 생김.
+ - 좋은 CD(Chamfer Distance) 점수를 얻지만, 부피 IoU(Intersection over Union)에서는 부족한 평가척도 결과를 보임.
+- **제안된 방법**:
+ - 학습된 다중 보기 우선 순위를 활용하고 NeRF 스타일 표현의 장점을 결합하여 CD와 부피 IoU 모두에서 이전 작업들보다 개선됨(표 3 및 4에서 확인).
+
+## 4.6. Text to Image to 3D-
+
+:::{figure-md}
+
+:::
+
+- 실제 환경에서 촬영된 이미지 외에도, Dall-E-2와 같은 txt2img 모델이 생성한 이미지에 대해서도 테스트
+
+# 5. Discussion
+
+- **Zero-1-to-3** 방식은 단일 이미지에서 새로운 시점을 생성하고 3D 재구성을 수행하는 제로샷 방식
+- 사전 학습된 Stable Diffusion 모델의 **풍부한 의미적, 기하적 prior 를** 활용하여 우수한 성능을 달성
+ - 이러한 정보 추출을 위해 **Stable Diffusion 모델이** **카메라 시점 제어를 학습**하도록 미세 조정하여, 벤치마크에서 최첨단 성능을 입증
+
+
+## 5.1. Future Work
+
+### From objects to scenes
+
+- 본 접근법은 평범한 배경의 단일 객체 데이터셋으로 훈련
+- RTMV 데이터셋에서 여러 객체가 있는 장면에 대한 강한 일반화를 입증했지만, GSO에서의 분포 내 샘플에 비해 품질이 여전히 저하
+- 복잡한 배경이 있는 장면으로의 일반화는 앞으로의 주요 과제
+
+# 6. Appendix
+
+### C. Finetuning Stable Diffusion
+
+- 렌더링된 데이터셋을 사용하여 새로운 뷰 합성을 수행하기 위해 사전 훈련된 스테이블 디퓨전 모델을 미세 조정
+- 원래의 스테이블 디퓨전 네트워크는 다중 모드 텍스트 임베딩에 대해 조건화되지 않기 때문에, 조건 정보를 이미지에서 사용할 수 있도록 원래의 스테이블 디퓨전 아키텍처를 조정하고 미세 조정해야함.
+- 이미지 CLIP 임베딩(차원 768)과 포즈 벡터(차원 4)를 연결하고, 디퓨전 모델 아키텍처와의 호환성을 확보하기 위해 또 다른 완전 연결 층(772 → 768)을 초기화
+- 이 층의 학습률은 다른 층보다 10배 크게 조정
+- 나머지 네트워크 아키텍처는 원래 스테이블 디퓨전과 동일하게 유지
+
+### C.1 훈련 세부사항
+
+- **8×A100-80GB 머신**에서 7일 동안 모델을 미세 조정
+
+### C.2 추론 세부사항
+
+- 새로운 뷰를 생성하기 위해 Zero-1-to-3는 RTX A6000 GPU에서 단 2초 소요
+- 이전 작업에서는 일반적으로 NeRF를 훈련하여 새로운 뷰를 렌더링하는 데 상당한 시간 소요
+- 비교적으로, 본 접근 방식은 3D 재구성과 새로운 뷰 합성의 순서를 반전시켜 새로운 뷰 합성 과정을 신속하고 불확실성 하에서 다양성을 포함하도록 함
+
+### D. 3D Reconstruction
+
+- 이미지에서 전체 3D 재구성을 실행하는 데 RTX A6000 GPU에서 약 30분이 소요
\ No newline at end of file
diff --git a/_sources/docs/review/zero123plus.md b/_sources/docs/review/zero123plus.md
index 3ffde840..685c09dd 100755
--- a/_sources/docs/review/zero123plus.md
+++ b/_sources/docs/review/zero123plus.md
@@ -1,160 +1,160 @@
-``` {admonition} Information
-- **Title:** Zero123++: a Single Image to Consistent Multi-view Diffusion Base Model
-
-- **Reference**
- - Paper: [https://arxiv.org/abs/2310.15110](https://arxiv.org/abs/2310.15110)
- - Code: [https://github.com/SUDO-AI-3D/zero123plus](https://github.com/SUDO-AI-3D/zero123plus)
-
-- **Author:** Sangwoo Jo
-
-- **Last updated on Dec. 16, 2024**
-```
-
-# Zero123++
-
-## 1. Introduction
-
-:::{figure-md}
-
-
-High-quality, consistent multi-view 3D images from Zero123++
-:::
-
-Zero-1-to-3(Zero123) 논문이 zero-shot 형태로 single-image-to-3D conversion 을 하는 기법을 처음으로 소개하였습니다. 하지만 해당 방식으로는 주어진 view 에 대해서 독립적으로 객체를 생성하게 됨으로써 multi-view consistency 에서 부족한 부분을 보여주게 된다고 설명합니다. Zero123++ 논문에서 이를 해결하기 위해 여섯개의 view 로부터 하나의 이미지를 생성하여 multi-view 에 대한 joint distirbution 을 학습할 수 있도록 설정합니다.
-
-또한, Zero-1-to-3 논문에서 다음과 같은 한계점이 있다고 제시합니다.
-
-a) 첫번째로 global 및 local conditioning mechanism 을 비롯한 Stable Diffusion model prior 를 효율적으로 사용하지 않았고,
-
-b) 두번째로 Zero-1-to-3 논문에서 512x512 이미지 해상도로 학습 시 불안정하게 수렴하게 되어 256x256 해상도로 줄인 부분에 대해 논문 저자는 원인을 분석하며 새로운 scheduling 기법을 소개합니다.
-
-## 2. Improving Consistency and Conditioning
-
-### 2.1. Multi-view Generation
-
-Zero-1-to-3 모델은 단일 이미지를 독립적으로 생성하며 multi-view 이미지에 대한 상관관계를 학습 혹은 생성 시에 고려하지 않습니다. 따라서, Zero123++에서는 3×2 layout 의 6개 이미지를 단일 프레임으로 tiling 하여 multiple image 에 대한 joint distribution 을 학습하게 됩니다.
-
-Objaverse 데이터셋은 기본적으로 gravity axis 은 동일하지만 객체들이 일관된 canonical pose 를 가지고 있지 않습니다. 따라서 절대적인 camera pose 를 기반으로 해당 데이터셋을 학습하게 되면 객체의 orientation 을 학습하는데 어려움이 있다고 주장합니다.
-
-반면에 Zero-1-to-3 는 input view 에 대한 상대적인 camera pose(elevation/azimuth angle) 을 입력받아 학습하였습니다. 그러나 해당 방식을 활용한다면 novel view 에 대한 relative pose 를 구하기 위해서는 input view 에 대한 elevation angle 을 사전에 알아야 한다는 단점이 있습니다. 후속적으로 One-2-3-45 그리고 DreamGaussian 논문에서 elevation angle 을 추가적으로 예측하는 모듈을 정의하고, 이에 따라 오차율도 증가하게 됩니다.
-
-- Elevation/Azimuth angle 이란?
-
- :::{figure-md}
-
-
- Elevation/Azimuth angle
- :::
-
-
-이러한 문제를 해결하기 위해 elevation angle 을 고정시킨 상태에서 상대적인 azimuth angle 을 통한 novel view pose 를 정의합니다. 더 자세하게는 6개의 pose 를 아래 사진과 같이 정의하게 됩니다.
-
-:::{figure-md}
-
-
-3x2 layout of Zero123++ prediction
-:::
-
-### 2.2. Consistency and Stability: Noise Schedule
-
-Stable Diffusion 모델에서 사용되었던 scaled-linear schedule 은 local detail 을 학습하는데 초점을 두고 Signal-to-Noise Ratio (SNR) 가 낮은 timestep 이 극히 드뭅니다. SNR 이 낮은 구간에서 global low frequency 정보들을 학습하게 되며 해당 단계에서 step 수가 적으면 구조적인 변형이 클 수가 있습니다. 따라서, 이러한 scheduling 은 단일 이미지를 생성하는데는 유용하지만 multi-view consistent 한 이미지를 생성하는데 한계가 있다고 주장합니다.
-
-:::{figure-md}
-
-
-Linear vs Scaled linear schedule
-:::
-
-또한, 동일한 noise 가 주입되었을때 고해상도 이미지가 저해상도 이미지에 비해 noise level 이 적기 때문에, Zero-1-to-3 모델에서 고해상도 이미지를 학습하였을 때 불안정한 모습을 보여주었던 것도 동일한 원인 때문이라고 설명합니다.
-
-Zero123++ 에서는 scaled-linear schedule 대신에 linear schedule 를 사용하게 되고, 변화된 schedule 에 따라 $x$-prediction, $\epsilon$-prediction 모델보다 $v$-prediction 모델이 더 안정적으로 학습되었다고 합니다. 따라서, Stable Diffusion 2 $v$-prediction 모델로 fine-tuning 을 진행하였다고 합니다.
-
-### 2.3. Local Condition: Scaled Reference Attention
-
-기존에 Zero-1-to-3 논문에서 noisy input 과 conditioned image(single-view input) 가 feature-wise concatenate 하는데 해당 방식으로는 pixel-wise spatial correspondence 가 정확하지 않다고 합니다.
-
-Zero123++ 에서는 이 부분을 보완하여 Reference Attention 이라는 기법을 소개합니다. Reference Attention 이란, 아래 그림과 같이 noisy latent 와 conditioned latent 간에 self-attention 모듈에서의 key, value 값을 추가하여 연산 작업을 진행합니다. 이때, noisy input 에 주입된 noise 를 동일하게 conditioned image 에 적용하였다고 합니다.
-
-:::{figure-md}
-
-
-Reference Attention
-:::
-
-Reference Attention 기법을 적용한 결과, fine-tuning 작업을 진행하지 않아도 reference image 에서의 semantic content 와 texture 가 잘 반영되었습니다. 또한, fine-tuning 을 하였을때 reference latent 을 5x scaling 하였을때 reference image 와의 일관성을 가장 잘 보여주었다고 합니다.
-
-:::{figure-md}
-
-
-Comparison on local conditioning
-:::
-
-### 2.4. Global Condition: FlexDiffuse
-
-Zero123++ 논문에서 추가적으로 FlexDiffuse 에서 소개한 linear guidance mechanism 을 활용하여 fine-tuning 범위를 최소화하는 선에서 global image conditioning 하였습니다.
-
-더 자세하게는, $L \times D$ 차원의 prompt embedding $T$ 와 $D$ 차원의 CLIP global image embedding $I$ 에 global weight $w_i$ 를 곱한 값을 더하여 모델에 입력합니다. 이때, $L$ 은 token length 이고 $D$ 는 token embedding 의 차원 크기입니다. 이때, $w_i = \frac{i}{L}$ 로 초기 가중치 값을 설정하였습니다. Text condition 이 없을 경우에는 empty prompt 를 encoding 하여 $T$ 를 얻게 됩니다.
-
-:::{figure-md}
-
-
-FlexDiffuse’s linear guidance
-:::
-
-위와 같은 global conditioning 을 하였을때, 보이지 않은 unseen region 에서도 semantic 한 정보들을 유지한채 이미지를 잘 생성하는 부분을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Ablation on global conditioning
-:::
-
-### 2.5. Putting Everything Together
-
-정리하자면 해당 논문은 Stable Diffusion 2 $v$-model 을 사용하였고, Objaverse 데이터를 random HDRI environment lighting 를 적용하여 렌더링한 데이터에 학습하였습니다. 그리고 Stable Diffusion Image Variations model 의 학습 방식을 도입하여 two-stage 로 학습을 진행하였습니다.
-
-첫번째 phase 에서는 self-attention layer 와 cross-attention layer 의 KV 행렬만 fine-tuning 을 하였고, AdamW optimizer 와 cosine annealing schedule 을 사용하였습니다. 두번째 phase 에서는 UNet 모델 전체를 학습하고 $5 \times 10^{-6}$ 값의 constant learning rate 를 사용하였습니다. 그리고 학습 과정을 더 효율적으로 하기 위해 Min-SNR weighting 기법도 활용하였습니다.
-
-## 3. Comparison to the State of the Art
-
-### 3.1. Image to Multi-view
-
-**Qualitative Comparison**
-
-논문에서 Zero-1-to-3 XL 그리고 SyncDreamer 모델과의 성능을 비교합니다. Zero123++ 모델이 unseen view 에 대해서 가장 월등하게 이미지를 생성하는 것을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Qualitative comparison on image to multi-view task
-:::
-
-**Quantitative Comparison**
-
-정량적으로 LPIPS 지표를 기준으로 비교하였을 때에도 Zero123++ 모델이 가장 좋은 성능을 보여주고 있습니다. 이때, 모델이 생성된 6개의 이미지와 Objaverse 데이터셋을 렌더링한 6개의 이미지를 각각 결합하여 LPIPS 를 측정하였다고 합니다.
-
-:::{figure-md}
-
-
-Quantitative Comparison on image to multi-view task
-:::
-
-### 3.2. Text to Multi-view
-
-Text 를 입력받아 우선적으로 SDXL 모델을 통해 단일 이미지를 생성한 후, Zero123++ 모델을 적용한 결과입니다. MVDream 과 Zero-1-to-3 XL 모델과 비교하였을 때, Zero123++ 모델이 가장 realistic 하고 multi-view consistent 한 이미지를 생성하는 부분을 확인할 수 있습니다.
-
-:::{figure-md}
-
-
-Qualitative comparison on text to multi-view task
-:::
-
-## 4. Depth ControlNet for Zero123++
-
-아래 사진은 추가적으로 렌더링한 depth map 를 기반으로 ControlNet 을 학습한 결과입니다.
-
-:::{figure-md}
-
-
-Depth-controlled Zero123++
+``` {admonition} Information
+- **Title:** Zero123++: a Single Image to Consistent Multi-view Diffusion Base Model
+
+- **Reference**
+ - Paper: [https://arxiv.org/abs/2310.15110](https://arxiv.org/abs/2310.15110)
+ - Code: [https://github.com/SUDO-AI-3D/zero123plus](https://github.com/SUDO-AI-3D/zero123plus)
+
+- **Author:** Sangwoo Jo
+
+- **Last updated on Dec. 16, 2024**
+```
+
+# Zero123++
+
+## 1. Introduction
+
+:::{figure-md}
+
+
+High-quality, consistent multi-view 3D images from Zero123++
+:::
+
+Zero-1-to-3(Zero123) 논문이 zero-shot 형태로 single-image-to-3D conversion 을 하는 기법을 처음으로 소개하였습니다. 하지만 해당 방식으로는 주어진 view 에 대해서 독립적으로 객체를 생성하게 됨으로써 multi-view consistency 에서 부족한 부분을 보여주게 된다고 설명합니다. Zero123++ 논문에서 이를 해결하기 위해 여섯개의 view 로부터 하나의 이미지를 생성하여 multi-view 에 대한 joint distirbution 을 학습할 수 있도록 설정합니다.
+
+또한, Zero-1-to-3 논문에서 다음과 같은 한계점이 있다고 제시합니다.
+
+a) 첫번째로 global 및 local conditioning mechanism 을 비롯한 Stable Diffusion model prior 를 효율적으로 사용하지 않았고,
+
+b) 두번째로 Zero-1-to-3 논문에서 512x512 이미지 해상도로 학습 시 불안정하게 수렴하게 되어 256x256 해상도로 줄인 부분에 대해 논문 저자는 원인을 분석하며 새로운 scheduling 기법을 소개합니다.
+
+## 2. Improving Consistency and Conditioning
+
+### 2.1. Multi-view Generation
+
+Zero-1-to-3 모델은 단일 이미지를 독립적으로 생성하며 multi-view 이미지에 대한 상관관계를 학습 혹은 생성 시에 고려하지 않습니다. 따라서, Zero123++에서는 3×2 layout 의 6개 이미지를 단일 프레임으로 tiling 하여 multiple image 에 대한 joint distribution 을 학습하게 됩니다.
+
+Objaverse 데이터셋은 기본적으로 gravity axis 은 동일하지만 객체들이 일관된 canonical pose 를 가지고 있지 않습니다. 따라서 절대적인 camera pose 를 기반으로 해당 데이터셋을 학습하게 되면 객체의 orientation 을 학습하는데 어려움이 있다고 주장합니다.
+
+반면에 Zero-1-to-3 는 input view 에 대한 상대적인 camera pose(elevation/azimuth angle) 을 입력받아 학습하였습니다. 그러나 해당 방식을 활용한다면 novel view 에 대한 relative pose 를 구하기 위해서는 input view 에 대한 elevation angle 을 사전에 알아야 한다는 단점이 있습니다. 후속적으로 One-2-3-45 그리고 DreamGaussian 논문에서 elevation angle 을 추가적으로 예측하는 모듈을 정의하고, 이에 따라 오차율도 증가하게 됩니다.
+
+- Elevation/Azimuth angle 이란?
+
+ :::{figure-md}
+
+
+ Elevation/Azimuth angle
+ :::
+
+
+이러한 문제를 해결하기 위해 elevation angle 을 고정시킨 상태에서 상대적인 azimuth angle 을 통한 novel view pose 를 정의합니다. 더 자세하게는 6개의 pose 를 아래 사진과 같이 정의하게 됩니다.
+
+:::{figure-md}
+
+
+3x2 layout of Zero123++ prediction
+:::
+
+### 2.2. Consistency and Stability: Noise Schedule
+
+Stable Diffusion 모델에서 사용되었던 scaled-linear schedule 은 local detail 을 학습하는데 초점을 두고 Signal-to-Noise Ratio (SNR) 가 낮은 timestep 이 극히 드뭅니다. SNR 이 낮은 구간에서 global low frequency 정보들을 학습하게 되며 해당 단계에서 step 수가 적으면 구조적인 변형이 클 수가 있습니다. 따라서, 이러한 scheduling 은 단일 이미지를 생성하는데는 유용하지만 multi-view consistent 한 이미지를 생성하는데 한계가 있다고 주장합니다.
+
+:::{figure-md}
+
+
+Linear vs Scaled linear schedule
+:::
+
+또한, 동일한 noise 가 주입되었을때 고해상도 이미지가 저해상도 이미지에 비해 noise level 이 적기 때문에, Zero-1-to-3 모델에서 고해상도 이미지를 학습하였을 때 불안정한 모습을 보여주었던 것도 동일한 원인 때문이라고 설명합니다.
+
+Zero123++ 에서는 scaled-linear schedule 대신에 linear schedule 를 사용하게 되고, 변화된 schedule 에 따라 $x$-prediction, $\epsilon$-prediction 모델보다 $v$-prediction 모델이 더 안정적으로 학습되었다고 합니다. 따라서, Stable Diffusion 2 $v$-prediction 모델로 fine-tuning 을 진행하였다고 합니다.
+
+### 2.3. Local Condition: Scaled Reference Attention
+
+기존에 Zero-1-to-3 논문에서 noisy input 과 conditioned image(single-view input) 가 feature-wise concatenate 하는데 해당 방식으로는 pixel-wise spatial correspondence 가 정확하지 않다고 합니다.
+
+Zero123++ 에서는 이 부분을 보완하여 Reference Attention 이라는 기법을 소개합니다. Reference Attention 이란, 아래 그림과 같이 noisy latent 와 conditioned latent 간에 self-attention 모듈에서의 key, value 값을 추가하여 연산 작업을 진행합니다. 이때, noisy input 에 주입된 noise 를 동일하게 conditioned image 에 적용하였다고 합니다.
+
+:::{figure-md}
+
+
+Reference Attention
+:::
+
+Reference Attention 기법을 적용한 결과, fine-tuning 작업을 진행하지 않아도 reference image 에서의 semantic content 와 texture 가 잘 반영되었습니다. 또한, fine-tuning 을 하였을때 reference latent 을 5x scaling 하였을때 reference image 와의 일관성을 가장 잘 보여주었다고 합니다.
+
+:::{figure-md}
+
+
+Comparison on local conditioning
+:::
+
+### 2.4. Global Condition: FlexDiffuse
+
+Zero123++ 논문에서 추가적으로 FlexDiffuse 에서 소개한 linear guidance mechanism 을 활용하여 fine-tuning 범위를 최소화하는 선에서 global image conditioning 하였습니다.
+
+더 자세하게는, $L \times D$ 차원의 prompt embedding $T$ 와 $D$ 차원의 CLIP global image embedding $I$ 에 global weight $w_i$ 를 곱한 값을 더하여 모델에 입력합니다. 이때, $L$ 은 token length 이고 $D$ 는 token embedding 의 차원 크기입니다. 이때, $w_i = \frac{i}{L}$ 로 초기 가중치 값을 설정하였습니다. Text condition 이 없을 경우에는 empty prompt 를 encoding 하여 $T$ 를 얻게 됩니다.
+
+:::{figure-md}
+
+
+FlexDiffuse’s linear guidance
+:::
+
+위와 같은 global conditioning 을 하였을때, 보이지 않은 unseen region 에서도 semantic 한 정보들을 유지한채 이미지를 잘 생성하는 부분을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Ablation on global conditioning
+:::
+
+### 2.5. Putting Everything Together
+
+정리하자면 해당 논문은 Stable Diffusion 2 $v$-model 을 사용하였고, Objaverse 데이터를 random HDRI environment lighting 를 적용하여 렌더링한 데이터에 학습하였습니다. 그리고 Stable Diffusion Image Variations model 의 학습 방식을 도입하여 two-stage 로 학습을 진행하였습니다.
+
+첫번째 phase 에서는 self-attention layer 와 cross-attention layer 의 KV 행렬만 fine-tuning 을 하였고, AdamW optimizer 와 cosine annealing schedule 을 사용하였습니다. 두번째 phase 에서는 UNet 모델 전체를 학습하고 $5 \times 10^{-6}$ 값의 constant learning rate 를 사용하였습니다. 그리고 학습 과정을 더 효율적으로 하기 위해 Min-SNR weighting 기법도 활용하였습니다.
+
+## 3. Comparison to the State of the Art
+
+### 3.1. Image to Multi-view
+
+**Qualitative Comparison**
+
+논문에서 Zero-1-to-3 XL 그리고 SyncDreamer 모델과의 성능을 비교합니다. Zero123++ 모델이 unseen view 에 대해서 가장 월등하게 이미지를 생성하는 것을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Qualitative comparison on image to multi-view task
+:::
+
+**Quantitative Comparison**
+
+정량적으로 LPIPS 지표를 기준으로 비교하였을 때에도 Zero123++ 모델이 가장 좋은 성능을 보여주고 있습니다. 이때, 모델이 생성된 6개의 이미지와 Objaverse 데이터셋을 렌더링한 6개의 이미지를 각각 결합하여 LPIPS 를 측정하였다고 합니다.
+
+:::{figure-md}
+
+
+Quantitative Comparison on image to multi-view task
+:::
+
+### 3.2. Text to Multi-view
+
+Text 를 입력받아 우선적으로 SDXL 모델을 통해 단일 이미지를 생성한 후, Zero123++ 모델을 적용한 결과입니다. MVDream 과 Zero-1-to-3 XL 모델과 비교하였을 때, Zero123++ 모델이 가장 realistic 하고 multi-view consistent 한 이미지를 생성하는 부분을 확인할 수 있습니다.
+
+:::{figure-md}
+
+
+Qualitative comparison on text to multi-view task
+:::
+
+## 4. Depth ControlNet for Zero123++
+
+아래 사진은 추가적으로 렌더링한 depth map 를 기반으로 ControlNet 을 학습한 결과입니다.
+
+:::{figure-md}
+
+
+Depth-controlled Zero123++
:::
\ No newline at end of file
diff --git a/_sources/intro.md b/_sources/intro.md
index d2387acc..b2191e70 100755
--- a/_sources/intro.md
+++ b/_sources/intro.md
@@ -1,48 +1,48 @@
-# Welcome to PseudoDiffusers!!
-
-
-## About Us
-This is the repository of PseudoDiffusers team.
-
-Our aim is to review papers and code related to computer vision generation models, approach them theoretically, and conduct various experiments by fine-tuning diffusion based models.
-
-[About Us - PseudoLab](https://www.linkedin.com/company/pseudolab/)
-
-[About Us - PseudoDiffusers](https://chanrankim.notion.site/PseudoDiffusers-b666d39ea1924b4692796e442bebcd44)
-
-참여 방법: 매주 수요일 오후 9시, 가짜연구소 Discord Room-DH 로 입장!
-
-
-## Publications
-**DiffInject: Revisiting Debias via Synthetic Data Generation using Diffusion-based Style Injection**
-Donggeun Ko*, Sangwoo Jo*, Dongjun Lee, Namjun Park, Jaekwang KIM
-CVPR 2024 Workshop
-[PDF](https://openreview.net/pdf?id=jSB5wlUU3p)
-
-
-## Tech Blog Contents
-- Preliminary Works
-- Image Generation
-- Video Generation
-- 3D Generation
-- Experiments
-
-
-## Contributors
-- 조상우 [Sangwoo Jo] | [Github](https://github.com/jasonjo97) | [Linkedin](https://www.linkedin.com/in/sangwoojo/) |
-- 문광수 [Kwangsu Mun] | [Github](https://github.com/mksoo) | [Linkedin](https://www.linkedin.com/in/%EA%B4%91%EC%88%98-%EB%AC%B8-95681b229/) |
-- 김지수 [Jisu Kim] | Github | [Linkedin](https://www.linkedin.com/in/%EC%A7%80%EC%88%98-%EA%B9%80-5a0b2320a/) |
-- 박범수 [Beomsoo Park] | [Github](https://github.com/hanlyang0522) | Linkedin |
-- 지승환 [Seunghwan Ji] | [Github](https://github.com/hwansnaa) | [Linkedin](https://www.linkedin.com/in/%EC%8A%B9%ED%99%98-%EC%A7%80-0169b425a/) |
-- 고동근 [Donggeun Sean Ko] | [Github](https://github.com/seanko29) | [Linkedin](https://www.linkedin.com/in/sangwoojo/) |
-- 조남경 [Namkyeong Cho] | Github | Linkedin |
-- 김선훈 [SeonHoon Kim] | [Github](https://github.com/egshkim) | [Linkedin](https://www.linkedin.com/in/seonhoonkim/) |
-- 이준형 [Junhyoung Lee] | [Github](https://github.com/jjuun0) | [Linkedin](https://www.linkedin.com/in/jjuun0) |
-- 조형서 [Hyoungseo Cho] | [Github](https://github.com/ChoHyoungSeo) | [Linkedin](https://www.linkedin.com/in/hyoungseo-cho/) |
-- 유정화 [Jeonghwa Yoo] | [Github](https://github.com/jeongHwarr) | [Linkedin](https://www.linkedin.com/in/jeonghwa-yoo-8403a716b/) |
-- 박세환 [Sehwan Park] | [Github](https://github.com/shp216) | Linkedin |
-- 송건학 [Geonhak Song] | [Github](https://github.com/geonhak904) | Linkedin |
-- 한동현 [Donghyun Han] | [GitHub](https://github.com/donghyun99) | [Linkedin](https://www.linkedin.com/in/donghyun99/) |
-- 이창환 [ChangHwan Lee] | [Github](https://github.com/Hwan-I) | Linkedin
-- 유경민 [Kyeongmin Yu] | [Github](https://github.com/yukyeongmin) | Linkdedin |
+# Welcome to PseudoDiffusers!!
+
+
+## About Us
+This is the repository of PseudoDiffusers team.
+
+Our aim is to review papers and code related to computer vision generation models, approach them theoretically, and conduct various experiments by fine-tuning diffusion based models.
+
+[About Us - PseudoLab](https://www.linkedin.com/company/pseudolab/)
+
+[About Us - PseudoDiffusers](https://chanrankim.notion.site/PseudoDiffusers-b666d39ea1924b4692796e442bebcd44)
+
+참여 방법: 매주 수요일 오후 9시, 가짜연구소 Discord Room-DH 로 입장!
+
+
+## Publications
+**DiffInject: Revisiting Debias via Synthetic Data Generation using Diffusion-based Style Injection**
+Donggeun Ko*, Sangwoo Jo*, Dongjun Lee, Namjun Park, Jaekwang KIM
+CVPR 2024 Workshop
+[PDF](https://openreview.net/pdf?id=jSB5wlUU3p)
+
+
+## Tech Blog Contents
+- Preliminary Works
+- Image Generation
+- Video Generation
+- 3D Generation
+- Experiments
+
+
+## Contributors
+- 조상우 [Sangwoo Jo] | [Github](https://github.com/jasonjo97) | [Linkedin](https://www.linkedin.com/in/sangwoojo/) |
+- 문광수 [Kwangsu Mun] | [Github](https://github.com/mksoo) | [Linkedin](https://www.linkedin.com/in/%EA%B4%91%EC%88%98-%EB%AC%B8-95681b229/) |
+- 김지수 [Jisu Kim] | Github | [Linkedin](https://www.linkedin.com/in/%EC%A7%80%EC%88%98-%EA%B9%80-5a0b2320a/) |
+- 박범수 [Beomsoo Park] | [Github](https://github.com/hanlyang0522) | Linkedin |
+- 지승환 [Seunghwan Ji] | [Github](https://github.com/hwansnaa) | [Linkedin](https://www.linkedin.com/in/%EC%8A%B9%ED%99%98-%EC%A7%80-0169b425a/) |
+- 고동근 [Donggeun Sean Ko] | [Github](https://github.com/seanko29) | [Linkedin](https://www.linkedin.com/in/sangwoojo/) |
+- 조남경 [Namkyeong Cho] | Github | Linkedin |
+- 김선훈 [SeonHoon Kim] | [Github](https://github.com/egshkim) | [Linkedin](https://www.linkedin.com/in/seonhoonkim/) |
+- 이준형 [Junhyoung Lee] | [Github](https://github.com/jjuun0) | [Linkedin](https://www.linkedin.com/in/jjuun0) |
+- 조형서 [Hyoungseo Cho] | [Github](https://github.com/ChoHyoungSeo) | [Linkedin](https://www.linkedin.com/in/hyoungseo-cho/) |
+- 유정화 [Jeonghwa Yoo] | [Github](https://github.com/jeongHwarr) | [Linkedin](https://www.linkedin.com/in/jeonghwa-yoo-8403a716b/) |
+- 박세환 [Sehwan Park] | [Github](https://github.com/shp216) | Linkedin |
+- 송건학 [Geonhak Song] | [Github](https://github.com/geonhak904) | Linkedin |
+- 한동현 [Donghyun Han] | [GitHub](https://github.com/donghyun99) | [Linkedin](https://www.linkedin.com/in/donghyun99/) |
+- 이창환 [ChangHwan Lee] | [Github](https://github.com/Hwan-I) | Linkedin
+- 유경민 [Kyeongmin Yu] | [Github](https://github.com/yukyeongmin) | Linkdedin |
- 이정인 [Jeongin Lee] | Github | Linkdedin |
\ No newline at end of file
diff --git a/_sphinx_design_static/design-style.4045f2051d55cab465a707391d5b2007.min.css b/_sphinx_design_static/design-style.4045f2051d55cab465a707391d5b2007.min.css
index 3225661c..57bec30a 100755
--- a/_sphinx_design_static/design-style.4045f2051d55cab465a707391d5b2007.min.css
+++ b/_sphinx_design_static/design-style.4045f2051d55cab465a707391d5b2007.min.css
@@ -1 +1 @@
-.sd-bg-primary{background-color:var(--sd-color-primary) !important}.sd-bg-text-primary{color:var(--sd-color-primary-text) !important}button.sd-bg-primary:focus,button.sd-bg-primary:hover{background-color:var(--sd-color-primary-highlight) !important}a.sd-bg-primary:focus,a.sd-bg-primary:hover{background-color:var(--sd-color-primary-highlight) !important}.sd-bg-secondary{background-color:var(--sd-color-secondary) !important}.sd-bg-text-secondary{color:var(--sd-color-secondary-text) !important}button.sd-bg-secondary:focus,button.sd-bg-secondary:hover{background-color:var(--sd-color-secondary-highlight) !important}a.sd-bg-secondary:focus,a.sd-bg-secondary:hover{background-color:var(--sd-color-secondary-highlight) !important}.sd-bg-success{background-color:var(--sd-color-success) !important}.sd-bg-text-success{color:var(--sd-color-success-text) !important}button.sd-bg-success:focus,button.sd-bg-success:hover{background-color:var(--sd-color-success-highlight) !important}a.sd-bg-success:focus,a.sd-bg-success:hover{background-color:var(--sd-color-success-highlight) !important}.sd-bg-info{background-color:var(--sd-color-info) !important}.sd-bg-text-info{color:var(--sd-color-info-text) !important}button.sd-bg-info:focus,button.sd-bg-info:hover{background-color:var(--sd-color-info-highlight) !important}a.sd-bg-info:focus,a.sd-bg-info:hover{background-color:var(--sd-color-info-highlight) !important}.sd-bg-warning{background-color:var(--sd-color-warning) !important}.sd-bg-text-warning{color:var(--sd-color-warning-text) !important}button.sd-bg-warning:focus,button.sd-bg-warning:hover{background-color:var(--sd-color-warning-highlight) !important}a.sd-bg-warning:focus,a.sd-bg-warning:hover{background-color:var(--sd-color-warning-highlight) !important}.sd-bg-danger{background-color:var(--sd-color-danger) !important}.sd-bg-text-danger{color:var(--sd-color-danger-text) !important}button.sd-bg-danger:focus,button.sd-bg-danger:hover{background-color:var(--sd-color-danger-highlight) !important}a.sd-bg-danger:focus,a.sd-bg-danger:hover{background-color:var(--sd-color-danger-highlight) !important}.sd-bg-light{background-color:var(--sd-color-light) !important}.sd-bg-text-light{color:var(--sd-color-light-text) !important}button.sd-bg-light:focus,button.sd-bg-light:hover{background-color:var(--sd-color-light-highlight) !important}a.sd-bg-light:focus,a.sd-bg-light:hover{background-color:var(--sd-color-light-highlight) !important}.sd-bg-muted{background-color:var(--sd-color-muted) !important}.sd-bg-text-muted{color:var(--sd-color-muted-text) !important}button.sd-bg-muted:focus,button.sd-bg-muted:hover{background-color:var(--sd-color-muted-highlight) !important}a.sd-bg-muted:focus,a.sd-bg-muted:hover{background-color:var(--sd-color-muted-highlight) !important}.sd-bg-dark{background-color:var(--sd-color-dark) !important}.sd-bg-text-dark{color:var(--sd-color-dark-text) !important}button.sd-bg-dark:focus,button.sd-bg-dark:hover{background-color:var(--sd-color-dark-highlight) !important}a.sd-bg-dark:focus,a.sd-bg-dark:hover{background-color:var(--sd-color-dark-highlight) !important}.sd-bg-black{background-color:var(--sd-color-black) !important}.sd-bg-text-black{color:var(--sd-color-black-text) !important}button.sd-bg-black:focus,button.sd-bg-black:hover{background-color:var(--sd-color-black-highlight) !important}a.sd-bg-black:focus,a.sd-bg-black:hover{background-color:var(--sd-color-black-highlight) !important}.sd-bg-white{background-color:var(--sd-color-white) !important}.sd-bg-text-white{color:var(--sd-color-white-text) !important}button.sd-bg-white:focus,button.sd-bg-white:hover{background-color:var(--sd-color-white-highlight) !important}a.sd-bg-white:focus,a.sd-bg-white:hover{background-color:var(--sd-color-white-highlight) !important}.sd-text-primary,.sd-text-primary>p{color:var(--sd-color-primary) !important}a.sd-text-primary:focus,a.sd-text-primary:hover{color:var(--sd-color-primary-highlight) !important}.sd-text-secondary,.sd-text-secondary>p{color:var(--sd-color-secondary) !important}a.sd-text-secondary:focus,a.sd-text-secondary:hover{color:var(--sd-color-secondary-highlight) !important}.sd-text-success,.sd-text-success>p{color:var(--sd-color-success) !important}a.sd-text-success:focus,a.sd-text-success:hover{color:var(--sd-color-success-highlight) !important}.sd-text-info,.sd-text-info>p{color:var(--sd-color-info) !important}a.sd-text-info:focus,a.sd-text-info:hover{color:var(--sd-color-info-highlight) !important}.sd-text-warning,.sd-text-warning>p{color:var(--sd-color-warning) !important}a.sd-text-warning:focus,a.sd-text-warning:hover{color:var(--sd-color-warning-highlight) !important}.sd-text-danger,.sd-text-danger>p{color:var(--sd-color-danger) !important}a.sd-text-danger:focus,a.sd-text-danger:hover{color:var(--sd-color-danger-highlight) !important}.sd-text-light,.sd-text-light>p{color:var(--sd-color-light) !important}a.sd-text-light:focus,a.sd-text-light:hover{color:var(--sd-color-light-highlight) !important}.sd-text-muted,.sd-text-muted>p{color:var(--sd-color-muted) !important}a.sd-text-muted:focus,a.sd-text-muted:hover{color:var(--sd-color-muted-highlight) !important}.sd-text-dark,.sd-text-dark>p{color:var(--sd-color-dark) !important}a.sd-text-dark:focus,a.sd-text-dark:hover{color:var(--sd-color-dark-highlight) !important}.sd-text-black,.sd-text-black>p{color:var(--sd-color-black) !important}a.sd-text-black:focus,a.sd-text-black:hover{color:var(--sd-color-black-highlight) !important}.sd-text-white,.sd-text-white>p{color:var(--sd-color-white) !important}a.sd-text-white:focus,a.sd-text-white:hover{color:var(--sd-color-white-highlight) !important}.sd-outline-primary{border-color:var(--sd-color-primary) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-primary:focus,a.sd-outline-primary:hover{border-color:var(--sd-color-primary-highlight) !important}.sd-outline-secondary{border-color:var(--sd-color-secondary) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-secondary:focus,a.sd-outline-secondary:hover{border-color:var(--sd-color-secondary-highlight) !important}.sd-outline-success{border-color:var(--sd-color-success) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-success:focus,a.sd-outline-success:hover{border-color:var(--sd-color-success-highlight) !important}.sd-outline-info{border-color:var(--sd-color-info) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-info:focus,a.sd-outline-info:hover{border-color:var(--sd-color-info-highlight) !important}.sd-outline-warning{border-color:var(--sd-color-warning) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-warning:focus,a.sd-outline-warning:hover{border-color:var(--sd-color-warning-highlight) !important}.sd-outline-danger{border-color:var(--sd-color-danger) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-danger:focus,a.sd-outline-danger:hover{border-color:var(--sd-color-danger-highlight) !important}.sd-outline-light{border-color:var(--sd-color-light) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-light:focus,a.sd-outline-light:hover{border-color:var(--sd-color-light-highlight) !important}.sd-outline-muted{border-color:var(--sd-color-muted) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-muted:focus,a.sd-outline-muted:hover{border-color:var(--sd-color-muted-highlight) !important}.sd-outline-dark{border-color:var(--sd-color-dark) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-dark:focus,a.sd-outline-dark:hover{border-color:var(--sd-color-dark-highlight) !important}.sd-outline-black{border-color:var(--sd-color-black) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-black:focus,a.sd-outline-black:hover{border-color:var(--sd-color-black-highlight) !important}.sd-outline-white{border-color:var(--sd-color-white) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-white:focus,a.sd-outline-white:hover{border-color:var(--sd-color-white-highlight) !important}.sd-bg-transparent{background-color:transparent !important}.sd-outline-transparent{border-color:transparent !important}.sd-text-transparent{color:transparent !important}.sd-p-0{padding:0 !important}.sd-pt-0,.sd-py-0{padding-top:0 !important}.sd-pr-0,.sd-px-0{padding-right:0 !important}.sd-pb-0,.sd-py-0{padding-bottom:0 !important}.sd-pl-0,.sd-px-0{padding-left:0 !important}.sd-p-1{padding:.25rem !important}.sd-pt-1,.sd-py-1{padding-top:.25rem !important}.sd-pr-1,.sd-px-1{padding-right:.25rem !important}.sd-pb-1,.sd-py-1{padding-bottom:.25rem !important}.sd-pl-1,.sd-px-1{padding-left:.25rem !important}.sd-p-2{padding:.5rem !important}.sd-pt-2,.sd-py-2{padding-top:.5rem !important}.sd-pr-2,.sd-px-2{padding-right:.5rem !important}.sd-pb-2,.sd-py-2{padding-bottom:.5rem !important}.sd-pl-2,.sd-px-2{padding-left:.5rem !important}.sd-p-3{padding:1rem !important}.sd-pt-3,.sd-py-3{padding-top:1rem !important}.sd-pr-3,.sd-px-3{padding-right:1rem !important}.sd-pb-3,.sd-py-3{padding-bottom:1rem !important}.sd-pl-3,.sd-px-3{padding-left:1rem !important}.sd-p-4{padding:1.5rem !important}.sd-pt-4,.sd-py-4{padding-top:1.5rem !important}.sd-pr-4,.sd-px-4{padding-right:1.5rem !important}.sd-pb-4,.sd-py-4{padding-bottom:1.5rem !important}.sd-pl-4,.sd-px-4{padding-left:1.5rem !important}.sd-p-5{padding:3rem !important}.sd-pt-5,.sd-py-5{padding-top:3rem !important}.sd-pr-5,.sd-px-5{padding-right:3rem !important}.sd-pb-5,.sd-py-5{padding-bottom:3rem !important}.sd-pl-5,.sd-px-5{padding-left:3rem !important}.sd-m-auto{margin:auto !important}.sd-mt-auto,.sd-my-auto{margin-top:auto !important}.sd-mr-auto,.sd-mx-auto{margin-right:auto !important}.sd-mb-auto,.sd-my-auto{margin-bottom:auto !important}.sd-ml-auto,.sd-mx-auto{margin-left:auto !important}.sd-m-0{margin:0 !important}.sd-mt-0,.sd-my-0{margin-top:0 !important}.sd-mr-0,.sd-mx-0{margin-right:0 !important}.sd-mb-0,.sd-my-0{margin-bottom:0 !important}.sd-ml-0,.sd-mx-0{margin-left:0 !important}.sd-m-1{margin:.25rem !important}.sd-mt-1,.sd-my-1{margin-top:.25rem !important}.sd-mr-1,.sd-mx-1{margin-right:.25rem !important}.sd-mb-1,.sd-my-1{margin-bottom:.25rem !important}.sd-ml-1,.sd-mx-1{margin-left:.25rem !important}.sd-m-2{margin:.5rem !important}.sd-mt-2,.sd-my-2{margin-top:.5rem !important}.sd-mr-2,.sd-mx-2{margin-right:.5rem !important}.sd-mb-2,.sd-my-2{margin-bottom:.5rem !important}.sd-ml-2,.sd-mx-2{margin-left:.5rem !important}.sd-m-3{margin:1rem !important}.sd-mt-3,.sd-my-3{margin-top:1rem !important}.sd-mr-3,.sd-mx-3{margin-right:1rem !important}.sd-mb-3,.sd-my-3{margin-bottom:1rem !important}.sd-ml-3,.sd-mx-3{margin-left:1rem !important}.sd-m-4{margin:1.5rem !important}.sd-mt-4,.sd-my-4{margin-top:1.5rem !important}.sd-mr-4,.sd-mx-4{margin-right:1.5rem !important}.sd-mb-4,.sd-my-4{margin-bottom:1.5rem !important}.sd-ml-4,.sd-mx-4{margin-left:1.5rem !important}.sd-m-5{margin:3rem !important}.sd-mt-5,.sd-my-5{margin-top:3rem !important}.sd-mr-5,.sd-mx-5{margin-right:3rem !important}.sd-mb-5,.sd-my-5{margin-bottom:3rem !important}.sd-ml-5,.sd-mx-5{margin-left:3rem !important}.sd-w-25{width:25% !important}.sd-w-50{width:50% !important}.sd-w-75{width:75% !important}.sd-w-100{width:100% !important}.sd-w-auto{width:auto !important}.sd-h-25{height:25% !important}.sd-h-50{height:50% !important}.sd-h-75{height:75% !important}.sd-h-100{height:100% !important}.sd-h-auto{height:auto !important}.sd-d-none{display:none !important}.sd-d-inline{display:inline !important}.sd-d-inline-block{display:inline-block !important}.sd-d-block{display:block !important}.sd-d-grid{display:grid !important}.sd-d-flex-row{display:-ms-flexbox !important;display:flex !important;flex-direction:row !important}.sd-d-flex-column{display:-ms-flexbox !important;display:flex !important;flex-direction:column !important}.sd-d-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}@media(min-width: 576px){.sd-d-sm-none{display:none !important}.sd-d-sm-inline{display:inline !important}.sd-d-sm-inline-block{display:inline-block !important}.sd-d-sm-block{display:block !important}.sd-d-sm-grid{display:grid !important}.sd-d-sm-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-sm-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}@media(min-width: 768px){.sd-d-md-none{display:none !important}.sd-d-md-inline{display:inline !important}.sd-d-md-inline-block{display:inline-block !important}.sd-d-md-block{display:block !important}.sd-d-md-grid{display:grid !important}.sd-d-md-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-md-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}@media(min-width: 992px){.sd-d-lg-none{display:none !important}.sd-d-lg-inline{display:inline !important}.sd-d-lg-inline-block{display:inline-block !important}.sd-d-lg-block{display:block !important}.sd-d-lg-grid{display:grid !important}.sd-d-lg-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-lg-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}@media(min-width: 1200px){.sd-d-xl-none{display:none !important}.sd-d-xl-inline{display:inline !important}.sd-d-xl-inline-block{display:inline-block !important}.sd-d-xl-block{display:block !important}.sd-d-xl-grid{display:grid !important}.sd-d-xl-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-xl-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}.sd-align-major-start{justify-content:flex-start !important}.sd-align-major-end{justify-content:flex-end !important}.sd-align-major-center{justify-content:center !important}.sd-align-major-justify{justify-content:space-between !important}.sd-align-major-spaced{justify-content:space-evenly !important}.sd-align-minor-start{align-items:flex-start !important}.sd-align-minor-end{align-items:flex-end !important}.sd-align-minor-center{align-items:center !important}.sd-align-minor-stretch{align-items:stretch !important}.sd-text-justify{text-align:justify !important}.sd-text-left{text-align:left !important}.sd-text-right{text-align:right !important}.sd-text-center{text-align:center !important}.sd-font-weight-light{font-weight:300 !important}.sd-font-weight-lighter{font-weight:lighter !important}.sd-font-weight-normal{font-weight:400 !important}.sd-font-weight-bold{font-weight:700 !important}.sd-font-weight-bolder{font-weight:bolder !important}.sd-font-italic{font-style:italic !important}.sd-text-decoration-none{text-decoration:none !important}.sd-text-lowercase{text-transform:lowercase !important}.sd-text-uppercase{text-transform:uppercase !important}.sd-text-capitalize{text-transform:capitalize !important}.sd-text-wrap{white-space:normal !important}.sd-text-nowrap{white-space:nowrap !important}.sd-text-truncate{overflow:hidden;text-overflow:ellipsis;white-space:nowrap}.sd-fs-1,.sd-fs-1>p{font-size:calc(1.375rem + 1.5vw) !important;line-height:unset !important}.sd-fs-2,.sd-fs-2>p{font-size:calc(1.325rem + 0.9vw) !important;line-height:unset !important}.sd-fs-3,.sd-fs-3>p{font-size:calc(1.3rem + 0.6vw) !important;line-height:unset !important}.sd-fs-4,.sd-fs-4>p{font-size:calc(1.275rem + 0.3vw) !important;line-height:unset !important}.sd-fs-5,.sd-fs-5>p{font-size:1.25rem !important;line-height:unset !important}.sd-fs-6,.sd-fs-6>p{font-size:1rem !important;line-height:unset !important}.sd-border-0{border:0 solid !important}.sd-border-top-0{border-top:0 solid !important}.sd-border-bottom-0{border-bottom:0 solid !important}.sd-border-right-0{border-right:0 solid !important}.sd-border-left-0{border-left:0 solid !important}.sd-border-1{border:1px solid !important}.sd-border-top-1{border-top:1px solid !important}.sd-border-bottom-1{border-bottom:1px solid !important}.sd-border-right-1{border-right:1px solid !important}.sd-border-left-1{border-left:1px solid !important}.sd-border-2{border:2px solid !important}.sd-border-top-2{border-top:2px solid !important}.sd-border-bottom-2{border-bottom:2px solid !important}.sd-border-right-2{border-right:2px solid !important}.sd-border-left-2{border-left:2px solid !important}.sd-border-3{border:3px solid !important}.sd-border-top-3{border-top:3px solid !important}.sd-border-bottom-3{border-bottom:3px solid !important}.sd-border-right-3{border-right:3px solid !important}.sd-border-left-3{border-left:3px solid !important}.sd-border-4{border:4px solid !important}.sd-border-top-4{border-top:4px solid !important}.sd-border-bottom-4{border-bottom:4px solid !important}.sd-border-right-4{border-right:4px solid !important}.sd-border-left-4{border-left:4px solid !important}.sd-border-5{border:5px solid !important}.sd-border-top-5{border-top:5px solid !important}.sd-border-bottom-5{border-bottom:5px solid !important}.sd-border-right-5{border-right:5px solid !important}.sd-border-left-5{border-left:5px solid !important}.sd-rounded-0{border-radius:0 !important}.sd-rounded-1{border-radius:.2rem !important}.sd-rounded-2{border-radius:.3rem !important}.sd-rounded-3{border-radius:.5rem !important}.sd-rounded-pill{border-radius:50rem !important}.sd-rounded-circle{border-radius:50% !important}.shadow-none{box-shadow:none !important}.sd-shadow-sm{box-shadow:0 .125rem .25rem var(--sd-color-shadow) !important}.sd-shadow-md{box-shadow:0 .5rem 1rem var(--sd-color-shadow) !important}.sd-shadow-lg{box-shadow:0 1rem 3rem var(--sd-color-shadow) !important}@keyframes sd-slide-from-left{0%{transform:translateX(-100%)}100%{transform:translateX(0)}}@keyframes sd-slide-from-right{0%{transform:translateX(200%)}100%{transform:translateX(0)}}@keyframes sd-grow100{0%{transform:scale(0);opacity:.5}100%{transform:scale(1);opacity:1}}@keyframes sd-grow50{0%{transform:scale(0.5);opacity:.5}100%{transform:scale(1);opacity:1}}@keyframes sd-grow50-rot20{0%{transform:scale(0.5) rotateZ(-20deg);opacity:.5}75%{transform:scale(1) rotateZ(5deg);opacity:1}95%{transform:scale(1) rotateZ(-1deg);opacity:1}100%{transform:scale(1) rotateZ(0);opacity:1}}.sd-animate-slide-from-left{animation:1s ease-out 0s 1 normal none running sd-slide-from-left}.sd-animate-slide-from-right{animation:1s ease-out 0s 1 normal none running sd-slide-from-right}.sd-animate-grow100{animation:1s ease-out 0s 1 normal none running sd-grow100}.sd-animate-grow50{animation:1s ease-out 0s 1 normal none running sd-grow50}.sd-animate-grow50-rot20{animation:1s ease-out 0s 1 normal none running sd-grow50-rot20}.sd-badge{display:inline-block;padding:.35em .65em;font-size:.75em;font-weight:700;line-height:1;text-align:center;white-space:nowrap;vertical-align:baseline;border-radius:.25rem}.sd-badge:empty{display:none}a.sd-badge{text-decoration:none}.sd-btn .sd-badge{position:relative;top:-1px}.sd-btn{background-color:transparent;border:1px solid transparent;border-radius:.25rem;cursor:pointer;display:inline-block;font-weight:400;font-size:1rem;line-height:1.5;padding:.375rem .75rem;text-align:center;text-decoration:none;transition:color .15s ease-in-out,background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out;vertical-align:middle;user-select:none;-moz-user-select:none;-ms-user-select:none;-webkit-user-select:none}.sd-btn:hover{text-decoration:none}@media(prefers-reduced-motion: reduce){.sd-btn{transition:none}}.sd-btn-primary,.sd-btn-outline-primary:hover,.sd-btn-outline-primary:focus{color:var(--sd-color-primary-text) !important;background-color:var(--sd-color-primary) !important;border-color:var(--sd-color-primary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-primary:hover,.sd-btn-primary:focus{color:var(--sd-color-primary-text) !important;background-color:var(--sd-color-primary-highlight) !important;border-color:var(--sd-color-primary-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-primary{color:var(--sd-color-primary) !important;border-color:var(--sd-color-primary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-secondary,.sd-btn-outline-secondary:hover,.sd-btn-outline-secondary:focus{color:var(--sd-color-secondary-text) !important;background-color:var(--sd-color-secondary) !important;border-color:var(--sd-color-secondary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-secondary:hover,.sd-btn-secondary:focus{color:var(--sd-color-secondary-text) !important;background-color:var(--sd-color-secondary-highlight) !important;border-color:var(--sd-color-secondary-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-secondary{color:var(--sd-color-secondary) !important;border-color:var(--sd-color-secondary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-success,.sd-btn-outline-success:hover,.sd-btn-outline-success:focus{color:var(--sd-color-success-text) !important;background-color:var(--sd-color-success) !important;border-color:var(--sd-color-success) !important;border-width:1px !important;border-style:solid !important}.sd-btn-success:hover,.sd-btn-success:focus{color:var(--sd-color-success-text) !important;background-color:var(--sd-color-success-highlight) !important;border-color:var(--sd-color-success-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-success{color:var(--sd-color-success) !important;border-color:var(--sd-color-success) !important;border-width:1px !important;border-style:solid !important}.sd-btn-info,.sd-btn-outline-info:hover,.sd-btn-outline-info:focus{color:var(--sd-color-info-text) !important;background-color:var(--sd-color-info) !important;border-color:var(--sd-color-info) !important;border-width:1px !important;border-style:solid !important}.sd-btn-info:hover,.sd-btn-info:focus{color:var(--sd-color-info-text) !important;background-color:var(--sd-color-info-highlight) !important;border-color:var(--sd-color-info-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-info{color:var(--sd-color-info) !important;border-color:var(--sd-color-info) !important;border-width:1px !important;border-style:solid !important}.sd-btn-warning,.sd-btn-outline-warning:hover,.sd-btn-outline-warning:focus{color:var(--sd-color-warning-text) !important;background-color:var(--sd-color-warning) !important;border-color:var(--sd-color-warning) !important;border-width:1px !important;border-style:solid !important}.sd-btn-warning:hover,.sd-btn-warning:focus{color:var(--sd-color-warning-text) !important;background-color:var(--sd-color-warning-highlight) !important;border-color:var(--sd-color-warning-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-warning{color:var(--sd-color-warning) !important;border-color:var(--sd-color-warning) !important;border-width:1px !important;border-style:solid !important}.sd-btn-danger,.sd-btn-outline-danger:hover,.sd-btn-outline-danger:focus{color:var(--sd-color-danger-text) !important;background-color:var(--sd-color-danger) !important;border-color:var(--sd-color-danger) !important;border-width:1px !important;border-style:solid !important}.sd-btn-danger:hover,.sd-btn-danger:focus{color:var(--sd-color-danger-text) !important;background-color:var(--sd-color-danger-highlight) !important;border-color:var(--sd-color-danger-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-danger{color:var(--sd-color-danger) !important;border-color:var(--sd-color-danger) !important;border-width:1px !important;border-style:solid !important}.sd-btn-light,.sd-btn-outline-light:hover,.sd-btn-outline-light:focus{color:var(--sd-color-light-text) !important;background-color:var(--sd-color-light) !important;border-color:var(--sd-color-light) !important;border-width:1px !important;border-style:solid !important}.sd-btn-light:hover,.sd-btn-light:focus{color:var(--sd-color-light-text) !important;background-color:var(--sd-color-light-highlight) !important;border-color:var(--sd-color-light-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-light{color:var(--sd-color-light) !important;border-color:var(--sd-color-light) !important;border-width:1px !important;border-style:solid !important}.sd-btn-muted,.sd-btn-outline-muted:hover,.sd-btn-outline-muted:focus{color:var(--sd-color-muted-text) !important;background-color:var(--sd-color-muted) !important;border-color:var(--sd-color-muted) !important;border-width:1px !important;border-style:solid !important}.sd-btn-muted:hover,.sd-btn-muted:focus{color:var(--sd-color-muted-text) !important;background-color:var(--sd-color-muted-highlight) !important;border-color:var(--sd-color-muted-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-muted{color:var(--sd-color-muted) !important;border-color:var(--sd-color-muted) !important;border-width:1px !important;border-style:solid !important}.sd-btn-dark,.sd-btn-outline-dark:hover,.sd-btn-outline-dark:focus{color:var(--sd-color-dark-text) !important;background-color:var(--sd-color-dark) !important;border-color:var(--sd-color-dark) !important;border-width:1px !important;border-style:solid !important}.sd-btn-dark:hover,.sd-btn-dark:focus{color:var(--sd-color-dark-text) !important;background-color:var(--sd-color-dark-highlight) !important;border-color:var(--sd-color-dark-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-dark{color:var(--sd-color-dark) !important;border-color:var(--sd-color-dark) !important;border-width:1px !important;border-style:solid !important}.sd-btn-black,.sd-btn-outline-black:hover,.sd-btn-outline-black:focus{color:var(--sd-color-black-text) !important;background-color:var(--sd-color-black) !important;border-color:var(--sd-color-black) !important;border-width:1px !important;border-style:solid !important}.sd-btn-black:hover,.sd-btn-black:focus{color:var(--sd-color-black-text) !important;background-color:var(--sd-color-black-highlight) !important;border-color:var(--sd-color-black-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-black{color:var(--sd-color-black) !important;border-color:var(--sd-color-black) !important;border-width:1px !important;border-style:solid !important}.sd-btn-white,.sd-btn-outline-white:hover,.sd-btn-outline-white:focus{color:var(--sd-color-white-text) !important;background-color:var(--sd-color-white) !important;border-color:var(--sd-color-white) !important;border-width:1px !important;border-style:solid !important}.sd-btn-white:hover,.sd-btn-white:focus{color:var(--sd-color-white-text) !important;background-color:var(--sd-color-white-highlight) !important;border-color:var(--sd-color-white-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-white{color:var(--sd-color-white) !important;border-color:var(--sd-color-white) !important;border-width:1px !important;border-style:solid !important}.sd-stretched-link::after{position:absolute;top:0;right:0;bottom:0;left:0;z-index:1;content:""}.sd-hide-link-text{font-size:0}.sd-octicon,.sd-material-icon{display:inline-block;fill:currentColor;vertical-align:middle}.sd-avatar-xs{border-radius:50%;object-fit:cover;object-position:center;width:1rem;height:1rem}.sd-avatar-sm{border-radius:50%;object-fit:cover;object-position:center;width:3rem;height:3rem}.sd-avatar-md{border-radius:50%;object-fit:cover;object-position:center;width:5rem;height:5rem}.sd-avatar-lg{border-radius:50%;object-fit:cover;object-position:center;width:7rem;height:7rem}.sd-avatar-xl{border-radius:50%;object-fit:cover;object-position:center;width:10rem;height:10rem}.sd-avatar-inherit{border-radius:50%;object-fit:cover;object-position:center;width:inherit;height:inherit}.sd-avatar-initial{border-radius:50%;object-fit:cover;object-position:center;width:initial;height:initial}.sd-card{background-clip:border-box;background-color:var(--sd-color-card-background);border:1px solid var(--sd-color-card-border);border-radius:.25rem;color:var(--sd-color-card-text);display:-ms-flexbox;display:flex;-ms-flex-direction:column;flex-direction:column;min-width:0;position:relative;word-wrap:break-word}.sd-card>hr{margin-left:0;margin-right:0}.sd-card-hover:hover{border-color:var(--sd-color-card-border-hover);transform:scale(1.01)}.sd-card-body{-ms-flex:1 1 auto;flex:1 1 auto;padding:1rem 1rem}.sd-card-title{margin-bottom:.5rem}.sd-card-subtitle{margin-top:-0.25rem;margin-bottom:0}.sd-card-text:last-child{margin-bottom:0}.sd-card-link:hover{text-decoration:none}.sd-card-link+.card-link{margin-left:1rem}.sd-card-header{padding:.5rem 1rem;margin-bottom:0;background-color:var(--sd-color-card-header);border-bottom:1px solid var(--sd-color-card-border)}.sd-card-header:first-child{border-radius:calc(0.25rem - 1px) calc(0.25rem - 1px) 0 0}.sd-card-footer{padding:.5rem 1rem;background-color:var(--sd-color-card-footer);border-top:1px solid var(--sd-color-card-border)}.sd-card-footer:last-child{border-radius:0 0 calc(0.25rem - 1px) calc(0.25rem - 1px)}.sd-card-header-tabs{margin-right:-0.5rem;margin-bottom:-0.5rem;margin-left:-0.5rem;border-bottom:0}.sd-card-header-pills{margin-right:-0.5rem;margin-left:-0.5rem}.sd-card-img-overlay{position:absolute;top:0;right:0;bottom:0;left:0;padding:1rem;border-radius:calc(0.25rem - 1px)}.sd-card-img,.sd-card-img-bottom,.sd-card-img-top{width:100%}.sd-card-img,.sd-card-img-top{border-top-left-radius:calc(0.25rem - 1px);border-top-right-radius:calc(0.25rem - 1px)}.sd-card-img,.sd-card-img-bottom{border-bottom-left-radius:calc(0.25rem - 1px);border-bottom-right-radius:calc(0.25rem - 1px)}.sd-cards-carousel{width:100%;display:flex;flex-wrap:nowrap;-ms-flex-direction:row;flex-direction:row;overflow-x:hidden;scroll-snap-type:x mandatory}.sd-cards-carousel.sd-show-scrollbar{overflow-x:auto}.sd-cards-carousel:hover,.sd-cards-carousel:focus{overflow-x:auto}.sd-cards-carousel>.sd-card{flex-shrink:0;scroll-snap-align:start}.sd-cards-carousel>.sd-card:not(:last-child){margin-right:3px}.sd-card-cols-1>.sd-card{width:90%}.sd-card-cols-2>.sd-card{width:45%}.sd-card-cols-3>.sd-card{width:30%}.sd-card-cols-4>.sd-card{width:22.5%}.sd-card-cols-5>.sd-card{width:18%}.sd-card-cols-6>.sd-card{width:15%}.sd-card-cols-7>.sd-card{width:12.8571428571%}.sd-card-cols-8>.sd-card{width:11.25%}.sd-card-cols-9>.sd-card{width:10%}.sd-card-cols-10>.sd-card{width:9%}.sd-card-cols-11>.sd-card{width:8.1818181818%}.sd-card-cols-12>.sd-card{width:7.5%}.sd-container,.sd-container-fluid,.sd-container-lg,.sd-container-md,.sd-container-sm,.sd-container-xl{margin-left:auto;margin-right:auto;padding-left:var(--sd-gutter-x, 0.75rem);padding-right:var(--sd-gutter-x, 0.75rem);width:100%}@media(min-width: 576px){.sd-container-sm,.sd-container{max-width:540px}}@media(min-width: 768px){.sd-container-md,.sd-container-sm,.sd-container{max-width:720px}}@media(min-width: 992px){.sd-container-lg,.sd-container-md,.sd-container-sm,.sd-container{max-width:960px}}@media(min-width: 1200px){.sd-container-xl,.sd-container-lg,.sd-container-md,.sd-container-sm,.sd-container{max-width:1140px}}.sd-row{--sd-gutter-x: 1.5rem;--sd-gutter-y: 0;display:-ms-flexbox;display:flex;-ms-flex-wrap:wrap;flex-wrap:wrap;margin-top:calc(var(--sd-gutter-y) * -1);margin-right:calc(var(--sd-gutter-x) * -0.5);margin-left:calc(var(--sd-gutter-x) * -0.5)}.sd-row>*{box-sizing:border-box;flex-shrink:0;width:100%;max-width:100%;padding-right:calc(var(--sd-gutter-x) * 0.5);padding-left:calc(var(--sd-gutter-x) * 0.5);margin-top:var(--sd-gutter-y)}.sd-col{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-auto>*{flex:0 0 auto;width:auto}.sd-row-cols-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}@media(min-width: 576px){.sd-col-sm{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-sm-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-sm-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-sm-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-sm-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-sm-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-sm-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-sm-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-sm-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-sm-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-sm-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-sm-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-sm-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-sm-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}@media(min-width: 768px){.sd-col-md{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-md-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-md-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-md-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-md-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-md-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-md-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-md-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-md-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-md-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-md-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-md-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-md-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-md-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}@media(min-width: 992px){.sd-col-lg{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-lg-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-lg-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-lg-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-lg-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-lg-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-lg-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-lg-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-lg-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-lg-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-lg-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-lg-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-lg-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-lg-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}@media(min-width: 1200px){.sd-col-xl{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-xl-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-xl-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-xl-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-xl-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-xl-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-xl-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-xl-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-xl-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-xl-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-xl-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-xl-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-xl-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-xl-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}.sd-col-auto{flex:0 0 auto;-ms-flex:0 0 auto;width:auto}.sd-col-1{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}.sd-col-2{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-col-3{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-col-4{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-col-5{flex:0 0 auto;-ms-flex:0 0 auto;width:41.6666666667%}.sd-col-6{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-col-7{flex:0 0 auto;-ms-flex:0 0 auto;width:58.3333333333%}.sd-col-8{flex:0 0 auto;-ms-flex:0 0 auto;width:66.6666666667%}.sd-col-9{flex:0 0 auto;-ms-flex:0 0 auto;width:75%}.sd-col-10{flex:0 0 auto;-ms-flex:0 0 auto;width:83.3333333333%}.sd-col-11{flex:0 0 auto;-ms-flex:0 0 auto;width:91.6666666667%}.sd-col-12{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-g-0,.sd-gy-0{--sd-gutter-y: 0}.sd-g-0,.sd-gx-0{--sd-gutter-x: 0}.sd-g-1,.sd-gy-1{--sd-gutter-y: 0.25rem}.sd-g-1,.sd-gx-1{--sd-gutter-x: 0.25rem}.sd-g-2,.sd-gy-2{--sd-gutter-y: 0.5rem}.sd-g-2,.sd-gx-2{--sd-gutter-x: 0.5rem}.sd-g-3,.sd-gy-3{--sd-gutter-y: 1rem}.sd-g-3,.sd-gx-3{--sd-gutter-x: 1rem}.sd-g-4,.sd-gy-4{--sd-gutter-y: 1.5rem}.sd-g-4,.sd-gx-4{--sd-gutter-x: 1.5rem}.sd-g-5,.sd-gy-5{--sd-gutter-y: 3rem}.sd-g-5,.sd-gx-5{--sd-gutter-x: 3rem}@media(min-width: 576px){.sd-col-sm-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-sm-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-sm-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-sm-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-sm-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-sm-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-sm-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-sm-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-sm-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-sm-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-sm-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-sm-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-sm-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-sm-0,.sd-gy-sm-0{--sd-gutter-y: 0}.sd-g-sm-0,.sd-gx-sm-0{--sd-gutter-x: 0}.sd-g-sm-1,.sd-gy-sm-1{--sd-gutter-y: 0.25rem}.sd-g-sm-1,.sd-gx-sm-1{--sd-gutter-x: 0.25rem}.sd-g-sm-2,.sd-gy-sm-2{--sd-gutter-y: 0.5rem}.sd-g-sm-2,.sd-gx-sm-2{--sd-gutter-x: 0.5rem}.sd-g-sm-3,.sd-gy-sm-3{--sd-gutter-y: 1rem}.sd-g-sm-3,.sd-gx-sm-3{--sd-gutter-x: 1rem}.sd-g-sm-4,.sd-gy-sm-4{--sd-gutter-y: 1.5rem}.sd-g-sm-4,.sd-gx-sm-4{--sd-gutter-x: 1.5rem}.sd-g-sm-5,.sd-gy-sm-5{--sd-gutter-y: 3rem}.sd-g-sm-5,.sd-gx-sm-5{--sd-gutter-x: 3rem}}@media(min-width: 768px){.sd-col-md-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-md-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-md-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-md-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-md-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-md-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-md-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-md-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-md-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-md-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-md-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-md-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-md-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-md-0,.sd-gy-md-0{--sd-gutter-y: 0}.sd-g-md-0,.sd-gx-md-0{--sd-gutter-x: 0}.sd-g-md-1,.sd-gy-md-1{--sd-gutter-y: 0.25rem}.sd-g-md-1,.sd-gx-md-1{--sd-gutter-x: 0.25rem}.sd-g-md-2,.sd-gy-md-2{--sd-gutter-y: 0.5rem}.sd-g-md-2,.sd-gx-md-2{--sd-gutter-x: 0.5rem}.sd-g-md-3,.sd-gy-md-3{--sd-gutter-y: 1rem}.sd-g-md-3,.sd-gx-md-3{--sd-gutter-x: 1rem}.sd-g-md-4,.sd-gy-md-4{--sd-gutter-y: 1.5rem}.sd-g-md-4,.sd-gx-md-4{--sd-gutter-x: 1.5rem}.sd-g-md-5,.sd-gy-md-5{--sd-gutter-y: 3rem}.sd-g-md-5,.sd-gx-md-5{--sd-gutter-x: 3rem}}@media(min-width: 992px){.sd-col-lg-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-lg-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-lg-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-lg-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-lg-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-lg-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-lg-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-lg-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-lg-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-lg-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-lg-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-lg-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-lg-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-lg-0,.sd-gy-lg-0{--sd-gutter-y: 0}.sd-g-lg-0,.sd-gx-lg-0{--sd-gutter-x: 0}.sd-g-lg-1,.sd-gy-lg-1{--sd-gutter-y: 0.25rem}.sd-g-lg-1,.sd-gx-lg-1{--sd-gutter-x: 0.25rem}.sd-g-lg-2,.sd-gy-lg-2{--sd-gutter-y: 0.5rem}.sd-g-lg-2,.sd-gx-lg-2{--sd-gutter-x: 0.5rem}.sd-g-lg-3,.sd-gy-lg-3{--sd-gutter-y: 1rem}.sd-g-lg-3,.sd-gx-lg-3{--sd-gutter-x: 1rem}.sd-g-lg-4,.sd-gy-lg-4{--sd-gutter-y: 1.5rem}.sd-g-lg-4,.sd-gx-lg-4{--sd-gutter-x: 1.5rem}.sd-g-lg-5,.sd-gy-lg-5{--sd-gutter-y: 3rem}.sd-g-lg-5,.sd-gx-lg-5{--sd-gutter-x: 3rem}}@media(min-width: 1200px){.sd-col-xl-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-xl-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-xl-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-xl-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-xl-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-xl-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-xl-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-xl-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-xl-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-xl-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-xl-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-xl-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-xl-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-xl-0,.sd-gy-xl-0{--sd-gutter-y: 0}.sd-g-xl-0,.sd-gx-xl-0{--sd-gutter-x: 0}.sd-g-xl-1,.sd-gy-xl-1{--sd-gutter-y: 0.25rem}.sd-g-xl-1,.sd-gx-xl-1{--sd-gutter-x: 0.25rem}.sd-g-xl-2,.sd-gy-xl-2{--sd-gutter-y: 0.5rem}.sd-g-xl-2,.sd-gx-xl-2{--sd-gutter-x: 0.5rem}.sd-g-xl-3,.sd-gy-xl-3{--sd-gutter-y: 1rem}.sd-g-xl-3,.sd-gx-xl-3{--sd-gutter-x: 1rem}.sd-g-xl-4,.sd-gy-xl-4{--sd-gutter-y: 1.5rem}.sd-g-xl-4,.sd-gx-xl-4{--sd-gutter-x: 1.5rem}.sd-g-xl-5,.sd-gy-xl-5{--sd-gutter-y: 3rem}.sd-g-xl-5,.sd-gx-xl-5{--sd-gutter-x: 3rem}}.sd-flex-row-reverse{flex-direction:row-reverse !important}details.sd-dropdown{position:relative}details.sd-dropdown .sd-summary-title{font-weight:700;padding-right:3em !important;-moz-user-select:none;-ms-user-select:none;-webkit-user-select:none;user-select:none}details.sd-dropdown:hover{cursor:pointer}details.sd-dropdown .sd-summary-content{cursor:default}details.sd-dropdown summary{list-style:none;padding:1em}details.sd-dropdown summary .sd-octicon.no-title{vertical-align:middle}details.sd-dropdown[open] summary .sd-octicon.no-title{visibility:hidden}details.sd-dropdown summary::-webkit-details-marker{display:none}details.sd-dropdown summary:focus{outline:none}details.sd-dropdown .sd-summary-icon{margin-right:.5em}details.sd-dropdown .sd-summary-icon svg{opacity:.8}details.sd-dropdown summary:hover .sd-summary-up svg,details.sd-dropdown summary:hover .sd-summary-down svg{opacity:1;transform:scale(1.1)}details.sd-dropdown .sd-summary-up svg,details.sd-dropdown .sd-summary-down svg{display:block;opacity:.6}details.sd-dropdown .sd-summary-up,details.sd-dropdown .sd-summary-down{pointer-events:none;position:absolute;right:1em;top:1em}details.sd-dropdown[open]>.sd-summary-title .sd-summary-down{visibility:hidden}details.sd-dropdown:not([open])>.sd-summary-title .sd-summary-up{visibility:hidden}details.sd-dropdown:not([open]).sd-card{border:none}details.sd-dropdown:not([open])>.sd-card-header{border:1px solid var(--sd-color-card-border);border-radius:.25rem}details.sd-dropdown.sd-fade-in[open] summary~*{-moz-animation:sd-fade-in .5s ease-in-out;-webkit-animation:sd-fade-in .5s ease-in-out;animation:sd-fade-in .5s ease-in-out}details.sd-dropdown.sd-fade-in-slide-down[open] summary~*{-moz-animation:sd-fade-in .5s ease-in-out,sd-slide-down .5s ease-in-out;-webkit-animation:sd-fade-in .5s ease-in-out,sd-slide-down .5s ease-in-out;animation:sd-fade-in .5s ease-in-out,sd-slide-down .5s ease-in-out}.sd-col>.sd-dropdown{width:100%}.sd-summary-content>.sd-tab-set:first-child{margin-top:0}@keyframes sd-fade-in{0%{opacity:0}100%{opacity:1}}@keyframes sd-slide-down{0%{transform:translate(0, -10px)}100%{transform:translate(0, 0)}}.sd-tab-set{border-radius:.125rem;display:flex;flex-wrap:wrap;margin:1em 0;position:relative}.sd-tab-set>input{opacity:0;position:absolute}.sd-tab-set>input:checked+label{border-color:var(--sd-color-tabs-underline-active);color:var(--sd-color-tabs-label-active)}.sd-tab-set>input:checked+label+.sd-tab-content{display:block}.sd-tab-set>input:not(:checked)+label:hover{color:var(--sd-color-tabs-label-hover);border-color:var(--sd-color-tabs-underline-hover)}.sd-tab-set>input:focus+label{outline-style:auto}.sd-tab-set>input:not(.focus-visible)+label{outline:none;-webkit-tap-highlight-color:transparent}.sd-tab-set>label{border-bottom:.125rem solid transparent;margin-bottom:0;color:var(--sd-color-tabs-label-inactive);border-color:var(--sd-color-tabs-underline-inactive);cursor:pointer;font-size:var(--sd-fontsize-tabs-label);font-weight:700;padding:1em 1.25em .5em;transition:color 250ms;width:auto;z-index:1}html .sd-tab-set>label:hover{color:var(--sd-color-tabs-label-active)}.sd-col>.sd-tab-set{width:100%}.sd-tab-content{box-shadow:0 -0.0625rem var(--sd-color-tabs-overline),0 .0625rem var(--sd-color-tabs-underline);display:none;order:99;padding-bottom:.75rem;padding-top:.75rem;width:100%}.sd-tab-content>:first-child{margin-top:0 !important}.sd-tab-content>:last-child{margin-bottom:0 !important}.sd-tab-content>.sd-tab-set{margin:0}.sd-sphinx-override,.sd-sphinx-override *{-moz-box-sizing:border-box;-webkit-box-sizing:border-box;box-sizing:border-box}.sd-sphinx-override p{margin-top:0}:root{--sd-color-primary: #007bff;--sd-color-secondary: #6c757d;--sd-color-success: #28a745;--sd-color-info: #17a2b8;--sd-color-warning: #f0b37e;--sd-color-danger: #dc3545;--sd-color-light: #f8f9fa;--sd-color-muted: #6c757d;--sd-color-dark: #212529;--sd-color-black: black;--sd-color-white: white;--sd-color-primary-highlight: #0069d9;--sd-color-secondary-highlight: #5c636a;--sd-color-success-highlight: #228e3b;--sd-color-info-highlight: #148a9c;--sd-color-warning-highlight: #cc986b;--sd-color-danger-highlight: #bb2d3b;--sd-color-light-highlight: #d3d4d5;--sd-color-muted-highlight: #5c636a;--sd-color-dark-highlight: #1c1f23;--sd-color-black-highlight: black;--sd-color-white-highlight: #d9d9d9;--sd-color-primary-text: #fff;--sd-color-secondary-text: #fff;--sd-color-success-text: #fff;--sd-color-info-text: #fff;--sd-color-warning-text: #212529;--sd-color-danger-text: #fff;--sd-color-light-text: #212529;--sd-color-muted-text: #fff;--sd-color-dark-text: #fff;--sd-color-black-text: #fff;--sd-color-white-text: #212529;--sd-color-shadow: rgba(0, 0, 0, 0.15);--sd-color-card-border: rgba(0, 0, 0, 0.125);--sd-color-card-border-hover: hsla(231, 99%, 66%, 1);--sd-color-card-background: transparent;--sd-color-card-text: inherit;--sd-color-card-header: transparent;--sd-color-card-footer: transparent;--sd-color-tabs-label-active: hsla(231, 99%, 66%, 1);--sd-color-tabs-label-hover: hsla(231, 99%, 66%, 1);--sd-color-tabs-label-inactive: hsl(0, 0%, 66%);--sd-color-tabs-underline-active: hsla(231, 99%, 66%, 1);--sd-color-tabs-underline-hover: rgba(178, 206, 245, 0.62);--sd-color-tabs-underline-inactive: transparent;--sd-color-tabs-overline: rgb(222, 222, 222);--sd-color-tabs-underline: rgb(222, 222, 222);--sd-fontsize-tabs-label: 1rem}
+.sd-bg-primary{background-color:var(--sd-color-primary) !important}.sd-bg-text-primary{color:var(--sd-color-primary-text) !important}button.sd-bg-primary:focus,button.sd-bg-primary:hover{background-color:var(--sd-color-primary-highlight) !important}a.sd-bg-primary:focus,a.sd-bg-primary:hover{background-color:var(--sd-color-primary-highlight) !important}.sd-bg-secondary{background-color:var(--sd-color-secondary) !important}.sd-bg-text-secondary{color:var(--sd-color-secondary-text) !important}button.sd-bg-secondary:focus,button.sd-bg-secondary:hover{background-color:var(--sd-color-secondary-highlight) !important}a.sd-bg-secondary:focus,a.sd-bg-secondary:hover{background-color:var(--sd-color-secondary-highlight) !important}.sd-bg-success{background-color:var(--sd-color-success) !important}.sd-bg-text-success{color:var(--sd-color-success-text) !important}button.sd-bg-success:focus,button.sd-bg-success:hover{background-color:var(--sd-color-success-highlight) !important}a.sd-bg-success:focus,a.sd-bg-success:hover{background-color:var(--sd-color-success-highlight) !important}.sd-bg-info{background-color:var(--sd-color-info) !important}.sd-bg-text-info{color:var(--sd-color-info-text) !important}button.sd-bg-info:focus,button.sd-bg-info:hover{background-color:var(--sd-color-info-highlight) !important}a.sd-bg-info:focus,a.sd-bg-info:hover{background-color:var(--sd-color-info-highlight) !important}.sd-bg-warning{background-color:var(--sd-color-warning) !important}.sd-bg-text-warning{color:var(--sd-color-warning-text) !important}button.sd-bg-warning:focus,button.sd-bg-warning:hover{background-color:var(--sd-color-warning-highlight) !important}a.sd-bg-warning:focus,a.sd-bg-warning:hover{background-color:var(--sd-color-warning-highlight) !important}.sd-bg-danger{background-color:var(--sd-color-danger) !important}.sd-bg-text-danger{color:var(--sd-color-danger-text) !important}button.sd-bg-danger:focus,button.sd-bg-danger:hover{background-color:var(--sd-color-danger-highlight) !important}a.sd-bg-danger:focus,a.sd-bg-danger:hover{background-color:var(--sd-color-danger-highlight) !important}.sd-bg-light{background-color:var(--sd-color-light) !important}.sd-bg-text-light{color:var(--sd-color-light-text) !important}button.sd-bg-light:focus,button.sd-bg-light:hover{background-color:var(--sd-color-light-highlight) !important}a.sd-bg-light:focus,a.sd-bg-light:hover{background-color:var(--sd-color-light-highlight) !important}.sd-bg-muted{background-color:var(--sd-color-muted) !important}.sd-bg-text-muted{color:var(--sd-color-muted-text) !important}button.sd-bg-muted:focus,button.sd-bg-muted:hover{background-color:var(--sd-color-muted-highlight) !important}a.sd-bg-muted:focus,a.sd-bg-muted:hover{background-color:var(--sd-color-muted-highlight) !important}.sd-bg-dark{background-color:var(--sd-color-dark) !important}.sd-bg-text-dark{color:var(--sd-color-dark-text) !important}button.sd-bg-dark:focus,button.sd-bg-dark:hover{background-color:var(--sd-color-dark-highlight) !important}a.sd-bg-dark:focus,a.sd-bg-dark:hover{background-color:var(--sd-color-dark-highlight) !important}.sd-bg-black{background-color:var(--sd-color-black) !important}.sd-bg-text-black{color:var(--sd-color-black-text) !important}button.sd-bg-black:focus,button.sd-bg-black:hover{background-color:var(--sd-color-black-highlight) !important}a.sd-bg-black:focus,a.sd-bg-black:hover{background-color:var(--sd-color-black-highlight) !important}.sd-bg-white{background-color:var(--sd-color-white) !important}.sd-bg-text-white{color:var(--sd-color-white-text) !important}button.sd-bg-white:focus,button.sd-bg-white:hover{background-color:var(--sd-color-white-highlight) !important}a.sd-bg-white:focus,a.sd-bg-white:hover{background-color:var(--sd-color-white-highlight) !important}.sd-text-primary,.sd-text-primary>p{color:var(--sd-color-primary) !important}a.sd-text-primary:focus,a.sd-text-primary:hover{color:var(--sd-color-primary-highlight) !important}.sd-text-secondary,.sd-text-secondary>p{color:var(--sd-color-secondary) !important}a.sd-text-secondary:focus,a.sd-text-secondary:hover{color:var(--sd-color-secondary-highlight) !important}.sd-text-success,.sd-text-success>p{color:var(--sd-color-success) !important}a.sd-text-success:focus,a.sd-text-success:hover{color:var(--sd-color-success-highlight) !important}.sd-text-info,.sd-text-info>p{color:var(--sd-color-info) !important}a.sd-text-info:focus,a.sd-text-info:hover{color:var(--sd-color-info-highlight) !important}.sd-text-warning,.sd-text-warning>p{color:var(--sd-color-warning) !important}a.sd-text-warning:focus,a.sd-text-warning:hover{color:var(--sd-color-warning-highlight) !important}.sd-text-danger,.sd-text-danger>p{color:var(--sd-color-danger) !important}a.sd-text-danger:focus,a.sd-text-danger:hover{color:var(--sd-color-danger-highlight) !important}.sd-text-light,.sd-text-light>p{color:var(--sd-color-light) !important}a.sd-text-light:focus,a.sd-text-light:hover{color:var(--sd-color-light-highlight) !important}.sd-text-muted,.sd-text-muted>p{color:var(--sd-color-muted) !important}a.sd-text-muted:focus,a.sd-text-muted:hover{color:var(--sd-color-muted-highlight) !important}.sd-text-dark,.sd-text-dark>p{color:var(--sd-color-dark) !important}a.sd-text-dark:focus,a.sd-text-dark:hover{color:var(--sd-color-dark-highlight) !important}.sd-text-black,.sd-text-black>p{color:var(--sd-color-black) !important}a.sd-text-black:focus,a.sd-text-black:hover{color:var(--sd-color-black-highlight) !important}.sd-text-white,.sd-text-white>p{color:var(--sd-color-white) !important}a.sd-text-white:focus,a.sd-text-white:hover{color:var(--sd-color-white-highlight) !important}.sd-outline-primary{border-color:var(--sd-color-primary) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-primary:focus,a.sd-outline-primary:hover{border-color:var(--sd-color-primary-highlight) !important}.sd-outline-secondary{border-color:var(--sd-color-secondary) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-secondary:focus,a.sd-outline-secondary:hover{border-color:var(--sd-color-secondary-highlight) !important}.sd-outline-success{border-color:var(--sd-color-success) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-success:focus,a.sd-outline-success:hover{border-color:var(--sd-color-success-highlight) !important}.sd-outline-info{border-color:var(--sd-color-info) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-info:focus,a.sd-outline-info:hover{border-color:var(--sd-color-info-highlight) !important}.sd-outline-warning{border-color:var(--sd-color-warning) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-warning:focus,a.sd-outline-warning:hover{border-color:var(--sd-color-warning-highlight) !important}.sd-outline-danger{border-color:var(--sd-color-danger) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-danger:focus,a.sd-outline-danger:hover{border-color:var(--sd-color-danger-highlight) !important}.sd-outline-light{border-color:var(--sd-color-light) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-light:focus,a.sd-outline-light:hover{border-color:var(--sd-color-light-highlight) !important}.sd-outline-muted{border-color:var(--sd-color-muted) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-muted:focus,a.sd-outline-muted:hover{border-color:var(--sd-color-muted-highlight) !important}.sd-outline-dark{border-color:var(--sd-color-dark) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-dark:focus,a.sd-outline-dark:hover{border-color:var(--sd-color-dark-highlight) !important}.sd-outline-black{border-color:var(--sd-color-black) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-black:focus,a.sd-outline-black:hover{border-color:var(--sd-color-black-highlight) !important}.sd-outline-white{border-color:var(--sd-color-white) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-white:focus,a.sd-outline-white:hover{border-color:var(--sd-color-white-highlight) !important}.sd-bg-transparent{background-color:transparent !important}.sd-outline-transparent{border-color:transparent !important}.sd-text-transparent{color:transparent !important}.sd-p-0{padding:0 !important}.sd-pt-0,.sd-py-0{padding-top:0 !important}.sd-pr-0,.sd-px-0{padding-right:0 !important}.sd-pb-0,.sd-py-0{padding-bottom:0 !important}.sd-pl-0,.sd-px-0{padding-left:0 !important}.sd-p-1{padding:.25rem !important}.sd-pt-1,.sd-py-1{padding-top:.25rem !important}.sd-pr-1,.sd-px-1{padding-right:.25rem !important}.sd-pb-1,.sd-py-1{padding-bottom:.25rem !important}.sd-pl-1,.sd-px-1{padding-left:.25rem !important}.sd-p-2{padding:.5rem !important}.sd-pt-2,.sd-py-2{padding-top:.5rem !important}.sd-pr-2,.sd-px-2{padding-right:.5rem !important}.sd-pb-2,.sd-py-2{padding-bottom:.5rem !important}.sd-pl-2,.sd-px-2{padding-left:.5rem !important}.sd-p-3{padding:1rem !important}.sd-pt-3,.sd-py-3{padding-top:1rem !important}.sd-pr-3,.sd-px-3{padding-right:1rem !important}.sd-pb-3,.sd-py-3{padding-bottom:1rem !important}.sd-pl-3,.sd-px-3{padding-left:1rem !important}.sd-p-4{padding:1.5rem !important}.sd-pt-4,.sd-py-4{padding-top:1.5rem !important}.sd-pr-4,.sd-px-4{padding-right:1.5rem !important}.sd-pb-4,.sd-py-4{padding-bottom:1.5rem !important}.sd-pl-4,.sd-px-4{padding-left:1.5rem !important}.sd-p-5{padding:3rem !important}.sd-pt-5,.sd-py-5{padding-top:3rem !important}.sd-pr-5,.sd-px-5{padding-right:3rem !important}.sd-pb-5,.sd-py-5{padding-bottom:3rem !important}.sd-pl-5,.sd-px-5{padding-left:3rem !important}.sd-m-auto{margin:auto !important}.sd-mt-auto,.sd-my-auto{margin-top:auto !important}.sd-mr-auto,.sd-mx-auto{margin-right:auto !important}.sd-mb-auto,.sd-my-auto{margin-bottom:auto !important}.sd-ml-auto,.sd-mx-auto{margin-left:auto !important}.sd-m-0{margin:0 !important}.sd-mt-0,.sd-my-0{margin-top:0 !important}.sd-mr-0,.sd-mx-0{margin-right:0 !important}.sd-mb-0,.sd-my-0{margin-bottom:0 !important}.sd-ml-0,.sd-mx-0{margin-left:0 !important}.sd-m-1{margin:.25rem !important}.sd-mt-1,.sd-my-1{margin-top:.25rem !important}.sd-mr-1,.sd-mx-1{margin-right:.25rem !important}.sd-mb-1,.sd-my-1{margin-bottom:.25rem !important}.sd-ml-1,.sd-mx-1{margin-left:.25rem !important}.sd-m-2{margin:.5rem !important}.sd-mt-2,.sd-my-2{margin-top:.5rem !important}.sd-mr-2,.sd-mx-2{margin-right:.5rem !important}.sd-mb-2,.sd-my-2{margin-bottom:.5rem !important}.sd-ml-2,.sd-mx-2{margin-left:.5rem !important}.sd-m-3{margin:1rem !important}.sd-mt-3,.sd-my-3{margin-top:1rem !important}.sd-mr-3,.sd-mx-3{margin-right:1rem !important}.sd-mb-3,.sd-my-3{margin-bottom:1rem !important}.sd-ml-3,.sd-mx-3{margin-left:1rem !important}.sd-m-4{margin:1.5rem !important}.sd-mt-4,.sd-my-4{margin-top:1.5rem !important}.sd-mr-4,.sd-mx-4{margin-right:1.5rem !important}.sd-mb-4,.sd-my-4{margin-bottom:1.5rem !important}.sd-ml-4,.sd-mx-4{margin-left:1.5rem !important}.sd-m-5{margin:3rem !important}.sd-mt-5,.sd-my-5{margin-top:3rem !important}.sd-mr-5,.sd-mx-5{margin-right:3rem !important}.sd-mb-5,.sd-my-5{margin-bottom:3rem !important}.sd-ml-5,.sd-mx-5{margin-left:3rem !important}.sd-w-25{width:25% !important}.sd-w-50{width:50% !important}.sd-w-75{width:75% !important}.sd-w-100{width:100% !important}.sd-w-auto{width:auto !important}.sd-h-25{height:25% !important}.sd-h-50{height:50% !important}.sd-h-75{height:75% !important}.sd-h-100{height:100% !important}.sd-h-auto{height:auto !important}.sd-d-none{display:none !important}.sd-d-inline{display:inline !important}.sd-d-inline-block{display:inline-block !important}.sd-d-block{display:block !important}.sd-d-grid{display:grid !important}.sd-d-flex-row{display:-ms-flexbox !important;display:flex !important;flex-direction:row !important}.sd-d-flex-column{display:-ms-flexbox !important;display:flex !important;flex-direction:column !important}.sd-d-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}@media(min-width: 576px){.sd-d-sm-none{display:none !important}.sd-d-sm-inline{display:inline !important}.sd-d-sm-inline-block{display:inline-block !important}.sd-d-sm-block{display:block !important}.sd-d-sm-grid{display:grid !important}.sd-d-sm-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-sm-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}@media(min-width: 768px){.sd-d-md-none{display:none !important}.sd-d-md-inline{display:inline !important}.sd-d-md-inline-block{display:inline-block !important}.sd-d-md-block{display:block !important}.sd-d-md-grid{display:grid !important}.sd-d-md-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-md-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}@media(min-width: 992px){.sd-d-lg-none{display:none !important}.sd-d-lg-inline{display:inline !important}.sd-d-lg-inline-block{display:inline-block !important}.sd-d-lg-block{display:block !important}.sd-d-lg-grid{display:grid !important}.sd-d-lg-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-lg-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}@media(min-width: 1200px){.sd-d-xl-none{display:none !important}.sd-d-xl-inline{display:inline !important}.sd-d-xl-inline-block{display:inline-block !important}.sd-d-xl-block{display:block !important}.sd-d-xl-grid{display:grid !important}.sd-d-xl-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-xl-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}.sd-align-major-start{justify-content:flex-start !important}.sd-align-major-end{justify-content:flex-end !important}.sd-align-major-center{justify-content:center !important}.sd-align-major-justify{justify-content:space-between !important}.sd-align-major-spaced{justify-content:space-evenly !important}.sd-align-minor-start{align-items:flex-start !important}.sd-align-minor-end{align-items:flex-end !important}.sd-align-minor-center{align-items:center !important}.sd-align-minor-stretch{align-items:stretch !important}.sd-text-justify{text-align:justify !important}.sd-text-left{text-align:left !important}.sd-text-right{text-align:right !important}.sd-text-center{text-align:center !important}.sd-font-weight-light{font-weight:300 !important}.sd-font-weight-lighter{font-weight:lighter !important}.sd-font-weight-normal{font-weight:400 !important}.sd-font-weight-bold{font-weight:700 !important}.sd-font-weight-bolder{font-weight:bolder !important}.sd-font-italic{font-style:italic !important}.sd-text-decoration-none{text-decoration:none !important}.sd-text-lowercase{text-transform:lowercase !important}.sd-text-uppercase{text-transform:uppercase !important}.sd-text-capitalize{text-transform:capitalize !important}.sd-text-wrap{white-space:normal !important}.sd-text-nowrap{white-space:nowrap !important}.sd-text-truncate{overflow:hidden;text-overflow:ellipsis;white-space:nowrap}.sd-fs-1,.sd-fs-1>p{font-size:calc(1.375rem + 1.5vw) !important;line-height:unset !important}.sd-fs-2,.sd-fs-2>p{font-size:calc(1.325rem + 0.9vw) !important;line-height:unset !important}.sd-fs-3,.sd-fs-3>p{font-size:calc(1.3rem + 0.6vw) !important;line-height:unset !important}.sd-fs-4,.sd-fs-4>p{font-size:calc(1.275rem + 0.3vw) !important;line-height:unset !important}.sd-fs-5,.sd-fs-5>p{font-size:1.25rem !important;line-height:unset !important}.sd-fs-6,.sd-fs-6>p{font-size:1rem !important;line-height:unset !important}.sd-border-0{border:0 solid !important}.sd-border-top-0{border-top:0 solid !important}.sd-border-bottom-0{border-bottom:0 solid !important}.sd-border-right-0{border-right:0 solid !important}.sd-border-left-0{border-left:0 solid !important}.sd-border-1{border:1px solid !important}.sd-border-top-1{border-top:1px solid !important}.sd-border-bottom-1{border-bottom:1px solid !important}.sd-border-right-1{border-right:1px solid !important}.sd-border-left-1{border-left:1px solid !important}.sd-border-2{border:2px solid !important}.sd-border-top-2{border-top:2px solid !important}.sd-border-bottom-2{border-bottom:2px solid !important}.sd-border-right-2{border-right:2px solid !important}.sd-border-left-2{border-left:2px solid !important}.sd-border-3{border:3px solid !important}.sd-border-top-3{border-top:3px solid !important}.sd-border-bottom-3{border-bottom:3px solid !important}.sd-border-right-3{border-right:3px solid !important}.sd-border-left-3{border-left:3px solid !important}.sd-border-4{border:4px solid !important}.sd-border-top-4{border-top:4px solid !important}.sd-border-bottom-4{border-bottom:4px solid !important}.sd-border-right-4{border-right:4px solid !important}.sd-border-left-4{border-left:4px solid !important}.sd-border-5{border:5px solid !important}.sd-border-top-5{border-top:5px solid !important}.sd-border-bottom-5{border-bottom:5px solid !important}.sd-border-right-5{border-right:5px solid !important}.sd-border-left-5{border-left:5px solid !important}.sd-rounded-0{border-radius:0 !important}.sd-rounded-1{border-radius:.2rem !important}.sd-rounded-2{border-radius:.3rem !important}.sd-rounded-3{border-radius:.5rem !important}.sd-rounded-pill{border-radius:50rem !important}.sd-rounded-circle{border-radius:50% !important}.shadow-none{box-shadow:none !important}.sd-shadow-sm{box-shadow:0 .125rem .25rem var(--sd-color-shadow) !important}.sd-shadow-md{box-shadow:0 .5rem 1rem var(--sd-color-shadow) !important}.sd-shadow-lg{box-shadow:0 1rem 3rem var(--sd-color-shadow) !important}@keyframes sd-slide-from-left{0%{transform:translateX(-100%)}100%{transform:translateX(0)}}@keyframes sd-slide-from-right{0%{transform:translateX(200%)}100%{transform:translateX(0)}}@keyframes sd-grow100{0%{transform:scale(0);opacity:.5}100%{transform:scale(1);opacity:1}}@keyframes sd-grow50{0%{transform:scale(0.5);opacity:.5}100%{transform:scale(1);opacity:1}}@keyframes sd-grow50-rot20{0%{transform:scale(0.5) rotateZ(-20deg);opacity:.5}75%{transform:scale(1) rotateZ(5deg);opacity:1}95%{transform:scale(1) rotateZ(-1deg);opacity:1}100%{transform:scale(1) rotateZ(0);opacity:1}}.sd-animate-slide-from-left{animation:1s ease-out 0s 1 normal none running sd-slide-from-left}.sd-animate-slide-from-right{animation:1s ease-out 0s 1 normal none running sd-slide-from-right}.sd-animate-grow100{animation:1s ease-out 0s 1 normal none running sd-grow100}.sd-animate-grow50{animation:1s ease-out 0s 1 normal none running sd-grow50}.sd-animate-grow50-rot20{animation:1s ease-out 0s 1 normal none running sd-grow50-rot20}.sd-badge{display:inline-block;padding:.35em .65em;font-size:.75em;font-weight:700;line-height:1;text-align:center;white-space:nowrap;vertical-align:baseline;border-radius:.25rem}.sd-badge:empty{display:none}a.sd-badge{text-decoration:none}.sd-btn .sd-badge{position:relative;top:-1px}.sd-btn{background-color:transparent;border:1px solid transparent;border-radius:.25rem;cursor:pointer;display:inline-block;font-weight:400;font-size:1rem;line-height:1.5;padding:.375rem .75rem;text-align:center;text-decoration:none;transition:color .15s ease-in-out,background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out;vertical-align:middle;user-select:none;-moz-user-select:none;-ms-user-select:none;-webkit-user-select:none}.sd-btn:hover{text-decoration:none}@media(prefers-reduced-motion: reduce){.sd-btn{transition:none}}.sd-btn-primary,.sd-btn-outline-primary:hover,.sd-btn-outline-primary:focus{color:var(--sd-color-primary-text) !important;background-color:var(--sd-color-primary) !important;border-color:var(--sd-color-primary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-primary:hover,.sd-btn-primary:focus{color:var(--sd-color-primary-text) !important;background-color:var(--sd-color-primary-highlight) !important;border-color:var(--sd-color-primary-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-primary{color:var(--sd-color-primary) !important;border-color:var(--sd-color-primary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-secondary,.sd-btn-outline-secondary:hover,.sd-btn-outline-secondary:focus{color:var(--sd-color-secondary-text) !important;background-color:var(--sd-color-secondary) !important;border-color:var(--sd-color-secondary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-secondary:hover,.sd-btn-secondary:focus{color:var(--sd-color-secondary-text) !important;background-color:var(--sd-color-secondary-highlight) !important;border-color:var(--sd-color-secondary-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-secondary{color:var(--sd-color-secondary) !important;border-color:var(--sd-color-secondary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-success,.sd-btn-outline-success:hover,.sd-btn-outline-success:focus{color:var(--sd-color-success-text) !important;background-color:var(--sd-color-success) !important;border-color:var(--sd-color-success) !important;border-width:1px !important;border-style:solid !important}.sd-btn-success:hover,.sd-btn-success:focus{color:var(--sd-color-success-text) !important;background-color:var(--sd-color-success-highlight) !important;border-color:var(--sd-color-success-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-success{color:var(--sd-color-success) !important;border-color:var(--sd-color-success) !important;border-width:1px !important;border-style:solid !important}.sd-btn-info,.sd-btn-outline-info:hover,.sd-btn-outline-info:focus{color:var(--sd-color-info-text) !important;background-color:var(--sd-color-info) !important;border-color:var(--sd-color-info) !important;border-width:1px !important;border-style:solid !important}.sd-btn-info:hover,.sd-btn-info:focus{color:var(--sd-color-info-text) !important;background-color:var(--sd-color-info-highlight) !important;border-color:var(--sd-color-info-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-info{color:var(--sd-color-info) !important;border-color:var(--sd-color-info) !important;border-width:1px !important;border-style:solid !important}.sd-btn-warning,.sd-btn-outline-warning:hover,.sd-btn-outline-warning:focus{color:var(--sd-color-warning-text) !important;background-color:var(--sd-color-warning) !important;border-color:var(--sd-color-warning) !important;border-width:1px !important;border-style:solid !important}.sd-btn-warning:hover,.sd-btn-warning:focus{color:var(--sd-color-warning-text) !important;background-color:var(--sd-color-warning-highlight) !important;border-color:var(--sd-color-warning-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-warning{color:var(--sd-color-warning) !important;border-color:var(--sd-color-warning) !important;border-width:1px !important;border-style:solid !important}.sd-btn-danger,.sd-btn-outline-danger:hover,.sd-btn-outline-danger:focus{color:var(--sd-color-danger-text) !important;background-color:var(--sd-color-danger) !important;border-color:var(--sd-color-danger) !important;border-width:1px !important;border-style:solid !important}.sd-btn-danger:hover,.sd-btn-danger:focus{color:var(--sd-color-danger-text) !important;background-color:var(--sd-color-danger-highlight) !important;border-color:var(--sd-color-danger-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-danger{color:var(--sd-color-danger) !important;border-color:var(--sd-color-danger) !important;border-width:1px !important;border-style:solid !important}.sd-btn-light,.sd-btn-outline-light:hover,.sd-btn-outline-light:focus{color:var(--sd-color-light-text) !important;background-color:var(--sd-color-light) !important;border-color:var(--sd-color-light) !important;border-width:1px !important;border-style:solid !important}.sd-btn-light:hover,.sd-btn-light:focus{color:var(--sd-color-light-text) !important;background-color:var(--sd-color-light-highlight) !important;border-color:var(--sd-color-light-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-light{color:var(--sd-color-light) !important;border-color:var(--sd-color-light) !important;border-width:1px !important;border-style:solid !important}.sd-btn-muted,.sd-btn-outline-muted:hover,.sd-btn-outline-muted:focus{color:var(--sd-color-muted-text) !important;background-color:var(--sd-color-muted) !important;border-color:var(--sd-color-muted) !important;border-width:1px !important;border-style:solid !important}.sd-btn-muted:hover,.sd-btn-muted:focus{color:var(--sd-color-muted-text) !important;background-color:var(--sd-color-muted-highlight) !important;border-color:var(--sd-color-muted-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-muted{color:var(--sd-color-muted) !important;border-color:var(--sd-color-muted) !important;border-width:1px !important;border-style:solid !important}.sd-btn-dark,.sd-btn-outline-dark:hover,.sd-btn-outline-dark:focus{color:var(--sd-color-dark-text) !important;background-color:var(--sd-color-dark) !important;border-color:var(--sd-color-dark) !important;border-width:1px !important;border-style:solid !important}.sd-btn-dark:hover,.sd-btn-dark:focus{color:var(--sd-color-dark-text) !important;background-color:var(--sd-color-dark-highlight) !important;border-color:var(--sd-color-dark-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-dark{color:var(--sd-color-dark) !important;border-color:var(--sd-color-dark) !important;border-width:1px !important;border-style:solid !important}.sd-btn-black,.sd-btn-outline-black:hover,.sd-btn-outline-black:focus{color:var(--sd-color-black-text) !important;background-color:var(--sd-color-black) !important;border-color:var(--sd-color-black) !important;border-width:1px !important;border-style:solid !important}.sd-btn-black:hover,.sd-btn-black:focus{color:var(--sd-color-black-text) !important;background-color:var(--sd-color-black-highlight) !important;border-color:var(--sd-color-black-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-black{color:var(--sd-color-black) !important;border-color:var(--sd-color-black) !important;border-width:1px !important;border-style:solid !important}.sd-btn-white,.sd-btn-outline-white:hover,.sd-btn-outline-white:focus{color:var(--sd-color-white-text) !important;background-color:var(--sd-color-white) !important;border-color:var(--sd-color-white) !important;border-width:1px !important;border-style:solid !important}.sd-btn-white:hover,.sd-btn-white:focus{color:var(--sd-color-white-text) !important;background-color:var(--sd-color-white-highlight) !important;border-color:var(--sd-color-white-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-white{color:var(--sd-color-white) !important;border-color:var(--sd-color-white) !important;border-width:1px !important;border-style:solid !important}.sd-stretched-link::after{position:absolute;top:0;right:0;bottom:0;left:0;z-index:1;content:""}.sd-hide-link-text{font-size:0}.sd-octicon,.sd-material-icon{display:inline-block;fill:currentColor;vertical-align:middle}.sd-avatar-xs{border-radius:50%;object-fit:cover;object-position:center;width:1rem;height:1rem}.sd-avatar-sm{border-radius:50%;object-fit:cover;object-position:center;width:3rem;height:3rem}.sd-avatar-md{border-radius:50%;object-fit:cover;object-position:center;width:5rem;height:5rem}.sd-avatar-lg{border-radius:50%;object-fit:cover;object-position:center;width:7rem;height:7rem}.sd-avatar-xl{border-radius:50%;object-fit:cover;object-position:center;width:10rem;height:10rem}.sd-avatar-inherit{border-radius:50%;object-fit:cover;object-position:center;width:inherit;height:inherit}.sd-avatar-initial{border-radius:50%;object-fit:cover;object-position:center;width:initial;height:initial}.sd-card{background-clip:border-box;background-color:var(--sd-color-card-background);border:1px solid var(--sd-color-card-border);border-radius:.25rem;color:var(--sd-color-card-text);display:-ms-flexbox;display:flex;-ms-flex-direction:column;flex-direction:column;min-width:0;position:relative;word-wrap:break-word}.sd-card>hr{margin-left:0;margin-right:0}.sd-card-hover:hover{border-color:var(--sd-color-card-border-hover);transform:scale(1.01)}.sd-card-body{-ms-flex:1 1 auto;flex:1 1 auto;padding:1rem 1rem}.sd-card-title{margin-bottom:.5rem}.sd-card-subtitle{margin-top:-0.25rem;margin-bottom:0}.sd-card-text:last-child{margin-bottom:0}.sd-card-link:hover{text-decoration:none}.sd-card-link+.card-link{margin-left:1rem}.sd-card-header{padding:.5rem 1rem;margin-bottom:0;background-color:var(--sd-color-card-header);border-bottom:1px solid var(--sd-color-card-border)}.sd-card-header:first-child{border-radius:calc(0.25rem - 1px) calc(0.25rem - 1px) 0 0}.sd-card-footer{padding:.5rem 1rem;background-color:var(--sd-color-card-footer);border-top:1px solid var(--sd-color-card-border)}.sd-card-footer:last-child{border-radius:0 0 calc(0.25rem - 1px) calc(0.25rem - 1px)}.sd-card-header-tabs{margin-right:-0.5rem;margin-bottom:-0.5rem;margin-left:-0.5rem;border-bottom:0}.sd-card-header-pills{margin-right:-0.5rem;margin-left:-0.5rem}.sd-card-img-overlay{position:absolute;top:0;right:0;bottom:0;left:0;padding:1rem;border-radius:calc(0.25rem - 1px)}.sd-card-img,.sd-card-img-bottom,.sd-card-img-top{width:100%}.sd-card-img,.sd-card-img-top{border-top-left-radius:calc(0.25rem - 1px);border-top-right-radius:calc(0.25rem - 1px)}.sd-card-img,.sd-card-img-bottom{border-bottom-left-radius:calc(0.25rem - 1px);border-bottom-right-radius:calc(0.25rem - 1px)}.sd-cards-carousel{width:100%;display:flex;flex-wrap:nowrap;-ms-flex-direction:row;flex-direction:row;overflow-x:hidden;scroll-snap-type:x mandatory}.sd-cards-carousel.sd-show-scrollbar{overflow-x:auto}.sd-cards-carousel:hover,.sd-cards-carousel:focus{overflow-x:auto}.sd-cards-carousel>.sd-card{flex-shrink:0;scroll-snap-align:start}.sd-cards-carousel>.sd-card:not(:last-child){margin-right:3px}.sd-card-cols-1>.sd-card{width:90%}.sd-card-cols-2>.sd-card{width:45%}.sd-card-cols-3>.sd-card{width:30%}.sd-card-cols-4>.sd-card{width:22.5%}.sd-card-cols-5>.sd-card{width:18%}.sd-card-cols-6>.sd-card{width:15%}.sd-card-cols-7>.sd-card{width:12.8571428571%}.sd-card-cols-8>.sd-card{width:11.25%}.sd-card-cols-9>.sd-card{width:10%}.sd-card-cols-10>.sd-card{width:9%}.sd-card-cols-11>.sd-card{width:8.1818181818%}.sd-card-cols-12>.sd-card{width:7.5%}.sd-container,.sd-container-fluid,.sd-container-lg,.sd-container-md,.sd-container-sm,.sd-container-xl{margin-left:auto;margin-right:auto;padding-left:var(--sd-gutter-x, 0.75rem);padding-right:var(--sd-gutter-x, 0.75rem);width:100%}@media(min-width: 576px){.sd-container-sm,.sd-container{max-width:540px}}@media(min-width: 768px){.sd-container-md,.sd-container-sm,.sd-container{max-width:720px}}@media(min-width: 992px){.sd-container-lg,.sd-container-md,.sd-container-sm,.sd-container{max-width:960px}}@media(min-width: 1200px){.sd-container-xl,.sd-container-lg,.sd-container-md,.sd-container-sm,.sd-container{max-width:1140px}}.sd-row{--sd-gutter-x: 1.5rem;--sd-gutter-y: 0;display:-ms-flexbox;display:flex;-ms-flex-wrap:wrap;flex-wrap:wrap;margin-top:calc(var(--sd-gutter-y) * -1);margin-right:calc(var(--sd-gutter-x) * -0.5);margin-left:calc(var(--sd-gutter-x) * -0.5)}.sd-row>*{box-sizing:border-box;flex-shrink:0;width:100%;max-width:100%;padding-right:calc(var(--sd-gutter-x) * 0.5);padding-left:calc(var(--sd-gutter-x) * 0.5);margin-top:var(--sd-gutter-y)}.sd-col{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-auto>*{flex:0 0 auto;width:auto}.sd-row-cols-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}@media(min-width: 576px){.sd-col-sm{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-sm-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-sm-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-sm-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-sm-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-sm-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-sm-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-sm-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-sm-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-sm-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-sm-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-sm-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-sm-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-sm-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}@media(min-width: 768px){.sd-col-md{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-md-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-md-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-md-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-md-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-md-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-md-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-md-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-md-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-md-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-md-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-md-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-md-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-md-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}@media(min-width: 992px){.sd-col-lg{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-lg-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-lg-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-lg-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-lg-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-lg-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-lg-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-lg-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-lg-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-lg-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-lg-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-lg-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-lg-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-lg-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}@media(min-width: 1200px){.sd-col-xl{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-xl-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-xl-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-xl-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-xl-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-xl-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-xl-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-xl-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-xl-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-xl-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-xl-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-xl-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-xl-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-xl-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}.sd-col-auto{flex:0 0 auto;-ms-flex:0 0 auto;width:auto}.sd-col-1{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}.sd-col-2{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-col-3{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-col-4{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-col-5{flex:0 0 auto;-ms-flex:0 0 auto;width:41.6666666667%}.sd-col-6{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-col-7{flex:0 0 auto;-ms-flex:0 0 auto;width:58.3333333333%}.sd-col-8{flex:0 0 auto;-ms-flex:0 0 auto;width:66.6666666667%}.sd-col-9{flex:0 0 auto;-ms-flex:0 0 auto;width:75%}.sd-col-10{flex:0 0 auto;-ms-flex:0 0 auto;width:83.3333333333%}.sd-col-11{flex:0 0 auto;-ms-flex:0 0 auto;width:91.6666666667%}.sd-col-12{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-g-0,.sd-gy-0{--sd-gutter-y: 0}.sd-g-0,.sd-gx-0{--sd-gutter-x: 0}.sd-g-1,.sd-gy-1{--sd-gutter-y: 0.25rem}.sd-g-1,.sd-gx-1{--sd-gutter-x: 0.25rem}.sd-g-2,.sd-gy-2{--sd-gutter-y: 0.5rem}.sd-g-2,.sd-gx-2{--sd-gutter-x: 0.5rem}.sd-g-3,.sd-gy-3{--sd-gutter-y: 1rem}.sd-g-3,.sd-gx-3{--sd-gutter-x: 1rem}.sd-g-4,.sd-gy-4{--sd-gutter-y: 1.5rem}.sd-g-4,.sd-gx-4{--sd-gutter-x: 1.5rem}.sd-g-5,.sd-gy-5{--sd-gutter-y: 3rem}.sd-g-5,.sd-gx-5{--sd-gutter-x: 3rem}@media(min-width: 576px){.sd-col-sm-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-sm-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-sm-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-sm-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-sm-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-sm-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-sm-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-sm-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-sm-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-sm-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-sm-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-sm-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-sm-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-sm-0,.sd-gy-sm-0{--sd-gutter-y: 0}.sd-g-sm-0,.sd-gx-sm-0{--sd-gutter-x: 0}.sd-g-sm-1,.sd-gy-sm-1{--sd-gutter-y: 0.25rem}.sd-g-sm-1,.sd-gx-sm-1{--sd-gutter-x: 0.25rem}.sd-g-sm-2,.sd-gy-sm-2{--sd-gutter-y: 0.5rem}.sd-g-sm-2,.sd-gx-sm-2{--sd-gutter-x: 0.5rem}.sd-g-sm-3,.sd-gy-sm-3{--sd-gutter-y: 1rem}.sd-g-sm-3,.sd-gx-sm-3{--sd-gutter-x: 1rem}.sd-g-sm-4,.sd-gy-sm-4{--sd-gutter-y: 1.5rem}.sd-g-sm-4,.sd-gx-sm-4{--sd-gutter-x: 1.5rem}.sd-g-sm-5,.sd-gy-sm-5{--sd-gutter-y: 3rem}.sd-g-sm-5,.sd-gx-sm-5{--sd-gutter-x: 3rem}}@media(min-width: 768px){.sd-col-md-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-md-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-md-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-md-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-md-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-md-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-md-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-md-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-md-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-md-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-md-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-md-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-md-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-md-0,.sd-gy-md-0{--sd-gutter-y: 0}.sd-g-md-0,.sd-gx-md-0{--sd-gutter-x: 0}.sd-g-md-1,.sd-gy-md-1{--sd-gutter-y: 0.25rem}.sd-g-md-1,.sd-gx-md-1{--sd-gutter-x: 0.25rem}.sd-g-md-2,.sd-gy-md-2{--sd-gutter-y: 0.5rem}.sd-g-md-2,.sd-gx-md-2{--sd-gutter-x: 0.5rem}.sd-g-md-3,.sd-gy-md-3{--sd-gutter-y: 1rem}.sd-g-md-3,.sd-gx-md-3{--sd-gutter-x: 1rem}.sd-g-md-4,.sd-gy-md-4{--sd-gutter-y: 1.5rem}.sd-g-md-4,.sd-gx-md-4{--sd-gutter-x: 1.5rem}.sd-g-md-5,.sd-gy-md-5{--sd-gutter-y: 3rem}.sd-g-md-5,.sd-gx-md-5{--sd-gutter-x: 3rem}}@media(min-width: 992px){.sd-col-lg-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-lg-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-lg-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-lg-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-lg-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-lg-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-lg-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-lg-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-lg-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-lg-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-lg-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-lg-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-lg-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-lg-0,.sd-gy-lg-0{--sd-gutter-y: 0}.sd-g-lg-0,.sd-gx-lg-0{--sd-gutter-x: 0}.sd-g-lg-1,.sd-gy-lg-1{--sd-gutter-y: 0.25rem}.sd-g-lg-1,.sd-gx-lg-1{--sd-gutter-x: 0.25rem}.sd-g-lg-2,.sd-gy-lg-2{--sd-gutter-y: 0.5rem}.sd-g-lg-2,.sd-gx-lg-2{--sd-gutter-x: 0.5rem}.sd-g-lg-3,.sd-gy-lg-3{--sd-gutter-y: 1rem}.sd-g-lg-3,.sd-gx-lg-3{--sd-gutter-x: 1rem}.sd-g-lg-4,.sd-gy-lg-4{--sd-gutter-y: 1.5rem}.sd-g-lg-4,.sd-gx-lg-4{--sd-gutter-x: 1.5rem}.sd-g-lg-5,.sd-gy-lg-5{--sd-gutter-y: 3rem}.sd-g-lg-5,.sd-gx-lg-5{--sd-gutter-x: 3rem}}@media(min-width: 1200px){.sd-col-xl-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-xl-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-xl-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-xl-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-xl-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-xl-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-xl-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-xl-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-xl-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-xl-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-xl-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-xl-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-xl-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-xl-0,.sd-gy-xl-0{--sd-gutter-y: 0}.sd-g-xl-0,.sd-gx-xl-0{--sd-gutter-x: 0}.sd-g-xl-1,.sd-gy-xl-1{--sd-gutter-y: 0.25rem}.sd-g-xl-1,.sd-gx-xl-1{--sd-gutter-x: 0.25rem}.sd-g-xl-2,.sd-gy-xl-2{--sd-gutter-y: 0.5rem}.sd-g-xl-2,.sd-gx-xl-2{--sd-gutter-x: 0.5rem}.sd-g-xl-3,.sd-gy-xl-3{--sd-gutter-y: 1rem}.sd-g-xl-3,.sd-gx-xl-3{--sd-gutter-x: 1rem}.sd-g-xl-4,.sd-gy-xl-4{--sd-gutter-y: 1.5rem}.sd-g-xl-4,.sd-gx-xl-4{--sd-gutter-x: 1.5rem}.sd-g-xl-5,.sd-gy-xl-5{--sd-gutter-y: 3rem}.sd-g-xl-5,.sd-gx-xl-5{--sd-gutter-x: 3rem}}.sd-flex-row-reverse{flex-direction:row-reverse !important}details.sd-dropdown{position:relative}details.sd-dropdown .sd-summary-title{font-weight:700;padding-right:3em !important;-moz-user-select:none;-ms-user-select:none;-webkit-user-select:none;user-select:none}details.sd-dropdown:hover{cursor:pointer}details.sd-dropdown .sd-summary-content{cursor:default}details.sd-dropdown summary{list-style:none;padding:1em}details.sd-dropdown summary .sd-octicon.no-title{vertical-align:middle}details.sd-dropdown[open] summary .sd-octicon.no-title{visibility:hidden}details.sd-dropdown summary::-webkit-details-marker{display:none}details.sd-dropdown summary:focus{outline:none}details.sd-dropdown .sd-summary-icon{margin-right:.5em}details.sd-dropdown .sd-summary-icon svg{opacity:.8}details.sd-dropdown summary:hover .sd-summary-up svg,details.sd-dropdown summary:hover .sd-summary-down svg{opacity:1;transform:scale(1.1)}details.sd-dropdown .sd-summary-up svg,details.sd-dropdown .sd-summary-down svg{display:block;opacity:.6}details.sd-dropdown .sd-summary-up,details.sd-dropdown .sd-summary-down{pointer-events:none;position:absolute;right:1em;top:1em}details.sd-dropdown[open]>.sd-summary-title .sd-summary-down{visibility:hidden}details.sd-dropdown:not([open])>.sd-summary-title .sd-summary-up{visibility:hidden}details.sd-dropdown:not([open]).sd-card{border:none}details.sd-dropdown:not([open])>.sd-card-header{border:1px solid var(--sd-color-card-border);border-radius:.25rem}details.sd-dropdown.sd-fade-in[open] summary~*{-moz-animation:sd-fade-in .5s ease-in-out;-webkit-animation:sd-fade-in .5s ease-in-out;animation:sd-fade-in .5s ease-in-out}details.sd-dropdown.sd-fade-in-slide-down[open] summary~*{-moz-animation:sd-fade-in .5s ease-in-out,sd-slide-down .5s ease-in-out;-webkit-animation:sd-fade-in .5s ease-in-out,sd-slide-down .5s ease-in-out;animation:sd-fade-in .5s ease-in-out,sd-slide-down .5s ease-in-out}.sd-col>.sd-dropdown{width:100%}.sd-summary-content>.sd-tab-set:first-child{margin-top:0}@keyframes sd-fade-in{0%{opacity:0}100%{opacity:1}}@keyframes sd-slide-down{0%{transform:translate(0, -10px)}100%{transform:translate(0, 0)}}.sd-tab-set{border-radius:.125rem;display:flex;flex-wrap:wrap;margin:1em 0;position:relative}.sd-tab-set>input{opacity:0;position:absolute}.sd-tab-set>input:checked+label{border-color:var(--sd-color-tabs-underline-active);color:var(--sd-color-tabs-label-active)}.sd-tab-set>input:checked+label+.sd-tab-content{display:block}.sd-tab-set>input:not(:checked)+label:hover{color:var(--sd-color-tabs-label-hover);border-color:var(--sd-color-tabs-underline-hover)}.sd-tab-set>input:focus+label{outline-style:auto}.sd-tab-set>input:not(.focus-visible)+label{outline:none;-webkit-tap-highlight-color:transparent}.sd-tab-set>label{border-bottom:.125rem solid transparent;margin-bottom:0;color:var(--sd-color-tabs-label-inactive);border-color:var(--sd-color-tabs-underline-inactive);cursor:pointer;font-size:var(--sd-fontsize-tabs-label);font-weight:700;padding:1em 1.25em .5em;transition:color 250ms;width:auto;z-index:1}html .sd-tab-set>label:hover{color:var(--sd-color-tabs-label-active)}.sd-col>.sd-tab-set{width:100%}.sd-tab-content{box-shadow:0 -0.0625rem var(--sd-color-tabs-overline),0 .0625rem var(--sd-color-tabs-underline);display:none;order:99;padding-bottom:.75rem;padding-top:.75rem;width:100%}.sd-tab-content>:first-child{margin-top:0 !important}.sd-tab-content>:last-child{margin-bottom:0 !important}.sd-tab-content>.sd-tab-set{margin:0}.sd-sphinx-override,.sd-sphinx-override *{-moz-box-sizing:border-box;-webkit-box-sizing:border-box;box-sizing:border-box}.sd-sphinx-override p{margin-top:0}:root{--sd-color-primary: #007bff;--sd-color-secondary: #6c757d;--sd-color-success: #28a745;--sd-color-info: #17a2b8;--sd-color-warning: #f0b37e;--sd-color-danger: #dc3545;--sd-color-light: #f8f9fa;--sd-color-muted: #6c757d;--sd-color-dark: #212529;--sd-color-black: black;--sd-color-white: white;--sd-color-primary-highlight: #0069d9;--sd-color-secondary-highlight: #5c636a;--sd-color-success-highlight: #228e3b;--sd-color-info-highlight: #148a9c;--sd-color-warning-highlight: #cc986b;--sd-color-danger-highlight: #bb2d3b;--sd-color-light-highlight: #d3d4d5;--sd-color-muted-highlight: #5c636a;--sd-color-dark-highlight: #1c1f23;--sd-color-black-highlight: black;--sd-color-white-highlight: #d9d9d9;--sd-color-primary-text: #fff;--sd-color-secondary-text: #fff;--sd-color-success-text: #fff;--sd-color-info-text: #fff;--sd-color-warning-text: #212529;--sd-color-danger-text: #fff;--sd-color-light-text: #212529;--sd-color-muted-text: #fff;--sd-color-dark-text: #fff;--sd-color-black-text: #fff;--sd-color-white-text: #212529;--sd-color-shadow: rgba(0, 0, 0, 0.15);--sd-color-card-border: rgba(0, 0, 0, 0.125);--sd-color-card-border-hover: hsla(231, 99%, 66%, 1);--sd-color-card-background: transparent;--sd-color-card-text: inherit;--sd-color-card-header: transparent;--sd-color-card-footer: transparent;--sd-color-tabs-label-active: hsla(231, 99%, 66%, 1);--sd-color-tabs-label-hover: hsla(231, 99%, 66%, 1);--sd-color-tabs-label-inactive: hsl(0, 0%, 66%);--sd-color-tabs-underline-active: hsla(231, 99%, 66%, 1);--sd-color-tabs-underline-hover: rgba(178, 206, 245, 0.62);--sd-color-tabs-underline-inactive: transparent;--sd-color-tabs-overline: rgb(222, 222, 222);--sd-color-tabs-underline: rgb(222, 222, 222);--sd-fontsize-tabs-label: 1rem}
diff --git a/_sphinx_design_static/design-tabs.js b/_sphinx_design_static/design-tabs.js
index 36b38cf0..a869cf55 100755
--- a/_sphinx_design_static/design-tabs.js
+++ b/_sphinx_design_static/design-tabs.js
@@ -1,27 +1,27 @@
-var sd_labels_by_text = {};
-
-function ready() {
- const li = document.getElementsByClassName("sd-tab-label");
- for (const label of li) {
- syncId = label.getAttribute("data-sync-id");
- if (syncId) {
- label.onclick = onLabelClick;
- if (!sd_labels_by_text[syncId]) {
- sd_labels_by_text[syncId] = [];
- }
- sd_labels_by_text[syncId].push(label);
- }
- }
-}
-
-function onLabelClick() {
- // Activate other inputs with the same sync id.
- syncId = this.getAttribute("data-sync-id");
- for (label of sd_labels_by_text[syncId]) {
- if (label === this) continue;
- label.previousElementSibling.checked = true;
- }
- window.localStorage.setItem("sphinx-design-last-tab", syncId);
-}
-
-document.addEventListener("DOMContentLoaded", ready, false);
+var sd_labels_by_text = {};
+
+function ready() {
+ const li = document.getElementsByClassName("sd-tab-label");
+ for (const label of li) {
+ syncId = label.getAttribute("data-sync-id");
+ if (syncId) {
+ label.onclick = onLabelClick;
+ if (!sd_labels_by_text[syncId]) {
+ sd_labels_by_text[syncId] = [];
+ }
+ sd_labels_by_text[syncId].push(label);
+ }
+ }
+}
+
+function onLabelClick() {
+ // Activate other inputs with the same sync id.
+ syncId = this.getAttribute("data-sync-id");
+ for (label of sd_labels_by_text[syncId]) {
+ if (label === this) continue;
+ label.previousElementSibling.checked = true;
+ }
+ window.localStorage.setItem("sphinx-design-last-tab", syncId);
+}
+
+document.addEventListener("DOMContentLoaded", ready, false);
diff --git a/_static/basic.css b/_static/basic.css
index 61778181..d613287e 100755
--- a/_static/basic.css
+++ b/_static/basic.css
@@ -236,16 +236,6 @@ div.body p, div.body dd, div.body li, div.body blockquote {
a.headerlink {
visibility: hidden;
}
-a.brackets:before,
-span.brackets > a:before{
- content: "[";
-}
-
-a.brackets:after,
-span.brackets > a:after {
- content: "]";
-}
-
h1:hover > a.headerlink,
h2:hover > a.headerlink,
@@ -334,11 +324,17 @@ aside.sidebar {
p.sidebar-title {
font-weight: bold;
}
+nav.contents,
+aside.topic,
+
div.admonition, div.topic, blockquote {
clear: left;
}
/* -- topics ---------------------------------------------------------------- */
+nav.contents,
+aside.topic,
+
div.topic {
border: 1px solid #ccc;
padding: 7px;
@@ -377,6 +373,9 @@ div.body p.centered {
div.sidebar > :last-child,
aside.sidebar > :last-child,
+nav.contents > :last-child,
+aside.topic > :last-child,
+
div.topic > :last-child,
div.admonition > :last-child {
margin-bottom: 0;
@@ -384,6 +383,9 @@ div.admonition > :last-child {
div.sidebar::after,
aside.sidebar::after,
+nav.contents::after,
+aside.topic::after,
+
div.topic::after,
div.admonition::after,
blockquote::after {
diff --git a/_static/css/blank.css b/_static/css/blank.css
index 8a686ec7..80c40fb4 100755
--- a/_static/css/blank.css
+++ b/_static/css/blank.css
@@ -1,2 +1,2 @@
-/* This file is intentionally left blank to override the stylesheet of the
+/* This file is intentionally left blank to override the stylesheet of the
parent theme via theme.conf. The parent style we import directly in theme.css */
\ No newline at end of file
diff --git a/_static/css/index.73d71520a4ca3b99cfee5594769eaaae.css b/_static/css/index.73d71520a4ca3b99cfee5594769eaaae.css
index 948a8bf1..dfa47cdc 100755
--- a/_static/css/index.73d71520a4ca3b99cfee5594769eaaae.css
+++ b/_static/css/index.73d71520a4ca3b99cfee5594769eaaae.css
@@ -1,6 +1,6 @@
-/*!
- * Bootstrap v4.5.0 (https://getbootstrap.com/)
- * Copyright 2011-2020 The Bootstrap Authors
- * Copyright 2011-2020 Twitter, Inc.
- * Licensed under MIT (https://github.com/twbs/bootstrap/blob/master/LICENSE)
+/*!
+ * Bootstrap v4.5.0 (https://getbootstrap.com/)
+ * Copyright 2011-2020 The Bootstrap Authors
+ * Copyright 2011-2020 Twitter, Inc.
+ * Licensed under MIT (https://github.com/twbs/bootstrap/blob/master/LICENSE)
*/:root{--blue:#007bff;--indigo:#6610f2;--purple:#6f42c1;--pink:#e83e8c;--red:#dc3545;--orange:#fd7e14;--yellow:#ffc107;--green:#28a745;--teal:#20c997;--cyan:#17a2b8;--white:#fff;--gray:#6c757d;--gray-dark:#343a40;--primary:#007bff;--secondary:#6c757d;--success:#28a745;--info:#17a2b8;--warning:#ffc107;--danger:#dc3545;--light:#f8f9fa;--dark:#343a40;--breakpoint-xs:0;--breakpoint-sm:576px;--breakpoint-md:768px;--breakpoint-lg:992px;--breakpoint-xl:1200px;--font-family-sans-serif:-apple-system,BlinkMacSystemFont,"Segoe UI",Roboto,"Helvetica Neue",Arial,"Noto Sans",sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol","Noto Color Emoji";--font-family-monospace:SFMono-Regular,Menlo,Monaco,Consolas,"Liberation Mono","Courier New",monospace}*,:after,:before{box-sizing:border-box}html{font-family:sans-serif;line-height:1.15;-webkit-text-size-adjust:100%;-webkit-tap-highlight-color:rgba(0,0,0,0)}article,aside,figcaption,figure,footer,header,hgroup,main,nav,section{display:block}body{margin:0;font-family:-apple-system,BlinkMacSystemFont,Segoe UI,Roboto,Helvetica Neue,Arial,Noto Sans,sans-serif,Apple Color Emoji,Segoe UI Emoji,Segoe UI Symbol,Noto Color Emoji;font-size:1rem;line-height:1.5;color:#212529;text-align:left}[tabindex="-1"]:focus:not(:focus-visible){outline:0!important}hr{box-sizing:content-box;height:0;overflow:visible}h1,h2,h3,h4,h5,h6{margin-top:0;margin-bottom:.5rem}p{margin-top:0;margin-bottom:1rem}abbr[data-original-title],abbr[title]{text-decoration:underline;text-decoration:underline dotted;cursor:help;border-bottom:0;text-decoration-skip-ink:none}address{font-style:normal;line-height:inherit}address,dl,ol,ul{margin-bottom:1rem}dl,ol,ul{margin-top:0}ol ol,ol ul,ul ol,ul ul{margin-bottom:0}dt{font-weight:700}dd{margin-bottom:.5rem;margin-left:0}blockquote{margin:0 0 1rem}b,strong{font-weight:bolder}small{font-size:80%}sub,sup{position:relative;font-size:75%;line-height:0;vertical-align:baseline}sub{bottom:-.25em}sup{top:-.5em}a{color:#007bff;background-color:transparent}a:hover{color:#0056b3}a:not([href]),a:not([href]):hover{color:inherit;text-decoration:none}code,kbd,pre,samp{font-family:SFMono-Regular,Menlo,Monaco,Consolas,Liberation Mono,Courier New,monospace;font-size:1em}pre{margin-top:0;margin-bottom:1rem;overflow:auto;-ms-overflow-style:scrollbar}figure{margin:0 0 1rem}img{border-style:none}img,svg{vertical-align:middle}svg{overflow:hidden}table{border-collapse:collapse}caption{padding-top:.75rem;padding-bottom:.75rem;color:#6c757d;text-align:left;caption-side:bottom}th{text-align:inherit}label{display:inline-block;margin-bottom:.5rem}button{border-radius:0}button:focus{outline:1px dotted;outline:5px auto -webkit-focus-ring-color}button,input,optgroup,select,textarea{margin:0;font-family:inherit;font-size:inherit;line-height:inherit}button,input{overflow:visible}button,select{text-transform:none}[role=button]{cursor:pointer}select{word-wrap:normal}[type=button],[type=reset],[type=submit],button{-webkit-appearance:button}[type=button]:not(:disabled),[type=reset]:not(:disabled),[type=submit]:not(:disabled),button:not(:disabled){cursor:pointer}[type=button]::-moz-focus-inner,[type=reset]::-moz-focus-inner,[type=submit]::-moz-focus-inner,button::-moz-focus-inner{padding:0;border-style:none}input[type=checkbox],input[type=radio]{box-sizing:border-box;padding:0}textarea{overflow:auto;resize:vertical}fieldset{min-width:0;padding:0;margin:0;border:0}legend{display:block;width:100%;max-width:100%;padding:0;margin-bottom:.5rem;font-size:1.5rem;line-height:inherit;color:inherit;white-space:normal}progress{vertical-align:baseline}[type=number]::-webkit-inner-spin-button,[type=number]::-webkit-outer-spin-button{height:auto}[type=search]{outline-offset:-2px;-webkit-appearance:none}[type=search]::-webkit-search-decoration{-webkit-appearance:none}::-webkit-file-upload-button{font:inherit;-webkit-appearance:button}output{display:inline-block}summary{display:list-item;cursor:pointer}template{display:none}[hidden]{display:none!important}.h1,.h2,.h3,.h4,.h5,.h6,h1,h2,h3,h4,h5,h6{margin-bottom:.5rem;font-weight:500;line-height:1.2}.h1,h1{font-size:2.5rem}.h2,h2{font-size:2rem}.h3,h3{font-size:1.75rem}.h4,h4{font-size:1.5rem}.h5,h5{font-size:1.25rem}.h6,h6{font-size:1rem}.lead{font-size:1.25rem;font-weight:300}.display-1{font-size:6rem}.display-1,.display-2{font-weight:300;line-height:1.2}.display-2{font-size:5.5rem}.display-3{font-size:4.5rem}.display-3,.display-4{font-weight:300;line-height:1.2}.display-4{font-size:3.5rem}hr{margin-top:1rem;margin-bottom:1rem;border-top:1px solid rgba(0,0,0,.1)}.small,small{font-size:80%;font-weight:400}.mark,mark{padding:.2em;background-color:#fcf8e3}.list-inline,.list-unstyled{padding-left:0;list-style:none}.list-inline-item{display:inline-block}.list-inline-item:not(:last-child){margin-right:.5rem}.initialism{font-size:90%;text-transform:uppercase}.blockquote{margin-bottom:1rem;font-size:1.25rem}.blockquote-footer{display:block;font-size:80%;color:#6c757d}.blockquote-footer:before{content:"\2014\00A0"}.img-fluid,.img-thumbnail{max-width:100%;height:auto}.img-thumbnail{padding:.25rem;background-color:#fff;border:1px solid #dee2e6;border-radius:.25rem}.figure{display:inline-block}.figure-img{margin-bottom:.5rem;line-height:1}.figure-caption{font-size:90%;color:#6c757d}code{font-size:87.5%;color:#e83e8c;word-wrap:break-word}a>code{color:inherit}kbd{padding:.2rem .4rem;font-size:87.5%;color:#fff;background-color:#212529;border-radius:.2rem}kbd kbd{padding:0;font-size:100%;font-weight:700}pre{display:block;font-size:87.5%;color:#212529}pre code{font-size:inherit;color:inherit;word-break:normal}.pre-scrollable{max-height:340px;overflow-y:scroll}.container{width:100%;padding-right:15px;padding-left:15px;margin-right:auto;margin-left:auto}@media (min-width:576px){.container{max-width:540px}}@media (min-width:768px){.container{max-width:720px}}@media (min-width:992px){.container{max-width:960px}}@media (min-width:1200px){.container{max-width:1400px}}.container-fluid,.container-lg,.container-md,.container-sm,.container-xl{width:100%;padding-right:15px;padding-left:15px;margin-right:auto;margin-left:auto}@media (min-width:576px){.container,.container-sm{max-width:540px}}@media (min-width:768px){.container,.container-md,.container-sm{max-width:720px}}@media (min-width:992px){.container,.container-lg,.container-md,.container-sm{max-width:960px}}@media (min-width:1200px){.container,.container-lg,.container-md,.container-sm,.container-xl{max-width:1400px}}.row{display:flex;flex-wrap:wrap;margin-right:-15px;margin-left:-15px}.no-gutters{margin-right:0;margin-left:0}.no-gutters>.col,.no-gutters>[class*=col-]{padding-right:0;padding-left:0}.col,.col-1,.col-2,.col-3,.col-4,.col-5,.col-6,.col-7,.col-8,.col-9,.col-10,.col-11,.col-12,.col-auto,.col-lg,.col-lg-1,.col-lg-2,.col-lg-3,.col-lg-4,.col-lg-5,.col-lg-6,.col-lg-7,.col-lg-8,.col-lg-9,.col-lg-10,.col-lg-11,.col-lg-12,.col-lg-auto,.col-md,.col-md-1,.col-md-2,.col-md-3,.col-md-4,.col-md-5,.col-md-6,.col-md-7,.col-md-8,.col-md-9,.col-md-10,.col-md-11,.col-md-12,.col-md-auto,.col-sm,.col-sm-1,.col-sm-2,.col-sm-3,.col-sm-4,.col-sm-5,.col-sm-6,.col-sm-7,.col-sm-8,.col-sm-9,.col-sm-10,.col-sm-11,.col-sm-12,.col-sm-auto,.col-xl,.col-xl-1,.col-xl-2,.col-xl-3,.col-xl-4,.col-xl-5,.col-xl-6,.col-xl-7,.col-xl-8,.col-xl-9,.col-xl-10,.col-xl-11,.col-xl-12,.col-xl-auto{position:relative;width:100%;padding-right:15px;padding-left:15px}.col{flex-basis:0;flex-grow:1;min-width:0;max-width:100%}.row-cols-1>*{flex:0 0 100%;max-width:100%}.row-cols-2>*{flex:0 0 50%;max-width:50%}.row-cols-3>*{flex:0 0 33.33333%;max-width:33.33333%}.row-cols-4>*{flex:0 0 25%;max-width:25%}.row-cols-5>*{flex:0 0 20%;max-width:20%}.row-cols-6>*{flex:0 0 16.66667%;max-width:16.66667%}.col-auto{flex:0 0 auto;width:auto;max-width:100%}.col-1{flex:0 0 8.33333%;max-width:8.33333%}.col-2{flex:0 0 16.66667%;max-width:16.66667%}.col-3{flex:0 0 25%;max-width:25%}.col-4{flex:0 0 33.33333%;max-width:33.33333%}.col-5{flex:0 0 41.66667%;max-width:41.66667%}.col-6{flex:0 0 50%;max-width:50%}.col-7{flex:0 0 58.33333%;max-width:58.33333%}.col-8{flex:0 0 66.66667%;max-width:66.66667%}.col-9{flex:0 0 75%;max-width:75%}.col-10{flex:0 0 83.33333%;max-width:83.33333%}.col-11{flex:0 0 91.66667%;max-width:91.66667%}.col-12{flex:0 0 100%;max-width:100%}.order-first{order:-1}.order-last{order:13}.order-0{order:0}.order-1{order:1}.order-2{order:2}.order-3{order:3}.order-4{order:4}.order-5{order:5}.order-6{order:6}.order-7{order:7}.order-8{order:8}.order-9{order:9}.order-10{order:10}.order-11{order:11}.order-12{order:12}.offset-1{margin-left:8.33333%}.offset-2{margin-left:16.66667%}.offset-3{margin-left:25%}.offset-4{margin-left:33.33333%}.offset-5{margin-left:41.66667%}.offset-6{margin-left:50%}.offset-7{margin-left:58.33333%}.offset-8{margin-left:66.66667%}.offset-9{margin-left:75%}.offset-10{margin-left:83.33333%}.offset-11{margin-left:91.66667%}@media (min-width:576px){.col-sm{flex-basis:0;flex-grow:1;min-width:0;max-width:100%}.row-cols-sm-1>*{flex:0 0 100%;max-width:100%}.row-cols-sm-2>*{flex:0 0 50%;max-width:50%}.row-cols-sm-3>*{flex:0 0 33.33333%;max-width:33.33333%}.row-cols-sm-4>*{flex:0 0 25%;max-width:25%}.row-cols-sm-5>*{flex:0 0 20%;max-width:20%}.row-cols-sm-6>*{flex:0 0 16.66667%;max-width:16.66667%}.col-sm-auto{flex:0 0 auto;width:auto;max-width:100%}.col-sm-1{flex:0 0 8.33333%;max-width:8.33333%}.col-sm-2{flex:0 0 16.66667%;max-width:16.66667%}.col-sm-3{flex:0 0 25%;max-width:25%}.col-sm-4{flex:0 0 33.33333%;max-width:33.33333%}.col-sm-5{flex:0 0 41.66667%;max-width:41.66667%}.col-sm-6{flex:0 0 50%;max-width:50%}.col-sm-7{flex:0 0 58.33333%;max-width:58.33333%}.col-sm-8{flex:0 0 66.66667%;max-width:66.66667%}.col-sm-9{flex:0 0 75%;max-width:75%}.col-sm-10{flex:0 0 83.33333%;max-width:83.33333%}.col-sm-11{flex:0 0 91.66667%;max-width:91.66667%}.col-sm-12{flex:0 0 100%;max-width:100%}.order-sm-first{order:-1}.order-sm-last{order:13}.order-sm-0{order:0}.order-sm-1{order:1}.order-sm-2{order:2}.order-sm-3{order:3}.order-sm-4{order:4}.order-sm-5{order:5}.order-sm-6{order:6}.order-sm-7{order:7}.order-sm-8{order:8}.order-sm-9{order:9}.order-sm-10{order:10}.order-sm-11{order:11}.order-sm-12{order:12}.offset-sm-0{margin-left:0}.offset-sm-1{margin-left:8.33333%}.offset-sm-2{margin-left:16.66667%}.offset-sm-3{margin-left:25%}.offset-sm-4{margin-left:33.33333%}.offset-sm-5{margin-left:41.66667%}.offset-sm-6{margin-left:50%}.offset-sm-7{margin-left:58.33333%}.offset-sm-8{margin-left:66.66667%}.offset-sm-9{margin-left:75%}.offset-sm-10{margin-left:83.33333%}.offset-sm-11{margin-left:91.66667%}}@media (min-width:768px){.col-md{flex-basis:0;flex-grow:1;min-width:0;max-width:100%}.row-cols-md-1>*{flex:0 0 100%;max-width:100%}.row-cols-md-2>*{flex:0 0 50%;max-width:50%}.row-cols-md-3>*{flex:0 0 33.33333%;max-width:33.33333%}.row-cols-md-4>*{flex:0 0 25%;max-width:25%}.row-cols-md-5>*{flex:0 0 20%;max-width:20%}.row-cols-md-6>*{flex:0 0 16.66667%;max-width:16.66667%}.col-md-auto{flex:0 0 auto;width:auto;max-width:100%}.col-md-1{flex:0 0 8.33333%;max-width:8.33333%}.col-md-2{flex:0 0 16.66667%;max-width:16.66667%}.col-md-3{flex:0 0 25%;max-width:25%}.col-md-4{flex:0 0 33.33333%;max-width:33.33333%}.col-md-5{flex:0 0 41.66667%;max-width:41.66667%}.col-md-6{flex:0 0 50%;max-width:50%}.col-md-7{flex:0 0 58.33333%;max-width:58.33333%}.col-md-8{flex:0 0 66.66667%;max-width:66.66667%}.col-md-9{flex:0 0 75%;max-width:75%}.col-md-10{flex:0 0 83.33333%;max-width:83.33333%}.col-md-11{flex:0 0 91.66667%;max-width:91.66667%}.col-md-12{flex:0 0 100%;max-width:100%}.order-md-first{order:-1}.order-md-last{order:13}.order-md-0{order:0}.order-md-1{order:1}.order-md-2{order:2}.order-md-3{order:3}.order-md-4{order:4}.order-md-5{order:5}.order-md-6{order:6}.order-md-7{order:7}.order-md-8{order:8}.order-md-9{order:9}.order-md-10{order:10}.order-md-11{order:11}.order-md-12{order:12}.offset-md-0{margin-left:0}.offset-md-1{margin-left:8.33333%}.offset-md-2{margin-left:16.66667%}.offset-md-3{margin-left:25%}.offset-md-4{margin-left:33.33333%}.offset-md-5{margin-left:41.66667%}.offset-md-6{margin-left:50%}.offset-md-7{margin-left:58.33333%}.offset-md-8{margin-left:66.66667%}.offset-md-9{margin-left:75%}.offset-md-10{margin-left:83.33333%}.offset-md-11{margin-left:91.66667%}}@media (min-width:992px){.col-lg{flex-basis:0;flex-grow:1;min-width:0;max-width:100%}.row-cols-lg-1>*{flex:0 0 100%;max-width:100%}.row-cols-lg-2>*{flex:0 0 50%;max-width:50%}.row-cols-lg-3>*{flex:0 0 33.33333%;max-width:33.33333%}.row-cols-lg-4>*{flex:0 0 25%;max-width:25%}.row-cols-lg-5>*{flex:0 0 20%;max-width:20%}.row-cols-lg-6>*{flex:0 0 16.66667%;max-width:16.66667%}.col-lg-auto{flex:0 0 auto;width:auto;max-width:100%}.col-lg-1{flex:0 0 8.33333%;max-width:8.33333%}.col-lg-2{flex:0 0 16.66667%;max-width:16.66667%}.col-lg-3{flex:0 0 25%;max-width:25%}.col-lg-4{flex:0 0 33.33333%;max-width:33.33333%}.col-lg-5{flex:0 0 41.66667%;max-width:41.66667%}.col-lg-6{flex:0 0 50%;max-width:50%}.col-lg-7{flex:0 0 58.33333%;max-width:58.33333%}.col-lg-8{flex:0 0 66.66667%;max-width:66.66667%}.col-lg-9{flex:0 0 75%;max-width:75%}.col-lg-10{flex:0 0 83.33333%;max-width:83.33333%}.col-lg-11{flex:0 0 91.66667%;max-width:91.66667%}.col-lg-12{flex:0 0 100%;max-width:100%}.order-lg-first{order:-1}.order-lg-last{order:13}.order-lg-0{order:0}.order-lg-1{order:1}.order-lg-2{order:2}.order-lg-3{order:3}.order-lg-4{order:4}.order-lg-5{order:5}.order-lg-6{order:6}.order-lg-7{order:7}.order-lg-8{order:8}.order-lg-9{order:9}.order-lg-10{order:10}.order-lg-11{order:11}.order-lg-12{order:12}.offset-lg-0{margin-left:0}.offset-lg-1{margin-left:8.33333%}.offset-lg-2{margin-left:16.66667%}.offset-lg-3{margin-left:25%}.offset-lg-4{margin-left:33.33333%}.offset-lg-5{margin-left:41.66667%}.offset-lg-6{margin-left:50%}.offset-lg-7{margin-left:58.33333%}.offset-lg-8{margin-left:66.66667%}.offset-lg-9{margin-left:75%}.offset-lg-10{margin-left:83.33333%}.offset-lg-11{margin-left:91.66667%}}@media (min-width:1200px){.col-xl{flex-basis:0;flex-grow:1;min-width:0;max-width:100%}.row-cols-xl-1>*{flex:0 0 100%;max-width:100%}.row-cols-xl-2>*{flex:0 0 50%;max-width:50%}.row-cols-xl-3>*{flex:0 0 33.33333%;max-width:33.33333%}.row-cols-xl-4>*{flex:0 0 25%;max-width:25%}.row-cols-xl-5>*{flex:0 0 20%;max-width:20%}.row-cols-xl-6>*{flex:0 0 16.66667%;max-width:16.66667%}.col-xl-auto{flex:0 0 auto;width:auto;max-width:100%}.col-xl-1{flex:0 0 8.33333%;max-width:8.33333%}.col-xl-2{flex:0 0 16.66667%;max-width:16.66667%}.col-xl-3{flex:0 0 25%;max-width:25%}.col-xl-4{flex:0 0 33.33333%;max-width:33.33333%}.col-xl-5{flex:0 0 41.66667%;max-width:41.66667%}.col-xl-6{flex:0 0 50%;max-width:50%}.col-xl-7{flex:0 0 58.33333%;max-width:58.33333%}.col-xl-8{flex:0 0 66.66667%;max-width:66.66667%}.col-xl-9{flex:0 0 75%;max-width:75%}.col-xl-10{flex:0 0 83.33333%;max-width:83.33333%}.col-xl-11{flex:0 0 91.66667%;max-width:91.66667%}.col-xl-12{flex:0 0 100%;max-width:100%}.order-xl-first{order:-1}.order-xl-last{order:13}.order-xl-0{order:0}.order-xl-1{order:1}.order-xl-2{order:2}.order-xl-3{order:3}.order-xl-4{order:4}.order-xl-5{order:5}.order-xl-6{order:6}.order-xl-7{order:7}.order-xl-8{order:8}.order-xl-9{order:9}.order-xl-10{order:10}.order-xl-11{order:11}.order-xl-12{order:12}.offset-xl-0{margin-left:0}.offset-xl-1{margin-left:8.33333%}.offset-xl-2{margin-left:16.66667%}.offset-xl-3{margin-left:25%}.offset-xl-4{margin-left:33.33333%}.offset-xl-5{margin-left:41.66667%}.offset-xl-6{margin-left:50%}.offset-xl-7{margin-left:58.33333%}.offset-xl-8{margin-left:66.66667%}.offset-xl-9{margin-left:75%}.offset-xl-10{margin-left:83.33333%}.offset-xl-11{margin-left:91.66667%}}.table{width:100%;margin-bottom:1rem;color:#212529}.table td,.table th{padding:.75rem;vertical-align:top;border-top:1px solid #dee2e6}.table thead th{vertical-align:bottom;border-bottom:2px solid #dee2e6}.table tbody+tbody{border-top:2px solid #dee2e6}.table-sm td,.table-sm th{padding:.3rem}.table-bordered,.table-bordered td,.table-bordered th{border:1px solid #dee2e6}.table-bordered thead td,.table-bordered thead th{border-bottom-width:2px}.table-borderless tbody+tbody,.table-borderless td,.table-borderless th,.table-borderless thead th{border:0}.table-striped tbody tr:nth-of-type(odd){background-color:rgba(0,0,0,.05)}.table-hover tbody tr:hover{color:#212529;background-color:rgba(0,0,0,.075)}.table-primary,.table-primary>td,.table-primary>th{background-color:#b8daff}.table-primary tbody+tbody,.table-primary td,.table-primary th,.table-primary thead th{border-color:#7abaff}.table-hover .table-primary:hover,.table-hover .table-primary:hover>td,.table-hover .table-primary:hover>th{background-color:#9fcdff}.table-secondary,.table-secondary>td,.table-secondary>th{background-color:#d6d8db}.table-secondary tbody+tbody,.table-secondary td,.table-secondary th,.table-secondary thead th{border-color:#b3b7bb}.table-hover .table-secondary:hover,.table-hover .table-secondary:hover>td,.table-hover .table-secondary:hover>th{background-color:#c8cbcf}.table-success,.table-success>td,.table-success>th{background-color:#c3e6cb}.table-success tbody+tbody,.table-success td,.table-success th,.table-success thead th{border-color:#8fd19e}.table-hover .table-success:hover,.table-hover .table-success:hover>td,.table-hover .table-success:hover>th{background-color:#b1dfbb}.table-info,.table-info>td,.table-info>th{background-color:#bee5eb}.table-info tbody+tbody,.table-info td,.table-info th,.table-info thead th{border-color:#86cfda}.table-hover .table-info:hover,.table-hover .table-info:hover>td,.table-hover .table-info:hover>th{background-color:#abdde5}.table-warning,.table-warning>td,.table-warning>th{background-color:#ffeeba}.table-warning tbody+tbody,.table-warning td,.table-warning th,.table-warning thead th{border-color:#ffdf7e}.table-hover .table-warning:hover,.table-hover .table-warning:hover>td,.table-hover .table-warning:hover>th{background-color:#ffe8a1}.table-danger,.table-danger>td,.table-danger>th{background-color:#f5c6cb}.table-danger tbody+tbody,.table-danger td,.table-danger th,.table-danger thead th{border-color:#ed969e}.table-hover .table-danger:hover,.table-hover .table-danger:hover>td,.table-hover .table-danger:hover>th{background-color:#f1b0b7}.table-light,.table-light>td,.table-light>th{background-color:#fdfdfe}.table-light tbody+tbody,.table-light td,.table-light th,.table-light thead th{border-color:#fbfcfc}.table-hover .table-light:hover,.table-hover .table-light:hover>td,.table-hover .table-light:hover>th{background-color:#ececf6}.table-dark,.table-dark>td,.table-dark>th{background-color:#c6c8ca}.table-dark tbody+tbody,.table-dark td,.table-dark th,.table-dark thead th{border-color:#95999c}.table-hover .table-dark:hover,.table-hover .table-dark:hover>td,.table-hover .table-dark:hover>th{background-color:#b9bbbe}.table-active,.table-active>td,.table-active>th,.table-hover .table-active:hover,.table-hover .table-active:hover>td,.table-hover .table-active:hover>th{background-color:rgba(0,0,0,.075)}.table .thead-dark th{color:#fff;background-color:#343a40;border-color:#454d55}.table .thead-light th{color:#495057;background-color:#e9ecef;border-color:#dee2e6}.table-dark{color:#fff;background-color:#343a40}.table-dark td,.table-dark th,.table-dark thead th{border-color:#454d55}.table-dark.table-bordered{border:0}.table-dark.table-striped tbody tr:nth-of-type(odd){background-color:hsla(0,0%,100%,.05)}.table-dark.table-hover tbody tr:hover{color:#fff;background-color:hsla(0,0%,100%,.075)}@media (max-width:575.98px){.table-responsive-sm{display:block;width:100%;overflow-x:auto;-webkit-overflow-scrolling:touch}.table-responsive-sm>.table-bordered{border:0}}@media (max-width:767.98px){.table-responsive-md{display:block;width:100%;overflow-x:auto;-webkit-overflow-scrolling:touch}.table-responsive-md>.table-bordered{border:0}}@media (max-width:991.98px){.table-responsive-lg{display:block;width:100%;overflow-x:auto;-webkit-overflow-scrolling:touch}.table-responsive-lg>.table-bordered{border:0}}@media (max-width:1199.98px){.table-responsive-xl{display:block;width:100%;overflow-x:auto;-webkit-overflow-scrolling:touch}.table-responsive-xl>.table-bordered{border:0}}.table-responsive{display:block;width:100%;overflow-x:auto;-webkit-overflow-scrolling:touch}.table-responsive>.table-bordered{border:0}.form-control{display:block;width:100%;height:calc(1.5em + .75rem + 2px);padding:.375rem .75rem;font-size:1rem;font-weight:400;line-height:1.5;color:#495057;background-color:#fff;background-clip:padding-box;border:1px solid #ced4da;border-radius:.25rem;transition:border-color .15s ease-in-out,box-shadow .15s ease-in-out}@media (prefers-reduced-motion:reduce){.form-control{transition:none}}.form-control::-ms-expand{background-color:transparent;border:0}.form-control:-moz-focusring{color:transparent;text-shadow:0 0 0 #495057}.form-control:focus{color:#495057;background-color:#fff;border-color:#80bdff;outline:0;box-shadow:0 0 0 .2rem rgba(0,123,255,.25)}.form-control::placeholder{color:#6c757d;opacity:1}.form-control:disabled,.form-control[readonly]{background-color:#e9ecef;opacity:1}input[type=date].form-control,input[type=datetime-local].form-control,input[type=month].form-control,input[type=time].form-control{appearance:none}select.form-control:focus::-ms-value{color:#495057;background-color:#fff}.form-control-file,.form-control-range{display:block;width:100%}.col-form-label{padding-top:calc(.375rem + 1px);padding-bottom:calc(.375rem + 1px);margin-bottom:0;font-size:inherit;line-height:1.5}.col-form-label-lg{padding-top:calc(.5rem + 1px);padding-bottom:calc(.5rem + 1px);font-size:1.25rem;line-height:1.5}.col-form-label-sm{padding-top:calc(.25rem + 1px);padding-bottom:calc(.25rem + 1px);font-size:.875rem;line-height:1.5}.form-control-plaintext{display:block;width:100%;padding:.375rem 0;margin-bottom:0;font-size:1rem;line-height:1.5;color:#212529;background-color:transparent;border:solid transparent;border-width:1px 0}.form-control-plaintext.form-control-lg,.form-control-plaintext.form-control-sm{padding-right:0;padding-left:0}.form-control-sm{height:calc(1.5em + .5rem + 2px);padding:.25rem .5rem;font-size:.875rem;line-height:1.5;border-radius:.2rem}.form-control-lg{height:calc(1.5em + 1rem + 2px);padding:.5rem 1rem;font-size:1.25rem;line-height:1.5;border-radius:.3rem}select.form-control[multiple],select.form-control[size],textarea.form-control{height:auto}.form-group{margin-bottom:1rem}.form-text{display:block;margin-top:.25rem}.form-row{display:flex;flex-wrap:wrap;margin-right:-5px;margin-left:-5px}.form-row>.col,.form-row>[class*=col-]{padding-right:5px;padding-left:5px}.form-check{position:relative;display:block;padding-left:1.25rem}.form-check-input{position:absolute;margin-top:.3rem;margin-left:-1.25rem}.form-check-input:disabled~.form-check-label,.form-check-input[disabled]~.form-check-label{color:#6c757d}.form-check-label{margin-bottom:0}.form-check-inline{display:inline-flex;align-items:center;padding-left:0;margin-right:.75rem}.form-check-inline .form-check-input{position:static;margin-top:0;margin-right:.3125rem;margin-left:0}.valid-feedback{display:none;width:100%;margin-top:.25rem;font-size:80%;color:#28a745}.valid-tooltip{position:absolute;top:100%;z-index:5;display:none;max-width:100%;padding:.25rem .5rem;margin-top:.1rem;font-size:.875rem;line-height:1.5;color:#fff;background-color:rgba(40,167,69,.9);border-radius:.25rem}.is-valid~.valid-feedback,.is-valid~.valid-tooltip,.was-validated :valid~.valid-feedback,.was-validated :valid~.valid-tooltip{display:block}.form-control.is-valid,.was-validated .form-control:valid{border-color:#28a745;padding-right:calc(1.5em + .75rem);background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='8' height='8'%3E%3Cpath fill='%2328a745' d='M2.3 6.73L.6 4.53c-.4-1.04.46-1.4 1.1-.8l1.1 1.4 3.4-3.8c.6-.63 1.6-.27 1.2.7l-4 4.6c-.43.5-.8.4-1.1.1z'/%3E%3C/svg%3E");background-repeat:no-repeat;background-position:right calc(.375em + .1875rem) center;background-size:calc(.75em + .375rem) calc(.75em + .375rem)}.form-control.is-valid:focus,.was-validated .form-control:valid:focus{border-color:#28a745;box-shadow:0 0 0 .2rem rgba(40,167,69,.25)}.was-validated textarea.form-control:valid,textarea.form-control.is-valid{padding-right:calc(1.5em + .75rem);background-position:top calc(.375em + .1875rem) right calc(.375em + .1875rem)}.custom-select.is-valid,.was-validated .custom-select:valid{border-color:#28a745;padding-right:calc(.75em + 2.3125rem);background:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='4' height='5'%3E%3Cpath fill='%23343a40' d='M2 0L0 2h4zm0 5L0 3h4z'/%3E%3C/svg%3E") no-repeat right .75rem center/8px 10px,url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='8' height='8'%3E%3Cpath fill='%2328a745' d='M2.3 6.73L.6 4.53c-.4-1.04.46-1.4 1.1-.8l1.1 1.4 3.4-3.8c.6-.63 1.6-.27 1.2.7l-4 4.6c-.43.5-.8.4-1.1.1z'/%3E%3C/svg%3E") #fff no-repeat center right 1.75rem/calc(.75em + .375rem) calc(.75em + .375rem)}.custom-select.is-valid:focus,.was-validated .custom-select:valid:focus{border-color:#28a745;box-shadow:0 0 0 .2rem rgba(40,167,69,.25)}.form-check-input.is-valid~.form-check-label,.was-validated .form-check-input:valid~.form-check-label{color:#28a745}.form-check-input.is-valid~.valid-feedback,.form-check-input.is-valid~.valid-tooltip,.was-validated .form-check-input:valid~.valid-feedback,.was-validated .form-check-input:valid~.valid-tooltip{display:block}.custom-control-input.is-valid~.custom-control-label,.was-validated .custom-control-input:valid~.custom-control-label{color:#28a745}.custom-control-input.is-valid~.custom-control-label:before,.was-validated .custom-control-input:valid~.custom-control-label:before{border-color:#28a745}.custom-control-input.is-valid:checked~.custom-control-label:before,.was-validated .custom-control-input:valid:checked~.custom-control-label:before{border-color:#34ce57;background-color:#34ce57}.custom-control-input.is-valid:focus~.custom-control-label:before,.was-validated .custom-control-input:valid:focus~.custom-control-label:before{box-shadow:0 0 0 .2rem rgba(40,167,69,.25)}.custom-control-input.is-valid:focus:not(:checked)~.custom-control-label:before,.custom-file-input.is-valid~.custom-file-label,.was-validated .custom-control-input:valid:focus:not(:checked)~.custom-control-label:before,.was-validated .custom-file-input:valid~.custom-file-label{border-color:#28a745}.custom-file-input.is-valid:focus~.custom-file-label,.was-validated .custom-file-input:valid:focus~.custom-file-label{border-color:#28a745;box-shadow:0 0 0 .2rem rgba(40,167,69,.25)}.invalid-feedback{display:none;width:100%;margin-top:.25rem;font-size:80%;color:#dc3545}.invalid-tooltip{position:absolute;top:100%;z-index:5;display:none;max-width:100%;padding:.25rem .5rem;margin-top:.1rem;font-size:.875rem;line-height:1.5;color:#fff;background-color:rgba(220,53,69,.9);border-radius:.25rem}.is-invalid~.invalid-feedback,.is-invalid~.invalid-tooltip,.was-validated :invalid~.invalid-feedback,.was-validated :invalid~.invalid-tooltip{display:block}.form-control.is-invalid,.was-validated .form-control:invalid{border-color:#dc3545;padding-right:calc(1.5em + .75rem);background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='12' height='12' fill='none' stroke='%23dc3545'%3E%3Ccircle cx='6' cy='6' r='4.5'/%3E%3Cpath stroke-linejoin='round' d='M5.8 3.6h.4L6 6.5z'/%3E%3Ccircle cx='6' cy='8.2' r='.6' fill='%23dc3545' stroke='none'/%3E%3C/svg%3E");background-repeat:no-repeat;background-position:right calc(.375em + .1875rem) center;background-size:calc(.75em + .375rem) calc(.75em + .375rem)}.form-control.is-invalid:focus,.was-validated .form-control:invalid:focus{border-color:#dc3545;box-shadow:0 0 0 .2rem rgba(220,53,69,.25)}.was-validated textarea.form-control:invalid,textarea.form-control.is-invalid{padding-right:calc(1.5em + .75rem);background-position:top calc(.375em + .1875rem) right calc(.375em + .1875rem)}.custom-select.is-invalid,.was-validated .custom-select:invalid{border-color:#dc3545;padding-right:calc(.75em + 2.3125rem);background:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='4' height='5'%3E%3Cpath fill='%23343a40' d='M2 0L0 2h4zm0 5L0 3h4z'/%3E%3C/svg%3E") no-repeat right .75rem center/8px 10px,url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='12' height='12' fill='none' stroke='%23dc3545'%3E%3Ccircle cx='6' cy='6' r='4.5'/%3E%3Cpath stroke-linejoin='round' d='M5.8 3.6h.4L6 6.5z'/%3E%3Ccircle cx='6' cy='8.2' r='.6' fill='%23dc3545' stroke='none'/%3E%3C/svg%3E") #fff no-repeat center right 1.75rem/calc(.75em + .375rem) calc(.75em + .375rem)}.custom-select.is-invalid:focus,.was-validated .custom-select:invalid:focus{border-color:#dc3545;box-shadow:0 0 0 .2rem rgba(220,53,69,.25)}.form-check-input.is-invalid~.form-check-label,.was-validated .form-check-input:invalid~.form-check-label{color:#dc3545}.form-check-input.is-invalid~.invalid-feedback,.form-check-input.is-invalid~.invalid-tooltip,.was-validated .form-check-input:invalid~.invalid-feedback,.was-validated .form-check-input:invalid~.invalid-tooltip{display:block}.custom-control-input.is-invalid~.custom-control-label,.was-validated .custom-control-input:invalid~.custom-control-label{color:#dc3545}.custom-control-input.is-invalid~.custom-control-label:before,.was-validated .custom-control-input:invalid~.custom-control-label:before{border-color:#dc3545}.custom-control-input.is-invalid:checked~.custom-control-label:before,.was-validated .custom-control-input:invalid:checked~.custom-control-label:before{border-color:#e4606d;background-color:#e4606d}.custom-control-input.is-invalid:focus~.custom-control-label:before,.was-validated .custom-control-input:invalid:focus~.custom-control-label:before{box-shadow:0 0 0 .2rem rgba(220,53,69,.25)}.custom-control-input.is-invalid:focus:not(:checked)~.custom-control-label:before,.custom-file-input.is-invalid~.custom-file-label,.was-validated .custom-control-input:invalid:focus:not(:checked)~.custom-control-label:before,.was-validated .custom-file-input:invalid~.custom-file-label{border-color:#dc3545}.custom-file-input.is-invalid:focus~.custom-file-label,.was-validated .custom-file-input:invalid:focus~.custom-file-label{border-color:#dc3545;box-shadow:0 0 0 .2rem rgba(220,53,69,.25)}.form-inline{display:flex;flex-flow:row wrap;align-items:center}.form-inline .form-check{width:100%}@media (min-width:576px){.form-inline label{justify-content:center}.form-inline .form-group,.form-inline label{display:flex;align-items:center;margin-bottom:0}.form-inline .form-group{flex:0 0 auto;flex-flow:row wrap}.form-inline .form-control{display:inline-block;width:auto;vertical-align:middle}.form-inline .form-control-plaintext{display:inline-block}.form-inline .custom-select,.form-inline .input-group{width:auto}.form-inline .form-check{display:flex;align-items:center;justify-content:center;width:auto;padding-left:0}.form-inline .form-check-input{position:relative;flex-shrink:0;margin-top:0;margin-right:.25rem;margin-left:0}.form-inline .custom-control{align-items:center;justify-content:center}.form-inline .custom-control-label{margin-bottom:0}}.btn{display:inline-block;font-weight:400;color:#212529;text-align:center;vertical-align:middle;user-select:none;background-color:transparent;border:1px solid transparent;padding:.375rem .75rem;font-size:1rem;line-height:1.5;border-radius:.25rem;transition:color .15s ease-in-out,background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out}@media (prefers-reduced-motion:reduce){.btn{transition:none}}.btn:hover{color:#212529;text-decoration:none}.btn.focus,.btn:focus{outline:0;box-shadow:0 0 0 .2rem rgba(0,123,255,.25)}.btn.disabled,.btn:disabled{opacity:.65}.btn:not(:disabled):not(.disabled){cursor:pointer}a.btn.disabled,fieldset:disabled a.btn{pointer-events:none}.btn-primary{color:#fff;background-color:#007bff;border-color:#007bff}.btn-primary.focus,.btn-primary:focus,.btn-primary:hover{color:#fff;background-color:#0069d9;border-color:#0062cc}.btn-primary.focus,.btn-primary:focus{box-shadow:0 0 0 .2rem rgba(38,143,255,.5)}.btn-primary.disabled,.btn-primary:disabled{color:#fff;background-color:#007bff;border-color:#007bff}.btn-primary:not(:disabled):not(.disabled).active,.btn-primary:not(:disabled):not(.disabled):active,.show>.btn-primary.dropdown-toggle{color:#fff;background-color:#0062cc;border-color:#005cbf}.btn-primary:not(:disabled):not(.disabled).active:focus,.btn-primary:not(:disabled):not(.disabled):active:focus,.show>.btn-primary.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(38,143,255,.5)}.btn-secondary{color:#fff;background-color:#6c757d;border-color:#6c757d}.btn-secondary.focus,.btn-secondary:focus,.btn-secondary:hover{color:#fff;background-color:#5a6268;border-color:#545b62}.btn-secondary.focus,.btn-secondary:focus{box-shadow:0 0 0 .2rem rgba(130,138,145,.5)}.btn-secondary.disabled,.btn-secondary:disabled{color:#fff;background-color:#6c757d;border-color:#6c757d}.btn-secondary:not(:disabled):not(.disabled).active,.btn-secondary:not(:disabled):not(.disabled):active,.show>.btn-secondary.dropdown-toggle{color:#fff;background-color:#545b62;border-color:#4e555b}.btn-secondary:not(:disabled):not(.disabled).active:focus,.btn-secondary:not(:disabled):not(.disabled):active:focus,.show>.btn-secondary.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(130,138,145,.5)}.btn-success{color:#fff;background-color:#28a745;border-color:#28a745}.btn-success.focus,.btn-success:focus,.btn-success:hover{color:#fff;background-color:#218838;border-color:#1e7e34}.btn-success.focus,.btn-success:focus{box-shadow:0 0 0 .2rem rgba(72,180,97,.5)}.btn-success.disabled,.btn-success:disabled{color:#fff;background-color:#28a745;border-color:#28a745}.btn-success:not(:disabled):not(.disabled).active,.btn-success:not(:disabled):not(.disabled):active,.show>.btn-success.dropdown-toggle{color:#fff;background-color:#1e7e34;border-color:#1c7430}.btn-success:not(:disabled):not(.disabled).active:focus,.btn-success:not(:disabled):not(.disabled):active:focus,.show>.btn-success.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(72,180,97,.5)}.btn-info{color:#fff;background-color:#17a2b8;border-color:#17a2b8}.btn-info.focus,.btn-info:focus,.btn-info:hover{color:#fff;background-color:#138496;border-color:#117a8b}.btn-info.focus,.btn-info:focus{box-shadow:0 0 0 .2rem rgba(58,176,195,.5)}.btn-info.disabled,.btn-info:disabled{color:#fff;background-color:#17a2b8;border-color:#17a2b8}.btn-info:not(:disabled):not(.disabled).active,.btn-info:not(:disabled):not(.disabled):active,.show>.btn-info.dropdown-toggle{color:#fff;background-color:#117a8b;border-color:#10707f}.btn-info:not(:disabled):not(.disabled).active:focus,.btn-info:not(:disabled):not(.disabled):active:focus,.show>.btn-info.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(58,176,195,.5)}.btn-warning{color:#212529;background-color:#ffc107;border-color:#ffc107}.btn-warning.focus,.btn-warning:focus,.btn-warning:hover{color:#212529;background-color:#e0a800;border-color:#d39e00}.btn-warning.focus,.btn-warning:focus{box-shadow:0 0 0 .2rem rgba(222,170,12,.5)}.btn-warning.disabled,.btn-warning:disabled{color:#212529;background-color:#ffc107;border-color:#ffc107}.btn-warning:not(:disabled):not(.disabled).active,.btn-warning:not(:disabled):not(.disabled):active,.show>.btn-warning.dropdown-toggle{color:#212529;background-color:#d39e00;border-color:#c69500}.btn-warning:not(:disabled):not(.disabled).active:focus,.btn-warning:not(:disabled):not(.disabled):active:focus,.show>.btn-warning.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(222,170,12,.5)}.btn-danger{color:#fff;background-color:#dc3545;border-color:#dc3545}.btn-danger.focus,.btn-danger:focus,.btn-danger:hover{color:#fff;background-color:#c82333;border-color:#bd2130}.btn-danger.focus,.btn-danger:focus{box-shadow:0 0 0 .2rem rgba(225,83,97,.5)}.btn-danger.disabled,.btn-danger:disabled{color:#fff;background-color:#dc3545;border-color:#dc3545}.btn-danger:not(:disabled):not(.disabled).active,.btn-danger:not(:disabled):not(.disabled):active,.show>.btn-danger.dropdown-toggle{color:#fff;background-color:#bd2130;border-color:#b21f2d}.btn-danger:not(:disabled):not(.disabled).active:focus,.btn-danger:not(:disabled):not(.disabled):active:focus,.show>.btn-danger.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(225,83,97,.5)}.btn-light{color:#212529;background-color:#f8f9fa;border-color:#f8f9fa}.btn-light.focus,.btn-light:focus,.btn-light:hover{color:#212529;background-color:#e2e6ea;border-color:#dae0e5}.btn-light.focus,.btn-light:focus{box-shadow:0 0 0 .2rem rgba(216,217,219,.5)}.btn-light.disabled,.btn-light:disabled{color:#212529;background-color:#f8f9fa;border-color:#f8f9fa}.btn-light:not(:disabled):not(.disabled).active,.btn-light:not(:disabled):not(.disabled):active,.show>.btn-light.dropdown-toggle{color:#212529;background-color:#dae0e5;border-color:#d3d9df}.btn-light:not(:disabled):not(.disabled).active:focus,.btn-light:not(:disabled):not(.disabled):active:focus,.show>.btn-light.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(216,217,219,.5)}.btn-dark{color:#fff;background-color:#343a40;border-color:#343a40}.btn-dark.focus,.btn-dark:focus,.btn-dark:hover{color:#fff;background-color:#23272b;border-color:#1d2124}.btn-dark.focus,.btn-dark:focus{box-shadow:0 0 0 .2rem rgba(82,88,93,.5)}.btn-dark.disabled,.btn-dark:disabled{color:#fff;background-color:#343a40;border-color:#343a40}.btn-dark:not(:disabled):not(.disabled).active,.btn-dark:not(:disabled):not(.disabled):active,.show>.btn-dark.dropdown-toggle{color:#fff;background-color:#1d2124;border-color:#171a1d}.btn-dark:not(:disabled):not(.disabled).active:focus,.btn-dark:not(:disabled):not(.disabled):active:focus,.show>.btn-dark.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(82,88,93,.5)}.btn-outline-primary{color:#007bff;border-color:#007bff}.btn-outline-primary:hover{color:#fff;background-color:#007bff;border-color:#007bff}.btn-outline-primary.focus,.btn-outline-primary:focus{box-shadow:0 0 0 .2rem rgba(0,123,255,.5)}.btn-outline-primary.disabled,.btn-outline-primary:disabled{color:#007bff;background-color:transparent}.btn-outline-primary:not(:disabled):not(.disabled).active,.btn-outline-primary:not(:disabled):not(.disabled):active,.show>.btn-outline-primary.dropdown-toggle{color:#fff;background-color:#007bff;border-color:#007bff}.btn-outline-primary:not(:disabled):not(.disabled).active:focus,.btn-outline-primary:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-primary.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(0,123,255,.5)}.btn-outline-secondary{color:#6c757d;border-color:#6c757d}.btn-outline-secondary:hover{color:#fff;background-color:#6c757d;border-color:#6c757d}.btn-outline-secondary.focus,.btn-outline-secondary:focus{box-shadow:0 0 0 .2rem rgba(108,117,125,.5)}.btn-outline-secondary.disabled,.btn-outline-secondary:disabled{color:#6c757d;background-color:transparent}.btn-outline-secondary:not(:disabled):not(.disabled).active,.btn-outline-secondary:not(:disabled):not(.disabled):active,.show>.btn-outline-secondary.dropdown-toggle{color:#fff;background-color:#6c757d;border-color:#6c757d}.btn-outline-secondary:not(:disabled):not(.disabled).active:focus,.btn-outline-secondary:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-secondary.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(108,117,125,.5)}.btn-outline-success{color:#28a745;border-color:#28a745}.btn-outline-success:hover{color:#fff;background-color:#28a745;border-color:#28a745}.btn-outline-success.focus,.btn-outline-success:focus{box-shadow:0 0 0 .2rem rgba(40,167,69,.5)}.btn-outline-success.disabled,.btn-outline-success:disabled{color:#28a745;background-color:transparent}.btn-outline-success:not(:disabled):not(.disabled).active,.btn-outline-success:not(:disabled):not(.disabled):active,.show>.btn-outline-success.dropdown-toggle{color:#fff;background-color:#28a745;border-color:#28a745}.btn-outline-success:not(:disabled):not(.disabled).active:focus,.btn-outline-success:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-success.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(40,167,69,.5)}.btn-outline-info{color:#17a2b8;border-color:#17a2b8}.btn-outline-info:hover{color:#fff;background-color:#17a2b8;border-color:#17a2b8}.btn-outline-info.focus,.btn-outline-info:focus{box-shadow:0 0 0 .2rem rgba(23,162,184,.5)}.btn-outline-info.disabled,.btn-outline-info:disabled{color:#17a2b8;background-color:transparent}.btn-outline-info:not(:disabled):not(.disabled).active,.btn-outline-info:not(:disabled):not(.disabled):active,.show>.btn-outline-info.dropdown-toggle{color:#fff;background-color:#17a2b8;border-color:#17a2b8}.btn-outline-info:not(:disabled):not(.disabled).active:focus,.btn-outline-info:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-info.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(23,162,184,.5)}.btn-outline-warning{color:#ffc107;border-color:#ffc107}.btn-outline-warning:hover{color:#212529;background-color:#ffc107;border-color:#ffc107}.btn-outline-warning.focus,.btn-outline-warning:focus{box-shadow:0 0 0 .2rem rgba(255,193,7,.5)}.btn-outline-warning.disabled,.btn-outline-warning:disabled{color:#ffc107;background-color:transparent}.btn-outline-warning:not(:disabled):not(.disabled).active,.btn-outline-warning:not(:disabled):not(.disabled):active,.show>.btn-outline-warning.dropdown-toggle{color:#212529;background-color:#ffc107;border-color:#ffc107}.btn-outline-warning:not(:disabled):not(.disabled).active:focus,.btn-outline-warning:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-warning.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(255,193,7,.5)}.btn-outline-danger{color:#dc3545;border-color:#dc3545}.btn-outline-danger:hover{color:#fff;background-color:#dc3545;border-color:#dc3545}.btn-outline-danger.focus,.btn-outline-danger:focus{box-shadow:0 0 0 .2rem rgba(220,53,69,.5)}.btn-outline-danger.disabled,.btn-outline-danger:disabled{color:#dc3545;background-color:transparent}.btn-outline-danger:not(:disabled):not(.disabled).active,.btn-outline-danger:not(:disabled):not(.disabled):active,.show>.btn-outline-danger.dropdown-toggle{color:#fff;background-color:#dc3545;border-color:#dc3545}.btn-outline-danger:not(:disabled):not(.disabled).active:focus,.btn-outline-danger:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-danger.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(220,53,69,.5)}.btn-outline-light{color:#f8f9fa;border-color:#f8f9fa}.btn-outline-light:hover{color:#212529;background-color:#f8f9fa;border-color:#f8f9fa}.btn-outline-light.focus,.btn-outline-light:focus{box-shadow:0 0 0 .2rem rgba(248,249,250,.5)}.btn-outline-light.disabled,.btn-outline-light:disabled{color:#f8f9fa;background-color:transparent}.btn-outline-light:not(:disabled):not(.disabled).active,.btn-outline-light:not(:disabled):not(.disabled):active,.show>.btn-outline-light.dropdown-toggle{color:#212529;background-color:#f8f9fa;border-color:#f8f9fa}.btn-outline-light:not(:disabled):not(.disabled).active:focus,.btn-outline-light:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-light.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(248,249,250,.5)}.btn-outline-dark{color:#343a40;border-color:#343a40}.btn-outline-dark:hover{color:#fff;background-color:#343a40;border-color:#343a40}.btn-outline-dark.focus,.btn-outline-dark:focus{box-shadow:0 0 0 .2rem rgba(52,58,64,.5)}.btn-outline-dark.disabled,.btn-outline-dark:disabled{color:#343a40;background-color:transparent}.btn-outline-dark:not(:disabled):not(.disabled).active,.btn-outline-dark:not(:disabled):not(.disabled):active,.show>.btn-outline-dark.dropdown-toggle{color:#fff;background-color:#343a40;border-color:#343a40}.btn-outline-dark:not(:disabled):not(.disabled).active:focus,.btn-outline-dark:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-dark.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(52,58,64,.5)}.btn-link{font-weight:400;color:#007bff;text-decoration:none}.btn-link:hover{color:#0056b3}.btn-link.focus,.btn-link:focus,.btn-link:hover{text-decoration:underline}.btn-link.disabled,.btn-link:disabled{color:#6c757d;pointer-events:none}.btn-group-lg>.btn,.btn-lg{padding:.5rem 1rem;font-size:1.25rem;line-height:1.5;border-radius:.3rem}.btn-group-sm>.btn,.btn-sm{padding:.25rem .5rem;font-size:.875rem;line-height:1.5;border-radius:.2rem}.btn-block{display:block;width:100%}.btn-block+.btn-block{margin-top:.5rem}input[type=button].btn-block,input[type=reset].btn-block,input[type=submit].btn-block{width:100%}.fade{transition:opacity .15s linear}@media (prefers-reduced-motion:reduce){.fade{transition:none}}.fade:not(.show){opacity:0}.collapse:not(.show){display:none}.collapsing{position:relative;height:0;overflow:hidden;transition:height .35s ease}@media (prefers-reduced-motion:reduce){.collapsing{transition:none}}.dropdown,.dropleft,.dropright,.dropup{position:relative}.dropdown-toggle{white-space:nowrap}.dropdown-toggle:after{display:inline-block;margin-left:.255em;vertical-align:.255em;content:"";border-top:.3em solid;border-right:.3em solid transparent;border-bottom:0;border-left:.3em solid transparent}.dropdown-toggle:empty:after{margin-left:0}.dropdown-menu{position:absolute;top:100%;left:0;z-index:1000;display:none;float:left;min-width:10rem;padding:.5rem 0;margin:.125rem 0 0;font-size:1rem;color:#212529;text-align:left;list-style:none;background-color:#fff;background-clip:padding-box;border:1px solid rgba(0,0,0,.15);border-radius:.25rem}.dropdown-menu-left{right:auto;left:0}.dropdown-menu-right{right:0;left:auto}@media (min-width:576px){.dropdown-menu-sm-left{right:auto;left:0}.dropdown-menu-sm-right{right:0;left:auto}}@media (min-width:768px){.dropdown-menu-md-left{right:auto;left:0}.dropdown-menu-md-right{right:0;left:auto}}@media (min-width:992px){.dropdown-menu-lg-left{right:auto;left:0}.dropdown-menu-lg-right{right:0;left:auto}}@media (min-width:1200px){.dropdown-menu-xl-left{right:auto;left:0}.dropdown-menu-xl-right{right:0;left:auto}}.dropup .dropdown-menu{top:auto;bottom:100%;margin-top:0;margin-bottom:.125rem}.dropup .dropdown-toggle:after{display:inline-block;margin-left:.255em;vertical-align:.255em;content:"";border-top:0;border-right:.3em solid transparent;border-bottom:.3em solid;border-left:.3em solid transparent}.dropup .dropdown-toggle:empty:after{margin-left:0}.dropright .dropdown-menu{top:0;right:auto;left:100%;margin-top:0;margin-left:.125rem}.dropright .dropdown-toggle:after{display:inline-block;margin-left:.255em;vertical-align:.255em;content:"";border-top:.3em solid transparent;border-right:0;border-bottom:.3em solid transparent;border-left:.3em solid}.dropright .dropdown-toggle:empty:after{margin-left:0}.dropright .dropdown-toggle:after{vertical-align:0}.dropleft .dropdown-menu{top:0;right:100%;left:auto;margin-top:0;margin-right:.125rem}.dropleft .dropdown-toggle:after{display:inline-block;margin-left:.255em;vertical-align:.255em;content:"";display:none}.dropleft .dropdown-toggle:before{display:inline-block;margin-right:.255em;vertical-align:.255em;content:"";border-top:.3em solid transparent;border-right:.3em solid;border-bottom:.3em solid transparent}.dropleft .dropdown-toggle:empty:after{margin-left:0}.dropleft .dropdown-toggle:before{vertical-align:0}.dropdown-menu[x-placement^=bottom],.dropdown-menu[x-placement^=left],.dropdown-menu[x-placement^=right],.dropdown-menu[x-placement^=top]{right:auto;bottom:auto}.dropdown-divider{height:0;margin:.5rem 0;overflow:hidden;border-top:1px solid #e9ecef}.dropdown-item{display:block;width:100%;padding:.25rem 1.5rem;clear:both;font-weight:400;color:#212529;text-align:inherit;white-space:nowrap;background-color:transparent;border:0}.dropdown-item:focus,.dropdown-item:hover{color:#16181b;text-decoration:none;background-color:#f8f9fa}.dropdown-item.active,.dropdown-item:active{color:#fff;text-decoration:none;background-color:#007bff}.dropdown-item.disabled,.dropdown-item:disabled{color:#6c757d;pointer-events:none;background-color:transparent}.dropdown-menu.show{display:block}.dropdown-header{display:block;padding:.5rem 1.5rem;margin-bottom:0;font-size:.875rem;color:#6c757d;white-space:nowrap}.dropdown-item-text{display:block;padding:.25rem 1.5rem;color:#212529}.btn-group,.btn-group-vertical{position:relative;display:inline-flex;vertical-align:middle}.btn-group-vertical>.btn,.btn-group>.btn{position:relative;flex:1 1 auto}.btn-group-vertical>.btn.active,.btn-group-vertical>.btn:active,.btn-group-vertical>.btn:focus,.btn-group-vertical>.btn:hover,.btn-group>.btn.active,.btn-group>.btn:active,.btn-group>.btn:focus,.btn-group>.btn:hover{z-index:1}.btn-toolbar{display:flex;flex-wrap:wrap;justify-content:flex-start}.btn-toolbar .input-group{width:auto}.btn-group>.btn-group:not(:first-child),.btn-group>.btn:not(:first-child){margin-left:-1px}.btn-group>.btn-group:not(:last-child)>.btn,.btn-group>.btn:not(:last-child):not(.dropdown-toggle){border-top-right-radius:0;border-bottom-right-radius:0}.btn-group>.btn-group:not(:first-child)>.btn,.btn-group>.btn:not(:first-child){border-top-left-radius:0;border-bottom-left-radius:0}.dropdown-toggle-split{padding-right:.5625rem;padding-left:.5625rem}.dropdown-toggle-split:after,.dropright .dropdown-toggle-split:after,.dropup .dropdown-toggle-split:after{margin-left:0}.dropleft .dropdown-toggle-split:before{margin-right:0}.btn-group-sm>.btn+.dropdown-toggle-split,.btn-sm+.dropdown-toggle-split{padding-right:.375rem;padding-left:.375rem}.btn-group-lg>.btn+.dropdown-toggle-split,.btn-lg+.dropdown-toggle-split{padding-right:.75rem;padding-left:.75rem}.btn-group-vertical{flex-direction:column;align-items:flex-start;justify-content:center}.btn-group-vertical>.btn,.btn-group-vertical>.btn-group{width:100%}.btn-group-vertical>.btn-group:not(:first-child),.btn-group-vertical>.btn:not(:first-child){margin-top:-1px}.btn-group-vertical>.btn-group:not(:last-child)>.btn,.btn-group-vertical>.btn:not(:last-child):not(.dropdown-toggle){border-bottom-right-radius:0;border-bottom-left-radius:0}.btn-group-vertical>.btn-group:not(:first-child)>.btn,.btn-group-vertical>.btn:not(:first-child){border-top-left-radius:0;border-top-right-radius:0}.btn-group-toggle>.btn,.btn-group-toggle>.btn-group>.btn{margin-bottom:0}.btn-group-toggle>.btn-group>.btn input[type=checkbox],.btn-group-toggle>.btn-group>.btn input[type=radio],.btn-group-toggle>.btn input[type=checkbox],.btn-group-toggle>.btn input[type=radio]{position:absolute;clip:rect(0,0,0,0);pointer-events:none}.input-group{position:relative;display:flex;flex-wrap:wrap;align-items:stretch;width:100%}.input-group>.custom-file,.input-group>.custom-select,.input-group>.form-control,.input-group>.form-control-plaintext{position:relative;flex:1 1 auto;width:1%;min-width:0;margin-bottom:0}.input-group>.custom-file+.custom-file,.input-group>.custom-file+.custom-select,.input-group>.custom-file+.form-control,.input-group>.custom-select+.custom-file,.input-group>.custom-select+.custom-select,.input-group>.custom-select+.form-control,.input-group>.form-control+.custom-file,.input-group>.form-control+.custom-select,.input-group>.form-control+.form-control,.input-group>.form-control-plaintext+.custom-file,.input-group>.form-control-plaintext+.custom-select,.input-group>.form-control-plaintext+.form-control{margin-left:-1px}.input-group>.custom-file .custom-file-input:focus~.custom-file-label,.input-group>.custom-select:focus,.input-group>.form-control:focus{z-index:3}.input-group>.custom-file .custom-file-input:focus{z-index:4}.input-group>.custom-select:not(:last-child),.input-group>.form-control:not(:last-child){border-top-right-radius:0;border-bottom-right-radius:0}.input-group>.custom-select:not(:first-child),.input-group>.form-control:not(:first-child){border-top-left-radius:0;border-bottom-left-radius:0}.input-group>.custom-file{display:flex;align-items:center}.input-group>.custom-file:not(:last-child) .custom-file-label,.input-group>.custom-file:not(:last-child) .custom-file-label:after{border-top-right-radius:0;border-bottom-right-radius:0}.input-group>.custom-file:not(:first-child) .custom-file-label{border-top-left-radius:0;border-bottom-left-radius:0}.input-group-append,.input-group-prepend{display:flex}.input-group-append .btn,.input-group-prepend .btn{position:relative;z-index:2}.input-group-append .btn:focus,.input-group-prepend .btn:focus{z-index:3}.input-group-append .btn+.btn,.input-group-append .btn+.input-group-text,.input-group-append .input-group-text+.btn,.input-group-append .input-group-text+.input-group-text,.input-group-prepend .btn+.btn,.input-group-prepend .btn+.input-group-text,.input-group-prepend .input-group-text+.btn,.input-group-prepend .input-group-text+.input-group-text{margin-left:-1px}.input-group-prepend{margin-right:-1px}.input-group-append{margin-left:-1px}.input-group-text{display:flex;align-items:center;padding:.375rem .75rem;margin-bottom:0;font-size:1rem;font-weight:400;line-height:1.5;color:#495057;text-align:center;white-space:nowrap;background-color:#e9ecef;border:1px solid #ced4da;border-radius:.25rem}.input-group-text input[type=checkbox],.input-group-text input[type=radio]{margin-top:0}.input-group-lg>.custom-select,.input-group-lg>.form-control:not(textarea){height:calc(1.5em + 1rem + 2px)}.input-group-lg>.custom-select,.input-group-lg>.form-control,.input-group-lg>.input-group-append>.btn,.input-group-lg>.input-group-append>.input-group-text,.input-group-lg>.input-group-prepend>.btn,.input-group-lg>.input-group-prepend>.input-group-text{padding:.5rem 1rem;font-size:1.25rem;line-height:1.5;border-radius:.3rem}.input-group-sm>.custom-select,.input-group-sm>.form-control:not(textarea){height:calc(1.5em + .5rem + 2px)}.input-group-sm>.custom-select,.input-group-sm>.form-control,.input-group-sm>.input-group-append>.btn,.input-group-sm>.input-group-append>.input-group-text,.input-group-sm>.input-group-prepend>.btn,.input-group-sm>.input-group-prepend>.input-group-text{padding:.25rem .5rem;font-size:.875rem;line-height:1.5;border-radius:.2rem}.input-group-lg>.custom-select,.input-group-sm>.custom-select{padding-right:1.75rem}.input-group>.input-group-append:last-child>.btn:not(:last-child):not(.dropdown-toggle),.input-group>.input-group-append:last-child>.input-group-text:not(:last-child),.input-group>.input-group-append:not(:last-child)>.btn,.input-group>.input-group-append:not(:last-child)>.input-group-text,.input-group>.input-group-prepend>.btn,.input-group>.input-group-prepend>.input-group-text{border-top-right-radius:0;border-bottom-right-radius:0}.input-group>.input-group-append>.btn,.input-group>.input-group-append>.input-group-text,.input-group>.input-group-prepend:first-child>.btn:not(:first-child),.input-group>.input-group-prepend:first-child>.input-group-text:not(:first-child),.input-group>.input-group-prepend:not(:first-child)>.btn,.input-group>.input-group-prepend:not(:first-child)>.input-group-text{border-top-left-radius:0;border-bottom-left-radius:0}.custom-control{position:relative;display:block;min-height:1.5rem;padding-left:1.5rem}.custom-control-inline{display:inline-flex;margin-right:1rem}.custom-control-input{position:absolute;left:0;z-index:-1;width:1rem;height:1.25rem;opacity:0}.custom-control-input:checked~.custom-control-label:before{color:#fff;border-color:#007bff;background-color:#007bff}.custom-control-input:focus~.custom-control-label:before{box-shadow:0 0 0 .2rem rgba(0,123,255,.25)}.custom-control-input:focus:not(:checked)~.custom-control-label:before{border-color:#80bdff}.custom-control-input:not(:disabled):active~.custom-control-label:before{color:#fff;background-color:#b3d7ff;border-color:#b3d7ff}.custom-control-input:disabled~.custom-control-label,.custom-control-input[disabled]~.custom-control-label{color:#6c757d}.custom-control-input:disabled~.custom-control-label:before,.custom-control-input[disabled]~.custom-control-label:before{background-color:#e9ecef}.custom-control-label{position:relative;margin-bottom:0;vertical-align:top}.custom-control-label:before{pointer-events:none;background-color:#fff;border:1px solid #adb5bd}.custom-control-label:after,.custom-control-label:before{position:absolute;top:.25rem;left:-1.5rem;display:block;width:1rem;height:1rem;content:""}.custom-control-label:after{background:no-repeat 50%/50% 50%}.custom-checkbox .custom-control-label:before{border-radius:.25rem}.custom-checkbox .custom-control-input:checked~.custom-control-label:after{background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='8' height='8'%3E%3Cpath fill='%23fff' d='M6.564.75l-3.59 3.612-1.538-1.55L0 4.26l2.974 2.99L8 2.193z'/%3E%3C/svg%3E")}.custom-checkbox .custom-control-input:indeterminate~.custom-control-label:before{border-color:#007bff;background-color:#007bff}.custom-checkbox .custom-control-input:indeterminate~.custom-control-label:after{background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='4' height='4'%3E%3Cpath stroke='%23fff' d='M0 2h4'/%3E%3C/svg%3E")}.custom-checkbox .custom-control-input:disabled:checked~.custom-control-label:before{background-color:rgba(0,123,255,.5)}.custom-checkbox .custom-control-input:disabled:indeterminate~.custom-control-label:before{background-color:rgba(0,123,255,.5)}.custom-radio .custom-control-label:before{border-radius:50%}.custom-radio .custom-control-input:checked~.custom-control-label:after{background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='12' height='12' viewBox='-4 -4 8 8'%3E%3Ccircle r='3' fill='%23fff'/%3E%3C/svg%3E")}.custom-radio .custom-control-input:disabled:checked~.custom-control-label:before{background-color:rgba(0,123,255,.5)}.custom-switch{padding-left:2.25rem}.custom-switch .custom-control-label:before{left:-2.25rem;width:1.75rem;pointer-events:all;border-radius:.5rem}.custom-switch .custom-control-label:after{top:calc(.25rem + 2px);left:calc(-2.25rem + 2px);width:calc(1rem - 4px);height:calc(1rem - 4px);background-color:#adb5bd;border-radius:.5rem;transition:transform .15s ease-in-out,background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out}@media (prefers-reduced-motion:reduce){.custom-switch .custom-control-label:after{transition:none}}.custom-switch .custom-control-input:checked~.custom-control-label:after{background-color:#fff;transform:translateX(.75rem)}.custom-switch .custom-control-input:disabled:checked~.custom-control-label:before{background-color:rgba(0,123,255,.5)}.custom-select{display:inline-block;width:100%;height:calc(1.5em + .75rem + 2px);padding:.375rem 1.75rem .375rem .75rem;font-size:1rem;font-weight:400;line-height:1.5;color:#495057;vertical-align:middle;background:#fff url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='4' height='5'%3E%3Cpath fill='%23343a40' d='M2 0L0 2h4zm0 5L0 3h4z'/%3E%3C/svg%3E") no-repeat right .75rem center/8px 10px;border:1px solid #ced4da;border-radius:.25rem;appearance:none}.custom-select:focus{border-color:#80bdff;outline:0;box-shadow:0 0 0 .2rem rgba(0,123,255,.25)}.custom-select:focus::-ms-value{color:#495057;background-color:#fff}.custom-select[multiple],.custom-select[size]:not([size="1"]){height:auto;padding-right:.75rem;background-image:none}.custom-select:disabled{color:#6c757d;background-color:#e9ecef}.custom-select::-ms-expand{display:none}.custom-select:-moz-focusring{color:transparent;text-shadow:0 0 0 #495057}.custom-select-sm{height:calc(1.5em + .5rem + 2px);padding-top:.25rem;padding-bottom:.25rem;padding-left:.5rem;font-size:.875rem}.custom-select-lg{height:calc(1.5em + 1rem + 2px);padding-top:.5rem;padding-bottom:.5rem;padding-left:1rem;font-size:1.25rem}.custom-file{display:inline-block;margin-bottom:0}.custom-file,.custom-file-input{position:relative;width:100%;height:calc(1.5em + .75rem + 2px)}.custom-file-input{z-index:2;margin:0;opacity:0}.custom-file-input:focus~.custom-file-label{border-color:#80bdff;box-shadow:0 0 0 .2rem rgba(0,123,255,.25)}.custom-file-input:disabled~.custom-file-label,.custom-file-input[disabled]~.custom-file-label{background-color:#e9ecef}.custom-file-input:lang(en)~.custom-file-label:after{content:"Browse"}.custom-file-input~.custom-file-label[data-browse]:after{content:attr(data-browse)}.custom-file-label{left:0;z-index:1;height:calc(1.5em + .75rem + 2px);font-weight:400;background-color:#fff;border:1px solid #ced4da;border-radius:.25rem}.custom-file-label,.custom-file-label:after{position:absolute;top:0;right:0;padding:.375rem .75rem;line-height:1.5;color:#495057}.custom-file-label:after{bottom:0;z-index:3;display:block;height:calc(1.5em + .75rem);content:"Browse";background-color:#e9ecef;border-left:inherit;border-radius:0 .25rem .25rem 0}.custom-range{width:100%;height:1.4rem;padding:0;background-color:transparent;appearance:none}.custom-range:focus{outline:none}.custom-range:focus::-webkit-slider-thumb{box-shadow:0 0 0 1px #fff,0 0 0 .2rem rgba(0,123,255,.25)}.custom-range:focus::-moz-range-thumb{box-shadow:0 0 0 1px #fff,0 0 0 .2rem rgba(0,123,255,.25)}.custom-range:focus::-ms-thumb{box-shadow:0 0 0 1px #fff,0 0 0 .2rem rgba(0,123,255,.25)}.custom-range::-moz-focus-outer{border:0}.custom-range::-webkit-slider-thumb{width:1rem;height:1rem;margin-top:-.25rem;background-color:#007bff;border:0;border-radius:1rem;transition:background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out;appearance:none}@media (prefers-reduced-motion:reduce){.custom-range::-webkit-slider-thumb{transition:none}}.custom-range::-webkit-slider-thumb:active{background-color:#b3d7ff}.custom-range::-webkit-slider-runnable-track{width:100%;height:.5rem;color:transparent;cursor:pointer;background-color:#dee2e6;border-color:transparent;border-radius:1rem}.custom-range::-moz-range-thumb{width:1rem;height:1rem;background-color:#007bff;border:0;border-radius:1rem;transition:background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out;appearance:none}@media (prefers-reduced-motion:reduce){.custom-range::-moz-range-thumb{transition:none}}.custom-range::-moz-range-thumb:active{background-color:#b3d7ff}.custom-range::-moz-range-track{width:100%;height:.5rem;color:transparent;cursor:pointer;background-color:#dee2e6;border-color:transparent;border-radius:1rem}.custom-range::-ms-thumb{width:1rem;height:1rem;margin-top:0;margin-right:.2rem;margin-left:.2rem;background-color:#007bff;border:0;border-radius:1rem;transition:background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out;appearance:none}@media (prefers-reduced-motion:reduce){.custom-range::-ms-thumb{transition:none}}.custom-range::-ms-thumb:active{background-color:#b3d7ff}.custom-range::-ms-track{width:100%;height:.5rem;color:transparent;cursor:pointer;background-color:transparent;border-color:transparent;border-width:.5rem}.custom-range::-ms-fill-lower,.custom-range::-ms-fill-upper{background-color:#dee2e6;border-radius:1rem}.custom-range::-ms-fill-upper{margin-right:15px}.custom-range:disabled::-webkit-slider-thumb{background-color:#adb5bd}.custom-range:disabled::-webkit-slider-runnable-track{cursor:default}.custom-range:disabled::-moz-range-thumb{background-color:#adb5bd}.custom-range:disabled::-moz-range-track{cursor:default}.custom-range:disabled::-ms-thumb{background-color:#adb5bd}.custom-control-label:before,.custom-file-label,.custom-select{transition:background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out}@media (prefers-reduced-motion:reduce){.custom-control-label:before,.custom-file-label,.custom-select{transition:none}}.nav{display:flex;flex-wrap:wrap;padding-left:0;margin-bottom:0;list-style:none}.nav-link{display:block;padding:.5rem 1rem}.nav-link:focus,.nav-link:hover{text-decoration:none}.nav-link.disabled{color:#6c757d;pointer-events:none;cursor:default}.nav-tabs{border-bottom:1px solid #dee2e6}.nav-tabs .nav-item{margin-bottom:-1px}.nav-tabs .nav-link{border:1px solid transparent;border-top-left-radius:.25rem;border-top-right-radius:.25rem}.nav-tabs .nav-link:focus,.nav-tabs .nav-link:hover{border-color:#e9ecef #e9ecef #dee2e6}.nav-tabs .nav-link.disabled{color:#6c757d;background-color:transparent;border-color:transparent}.nav-tabs .nav-item.show .nav-link,.nav-tabs .nav-link.active{color:#495057;background-color:#fff;border-color:#dee2e6 #dee2e6 #fff}.nav-tabs .dropdown-menu{margin-top:-1px;border-top-left-radius:0;border-top-right-radius:0}.nav-pills .nav-link{border-radius:.25rem}.nav-pills .nav-link.active,.nav-pills .show>.nav-link{color:#fff;background-color:#007bff}.nav-fill .nav-item{flex:1 1 auto;text-align:center}.nav-justified .nav-item{flex-basis:0;flex-grow:1;text-align:center}.tab-content>.tab-pane{display:none}.tab-content>.active{display:block}.navbar{position:relative;padding:.5rem 1rem}.navbar,.navbar .container,.navbar .container-fluid,.navbar .container-lg,.navbar .container-md,.navbar .container-sm,.navbar .container-xl{display:flex;flex-wrap:wrap;align-items:center;justify-content:space-between}.navbar-brand{display:inline-block;padding-top:.3125rem;padding-bottom:.3125rem;margin-right:1rem;font-size:1.25rem;line-height:inherit;white-space:nowrap}.navbar-brand:focus,.navbar-brand:hover{text-decoration:none}.navbar-nav{display:flex;flex-direction:column;padding-left:0;margin-bottom:0;list-style:none}.navbar-nav .nav-link{padding-right:0;padding-left:0}.navbar-nav .dropdown-menu{position:static;float:none}.navbar-text{display:inline-block;padding-top:.5rem;padding-bottom:.5rem}.navbar-collapse{flex-basis:100%;flex-grow:1;align-items:center}.navbar-toggler{padding:.25rem .75rem;font-size:1.25rem;line-height:1;background-color:transparent;border:1px solid transparent;border-radius:.25rem}.navbar-toggler:focus,.navbar-toggler:hover{text-decoration:none}.navbar-toggler-icon{display:inline-block;width:1.5em;height:1.5em;vertical-align:middle;content:"";background:no-repeat 50%;background-size:100% 100%}@media (max-width:575.98px){.navbar-expand-sm>.container,.navbar-expand-sm>.container-fluid,.navbar-expand-sm>.container-lg,.navbar-expand-sm>.container-md,.navbar-expand-sm>.container-sm,.navbar-expand-sm>.container-xl{padding-right:0;padding-left:0}}@media (min-width:576px){.navbar-expand-sm{flex-flow:row nowrap;justify-content:flex-start}.navbar-expand-sm .navbar-nav{flex-direction:row}.navbar-expand-sm .navbar-nav .dropdown-menu{position:absolute}.navbar-expand-sm .navbar-nav .nav-link{padding-right:.5rem;padding-left:.5rem}.navbar-expand-sm>.container,.navbar-expand-sm>.container-fluid,.navbar-expand-sm>.container-lg,.navbar-expand-sm>.container-md,.navbar-expand-sm>.container-sm,.navbar-expand-sm>.container-xl{flex-wrap:nowrap}.navbar-expand-sm .navbar-collapse{display:flex!important;flex-basis:auto}.navbar-expand-sm .navbar-toggler{display:none}}@media (max-width:767.98px){.navbar-expand-md>.container,.navbar-expand-md>.container-fluid,.navbar-expand-md>.container-lg,.navbar-expand-md>.container-md,.navbar-expand-md>.container-sm,.navbar-expand-md>.container-xl{padding-right:0;padding-left:0}}@media (min-width:768px){.navbar-expand-md{flex-flow:row nowrap;justify-content:flex-start}.navbar-expand-md .navbar-nav{flex-direction:row}.navbar-expand-md .navbar-nav .dropdown-menu{position:absolute}.navbar-expand-md .navbar-nav .nav-link{padding-right:.5rem;padding-left:.5rem}.navbar-expand-md>.container,.navbar-expand-md>.container-fluid,.navbar-expand-md>.container-lg,.navbar-expand-md>.container-md,.navbar-expand-md>.container-sm,.navbar-expand-md>.container-xl{flex-wrap:nowrap}.navbar-expand-md .navbar-collapse{display:flex!important;flex-basis:auto}.navbar-expand-md .navbar-toggler{display:none}}@media (max-width:991.98px){.navbar-expand-lg>.container,.navbar-expand-lg>.container-fluid,.navbar-expand-lg>.container-lg,.navbar-expand-lg>.container-md,.navbar-expand-lg>.container-sm,.navbar-expand-lg>.container-xl{padding-right:0;padding-left:0}}@media (min-width:992px){.navbar-expand-lg{flex-flow:row nowrap;justify-content:flex-start}.navbar-expand-lg .navbar-nav{flex-direction:row}.navbar-expand-lg .navbar-nav .dropdown-menu{position:absolute}.navbar-expand-lg .navbar-nav .nav-link{padding-right:.5rem;padding-left:.5rem}.navbar-expand-lg>.container,.navbar-expand-lg>.container-fluid,.navbar-expand-lg>.container-lg,.navbar-expand-lg>.container-md,.navbar-expand-lg>.container-sm,.navbar-expand-lg>.container-xl{flex-wrap:nowrap}.navbar-expand-lg .navbar-collapse{display:flex!important;flex-basis:auto}.navbar-expand-lg .navbar-toggler{display:none}}@media (max-width:1199.98px){.navbar-expand-xl>.container,.navbar-expand-xl>.container-fluid,.navbar-expand-xl>.container-lg,.navbar-expand-xl>.container-md,.navbar-expand-xl>.container-sm,.navbar-expand-xl>.container-xl{padding-right:0;padding-left:0}}@media (min-width:1200px){.navbar-expand-xl{flex-flow:row nowrap;justify-content:flex-start}.navbar-expand-xl .navbar-nav{flex-direction:row}.navbar-expand-xl .navbar-nav .dropdown-menu{position:absolute}.navbar-expand-xl .navbar-nav .nav-link{padding-right:.5rem;padding-left:.5rem}.navbar-expand-xl>.container,.navbar-expand-xl>.container-fluid,.navbar-expand-xl>.container-lg,.navbar-expand-xl>.container-md,.navbar-expand-xl>.container-sm,.navbar-expand-xl>.container-xl{flex-wrap:nowrap}.navbar-expand-xl .navbar-collapse{display:flex!important;flex-basis:auto}.navbar-expand-xl .navbar-toggler{display:none}}.navbar-expand{flex-flow:row nowrap;justify-content:flex-start}.navbar-expand>.container,.navbar-expand>.container-fluid,.navbar-expand>.container-lg,.navbar-expand>.container-md,.navbar-expand>.container-sm,.navbar-expand>.container-xl{padding-right:0;padding-left:0}.navbar-expand .navbar-nav{flex-direction:row}.navbar-expand .navbar-nav .dropdown-menu{position:absolute}.navbar-expand .navbar-nav .nav-link{padding-right:.5rem;padding-left:.5rem}.navbar-expand>.container,.navbar-expand>.container-fluid,.navbar-expand>.container-lg,.navbar-expand>.container-md,.navbar-expand>.container-sm,.navbar-expand>.container-xl{flex-wrap:nowrap}.navbar-expand .navbar-collapse{display:flex!important;flex-basis:auto}.navbar-expand .navbar-toggler{display:none}.navbar-light .navbar-brand,.navbar-light .navbar-brand:focus,.navbar-light .navbar-brand:hover{color:rgba(0,0,0,.9)}.navbar-light .navbar-nav .nav-link{color:rgba(0,0,0,.5)}.navbar-light .navbar-nav .nav-link:focus,.navbar-light .navbar-nav .nav-link:hover{color:rgba(0,0,0,.7)}.navbar-light .navbar-nav .nav-link.disabled{color:rgba(0,0,0,.3)}.navbar-light .navbar-nav .active>.nav-link,.navbar-light .navbar-nav .nav-link.active,.navbar-light .navbar-nav .nav-link.show,.navbar-light .navbar-nav .show>.nav-link{color:rgba(0,0,0,.9)}.navbar-light .navbar-toggler{color:rgba(0,0,0,.5);border-color:rgba(0,0,0,.1)}.navbar-light .navbar-toggler-icon{background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='30' height='30'%3E%3Cpath stroke='rgba(0,0,0,0.5)' stroke-linecap='round' stroke-miterlimit='10' stroke-width='2' d='M4 7h22M4 15h22M4 23h22'/%3E%3C/svg%3E")}.navbar-light .navbar-text{color:rgba(0,0,0,.5)}.navbar-light .navbar-text a,.navbar-light .navbar-text a:focus,.navbar-light .navbar-text a:hover{color:rgba(0,0,0,.9)}.navbar-dark .navbar-brand,.navbar-dark .navbar-brand:focus,.navbar-dark .navbar-brand:hover{color:#fff}.navbar-dark .navbar-nav .nav-link{color:hsla(0,0%,100%,.5)}.navbar-dark .navbar-nav .nav-link:focus,.navbar-dark .navbar-nav .nav-link:hover{color:hsla(0,0%,100%,.75)}.navbar-dark .navbar-nav .nav-link.disabled{color:hsla(0,0%,100%,.25)}.navbar-dark .navbar-nav .active>.nav-link,.navbar-dark .navbar-nav .nav-link.active,.navbar-dark .navbar-nav .nav-link.show,.navbar-dark .navbar-nav .show>.nav-link{color:#fff}.navbar-dark .navbar-toggler{color:hsla(0,0%,100%,.5);border-color:hsla(0,0%,100%,.1)}.navbar-dark .navbar-toggler-icon{background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='30' height='30'%3E%3Cpath stroke='rgba(255,255,255,0.5)' stroke-linecap='round' stroke-miterlimit='10' stroke-width='2' d='M4 7h22M4 15h22M4 23h22'/%3E%3C/svg%3E")}.navbar-dark .navbar-text{color:hsla(0,0%,100%,.5)}.navbar-dark .navbar-text a,.navbar-dark .navbar-text a:focus,.navbar-dark .navbar-text a:hover{color:#fff}.card{position:relative;display:flex;flex-direction:column;min-width:0;word-wrap:break-word;background-color:#fff;background-clip:border-box;border:1px solid rgba(0,0,0,.125);border-radius:.25rem}.card>hr{margin-right:0;margin-left:0}.card>.list-group{border-top:inherit;border-bottom:inherit}.card>.list-group:first-child{border-top-width:0;border-top-left-radius:calc(.25rem - 1px);border-top-right-radius:calc(.25rem - 1px)}.card>.list-group:last-child{border-bottom-width:0;border-bottom-right-radius:calc(.25rem - 1px);border-bottom-left-radius:calc(.25rem - 1px)}.card-body{flex:1 1 auto;min-height:1px;padding:1.25rem}.card-title{margin-bottom:.75rem}.card-subtitle{margin-top:-.375rem}.card-subtitle,.card-text:last-child{margin-bottom:0}.card-link:hover{text-decoration:none}.card-link+.card-link{margin-left:1.25rem}.card-header{padding:.75rem 1.25rem;margin-bottom:0;background-color:rgba(0,0,0,.03);border-bottom:1px solid rgba(0,0,0,.125)}.card-header:first-child{border-radius:calc(.25rem - 1px) calc(.25rem - 1px) 0 0}.card-header+.list-group .list-group-item:first-child{border-top:0}.card-footer{padding:.75rem 1.25rem;background-color:rgba(0,0,0,.03);border-top:1px solid rgba(0,0,0,.125)}.card-footer:last-child{border-radius:0 0 calc(.25rem - 1px) calc(.25rem - 1px)}.card-header-tabs{margin-bottom:-.75rem;border-bottom:0}.card-header-pills,.card-header-tabs{margin-right:-.625rem;margin-left:-.625rem}.card-img-overlay{position:absolute;top:0;right:0;bottom:0;left:0;padding:1.25rem}.card-img,.card-img-bottom,.card-img-top{flex-shrink:0;width:100%}.card-img,.card-img-top{border-top-left-radius:calc(.25rem - 1px);border-top-right-radius:calc(.25rem - 1px)}.card-img,.card-img-bottom{border-bottom-right-radius:calc(.25rem - 1px);border-bottom-left-radius:calc(.25rem - 1px)}.card-deck .card{margin-bottom:15px}@media (min-width:576px){.card-deck{display:flex;flex-flow:row wrap;margin-right:-15px;margin-left:-15px}.card-deck .card{flex:1 0 0%;margin-right:15px;margin-bottom:0;margin-left:15px}}.card-group>.card{margin-bottom:15px}@media (min-width:576px){.card-group{display:flex;flex-flow:row wrap}.card-group>.card{flex:1 0 0%;margin-bottom:0}.card-group>.card+.card{margin-left:0;border-left:0}.card-group>.card:not(:last-child){border-top-right-radius:0;border-bottom-right-radius:0}.card-group>.card:not(:last-child) .card-header,.card-group>.card:not(:last-child) .card-img-top{border-top-right-radius:0}.card-group>.card:not(:last-child) .card-footer,.card-group>.card:not(:last-child) .card-img-bottom{border-bottom-right-radius:0}.card-group>.card:not(:first-child){border-top-left-radius:0;border-bottom-left-radius:0}.card-group>.card:not(:first-child) .card-header,.card-group>.card:not(:first-child) .card-img-top{border-top-left-radius:0}.card-group>.card:not(:first-child) .card-footer,.card-group>.card:not(:first-child) .card-img-bottom{border-bottom-left-radius:0}}.card-columns .card{margin-bottom:.75rem}@media (min-width:576px){.card-columns{column-count:3;column-gap:1.25rem;orphans:1;widows:1}.card-columns .card{display:inline-block;width:100%}}.accordion>.card{overflow:hidden}.accordion>.card:not(:last-of-type){border-bottom:0;border-bottom-right-radius:0;border-bottom-left-radius:0}.accordion>.card:not(:first-of-type){border-top-left-radius:0;border-top-right-radius:0}.accordion>.card>.card-header{border-radius:0;margin-bottom:-1px}.breadcrumb{flex-wrap:wrap;padding:.75rem 1rem;margin-bottom:1rem;list-style:none;background-color:#e9ecef;border-radius:.25rem}.breadcrumb,.breadcrumb-item{display:flex}.breadcrumb-item+.breadcrumb-item{padding-left:.5rem}.breadcrumb-item+.breadcrumb-item:before{display:inline-block;padding-right:.5rem;color:#6c757d;content:"/"}.breadcrumb-item+.breadcrumb-item:hover:before{text-decoration:underline;text-decoration:none}.breadcrumb-item.active{color:#6c757d}.pagination{display:flex;padding-left:0;list-style:none;border-radius:.25rem}.page-link{position:relative;display:block;padding:.5rem .75rem;margin-left:-1px;line-height:1.25;color:#007bff;background-color:#fff;border:1px solid #dee2e6}.page-link:hover{z-index:2;color:#0056b3;text-decoration:none;background-color:#e9ecef;border-color:#dee2e6}.page-link:focus{z-index:3;outline:0;box-shadow:0 0 0 .2rem rgba(0,123,255,.25)}.page-item:first-child .page-link{margin-left:0;border-top-left-radius:.25rem;border-bottom-left-radius:.25rem}.page-item:last-child .page-link{border-top-right-radius:.25rem;border-bottom-right-radius:.25rem}.page-item.active .page-link{z-index:3;color:#fff;background-color:#007bff;border-color:#007bff}.page-item.disabled .page-link{color:#6c757d;pointer-events:none;cursor:auto;background-color:#fff;border-color:#dee2e6}.pagination-lg .page-link{padding:.75rem 1.5rem;font-size:1.25rem;line-height:1.5}.pagination-lg .page-item:first-child .page-link{border-top-left-radius:.3rem;border-bottom-left-radius:.3rem}.pagination-lg .page-item:last-child .page-link{border-top-right-radius:.3rem;border-bottom-right-radius:.3rem}.pagination-sm .page-link{padding:.25rem .5rem;font-size:.875rem;line-height:1.5}.pagination-sm .page-item:first-child .page-link{border-top-left-radius:.2rem;border-bottom-left-radius:.2rem}.pagination-sm .page-item:last-child .page-link{border-top-right-radius:.2rem;border-bottom-right-radius:.2rem}.badge{display:inline-block;padding:.25em .4em;font-size:75%;font-weight:700;line-height:1;text-align:center;white-space:nowrap;vertical-align:baseline;border-radius:.25rem;transition:color .15s ease-in-out,background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out}@media (prefers-reduced-motion:reduce){.badge{transition:none}}a.badge:focus,a.badge:hover{text-decoration:none}.badge:empty{display:none}.btn .badge{position:relative;top:-1px}.badge-pill{padding-right:.6em;padding-left:.6em;border-radius:10rem}.badge-primary{color:#fff;background-color:#007bff}a.badge-primary:focus,a.badge-primary:hover{color:#fff;background-color:#0062cc}a.badge-primary.focus,a.badge-primary:focus{outline:0;box-shadow:0 0 0 .2rem rgba(0,123,255,.5)}.badge-secondary{color:#fff;background-color:#6c757d}a.badge-secondary:focus,a.badge-secondary:hover{color:#fff;background-color:#545b62}a.badge-secondary.focus,a.badge-secondary:focus{outline:0;box-shadow:0 0 0 .2rem rgba(108,117,125,.5)}.badge-success{color:#fff;background-color:#28a745}a.badge-success:focus,a.badge-success:hover{color:#fff;background-color:#1e7e34}a.badge-success.focus,a.badge-success:focus{outline:0;box-shadow:0 0 0 .2rem rgba(40,167,69,.5)}.badge-info{color:#fff;background-color:#17a2b8}a.badge-info:focus,a.badge-info:hover{color:#fff;background-color:#117a8b}a.badge-info.focus,a.badge-info:focus{outline:0;box-shadow:0 0 0 .2rem rgba(23,162,184,.5)}.badge-warning{color:#212529;background-color:#ffc107}a.badge-warning:focus,a.badge-warning:hover{color:#212529;background-color:#d39e00}a.badge-warning.focus,a.badge-warning:focus{outline:0;box-shadow:0 0 0 .2rem rgba(255,193,7,.5)}.badge-danger{color:#fff;background-color:#dc3545}a.badge-danger:focus,a.badge-danger:hover{color:#fff;background-color:#bd2130}a.badge-danger.focus,a.badge-danger:focus{outline:0;box-shadow:0 0 0 .2rem rgba(220,53,69,.5)}.badge-light{color:#212529;background-color:#f8f9fa}a.badge-light:focus,a.badge-light:hover{color:#212529;background-color:#dae0e5}a.badge-light.focus,a.badge-light:focus{outline:0;box-shadow:0 0 0 .2rem rgba(248,249,250,.5)}.badge-dark{color:#fff;background-color:#343a40}a.badge-dark:focus,a.badge-dark:hover{color:#fff;background-color:#1d2124}a.badge-dark.focus,a.badge-dark:focus{outline:0;box-shadow:0 0 0 .2rem rgba(52,58,64,.5)}.jumbotron{padding:2rem 1rem;margin-bottom:2rem;background-color:#e9ecef;border-radius:.3rem}@media (min-width:576px){.jumbotron{padding:4rem 2rem}}.jumbotron-fluid{padding-right:0;padding-left:0;border-radius:0}.alert{position:relative;padding:.75rem 1.25rem;margin-bottom:1rem;border:1px solid transparent;border-radius:.25rem}.alert-heading{color:inherit}.alert-link{font-weight:700}.alert-dismissible{padding-right:4rem}.alert-dismissible .close{position:absolute;top:0;right:0;padding:.75rem 1.25rem;color:inherit}.alert-primary{color:#004085;background-color:#cce5ff;border-color:#b8daff}.alert-primary hr{border-top-color:#9fcdff}.alert-primary .alert-link{color:#002752}.alert-secondary{color:#383d41;background-color:#e2e3e5;border-color:#d6d8db}.alert-secondary hr{border-top-color:#c8cbcf}.alert-secondary .alert-link{color:#202326}.alert-success{color:#155724;background-color:#d4edda;border-color:#c3e6cb}.alert-success hr{border-top-color:#b1dfbb}.alert-success .alert-link{color:#0b2e13}.alert-info{color:#0c5460;background-color:#d1ecf1;border-color:#bee5eb}.alert-info hr{border-top-color:#abdde5}.alert-info .alert-link{color:#062c33}.alert-warning{color:#856404;background-color:#fff3cd;border-color:#ffeeba}.alert-warning hr{border-top-color:#ffe8a1}.alert-warning .alert-link{color:#533f03}.alert-danger{color:#721c24;background-color:#f8d7da;border-color:#f5c6cb}.alert-danger hr{border-top-color:#f1b0b7}.alert-danger .alert-link{color:#491217}.alert-light{color:#818182;background-color:#fefefe;border-color:#fdfdfe}.alert-light hr{border-top-color:#ececf6}.alert-light .alert-link{color:#686868}.alert-dark{color:#1b1e21;background-color:#d6d8d9;border-color:#c6c8ca}.alert-dark hr{border-top-color:#b9bbbe}.alert-dark .alert-link{color:#040505}@keyframes progress-bar-stripes{0%{background-position:1rem 0}to{background-position:0 0}}.progress{height:1rem;line-height:0;font-size:.75rem;background-color:#e9ecef;border-radius:.25rem}.progress,.progress-bar{display:flex;overflow:hidden}.progress-bar{flex-direction:column;justify-content:center;color:#fff;text-align:center;white-space:nowrap;background-color:#007bff;transition:width .6s ease}@media (prefers-reduced-motion:reduce){.progress-bar{transition:none}}.progress-bar-striped{background-image:linear-gradient(45deg,hsla(0,0%,100%,.15) 25%,transparent 0,transparent 50%,hsla(0,0%,100%,.15) 0,hsla(0,0%,100%,.15) 75%,transparent 0,transparent);background-size:1rem 1rem}.progress-bar-animated{animation:progress-bar-stripes 1s linear infinite}@media (prefers-reduced-motion:reduce){.progress-bar-animated{animation:none}}.media{display:flex;align-items:flex-start}.media-body{flex:1}.list-group{display:flex;flex-direction:column;padding-left:0;margin-bottom:0;border-radius:.25rem}.list-group-item-action{width:100%;color:#495057;text-align:inherit}.list-group-item-action:focus,.list-group-item-action:hover{z-index:1;color:#495057;text-decoration:none;background-color:#f8f9fa}.list-group-item-action:active{color:#212529;background-color:#e9ecef}.list-group-item{position:relative;display:block;padding:.75rem 1.25rem;background-color:#fff;border:1px solid rgba(0,0,0,.125)}.list-group-item:first-child{border-top-left-radius:inherit;border-top-right-radius:inherit}.list-group-item:last-child{border-bottom-right-radius:inherit;border-bottom-left-radius:inherit}.list-group-item.disabled,.list-group-item:disabled{color:#6c757d;pointer-events:none;background-color:#fff}.list-group-item.active{z-index:2;color:#fff;background-color:#007bff;border-color:#007bff}.list-group-item+.list-group-item{border-top-width:0}.list-group-item+.list-group-item.active{margin-top:-1px;border-top-width:1px}.list-group-horizontal{flex-direction:row}.list-group-horizontal>.list-group-item:first-child{border-bottom-left-radius:.25rem;border-top-right-radius:0}.list-group-horizontal>.list-group-item:last-child{border-top-right-radius:.25rem;border-bottom-left-radius:0}.list-group-horizontal>.list-group-item.active{margin-top:0}.list-group-horizontal>.list-group-item+.list-group-item{border-top-width:1px;border-left-width:0}.list-group-horizontal>.list-group-item+.list-group-item.active{margin-left:-1px;border-left-width:1px}@media (min-width:576px){.list-group-horizontal-sm{flex-direction:row}.list-group-horizontal-sm>.list-group-item:first-child{border-bottom-left-radius:.25rem;border-top-right-radius:0}.list-group-horizontal-sm>.list-group-item:last-child{border-top-right-radius:.25rem;border-bottom-left-radius:0}.list-group-horizontal-sm>.list-group-item.active{margin-top:0}.list-group-horizontal-sm>.list-group-item+.list-group-item{border-top-width:1px;border-left-width:0}.list-group-horizontal-sm>.list-group-item+.list-group-item.active{margin-left:-1px;border-left-width:1px}}@media (min-width:768px){.list-group-horizontal-md{flex-direction:row}.list-group-horizontal-md>.list-group-item:first-child{border-bottom-left-radius:.25rem;border-top-right-radius:0}.list-group-horizontal-md>.list-group-item:last-child{border-top-right-radius:.25rem;border-bottom-left-radius:0}.list-group-horizontal-md>.list-group-item.active{margin-top:0}.list-group-horizontal-md>.list-group-item+.list-group-item{border-top-width:1px;border-left-width:0}.list-group-horizontal-md>.list-group-item+.list-group-item.active{margin-left:-1px;border-left-width:1px}}@media (min-width:992px){.list-group-horizontal-lg{flex-direction:row}.list-group-horizontal-lg>.list-group-item:first-child{border-bottom-left-radius:.25rem;border-top-right-radius:0}.list-group-horizontal-lg>.list-group-item:last-child{border-top-right-radius:.25rem;border-bottom-left-radius:0}.list-group-horizontal-lg>.list-group-item.active{margin-top:0}.list-group-horizontal-lg>.list-group-item+.list-group-item{border-top-width:1px;border-left-width:0}.list-group-horizontal-lg>.list-group-item+.list-group-item.active{margin-left:-1px;border-left-width:1px}}@media (min-width:1200px){.list-group-horizontal-xl{flex-direction:row}.list-group-horizontal-xl>.list-group-item:first-child{border-bottom-left-radius:.25rem;border-top-right-radius:0}.list-group-horizontal-xl>.list-group-item:last-child{border-top-right-radius:.25rem;border-bottom-left-radius:0}.list-group-horizontal-xl>.list-group-item.active{margin-top:0}.list-group-horizontal-xl>.list-group-item+.list-group-item{border-top-width:1px;border-left-width:0}.list-group-horizontal-xl>.list-group-item+.list-group-item.active{margin-left:-1px;border-left-width:1px}}.list-group-flush{border-radius:0}.list-group-flush>.list-group-item{border-width:0 0 1px}.list-group-flush>.list-group-item:last-child{border-bottom-width:0}.list-group-item-primary{color:#004085;background-color:#b8daff}.list-group-item-primary.list-group-item-action:focus,.list-group-item-primary.list-group-item-action:hover{color:#004085;background-color:#9fcdff}.list-group-item-primary.list-group-item-action.active{color:#fff;background-color:#004085;border-color:#004085}.list-group-item-secondary{color:#383d41;background-color:#d6d8db}.list-group-item-secondary.list-group-item-action:focus,.list-group-item-secondary.list-group-item-action:hover{color:#383d41;background-color:#c8cbcf}.list-group-item-secondary.list-group-item-action.active{color:#fff;background-color:#383d41;border-color:#383d41}.list-group-item-success{color:#155724;background-color:#c3e6cb}.list-group-item-success.list-group-item-action:focus,.list-group-item-success.list-group-item-action:hover{color:#155724;background-color:#b1dfbb}.list-group-item-success.list-group-item-action.active{color:#fff;background-color:#155724;border-color:#155724}.list-group-item-info{color:#0c5460;background-color:#bee5eb}.list-group-item-info.list-group-item-action:focus,.list-group-item-info.list-group-item-action:hover{color:#0c5460;background-color:#abdde5}.list-group-item-info.list-group-item-action.active{color:#fff;background-color:#0c5460;border-color:#0c5460}.list-group-item-warning{color:#856404;background-color:#ffeeba}.list-group-item-warning.list-group-item-action:focus,.list-group-item-warning.list-group-item-action:hover{color:#856404;background-color:#ffe8a1}.list-group-item-warning.list-group-item-action.active{color:#fff;background-color:#856404;border-color:#856404}.list-group-item-danger{color:#721c24;background-color:#f5c6cb}.list-group-item-danger.list-group-item-action:focus,.list-group-item-danger.list-group-item-action:hover{color:#721c24;background-color:#f1b0b7}.list-group-item-danger.list-group-item-action.active{color:#fff;background-color:#721c24;border-color:#721c24}.list-group-item-light{color:#818182;background-color:#fdfdfe}.list-group-item-light.list-group-item-action:focus,.list-group-item-light.list-group-item-action:hover{color:#818182;background-color:#ececf6}.list-group-item-light.list-group-item-action.active{color:#fff;background-color:#818182;border-color:#818182}.list-group-item-dark{color:#1b1e21;background-color:#c6c8ca}.list-group-item-dark.list-group-item-action:focus,.list-group-item-dark.list-group-item-action:hover{color:#1b1e21;background-color:#b9bbbe}.list-group-item-dark.list-group-item-action.active{color:#fff;background-color:#1b1e21;border-color:#1b1e21}.close{float:right;font-size:1.5rem;font-weight:700;line-height:1;color:#000;text-shadow:0 1px 0 #fff;opacity:.5}.close:hover{color:#000;text-decoration:none}.close:not(:disabled):not(.disabled):focus,.close:not(:disabled):not(.disabled):hover{opacity:.75}button.close{padding:0;background-color:transparent;border:0}a.close.disabled{pointer-events:none}.toast{max-width:350px;overflow:hidden;font-size:.875rem;background-color:hsla(0,0%,100%,.85);background-clip:padding-box;border:1px solid rgba(0,0,0,.1);box-shadow:0 .25rem .75rem rgba(0,0,0,.1);backdrop-filter:blur(10px);opacity:0;border-radius:.25rem}.toast:not(:last-child){margin-bottom:.75rem}.toast.showing{opacity:1}.toast.show{display:block;opacity:1}.toast.hide{display:none}.toast-header{display:flex;align-items:center;padding:.25rem .75rem;color:#6c757d;background-color:hsla(0,0%,100%,.85);background-clip:padding-box;border-bottom:1px solid rgba(0,0,0,.05)}.toast-body{padding:.75rem}.modal-open{overflow:hidden}.modal-open .modal{overflow-x:hidden;overflow-y:auto}.modal{position:fixed;top:0;left:0;z-index:1050;display:none;width:100%;height:100%;overflow:hidden;outline:0}.modal-dialog{position:relative;width:auto;margin:.5rem;pointer-events:none}.modal.fade .modal-dialog{transition:transform .3s ease-out;transform:translateY(-50px)}@media (prefers-reduced-motion:reduce){.modal.fade .modal-dialog{transition:none}}.modal.show .modal-dialog{transform:none}.modal.modal-static .modal-dialog{transform:scale(1.02)}.modal-dialog-scrollable{display:flex;max-height:calc(100% - 1rem)}.modal-dialog-scrollable .modal-content{max-height:calc(100vh - 1rem);overflow:hidden}.modal-dialog-scrollable .modal-footer,.modal-dialog-scrollable .modal-header{flex-shrink:0}.modal-dialog-scrollable .modal-body{overflow-y:auto}.modal-dialog-centered{display:flex;align-items:center;min-height:calc(100% - 1rem)}.modal-dialog-centered:before{display:block;height:calc(100vh - 1rem);height:min-content;content:""}.modal-dialog-centered.modal-dialog-scrollable{flex-direction:column;justify-content:center;height:100%}.modal-dialog-centered.modal-dialog-scrollable .modal-content{max-height:none}.modal-dialog-centered.modal-dialog-scrollable:before{content:none}.modal-content{position:relative;display:flex;flex-direction:column;width:100%;pointer-events:auto;background-color:#fff;background-clip:padding-box;border:1px solid rgba(0,0,0,.2);border-radius:.3rem;outline:0}.modal-backdrop{position:fixed;top:0;left:0;z-index:1040;width:100vw;height:100vh;background-color:#000}.modal-backdrop.fade{opacity:0}.modal-backdrop.show{opacity:.5}.modal-header{display:flex;align-items:flex-start;justify-content:space-between;padding:1rem;border-bottom:1px solid #dee2e6;border-top-left-radius:calc(.3rem - 1px);border-top-right-radius:calc(.3rem - 1px)}.modal-header .close{padding:1rem;margin:-1rem -1rem -1rem auto}.modal-title{margin-bottom:0;line-height:1.5}.modal-body{position:relative;flex:1 1 auto;padding:1rem}.modal-footer{display:flex;flex-wrap:wrap;align-items:center;justify-content:flex-end;padding:.75rem;border-top:1px solid #dee2e6;border-bottom-right-radius:calc(.3rem - 1px);border-bottom-left-radius:calc(.3rem - 1px)}.modal-footer>*{margin:.25rem}.modal-scrollbar-measure{position:absolute;top:-9999px;width:50px;height:50px;overflow:scroll}@media (min-width:576px){.modal-dialog{max-width:500px;margin:1.75rem auto}.modal-dialog-scrollable{max-height:calc(100% - 3.5rem)}.modal-dialog-scrollable .modal-content{max-height:calc(100vh - 3.5rem)}.modal-dialog-centered{min-height:calc(100% - 3.5rem)}.modal-dialog-centered:before{height:calc(100vh - 3.5rem);height:min-content}.modal-sm{max-width:300px}}@media (min-width:992px){.modal-lg,.modal-xl{max-width:800px}}@media (min-width:1200px){.modal-xl{max-width:1140px}}.tooltip{position:absolute;z-index:1070;display:block;margin:0;font-family:-apple-system,BlinkMacSystemFont,Segoe UI,Roboto,Helvetica Neue,Arial,Noto Sans,sans-serif,Apple Color Emoji,Segoe UI Emoji,Segoe UI Symbol,Noto Color Emoji;font-style:normal;font-weight:400;line-height:1.5;text-align:left;text-align:start;text-decoration:none;text-shadow:none;text-transform:none;letter-spacing:normal;word-break:normal;word-spacing:normal;white-space:normal;line-break:auto;font-size:.875rem;word-wrap:break-word;opacity:0}.tooltip.show{opacity:.9}.tooltip .arrow{position:absolute;display:block;width:.8rem;height:.4rem}.tooltip .arrow:before{position:absolute;content:"";border-color:transparent;border-style:solid}.bs-tooltip-auto[x-placement^=top],.bs-tooltip-top{padding:.4rem 0}.bs-tooltip-auto[x-placement^=top] .arrow,.bs-tooltip-top .arrow{bottom:0}.bs-tooltip-auto[x-placement^=top] .arrow:before,.bs-tooltip-top .arrow:before{top:0;border-width:.4rem .4rem 0;border-top-color:#000}.bs-tooltip-auto[x-placement^=right],.bs-tooltip-right{padding:0 .4rem}.bs-tooltip-auto[x-placement^=right] .arrow,.bs-tooltip-right .arrow{left:0;width:.4rem;height:.8rem}.bs-tooltip-auto[x-placement^=right] .arrow:before,.bs-tooltip-right .arrow:before{right:0;border-width:.4rem .4rem .4rem 0;border-right-color:#000}.bs-tooltip-auto[x-placement^=bottom],.bs-tooltip-bottom{padding:.4rem 0}.bs-tooltip-auto[x-placement^=bottom] .arrow,.bs-tooltip-bottom .arrow{top:0}.bs-tooltip-auto[x-placement^=bottom] .arrow:before,.bs-tooltip-bottom .arrow:before{bottom:0;border-width:0 .4rem .4rem;border-bottom-color:#000}.bs-tooltip-auto[x-placement^=left],.bs-tooltip-left{padding:0 .4rem}.bs-tooltip-auto[x-placement^=left] .arrow,.bs-tooltip-left .arrow{right:0;width:.4rem;height:.8rem}.bs-tooltip-auto[x-placement^=left] .arrow:before,.bs-tooltip-left .arrow:before{left:0;border-width:.4rem 0 .4rem .4rem;border-left-color:#000}.tooltip-inner{max-width:200px;padding:.25rem .5rem;color:#fff;text-align:center;background-color:#000;border-radius:.25rem}.popover{top:0;left:0;z-index:1060;max-width:276px;font-family:-apple-system,BlinkMacSystemFont,Segoe UI,Roboto,Helvetica Neue,Arial,Noto Sans,sans-serif,Apple Color Emoji,Segoe UI Emoji,Segoe UI Symbol,Noto Color Emoji;font-style:normal;font-weight:400;line-height:1.5;text-align:left;text-align:start;text-decoration:none;text-shadow:none;text-transform:none;letter-spacing:normal;word-break:normal;word-spacing:normal;white-space:normal;line-break:auto;font-size:.875rem;word-wrap:break-word;background-color:#fff;background-clip:padding-box;border:1px solid rgba(0,0,0,.2);border-radius:.3rem}.popover,.popover .arrow{position:absolute;display:block}.popover .arrow{width:1rem;height:.5rem;margin:0 .3rem}.popover .arrow:after,.popover .arrow:before{position:absolute;display:block;content:"";border-color:transparent;border-style:solid}.bs-popover-auto[x-placement^=top],.bs-popover-top{margin-bottom:.5rem}.bs-popover-auto[x-placement^=top]>.arrow,.bs-popover-top>.arrow{bottom:calc(-.5rem - 1px)}.bs-popover-auto[x-placement^=top]>.arrow:before,.bs-popover-top>.arrow:before{bottom:0;border-width:.5rem .5rem 0;border-top-color:rgba(0,0,0,.25)}.bs-popover-auto[x-placement^=top]>.arrow:after,.bs-popover-top>.arrow:after{bottom:1px;border-width:.5rem .5rem 0;border-top-color:#fff}.bs-popover-auto[x-placement^=right],.bs-popover-right{margin-left:.5rem}.bs-popover-auto[x-placement^=right]>.arrow,.bs-popover-right>.arrow{left:calc(-.5rem - 1px);width:.5rem;height:1rem;margin:.3rem 0}.bs-popover-auto[x-placement^=right]>.arrow:before,.bs-popover-right>.arrow:before{left:0;border-width:.5rem .5rem .5rem 0;border-right-color:rgba(0,0,0,.25)}.bs-popover-auto[x-placement^=right]>.arrow:after,.bs-popover-right>.arrow:after{left:1px;border-width:.5rem .5rem .5rem 0;border-right-color:#fff}.bs-popover-auto[x-placement^=bottom],.bs-popover-bottom{margin-top:.5rem}.bs-popover-auto[x-placement^=bottom]>.arrow,.bs-popover-bottom>.arrow{top:calc(-.5rem - 1px)}.bs-popover-auto[x-placement^=bottom]>.arrow:before,.bs-popover-bottom>.arrow:before{top:0;border-width:0 .5rem .5rem;border-bottom-color:rgba(0,0,0,.25)}.bs-popover-auto[x-placement^=bottom]>.arrow:after,.bs-popover-bottom>.arrow:after{top:1px;border-width:0 .5rem .5rem;border-bottom-color:#fff}.bs-popover-auto[x-placement^=bottom] .popover-header:before,.bs-popover-bottom .popover-header:before{position:absolute;top:0;left:50%;display:block;width:1rem;margin-left:-.5rem;content:"";border-bottom:1px solid #f7f7f7}.bs-popover-auto[x-placement^=left],.bs-popover-left{margin-right:.5rem}.bs-popover-auto[x-placement^=left]>.arrow,.bs-popover-left>.arrow{right:calc(-.5rem - 1px);width:.5rem;height:1rem;margin:.3rem 0}.bs-popover-auto[x-placement^=left]>.arrow:before,.bs-popover-left>.arrow:before{right:0;border-width:.5rem 0 .5rem .5rem;border-left-color:rgba(0,0,0,.25)}.bs-popover-auto[x-placement^=left]>.arrow:after,.bs-popover-left>.arrow:after{right:1px;border-width:.5rem 0 .5rem .5rem;border-left-color:#fff}.popover-header{padding:.5rem .75rem;margin-bottom:0;font-size:1rem;background-color:#f7f7f7;border-bottom:1px solid #ebebeb;border-top-left-radius:calc(.3rem - 1px);border-top-right-radius:calc(.3rem - 1px)}.popover-header:empty{display:none}.popover-body{padding:.5rem .75rem;color:#212529}.carousel{position:relative}.carousel.pointer-event{touch-action:pan-y}.carousel-inner{position:relative;width:100%;overflow:hidden}.carousel-inner:after{display:block;clear:both;content:""}.carousel-item{position:relative;display:none;float:left;width:100%;margin-right:-100%;backface-visibility:hidden;transition:transform .6s ease-in-out}@media (prefers-reduced-motion:reduce){.carousel-item{transition:none}}.carousel-item-next,.carousel-item-prev,.carousel-item.active{display:block}.active.carousel-item-right,.carousel-item-next:not(.carousel-item-left){transform:translateX(100%)}.active.carousel-item-left,.carousel-item-prev:not(.carousel-item-right){transform:translateX(-100%)}.carousel-fade .carousel-item{opacity:0;transition-property:opacity;transform:none}.carousel-fade .carousel-item-next.carousel-item-left,.carousel-fade .carousel-item-prev.carousel-item-right,.carousel-fade .carousel-item.active{z-index:1;opacity:1}.carousel-fade .active.carousel-item-left,.carousel-fade .active.carousel-item-right{z-index:0;opacity:0;transition:opacity 0s .6s}@media (prefers-reduced-motion:reduce){.carousel-fade .active.carousel-item-left,.carousel-fade .active.carousel-item-right{transition:none}}.carousel-control-next,.carousel-control-prev{position:absolute;top:0;bottom:0;z-index:1;display:flex;align-items:center;justify-content:center;width:15%;color:#fff;text-align:center;opacity:.5;transition:opacity .15s ease}@media (prefers-reduced-motion:reduce){.carousel-control-next,.carousel-control-prev{transition:none}}.carousel-control-next:focus,.carousel-control-next:hover,.carousel-control-prev:focus,.carousel-control-prev:hover{color:#fff;text-decoration:none;outline:0;opacity:.9}.carousel-control-prev{left:0}.carousel-control-next{right:0}.carousel-control-next-icon,.carousel-control-prev-icon{display:inline-block;width:20px;height:20px;background:no-repeat 50%/100% 100%}.carousel-control-prev-icon{background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' fill='%23fff' width='8' height='8'%3E%3Cpath d='M5.25 0l-4 4 4 4 1.5-1.5L4.25 4l2.5-2.5L5.25 0z'/%3E%3C/svg%3E")}.carousel-control-next-icon{background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' fill='%23fff' width='8' height='8'%3E%3Cpath d='M2.75 0l-1.5 1.5L3.75 4l-2.5 2.5L2.75 8l4-4-4-4z'/%3E%3C/svg%3E")}.carousel-indicators{position:absolute;right:0;bottom:0;left:0;z-index:15;display:flex;justify-content:center;padding-left:0;margin-right:15%;margin-left:15%;list-style:none}.carousel-indicators li{box-sizing:content-box;flex:0 1 auto;width:30px;height:3px;margin-right:3px;margin-left:3px;text-indent:-999px;cursor:pointer;background-color:#fff;background-clip:padding-box;border-top:10px solid transparent;border-bottom:10px solid transparent;opacity:.5;transition:opacity .6s ease}@media (prefers-reduced-motion:reduce){.carousel-indicators li{transition:none}}.carousel-indicators .active{opacity:1}.carousel-caption{position:absolute;right:15%;bottom:20px;left:15%;z-index:10;padding-top:20px;padding-bottom:20px;color:#fff;text-align:center}@keyframes spinner-border{to{transform:rotate(1turn)}}.spinner-border{display:inline-block;width:2rem;height:2rem;vertical-align:text-bottom;border:.25em solid;border-right:.25em solid transparent;border-radius:50%;animation:spinner-border .75s linear infinite}.spinner-border-sm{width:1rem;height:1rem;border-width:.2em}@keyframes spinner-grow{0%{transform:scale(0)}50%{opacity:1;transform:none}}.spinner-grow{display:inline-block;width:2rem;height:2rem;vertical-align:text-bottom;background-color:currentColor;border-radius:50%;opacity:0;animation:spinner-grow .75s linear infinite}.spinner-grow-sm{width:1rem;height:1rem}.align-baseline{vertical-align:baseline!important}.align-top{vertical-align:top!important}.align-middle{vertical-align:middle!important}.align-bottom{vertical-align:bottom!important}.align-text-bottom{vertical-align:text-bottom!important}.align-text-top{vertical-align:text-top!important}.bg-primary{background-color:#007bff!important}a.bg-primary:focus,a.bg-primary:hover,button.bg-primary:focus,button.bg-primary:hover{background-color:#0062cc!important}.bg-secondary{background-color:#6c757d!important}a.bg-secondary:focus,a.bg-secondary:hover,button.bg-secondary:focus,button.bg-secondary:hover{background-color:#545b62!important}.bg-success{background-color:#28a745!important}a.bg-success:focus,a.bg-success:hover,button.bg-success:focus,button.bg-success:hover{background-color:#1e7e34!important}.bg-info{background-color:#17a2b8!important}a.bg-info:focus,a.bg-info:hover,button.bg-info:focus,button.bg-info:hover{background-color:#117a8b!important}.bg-warning{background-color:#ffc107!important}a.bg-warning:focus,a.bg-warning:hover,button.bg-warning:focus,button.bg-warning:hover{background-color:#d39e00!important}.bg-danger{background-color:#dc3545!important}a.bg-danger:focus,a.bg-danger:hover,button.bg-danger:focus,button.bg-danger:hover{background-color:#bd2130!important}.bg-light{background-color:#f8f9fa!important}a.bg-light:focus,a.bg-light:hover,button.bg-light:focus,button.bg-light:hover{background-color:#dae0e5!important}.bg-dark{background-color:#343a40!important}a.bg-dark:focus,a.bg-dark:hover,button.bg-dark:focus,button.bg-dark:hover{background-color:#1d2124!important}.bg-white{background-color:#fff!important}.bg-transparent{background-color:transparent!important}.border{border:1px solid #dee2e6!important}.border-top{border-top:1px solid #dee2e6!important}.border-right{border-right:1px solid #dee2e6!important}.border-bottom{border-bottom:1px solid #dee2e6!important}.border-left{border-left:1px solid #dee2e6!important}.border-0{border:0!important}.border-top-0{border-top:0!important}.border-right-0{border-right:0!important}.border-bottom-0{border-bottom:0!important}.border-left-0{border-left:0!important}.border-primary{border-color:#007bff!important}.border-secondary{border-color:#6c757d!important}.border-success{border-color:#28a745!important}.border-info{border-color:#17a2b8!important}.border-warning{border-color:#ffc107!important}.border-danger{border-color:#dc3545!important}.border-light{border-color:#f8f9fa!important}.border-dark{border-color:#343a40!important}.border-white{border-color:#fff!important}.rounded-sm{border-radius:.2rem!important}.rounded{border-radius:.25rem!important}.rounded-top{border-top-left-radius:.25rem!important}.rounded-right,.rounded-top{border-top-right-radius:.25rem!important}.rounded-bottom,.rounded-right{border-bottom-right-radius:.25rem!important}.rounded-bottom,.rounded-left{border-bottom-left-radius:.25rem!important}.rounded-left{border-top-left-radius:.25rem!important}.rounded-lg{border-radius:.3rem!important}.rounded-circle{border-radius:50%!important}.rounded-pill{border-radius:50rem!important}.rounded-0{border-radius:0!important}.clearfix:after{display:block;clear:both;content:""}.d-none{display:none!important}.d-inline{display:inline!important}.d-inline-block{display:inline-block!important}.d-block{display:block!important}.d-table{display:table!important}.d-table-row{display:table-row!important}.d-table-cell{display:table-cell!important}.d-flex{display:flex!important}.d-inline-flex{display:inline-flex!important}@media (min-width:576px){.d-sm-none{display:none!important}.d-sm-inline{display:inline!important}.d-sm-inline-block{display:inline-block!important}.d-sm-block{display:block!important}.d-sm-table{display:table!important}.d-sm-table-row{display:table-row!important}.d-sm-table-cell{display:table-cell!important}.d-sm-flex{display:flex!important}.d-sm-inline-flex{display:inline-flex!important}}@media (min-width:768px){.d-md-none{display:none!important}.d-md-inline{display:inline!important}.d-md-inline-block{display:inline-block!important}.d-md-block{display:block!important}.d-md-table{display:table!important}.d-md-table-row{display:table-row!important}.d-md-table-cell{display:table-cell!important}.d-md-flex{display:flex!important}.d-md-inline-flex{display:inline-flex!important}}@media (min-width:992px){.d-lg-none{display:none!important}.d-lg-inline{display:inline!important}.d-lg-inline-block{display:inline-block!important}.d-lg-block{display:block!important}.d-lg-table{display:table!important}.d-lg-table-row{display:table-row!important}.d-lg-table-cell{display:table-cell!important}.d-lg-flex{display:flex!important}.d-lg-inline-flex{display:inline-flex!important}}@media (min-width:1200px){.d-xl-none{display:none!important}.d-xl-inline{display:inline!important}.d-xl-inline-block{display:inline-block!important}.d-xl-block{display:block!important}.d-xl-table{display:table!important}.d-xl-table-row{display:table-row!important}.d-xl-table-cell{display:table-cell!important}.d-xl-flex{display:flex!important}.d-xl-inline-flex{display:inline-flex!important}}@media print{.d-print-none{display:none!important}.d-print-inline{display:inline!important}.d-print-inline-block{display:inline-block!important}.d-print-block{display:block!important}.d-print-table{display:table!important}.d-print-table-row{display:table-row!important}.d-print-table-cell{display:table-cell!important}.d-print-flex{display:flex!important}.d-print-inline-flex{display:inline-flex!important}}.embed-responsive{position:relative;display:block;width:100%;padding:0;overflow:hidden}.embed-responsive:before{display:block;content:""}.embed-responsive .embed-responsive-item,.embed-responsive embed,.embed-responsive iframe,.embed-responsive object,.embed-responsive video{position:absolute;top:0;bottom:0;left:0;width:100%;height:100%;border:0}.embed-responsive-21by9:before{padding-top:42.85714%}.embed-responsive-16by9:before{padding-top:56.25%}.embed-responsive-4by3:before{padding-top:75%}.embed-responsive-1by1:before{padding-top:100%}.flex-row{flex-direction:row!important}.flex-column{flex-direction:column!important}.flex-row-reverse{flex-direction:row-reverse!important}.flex-column-reverse{flex-direction:column-reverse!important}.flex-wrap{flex-wrap:wrap!important}.flex-nowrap{flex-wrap:nowrap!important}.flex-wrap-reverse{flex-wrap:wrap-reverse!important}.flex-fill{flex:1 1 auto!important}.flex-grow-0{flex-grow:0!important}.flex-grow-1{flex-grow:1!important}.flex-shrink-0{flex-shrink:0!important}.flex-shrink-1{flex-shrink:1!important}.justify-content-start{justify-content:flex-start!important}.justify-content-end{justify-content:flex-end!important}.justify-content-center{justify-content:center!important}.justify-content-between{justify-content:space-between!important}.justify-content-around{justify-content:space-around!important}.align-items-start{align-items:flex-start!important}.align-items-end{align-items:flex-end!important}.align-items-center{align-items:center!important}.align-items-baseline{align-items:baseline!important}.align-items-stretch{align-items:stretch!important}.align-content-start{align-content:flex-start!important}.align-content-end{align-content:flex-end!important}.align-content-center{align-content:center!important}.align-content-between{align-content:space-between!important}.align-content-around{align-content:space-around!important}.align-content-stretch{align-content:stretch!important}.align-self-auto{align-self:auto!important}.align-self-start{align-self:flex-start!important}.align-self-end{align-self:flex-end!important}.align-self-center{align-self:center!important}.align-self-baseline{align-self:baseline!important}.align-self-stretch{align-self:stretch!important}@media (min-width:576px){.flex-sm-row{flex-direction:row!important}.flex-sm-column{flex-direction:column!important}.flex-sm-row-reverse{flex-direction:row-reverse!important}.flex-sm-column-reverse{flex-direction:column-reverse!important}.flex-sm-wrap{flex-wrap:wrap!important}.flex-sm-nowrap{flex-wrap:nowrap!important}.flex-sm-wrap-reverse{flex-wrap:wrap-reverse!important}.flex-sm-fill{flex:1 1 auto!important}.flex-sm-grow-0{flex-grow:0!important}.flex-sm-grow-1{flex-grow:1!important}.flex-sm-shrink-0{flex-shrink:0!important}.flex-sm-shrink-1{flex-shrink:1!important}.justify-content-sm-start{justify-content:flex-start!important}.justify-content-sm-end{justify-content:flex-end!important}.justify-content-sm-center{justify-content:center!important}.justify-content-sm-between{justify-content:space-between!important}.justify-content-sm-around{justify-content:space-around!important}.align-items-sm-start{align-items:flex-start!important}.align-items-sm-end{align-items:flex-end!important}.align-items-sm-center{align-items:center!important}.align-items-sm-baseline{align-items:baseline!important}.align-items-sm-stretch{align-items:stretch!important}.align-content-sm-start{align-content:flex-start!important}.align-content-sm-end{align-content:flex-end!important}.align-content-sm-center{align-content:center!important}.align-content-sm-between{align-content:space-between!important}.align-content-sm-around{align-content:space-around!important}.align-content-sm-stretch{align-content:stretch!important}.align-self-sm-auto{align-self:auto!important}.align-self-sm-start{align-self:flex-start!important}.align-self-sm-end{align-self:flex-end!important}.align-self-sm-center{align-self:center!important}.align-self-sm-baseline{align-self:baseline!important}.align-self-sm-stretch{align-self:stretch!important}}@media (min-width:768px){.flex-md-row{flex-direction:row!important}.flex-md-column{flex-direction:column!important}.flex-md-row-reverse{flex-direction:row-reverse!important}.flex-md-column-reverse{flex-direction:column-reverse!important}.flex-md-wrap{flex-wrap:wrap!important}.flex-md-nowrap{flex-wrap:nowrap!important}.flex-md-wrap-reverse{flex-wrap:wrap-reverse!important}.flex-md-fill{flex:1 1 auto!important}.flex-md-grow-0{flex-grow:0!important}.flex-md-grow-1{flex-grow:1!important}.flex-md-shrink-0{flex-shrink:0!important}.flex-md-shrink-1{flex-shrink:1!important}.justify-content-md-start{justify-content:flex-start!important}.justify-content-md-end{justify-content:flex-end!important}.justify-content-md-center{justify-content:center!important}.justify-content-md-between{justify-content:space-between!important}.justify-content-md-around{justify-content:space-around!important}.align-items-md-start{align-items:flex-start!important}.align-items-md-end{align-items:flex-end!important}.align-items-md-center{align-items:center!important}.align-items-md-baseline{align-items:baseline!important}.align-items-md-stretch{align-items:stretch!important}.align-content-md-start{align-content:flex-start!important}.align-content-md-end{align-content:flex-end!important}.align-content-md-center{align-content:center!important}.align-content-md-between{align-content:space-between!important}.align-content-md-around{align-content:space-around!important}.align-content-md-stretch{align-content:stretch!important}.align-self-md-auto{align-self:auto!important}.align-self-md-start{align-self:flex-start!important}.align-self-md-end{align-self:flex-end!important}.align-self-md-center{align-self:center!important}.align-self-md-baseline{align-self:baseline!important}.align-self-md-stretch{align-self:stretch!important}}@media (min-width:992px){.flex-lg-row{flex-direction:row!important}.flex-lg-column{flex-direction:column!important}.flex-lg-row-reverse{flex-direction:row-reverse!important}.flex-lg-column-reverse{flex-direction:column-reverse!important}.flex-lg-wrap{flex-wrap:wrap!important}.flex-lg-nowrap{flex-wrap:nowrap!important}.flex-lg-wrap-reverse{flex-wrap:wrap-reverse!important}.flex-lg-fill{flex:1 1 auto!important}.flex-lg-grow-0{flex-grow:0!important}.flex-lg-grow-1{flex-grow:1!important}.flex-lg-shrink-0{flex-shrink:0!important}.flex-lg-shrink-1{flex-shrink:1!important}.justify-content-lg-start{justify-content:flex-start!important}.justify-content-lg-end{justify-content:flex-end!important}.justify-content-lg-center{justify-content:center!important}.justify-content-lg-between{justify-content:space-between!important}.justify-content-lg-around{justify-content:space-around!important}.align-items-lg-start{align-items:flex-start!important}.align-items-lg-end{align-items:flex-end!important}.align-items-lg-center{align-items:center!important}.align-items-lg-baseline{align-items:baseline!important}.align-items-lg-stretch{align-items:stretch!important}.align-content-lg-start{align-content:flex-start!important}.align-content-lg-end{align-content:flex-end!important}.align-content-lg-center{align-content:center!important}.align-content-lg-between{align-content:space-between!important}.align-content-lg-around{align-content:space-around!important}.align-content-lg-stretch{align-content:stretch!important}.align-self-lg-auto{align-self:auto!important}.align-self-lg-start{align-self:flex-start!important}.align-self-lg-end{align-self:flex-end!important}.align-self-lg-center{align-self:center!important}.align-self-lg-baseline{align-self:baseline!important}.align-self-lg-stretch{align-self:stretch!important}}@media (min-width:1200px){.flex-xl-row{flex-direction:row!important}.flex-xl-column{flex-direction:column!important}.flex-xl-row-reverse{flex-direction:row-reverse!important}.flex-xl-column-reverse{flex-direction:column-reverse!important}.flex-xl-wrap{flex-wrap:wrap!important}.flex-xl-nowrap{flex-wrap:nowrap!important}.flex-xl-wrap-reverse{flex-wrap:wrap-reverse!important}.flex-xl-fill{flex:1 1 auto!important}.flex-xl-grow-0{flex-grow:0!important}.flex-xl-grow-1{flex-grow:1!important}.flex-xl-shrink-0{flex-shrink:0!important}.flex-xl-shrink-1{flex-shrink:1!important}.justify-content-xl-start{justify-content:flex-start!important}.justify-content-xl-end{justify-content:flex-end!important}.justify-content-xl-center{justify-content:center!important}.justify-content-xl-between{justify-content:space-between!important}.justify-content-xl-around{justify-content:space-around!important}.align-items-xl-start{align-items:flex-start!important}.align-items-xl-end{align-items:flex-end!important}.align-items-xl-center{align-items:center!important}.align-items-xl-baseline{align-items:baseline!important}.align-items-xl-stretch{align-items:stretch!important}.align-content-xl-start{align-content:flex-start!important}.align-content-xl-end{align-content:flex-end!important}.align-content-xl-center{align-content:center!important}.align-content-xl-between{align-content:space-between!important}.align-content-xl-around{align-content:space-around!important}.align-content-xl-stretch{align-content:stretch!important}.align-self-xl-auto{align-self:auto!important}.align-self-xl-start{align-self:flex-start!important}.align-self-xl-end{align-self:flex-end!important}.align-self-xl-center{align-self:center!important}.align-self-xl-baseline{align-self:baseline!important}.align-self-xl-stretch{align-self:stretch!important}}.float-left{float:left!important}.float-right{float:right!important}.float-none{float:none!important}@media (min-width:576px){.float-sm-left{float:left!important}.float-sm-right{float:right!important}.float-sm-none{float:none!important}}@media (min-width:768px){.float-md-left{float:left!important}.float-md-right{float:right!important}.float-md-none{float:none!important}}@media (min-width:992px){.float-lg-left{float:left!important}.float-lg-right{float:right!important}.float-lg-none{float:none!important}}@media (min-width:1200px){.float-xl-left{float:left!important}.float-xl-right{float:right!important}.float-xl-none{float:none!important}}.user-select-all{user-select:all!important}.user-select-auto{user-select:auto!important}.user-select-none{user-select:none!important}.overflow-auto{overflow:auto!important}.overflow-hidden{overflow:hidden!important}.position-static{position:static!important}.position-relative{position:relative!important}.position-absolute{position:absolute!important}.position-fixed{position:fixed!important}.position-sticky{position:sticky!important}.fixed-top{top:0}.fixed-bottom,.fixed-top{position:fixed;right:0;left:0;z-index:1030}.fixed-bottom{bottom:0}@supports (position:sticky){.sticky-top{position:sticky;top:0;z-index:1020}}.sr-only{position:absolute;width:1px;height:1px;padding:0;margin:-1px;overflow:hidden;clip:rect(0,0,0,0);white-space:nowrap;border:0}.sr-only-focusable:active,.sr-only-focusable:focus{position:static;width:auto;height:auto;overflow:visible;clip:auto;white-space:normal}.shadow-sm{box-shadow:0 .125rem .25rem rgba(0,0,0,.075)!important}.shadow{box-shadow:0 .5rem 1rem rgba(0,0,0,.15)!important}.shadow-lg{box-shadow:0 1rem 3rem rgba(0,0,0,.175)!important}.shadow-none{box-shadow:none!important}.w-25{width:25%!important}.w-50{width:50%!important}.w-75{width:75%!important}.w-100{width:100%!important}.w-auto{width:auto!important}.h-25{height:25%!important}.h-50{height:50%!important}.h-75{height:75%!important}.h-100{height:100%!important}.h-auto{height:auto!important}.mw-100{max-width:100%!important}.mh-100{max-height:100%!important}.min-vw-100{min-width:100vw!important}.min-vh-100{min-height:100vh!important}.vw-100{width:100vw!important}.vh-100{height:100vh!important}.m-0{margin:0!important}.mt-0,.my-0{margin-top:0!important}.mr-0,.mx-0{margin-right:0!important}.mb-0,.my-0{margin-bottom:0!important}.ml-0,.mx-0{margin-left:0!important}.m-1{margin:.25rem!important}.mt-1,.my-1{margin-top:.25rem!important}.mr-1,.mx-1{margin-right:.25rem!important}.mb-1,.my-1{margin-bottom:.25rem!important}.ml-1,.mx-1{margin-left:.25rem!important}.m-2{margin:.5rem!important}.mt-2,.my-2{margin-top:.5rem!important}.mr-2,.mx-2{margin-right:.5rem!important}.mb-2,.my-2{margin-bottom:.5rem!important}.ml-2,.mx-2{margin-left:.5rem!important}.m-3{margin:1rem!important}.mt-3,.my-3{margin-top:1rem!important}.mr-3,.mx-3{margin-right:1rem!important}.mb-3,.my-3{margin-bottom:1rem!important}.ml-3,.mx-3{margin-left:1rem!important}.m-4{margin:1.5rem!important}.mt-4,.my-4{margin-top:1.5rem!important}.mr-4,.mx-4{margin-right:1.5rem!important}.mb-4,.my-4{margin-bottom:1.5rem!important}.ml-4,.mx-4{margin-left:1.5rem!important}.m-5{margin:3rem!important}.mt-5,.my-5{margin-top:3rem!important}.mr-5,.mx-5{margin-right:3rem!important}.mb-5,.my-5{margin-bottom:3rem!important}.ml-5,.mx-5{margin-left:3rem!important}.p-0{padding:0!important}.pt-0,.py-0{padding-top:0!important}.pr-0,.px-0{padding-right:0!important}.pb-0,.py-0{padding-bottom:0!important}.pl-0,.px-0{padding-left:0!important}.p-1{padding:.25rem!important}.pt-1,.py-1{padding-top:.25rem!important}.pr-1,.px-1{padding-right:.25rem!important}.pb-1,.py-1{padding-bottom:.25rem!important}.pl-1,.px-1{padding-left:.25rem!important}.p-2{padding:.5rem!important}.pt-2,.py-2{padding-top:.5rem!important}.pr-2,.px-2{padding-right:.5rem!important}.pb-2,.py-2{padding-bottom:.5rem!important}.pl-2,.px-2{padding-left:.5rem!important}.p-3{padding:1rem!important}.pt-3,.py-3{padding-top:1rem!important}.pr-3,.px-3{padding-right:1rem!important}.pb-3,.py-3{padding-bottom:1rem!important}.pl-3,.px-3{padding-left:1rem!important}.p-4{padding:1.5rem!important}.pt-4,.py-4{padding-top:1.5rem!important}.pr-4,.px-4{padding-right:1.5rem!important}.pb-4,.py-4{padding-bottom:1.5rem!important}.pl-4,.px-4{padding-left:1.5rem!important}.p-5{padding:3rem!important}.pt-5,.py-5{padding-top:3rem!important}.pr-5,.px-5{padding-right:3rem!important}.pb-5,.py-5{padding-bottom:3rem!important}.pl-5,.px-5{padding-left:3rem!important}.m-n1{margin:-.25rem!important}.mt-n1,.my-n1{margin-top:-.25rem!important}.mr-n1,.mx-n1{margin-right:-.25rem!important}.mb-n1,.my-n1{margin-bottom:-.25rem!important}.ml-n1,.mx-n1{margin-left:-.25rem!important}.m-n2{margin:-.5rem!important}.mt-n2,.my-n2{margin-top:-.5rem!important}.mr-n2,.mx-n2{margin-right:-.5rem!important}.mb-n2,.my-n2{margin-bottom:-.5rem!important}.ml-n2,.mx-n2{margin-left:-.5rem!important}.m-n3{margin:-1rem!important}.mt-n3,.my-n3{margin-top:-1rem!important}.mr-n3,.mx-n3{margin-right:-1rem!important}.mb-n3,.my-n3{margin-bottom:-1rem!important}.ml-n3,.mx-n3{margin-left:-1rem!important}.m-n4{margin:-1.5rem!important}.mt-n4,.my-n4{margin-top:-1.5rem!important}.mr-n4,.mx-n4{margin-right:-1.5rem!important}.mb-n4,.my-n4{margin-bottom:-1.5rem!important}.ml-n4,.mx-n4{margin-left:-1.5rem!important}.m-n5{margin:-3rem!important}.mt-n5,.my-n5{margin-top:-3rem!important}.mr-n5,.mx-n5{margin-right:-3rem!important}.mb-n5,.my-n5{margin-bottom:-3rem!important}.ml-n5,.mx-n5{margin-left:-3rem!important}.m-auto{margin:auto!important}.mt-auto,.my-auto{margin-top:auto!important}.mr-auto,.mx-auto{margin-right:auto!important}.mb-auto,.my-auto{margin-bottom:auto!important}.ml-auto,.mx-auto{margin-left:auto!important}@media (min-width:576px){.m-sm-0{margin:0!important}.mt-sm-0,.my-sm-0{margin-top:0!important}.mr-sm-0,.mx-sm-0{margin-right:0!important}.mb-sm-0,.my-sm-0{margin-bottom:0!important}.ml-sm-0,.mx-sm-0{margin-left:0!important}.m-sm-1{margin:.25rem!important}.mt-sm-1,.my-sm-1{margin-top:.25rem!important}.mr-sm-1,.mx-sm-1{margin-right:.25rem!important}.mb-sm-1,.my-sm-1{margin-bottom:.25rem!important}.ml-sm-1,.mx-sm-1{margin-left:.25rem!important}.m-sm-2{margin:.5rem!important}.mt-sm-2,.my-sm-2{margin-top:.5rem!important}.mr-sm-2,.mx-sm-2{margin-right:.5rem!important}.mb-sm-2,.my-sm-2{margin-bottom:.5rem!important}.ml-sm-2,.mx-sm-2{margin-left:.5rem!important}.m-sm-3{margin:1rem!important}.mt-sm-3,.my-sm-3{margin-top:1rem!important}.mr-sm-3,.mx-sm-3{margin-right:1rem!important}.mb-sm-3,.my-sm-3{margin-bottom:1rem!important}.ml-sm-3,.mx-sm-3{margin-left:1rem!important}.m-sm-4{margin:1.5rem!important}.mt-sm-4,.my-sm-4{margin-top:1.5rem!important}.mr-sm-4,.mx-sm-4{margin-right:1.5rem!important}.mb-sm-4,.my-sm-4{margin-bottom:1.5rem!important}.ml-sm-4,.mx-sm-4{margin-left:1.5rem!important}.m-sm-5{margin:3rem!important}.mt-sm-5,.my-sm-5{margin-top:3rem!important}.mr-sm-5,.mx-sm-5{margin-right:3rem!important}.mb-sm-5,.my-sm-5{margin-bottom:3rem!important}.ml-sm-5,.mx-sm-5{margin-left:3rem!important}.p-sm-0{padding:0!important}.pt-sm-0,.py-sm-0{padding-top:0!important}.pr-sm-0,.px-sm-0{padding-right:0!important}.pb-sm-0,.py-sm-0{padding-bottom:0!important}.pl-sm-0,.px-sm-0{padding-left:0!important}.p-sm-1{padding:.25rem!important}.pt-sm-1,.py-sm-1{padding-top:.25rem!important}.pr-sm-1,.px-sm-1{padding-right:.25rem!important}.pb-sm-1,.py-sm-1{padding-bottom:.25rem!important}.pl-sm-1,.px-sm-1{padding-left:.25rem!important}.p-sm-2{padding:.5rem!important}.pt-sm-2,.py-sm-2{padding-top:.5rem!important}.pr-sm-2,.px-sm-2{padding-right:.5rem!important}.pb-sm-2,.py-sm-2{padding-bottom:.5rem!important}.pl-sm-2,.px-sm-2{padding-left:.5rem!important}.p-sm-3{padding:1rem!important}.pt-sm-3,.py-sm-3{padding-top:1rem!important}.pr-sm-3,.px-sm-3{padding-right:1rem!important}.pb-sm-3,.py-sm-3{padding-bottom:1rem!important}.pl-sm-3,.px-sm-3{padding-left:1rem!important}.p-sm-4{padding:1.5rem!important}.pt-sm-4,.py-sm-4{padding-top:1.5rem!important}.pr-sm-4,.px-sm-4{padding-right:1.5rem!important}.pb-sm-4,.py-sm-4{padding-bottom:1.5rem!important}.pl-sm-4,.px-sm-4{padding-left:1.5rem!important}.p-sm-5{padding:3rem!important}.pt-sm-5,.py-sm-5{padding-top:3rem!important}.pr-sm-5,.px-sm-5{padding-right:3rem!important}.pb-sm-5,.py-sm-5{padding-bottom:3rem!important}.pl-sm-5,.px-sm-5{padding-left:3rem!important}.m-sm-n1{margin:-.25rem!important}.mt-sm-n1,.my-sm-n1{margin-top:-.25rem!important}.mr-sm-n1,.mx-sm-n1{margin-right:-.25rem!important}.mb-sm-n1,.my-sm-n1{margin-bottom:-.25rem!important}.ml-sm-n1,.mx-sm-n1{margin-left:-.25rem!important}.m-sm-n2{margin:-.5rem!important}.mt-sm-n2,.my-sm-n2{margin-top:-.5rem!important}.mr-sm-n2,.mx-sm-n2{margin-right:-.5rem!important}.mb-sm-n2,.my-sm-n2{margin-bottom:-.5rem!important}.ml-sm-n2,.mx-sm-n2{margin-left:-.5rem!important}.m-sm-n3{margin:-1rem!important}.mt-sm-n3,.my-sm-n3{margin-top:-1rem!important}.mr-sm-n3,.mx-sm-n3{margin-right:-1rem!important}.mb-sm-n3,.my-sm-n3{margin-bottom:-1rem!important}.ml-sm-n3,.mx-sm-n3{margin-left:-1rem!important}.m-sm-n4{margin:-1.5rem!important}.mt-sm-n4,.my-sm-n4{margin-top:-1.5rem!important}.mr-sm-n4,.mx-sm-n4{margin-right:-1.5rem!important}.mb-sm-n4,.my-sm-n4{margin-bottom:-1.5rem!important}.ml-sm-n4,.mx-sm-n4{margin-left:-1.5rem!important}.m-sm-n5{margin:-3rem!important}.mt-sm-n5,.my-sm-n5{margin-top:-3rem!important}.mr-sm-n5,.mx-sm-n5{margin-right:-3rem!important}.mb-sm-n5,.my-sm-n5{margin-bottom:-3rem!important}.ml-sm-n5,.mx-sm-n5{margin-left:-3rem!important}.m-sm-auto{margin:auto!important}.mt-sm-auto,.my-sm-auto{margin-top:auto!important}.mr-sm-auto,.mx-sm-auto{margin-right:auto!important}.mb-sm-auto,.my-sm-auto{margin-bottom:auto!important}.ml-sm-auto,.mx-sm-auto{margin-left:auto!important}}@media (min-width:768px){.m-md-0{margin:0!important}.mt-md-0,.my-md-0{margin-top:0!important}.mr-md-0,.mx-md-0{margin-right:0!important}.mb-md-0,.my-md-0{margin-bottom:0!important}.ml-md-0,.mx-md-0{margin-left:0!important}.m-md-1{margin:.25rem!important}.mt-md-1,.my-md-1{margin-top:.25rem!important}.mr-md-1,.mx-md-1{margin-right:.25rem!important}.mb-md-1,.my-md-1{margin-bottom:.25rem!important}.ml-md-1,.mx-md-1{margin-left:.25rem!important}.m-md-2{margin:.5rem!important}.mt-md-2,.my-md-2{margin-top:.5rem!important}.mr-md-2,.mx-md-2{margin-right:.5rem!important}.mb-md-2,.my-md-2{margin-bottom:.5rem!important}.ml-md-2,.mx-md-2{margin-left:.5rem!important}.m-md-3{margin:1rem!important}.mt-md-3,.my-md-3{margin-top:1rem!important}.mr-md-3,.mx-md-3{margin-right:1rem!important}.mb-md-3,.my-md-3{margin-bottom:1rem!important}.ml-md-3,.mx-md-3{margin-left:1rem!important}.m-md-4{margin:1.5rem!important}.mt-md-4,.my-md-4{margin-top:1.5rem!important}.mr-md-4,.mx-md-4{margin-right:1.5rem!important}.mb-md-4,.my-md-4{margin-bottom:1.5rem!important}.ml-md-4,.mx-md-4{margin-left:1.5rem!important}.m-md-5{margin:3rem!important}.mt-md-5,.my-md-5{margin-top:3rem!important}.mr-md-5,.mx-md-5{margin-right:3rem!important}.mb-md-5,.my-md-5{margin-bottom:3rem!important}.ml-md-5,.mx-md-5{margin-left:3rem!important}.p-md-0{padding:0!important}.pt-md-0,.py-md-0{padding-top:0!important}.pr-md-0,.px-md-0{padding-right:0!important}.pb-md-0,.py-md-0{padding-bottom:0!important}.pl-md-0,.px-md-0{padding-left:0!important}.p-md-1{padding:.25rem!important}.pt-md-1,.py-md-1{padding-top:.25rem!important}.pr-md-1,.px-md-1{padding-right:.25rem!important}.pb-md-1,.py-md-1{padding-bottom:.25rem!important}.pl-md-1,.px-md-1{padding-left:.25rem!important}.p-md-2{padding:.5rem!important}.pt-md-2,.py-md-2{padding-top:.5rem!important}.pr-md-2,.px-md-2{padding-right:.5rem!important}.pb-md-2,.py-md-2{padding-bottom:.5rem!important}.pl-md-2,.px-md-2{padding-left:.5rem!important}.p-md-3{padding:1rem!important}.pt-md-3,.py-md-3{padding-top:1rem!important}.pr-md-3,.px-md-3{padding-right:1rem!important}.pb-md-3,.py-md-3{padding-bottom:1rem!important}.pl-md-3,.px-md-3{padding-left:1rem!important}.p-md-4{padding:1.5rem!important}.pt-md-4,.py-md-4{padding-top:1.5rem!important}.pr-md-4,.px-md-4{padding-right:1.5rem!important}.pb-md-4,.py-md-4{padding-bottom:1.5rem!important}.pl-md-4,.px-md-4{padding-left:1.5rem!important}.p-md-5{padding:3rem!important}.pt-md-5,.py-md-5{padding-top:3rem!important}.pr-md-5,.px-md-5{padding-right:3rem!important}.pb-md-5,.py-md-5{padding-bottom:3rem!important}.pl-md-5,.px-md-5{padding-left:3rem!important}.m-md-n1{margin:-.25rem!important}.mt-md-n1,.my-md-n1{margin-top:-.25rem!important}.mr-md-n1,.mx-md-n1{margin-right:-.25rem!important}.mb-md-n1,.my-md-n1{margin-bottom:-.25rem!important}.ml-md-n1,.mx-md-n1{margin-left:-.25rem!important}.m-md-n2{margin:-.5rem!important}.mt-md-n2,.my-md-n2{margin-top:-.5rem!important}.mr-md-n2,.mx-md-n2{margin-right:-.5rem!important}.mb-md-n2,.my-md-n2{margin-bottom:-.5rem!important}.ml-md-n2,.mx-md-n2{margin-left:-.5rem!important}.m-md-n3{margin:-1rem!important}.mt-md-n3,.my-md-n3{margin-top:-1rem!important}.mr-md-n3,.mx-md-n3{margin-right:-1rem!important}.mb-md-n3,.my-md-n3{margin-bottom:-1rem!important}.ml-md-n3,.mx-md-n3{margin-left:-1rem!important}.m-md-n4{margin:-1.5rem!important}.mt-md-n4,.my-md-n4{margin-top:-1.5rem!important}.mr-md-n4,.mx-md-n4{margin-right:-1.5rem!important}.mb-md-n4,.my-md-n4{margin-bottom:-1.5rem!important}.ml-md-n4,.mx-md-n4{margin-left:-1.5rem!important}.m-md-n5{margin:-3rem!important}.mt-md-n5,.my-md-n5{margin-top:-3rem!important}.mr-md-n5,.mx-md-n5{margin-right:-3rem!important}.mb-md-n5,.my-md-n5{margin-bottom:-3rem!important}.ml-md-n5,.mx-md-n5{margin-left:-3rem!important}.m-md-auto{margin:auto!important}.mt-md-auto,.my-md-auto{margin-top:auto!important}.mr-md-auto,.mx-md-auto{margin-right:auto!important}.mb-md-auto,.my-md-auto{margin-bottom:auto!important}.ml-md-auto,.mx-md-auto{margin-left:auto!important}}@media (min-width:992px){.m-lg-0{margin:0!important}.mt-lg-0,.my-lg-0{margin-top:0!important}.mr-lg-0,.mx-lg-0{margin-right:0!important}.mb-lg-0,.my-lg-0{margin-bottom:0!important}.ml-lg-0,.mx-lg-0{margin-left:0!important}.m-lg-1{margin:.25rem!important}.mt-lg-1,.my-lg-1{margin-top:.25rem!important}.mr-lg-1,.mx-lg-1{margin-right:.25rem!important}.mb-lg-1,.my-lg-1{margin-bottom:.25rem!important}.ml-lg-1,.mx-lg-1{margin-left:.25rem!important}.m-lg-2{margin:.5rem!important}.mt-lg-2,.my-lg-2{margin-top:.5rem!important}.mr-lg-2,.mx-lg-2{margin-right:.5rem!important}.mb-lg-2,.my-lg-2{margin-bottom:.5rem!important}.ml-lg-2,.mx-lg-2{margin-left:.5rem!important}.m-lg-3{margin:1rem!important}.mt-lg-3,.my-lg-3{margin-top:1rem!important}.mr-lg-3,.mx-lg-3{margin-right:1rem!important}.mb-lg-3,.my-lg-3{margin-bottom:1rem!important}.ml-lg-3,.mx-lg-3{margin-left:1rem!important}.m-lg-4{margin:1.5rem!important}.mt-lg-4,.my-lg-4{margin-top:1.5rem!important}.mr-lg-4,.mx-lg-4{margin-right:1.5rem!important}.mb-lg-4,.my-lg-4{margin-bottom:1.5rem!important}.ml-lg-4,.mx-lg-4{margin-left:1.5rem!important}.m-lg-5{margin:3rem!important}.mt-lg-5,.my-lg-5{margin-top:3rem!important}.mr-lg-5,.mx-lg-5{margin-right:3rem!important}.mb-lg-5,.my-lg-5{margin-bottom:3rem!important}.ml-lg-5,.mx-lg-5{margin-left:3rem!important}.p-lg-0{padding:0!important}.pt-lg-0,.py-lg-0{padding-top:0!important}.pr-lg-0,.px-lg-0{padding-right:0!important}.pb-lg-0,.py-lg-0{padding-bottom:0!important}.pl-lg-0,.px-lg-0{padding-left:0!important}.p-lg-1{padding:.25rem!important}.pt-lg-1,.py-lg-1{padding-top:.25rem!important}.pr-lg-1,.px-lg-1{padding-right:.25rem!important}.pb-lg-1,.py-lg-1{padding-bottom:.25rem!important}.pl-lg-1,.px-lg-1{padding-left:.25rem!important}.p-lg-2{padding:.5rem!important}.pt-lg-2,.py-lg-2{padding-top:.5rem!important}.pr-lg-2,.px-lg-2{padding-right:.5rem!important}.pb-lg-2,.py-lg-2{padding-bottom:.5rem!important}.pl-lg-2,.px-lg-2{padding-left:.5rem!important}.p-lg-3{padding:1rem!important}.pt-lg-3,.py-lg-3{padding-top:1rem!important}.pr-lg-3,.px-lg-3{padding-right:1rem!important}.pb-lg-3,.py-lg-3{padding-bottom:1rem!important}.pl-lg-3,.px-lg-3{padding-left:1rem!important}.p-lg-4{padding:1.5rem!important}.pt-lg-4,.py-lg-4{padding-top:1.5rem!important}.pr-lg-4,.px-lg-4{padding-right:1.5rem!important}.pb-lg-4,.py-lg-4{padding-bottom:1.5rem!important}.pl-lg-4,.px-lg-4{padding-left:1.5rem!important}.p-lg-5{padding:3rem!important}.pt-lg-5,.py-lg-5{padding-top:3rem!important}.pr-lg-5,.px-lg-5{padding-right:3rem!important}.pb-lg-5,.py-lg-5{padding-bottom:3rem!important}.pl-lg-5,.px-lg-5{padding-left:3rem!important}.m-lg-n1{margin:-.25rem!important}.mt-lg-n1,.my-lg-n1{margin-top:-.25rem!important}.mr-lg-n1,.mx-lg-n1{margin-right:-.25rem!important}.mb-lg-n1,.my-lg-n1{margin-bottom:-.25rem!important}.ml-lg-n1,.mx-lg-n1{margin-left:-.25rem!important}.m-lg-n2{margin:-.5rem!important}.mt-lg-n2,.my-lg-n2{margin-top:-.5rem!important}.mr-lg-n2,.mx-lg-n2{margin-right:-.5rem!important}.mb-lg-n2,.my-lg-n2{margin-bottom:-.5rem!important}.ml-lg-n2,.mx-lg-n2{margin-left:-.5rem!important}.m-lg-n3{margin:-1rem!important}.mt-lg-n3,.my-lg-n3{margin-top:-1rem!important}.mr-lg-n3,.mx-lg-n3{margin-right:-1rem!important}.mb-lg-n3,.my-lg-n3{margin-bottom:-1rem!important}.ml-lg-n3,.mx-lg-n3{margin-left:-1rem!important}.m-lg-n4{margin:-1.5rem!important}.mt-lg-n4,.my-lg-n4{margin-top:-1.5rem!important}.mr-lg-n4,.mx-lg-n4{margin-right:-1.5rem!important}.mb-lg-n4,.my-lg-n4{margin-bottom:-1.5rem!important}.ml-lg-n4,.mx-lg-n4{margin-left:-1.5rem!important}.m-lg-n5{margin:-3rem!important}.mt-lg-n5,.my-lg-n5{margin-top:-3rem!important}.mr-lg-n5,.mx-lg-n5{margin-right:-3rem!important}.mb-lg-n5,.my-lg-n5{margin-bottom:-3rem!important}.ml-lg-n5,.mx-lg-n5{margin-left:-3rem!important}.m-lg-auto{margin:auto!important}.mt-lg-auto,.my-lg-auto{margin-top:auto!important}.mr-lg-auto,.mx-lg-auto{margin-right:auto!important}.mb-lg-auto,.my-lg-auto{margin-bottom:auto!important}.ml-lg-auto,.mx-lg-auto{margin-left:auto!important}}@media (min-width:1200px){.m-xl-0{margin:0!important}.mt-xl-0,.my-xl-0{margin-top:0!important}.mr-xl-0,.mx-xl-0{margin-right:0!important}.mb-xl-0,.my-xl-0{margin-bottom:0!important}.ml-xl-0,.mx-xl-0{margin-left:0!important}.m-xl-1{margin:.25rem!important}.mt-xl-1,.my-xl-1{margin-top:.25rem!important}.mr-xl-1,.mx-xl-1{margin-right:.25rem!important}.mb-xl-1,.my-xl-1{margin-bottom:.25rem!important}.ml-xl-1,.mx-xl-1{margin-left:.25rem!important}.m-xl-2{margin:.5rem!important}.mt-xl-2,.my-xl-2{margin-top:.5rem!important}.mr-xl-2,.mx-xl-2{margin-right:.5rem!important}.mb-xl-2,.my-xl-2{margin-bottom:.5rem!important}.ml-xl-2,.mx-xl-2{margin-left:.5rem!important}.m-xl-3{margin:1rem!important}.mt-xl-3,.my-xl-3{margin-top:1rem!important}.mr-xl-3,.mx-xl-3{margin-right:1rem!important}.mb-xl-3,.my-xl-3{margin-bottom:1rem!important}.ml-xl-3,.mx-xl-3{margin-left:1rem!important}.m-xl-4{margin:1.5rem!important}.mt-xl-4,.my-xl-4{margin-top:1.5rem!important}.mr-xl-4,.mx-xl-4{margin-right:1.5rem!important}.mb-xl-4,.my-xl-4{margin-bottom:1.5rem!important}.ml-xl-4,.mx-xl-4{margin-left:1.5rem!important}.m-xl-5{margin:3rem!important}.mt-xl-5,.my-xl-5{margin-top:3rem!important}.mr-xl-5,.mx-xl-5{margin-right:3rem!important}.mb-xl-5,.my-xl-5{margin-bottom:3rem!important}.ml-xl-5,.mx-xl-5{margin-left:3rem!important}.p-xl-0{padding:0!important}.pt-xl-0,.py-xl-0{padding-top:0!important}.pr-xl-0,.px-xl-0{padding-right:0!important}.pb-xl-0,.py-xl-0{padding-bottom:0!important}.pl-xl-0,.px-xl-0{padding-left:0!important}.p-xl-1{padding:.25rem!important}.pt-xl-1,.py-xl-1{padding-top:.25rem!important}.pr-xl-1,.px-xl-1{padding-right:.25rem!important}.pb-xl-1,.py-xl-1{padding-bottom:.25rem!important}.pl-xl-1,.px-xl-1{padding-left:.25rem!important}.p-xl-2{padding:.5rem!important}.pt-xl-2,.py-xl-2{padding-top:.5rem!important}.pr-xl-2,.px-xl-2{padding-right:.5rem!important}.pb-xl-2,.py-xl-2{padding-bottom:.5rem!important}.pl-xl-2,.px-xl-2{padding-left:.5rem!important}.p-xl-3{padding:1rem!important}.pt-xl-3,.py-xl-3{padding-top:1rem!important}.pr-xl-3,.px-xl-3{padding-right:1rem!important}.pb-xl-3,.py-xl-3{padding-bottom:1rem!important}.pl-xl-3,.px-xl-3{padding-left:1rem!important}.p-xl-4{padding:1.5rem!important}.pt-xl-4,.py-xl-4{padding-top:1.5rem!important}.pr-xl-4,.px-xl-4{padding-right:1.5rem!important}.pb-xl-4,.py-xl-4{padding-bottom:1.5rem!important}.pl-xl-4,.px-xl-4{padding-left:1.5rem!important}.p-xl-5{padding:3rem!important}.pt-xl-5,.py-xl-5{padding-top:3rem!important}.pr-xl-5,.px-xl-5{padding-right:3rem!important}.pb-xl-5,.py-xl-5{padding-bottom:3rem!important}.pl-xl-5,.px-xl-5{padding-left:3rem!important}.m-xl-n1{margin:-.25rem!important}.mt-xl-n1,.my-xl-n1{margin-top:-.25rem!important}.mr-xl-n1,.mx-xl-n1{margin-right:-.25rem!important}.mb-xl-n1,.my-xl-n1{margin-bottom:-.25rem!important}.ml-xl-n1,.mx-xl-n1{margin-left:-.25rem!important}.m-xl-n2{margin:-.5rem!important}.mt-xl-n2,.my-xl-n2{margin-top:-.5rem!important}.mr-xl-n2,.mx-xl-n2{margin-right:-.5rem!important}.mb-xl-n2,.my-xl-n2{margin-bottom:-.5rem!important}.ml-xl-n2,.mx-xl-n2{margin-left:-.5rem!important}.m-xl-n3{margin:-1rem!important}.mt-xl-n3,.my-xl-n3{margin-top:-1rem!important}.mr-xl-n3,.mx-xl-n3{margin-right:-1rem!important}.mb-xl-n3,.my-xl-n3{margin-bottom:-1rem!important}.ml-xl-n3,.mx-xl-n3{margin-left:-1rem!important}.m-xl-n4{margin:-1.5rem!important}.mt-xl-n4,.my-xl-n4{margin-top:-1.5rem!important}.mr-xl-n4,.mx-xl-n4{margin-right:-1.5rem!important}.mb-xl-n4,.my-xl-n4{margin-bottom:-1.5rem!important}.ml-xl-n4,.mx-xl-n4{margin-left:-1.5rem!important}.m-xl-n5{margin:-3rem!important}.mt-xl-n5,.my-xl-n5{margin-top:-3rem!important}.mr-xl-n5,.mx-xl-n5{margin-right:-3rem!important}.mb-xl-n5,.my-xl-n5{margin-bottom:-3rem!important}.ml-xl-n5,.mx-xl-n5{margin-left:-3rem!important}.m-xl-auto{margin:auto!important}.mt-xl-auto,.my-xl-auto{margin-top:auto!important}.mr-xl-auto,.mx-xl-auto{margin-right:auto!important}.mb-xl-auto,.my-xl-auto{margin-bottom:auto!important}.ml-xl-auto,.mx-xl-auto{margin-left:auto!important}}.stretched-link:after{position:absolute;top:0;right:0;bottom:0;left:0;z-index:1;pointer-events:auto;content:"";background-color:transparent}.text-monospace{font-family:SFMono-Regular,Menlo,Monaco,Consolas,Liberation Mono,Courier New,monospace!important}.text-justify{text-align:justify!important}.text-wrap{white-space:normal!important}.text-nowrap{white-space:nowrap!important}.text-truncate{overflow:hidden;text-overflow:ellipsis;white-space:nowrap}.text-left{text-align:left!important}.text-right{text-align:right!important}.text-center{text-align:center!important}@media (min-width:576px){.text-sm-left{text-align:left!important}.text-sm-right{text-align:right!important}.text-sm-center{text-align:center!important}}@media (min-width:768px){.text-md-left{text-align:left!important}.text-md-right{text-align:right!important}.text-md-center{text-align:center!important}}@media (min-width:992px){.text-lg-left{text-align:left!important}.text-lg-right{text-align:right!important}.text-lg-center{text-align:center!important}}@media (min-width:1200px){.text-xl-left{text-align:left!important}.text-xl-right{text-align:right!important}.text-xl-center{text-align:center!important}}.text-lowercase{text-transform:lowercase!important}.text-uppercase{text-transform:uppercase!important}.text-capitalize{text-transform:capitalize!important}.font-weight-light{font-weight:300!important}.font-weight-lighter{font-weight:lighter!important}.font-weight-normal{font-weight:400!important}.font-weight-bold{font-weight:700!important}.font-weight-bolder{font-weight:bolder!important}.font-italic{font-style:italic!important}.text-white{color:#fff!important}.text-primary{color:#007bff!important}a.text-primary:focus,a.text-primary:hover{color:#0056b3!important}.text-secondary{color:#6c757d!important}a.text-secondary:focus,a.text-secondary:hover{color:#494f54!important}.text-success{color:#28a745!important}a.text-success:focus,a.text-success:hover{color:#19692c!important}.text-info{color:#17a2b8!important}a.text-info:focus,a.text-info:hover{color:#0f6674!important}.text-warning{color:#ffc107!important}a.text-warning:focus,a.text-warning:hover{color:#ba8b00!important}.text-danger{color:#dc3545!important}a.text-danger:focus,a.text-danger:hover{color:#a71d2a!important}.text-light{color:#f8f9fa!important}a.text-light:focus,a.text-light:hover{color:#cbd3da!important}.text-dark{color:#343a40!important}a.text-dark:focus,a.text-dark:hover{color:#121416!important}.text-body{color:#212529!important}.text-muted{color:#6c757d!important}.text-black-50{color:rgba(0,0,0,.5)!important}.text-white-50{color:hsla(0,0%,100%,.5)!important}.text-hide{font:0/0 a;color:transparent;text-shadow:none;background-color:transparent;border:0}.text-decoration-none{text-decoration:none!important}.text-break{word-wrap:break-word!important}.text-reset{color:inherit!important}.visible{visibility:visible!important}.invisible{visibility:hidden!important}@media print{*,:after,:before{text-shadow:none!important;box-shadow:none!important}a:not(.btn){text-decoration:underline}abbr[title]:after{content:" (" attr(title) ")"}pre{white-space:pre-wrap!important}blockquote,pre{border:1px solid #adb5bd;page-break-inside:avoid}thead{display:table-header-group}img,tr{page-break-inside:avoid}h2,h3,p{orphans:3;widows:3}h2,h3{page-break-after:avoid}@page{size:a3}.container,body{min-width:992px!important}.navbar{display:none}.badge{border:1px solid #000}.table{border-collapse:collapse!important}.table td,.table th{background-color:#fff!important}.table-bordered td,.table-bordered th{border:1px solid #dee2e6!important}.table-dark{color:inherit}.table-dark tbody+tbody,.table-dark td,.table-dark th,.table-dark thead th{border-color:#dee2e6}.table .thead-dark th{color:inherit;border-color:#dee2e6}}html{font-size:15px}body{background-color:#fff;font-family:Lato,sans-serif;font-weight:400;line-height:1.65;color:#333;padding-top:75px}p{margin-bottom:1.15rem;font-size:1em}p.rubric{border-bottom:1px solid #c9c9c9}a{color:#005b81;text-decoration:none}a:hover{color:#e32e00;text-decoration:underline}a.headerlink{color:#c60f0f;font-size:.8em;padding:0 4px;text-decoration:none}a.headerlink:hover{background-color:#c60f0f;color:#fff}.header-style,h1,h2,h3,h4,h5,h6{margin:2.75rem 0 1.05rem;font-family:Open Sans,sans-serif;font-weight:400;line-height:1.15}.header-style:before,h1:before,h2:before,h3:before,h4:before,h5:before,h6:before{display:block;content:"";height:80px;margin:-80px 0 0}h1{margin-top:0;font-size:2.488em}h1,h2{color:#130654}h2{font-size:2.074em}h3{font-size:1.728em}h4{font-size:1.44em}h5{font-size:1.2em}h6{font-size:1em}.text_small,small{font-size:.833em}hr{border:0;border-top:1px solid #e5e5e5}pre{padding:10px;background-color:#fafafa;color:#222;line-height:1.2em;border:1px solid #c9c9c9;margin:1.5em 0;box-shadow:1px 1px 1px #d8d8d8}.navbar{position:fixed}.navbar-brand{position:relative;height:45px;width:auto}.navbar-brand img{max-width:100%;height:100%;width:auto}.navbar-light{background:#fff!important;box-shadow:0 .125rem .25rem 0 rgba(0,0,0,.11)}.navbar-nav li a{padding:0 15px}.navbar-nav>.active>.nav-link{font-weight:600;color:#130654!important}.navbar-header a{padding:0 15px}.admonition{margin:1.5625em auto;padding:0 .6rem .8rem!important;overflow:hidden;page-break-inside:avoid;border-left:.2rem solid #007bff;border-radius:.1rem;box-shadow:0 .2rem .5rem rgba(0,0,0,.05),0 0 .05rem rgba(0,0,0,.1);transition:color .25s,background-color .25s,border-color .25s}.admonition :last-child{margin-bottom:0}.admonition p.admonition-title~*{padding:0 1.4rem}.admonition>ol,.admonition>ul{margin-left:1em}.admonition .admonition-title{position:relative;margin:0 -.6rem!important;padding:.4rem .6rem .4rem 2rem;font-weight:700;background-color:rgba(68,138,255,.1)}.admonition .admonition-title:before{position:absolute;left:.6rem;width:1rem;height:1rem;color:#007bff;font-family:Font Awesome\ 5 Free;font-weight:900;content:""}.admonition .admonition-title+*{margin-top:.4em}.admonition.attention{border-color:#fd7e14}.admonition.attention .admonition-title{background-color:#ffedcc}.admonition.attention .admonition-title:before{color:#fd7e14;content:""}.admonition.caution{border-color:#fd7e14}.admonition.caution .admonition-title{background-color:#ffedcc}.admonition.caution .admonition-title:before{color:#fd7e14;content:""}.admonition.warning{border-color:#dc3545}.admonition.warning .admonition-title{background-color:#fdf3f2}.admonition.warning .admonition-title:before{color:#dc3545;content:""}.admonition.danger{border-color:#dc3545}.admonition.danger .admonition-title{background-color:#fdf3f2}.admonition.danger .admonition-title:before{color:#dc3545;content:""}.admonition.error{border-color:#dc3545}.admonition.error .admonition-title{background-color:#fdf3f2}.admonition.error .admonition-title:before{color:#dc3545;content:""}.admonition.hint{border-color:#ffc107}.admonition.hint .admonition-title{background-color:#fff6dd}.admonition.hint .admonition-title:before{color:#ffc107;content:""}.admonition.tip{border-color:#ffc107}.admonition.tip .admonition-title{background-color:#fff6dd}.admonition.tip .admonition-title:before{color:#ffc107;content:""}.admonition.important{border-color:#007bff}.admonition.important .admonition-title{background-color:#e7f2fa}.admonition.important .admonition-title:before{color:#007bff;content:""}.admonition.note{border-color:#007bff}.admonition.note .admonition-title{background-color:#e7f2fa}.admonition.note .admonition-title:before{color:#007bff;content:""}div.deprecated{margin-bottom:10px;margin-top:10px;padding:7px;color:#b94a48;background-color:#f3e5e5;border:1px solid #eed3d7;border-radius:.5rem}div.deprecated p{display:inline}.topic{background-color:#eee}.seealso dd{margin-top:0;margin-bottom:0}.viewcode-back{font-family:Lato,sans-serif}.viewcode-block:target{background-color:#f4debf;border-top:1px solid #ac9;border-bottom:1px solid #ac9}table.field-list{border-collapse:separate;border-spacing:10px;margin-left:1px}table.field-list th.field-name{padding:1px 8px 1px 5px;white-space:nowrap;background-color:#eee}table.field-list td.field-body p{font-style:italic}table.field-list td.field-body p>strong{font-style:normal}table.field-list td.field-body blockquote{border-left:none;margin:0 0 .3em;padding-left:30px}.table.autosummary td:first-child{white-space:nowrap}.footer{width:100%;border-top:1px solid #ccc;padding-top:10px}.bd-search{position:relative;padding:1rem 15px;margin-right:-15px;margin-left:-15px}.bd-search .icon{position:absolute;color:#a4a6a7;left:25px;top:25px}.bd-search input{border-radius:0;border:0;border-bottom:1px solid #e5e5e5;padding-left:35px}.bd-toc{-ms-flex-order:2;order:2;height:calc(100vh - 2rem);overflow-y:auto}@supports (position:-webkit-sticky) or (position:sticky){.bd-toc{position:-webkit-sticky;position:sticky;top:5rem;height:calc(100vh - 5rem);overflow-y:auto}}.bd-toc .onthispage{color:#a4a6a7}.section-nav{padding-left:0;border-left:1px solid #eee;border-bottom:none}.section-nav ul{padding-left:1rem}.toc-entry,.toc-entry a{display:block}.toc-entry a{padding:.125rem 1.5rem;color:#77757a}@media (min-width:1200px){.toc-entry a{padding-right:0}}.toc-entry a:hover{color:rgba(0,0,0,.85);text-decoration:none}.bd-sidebar{padding-top:1em}@media (min-width:768px){.bd-sidebar{border-right:1px solid rgba(0,0,0,.1)}@supports (position:-webkit-sticky) or (position:sticky){.bd-sidebar{position:-webkit-sticky;position:sticky;top:76px;z-index:1000;height:calc(100vh - 4rem)}}}.bd-links{padding-top:1rem;padding-bottom:1rem;margin-right:-15px;margin-left:-15px}@media (min-width:768px){@supports (position:-webkit-sticky) or (position:sticky){.bd-links{max-height:calc(100vh - 9rem);overflow-y:auto}}}@media (min-width:768px){.bd-links{display:block!important}}.bd-sidenav{display:none}.bd-content{padding-top:20px}.bd-content .section{max-width:100%}.bd-content .section table{display:block;overflow:auto}.bd-toc-link{display:block;padding:.25rem 1.5rem;font-weight:600;color:rgba(0,0,0,.65)}.bd-toc-link:hover{color:rgba(0,0,0,.85);text-decoration:none}.bd-toc-item.active{margin-bottom:1rem}.bd-toc-item.active:not(:first-child){margin-top:1rem}.bd-toc-item.active>.bd-toc-link{color:rgba(0,0,0,.85)}.bd-toc-item.active>.bd-toc-link:hover{background-color:transparent}.bd-toc-item.active>.bd-sidenav{display:block}.bd-sidebar .nav>li>a{display:block;padding:.25rem 1.5rem;font-size:.9em;color:rgba(0,0,0,.65)}.bd-sidebar .nav>li>a:hover{color:#130654;text-decoration:none;background-color:transparent}.bd-sidebar .nav>.active:hover>a,.bd-sidebar .nav>.active>a{font-weight:600;color:#130654}.bd-sidebar .nav>li>ul{list-style:none;padding:.25rem 1.5rem}.bd-sidebar .nav>li>ul>li>a{display:block;padding:.25rem 1.5rem;font-size:.9em;color:rgba(0,0,0,.65)}.bd-sidebar .nav>li>ul>.active:hover>a,.bd-sidebar .nav>li>ul>.active>a{font-weight:600;color:#130654}.toc-h2{font-size:.85rem}.toc-h3{font-size:.75rem}.toc-h4{font-size:.65rem}.toc-entry>.nav-link.active{font-weight:600;color:#130654;background-color:transparent;border-left:2px solid #563d7c}.nav-link:hover{border-style:none}#navbar-main-elements li.nav-item i{font-size:.7rem;padding-left:2px;vertical-align:middle}.bd-toc .nav .nav{display:none}.bd-toc .nav .nav.visible,.bd-toc .nav>.active>ul{display:block}.prev-next-bottom{margin:20px 0}.prev-next-bottom a.left-prev,.prev-next-bottom a.right-next{padding:10px;border:1px solid rgba(0,0,0,.2);max-width:45%;overflow-x:hidden;color:rgba(0,0,0,.65)}.prev-next-bottom a.left-prev{float:left}.prev-next-bottom a.left-prev:before{content:"<< "}.prev-next-bottom a.right-next{float:right}.prev-next-bottom a.right-next:after{content:" >>"}.alert{padding-bottom:0}.alert-info a{color:#e83e8c}i.fab{vertical-align:middle;font-style:normal;font-size:1.5rem;line-height:1.25}i.fa-github-square:before{color:#333}i.fa-twitter-square:before{color:#55acee}.tocsection{border-left:1px solid #eee;padding:.3rem 1.5rem}.tocsection i{padding-right:.5rem}.editthispage{padding-top:2rem}.editthispage a{color:#130754}
\ No newline at end of file
diff --git a/_static/css/index.ff1ffe594081f20da1ef19478df9384b.css b/_static/css/index.ff1ffe594081f20da1ef19478df9384b.css
index 9b1c5d79..c95bced9 100755
--- a/_static/css/index.ff1ffe594081f20da1ef19478df9384b.css
+++ b/_static/css/index.ff1ffe594081f20da1ef19478df9384b.css
@@ -1,6 +1,6 @@
-/*!
- * Bootstrap v4.5.0 (https://getbootstrap.com/)
- * Copyright 2011-2020 The Bootstrap Authors
- * Copyright 2011-2020 Twitter, Inc.
- * Licensed under MIT (https://github.com/twbs/bootstrap/blob/master/LICENSE)
+/*!
+ * Bootstrap v4.5.0 (https://getbootstrap.com/)
+ * Copyright 2011-2020 The Bootstrap Authors
+ * Copyright 2011-2020 Twitter, Inc.
+ * Licensed under MIT (https://github.com/twbs/bootstrap/blob/master/LICENSE)
*/:root{--blue:#007bff;--indigo:#6610f2;--purple:#6f42c1;--pink:#e83e8c;--red:#dc3545;--orange:#fd7e14;--yellow:#ffc107;--green:#28a745;--teal:#20c997;--cyan:#17a2b8;--white:#fff;--gray:#6c757d;--gray-dark:#343a40;--primary:#007bff;--secondary:#6c757d;--success:#28a745;--info:#17a2b8;--warning:#ffc107;--danger:#dc3545;--light:#f8f9fa;--dark:#343a40;--breakpoint-xs:0;--breakpoint-sm:540px;--breakpoint-md:720px;--breakpoint-lg:960px;--breakpoint-xl:1200px;--font-family-sans-serif:-apple-system,BlinkMacSystemFont,"Segoe UI",Roboto,"Helvetica Neue",Arial,"Noto Sans",sans-serif,"Apple Color Emoji","Segoe UI Emoji","Segoe UI Symbol","Noto Color Emoji";--font-family-monospace:SFMono-Regular,Menlo,Monaco,Consolas,"Liberation Mono","Courier New",monospace}*,:after,:before{box-sizing:border-box}html{font-family:sans-serif;line-height:1.15;-webkit-text-size-adjust:100%;-webkit-tap-highlight-color:rgba(0,0,0,0)}article,aside,figcaption,figure,footer,header,hgroup,main,nav,section{display:block}body{margin:0;font-family:-apple-system,BlinkMacSystemFont,Segoe UI,Roboto,Helvetica Neue,Arial,Noto Sans,sans-serif,Apple Color Emoji,Segoe UI Emoji,Segoe UI Symbol,Noto Color Emoji;font-size:1rem;line-height:1.5;color:#212529;text-align:left}[tabindex="-1"]:focus:not(:focus-visible){outline:0!important}hr{box-sizing:content-box;height:0;overflow:visible}h1,h2,h3,h4,h5,h6{margin-top:0;margin-bottom:.5rem}p{margin-top:0;margin-bottom:1rem}abbr[data-original-title],abbr[title]{text-decoration:underline;text-decoration:underline dotted;cursor:help;border-bottom:0;text-decoration-skip-ink:none}address{font-style:normal;line-height:inherit}address,dl,ol,ul{margin-bottom:1rem}dl,ol,ul{margin-top:0}ol ol,ol ul,ul ol,ul ul{margin-bottom:0}dt{font-weight:700}dd{margin-bottom:.5rem;margin-left:0}blockquote{margin:0 0 1rem}b,strong{font-weight:bolder}small{font-size:80%}sub,sup{position:relative;font-size:75%;line-height:0;vertical-align:baseline}sub{bottom:-.25em}sup{top:-.5em}a{color:#007bff;background-color:transparent}a:hover{color:#0056b3}a:not([href]),a:not([href]):hover{color:inherit;text-decoration:none}code,kbd,pre,samp{font-family:SFMono-Regular,Menlo,Monaco,Consolas,Liberation Mono,Courier New,monospace;font-size:1em}pre{margin-top:0;margin-bottom:1rem;overflow:auto;-ms-overflow-style:scrollbar}figure{margin:0 0 1rem}img{border-style:none}img,svg{vertical-align:middle}svg{overflow:hidden}table{border-collapse:collapse}caption{padding-top:.75rem;padding-bottom:.75rem;color:#6c757d;text-align:left;caption-side:bottom}th{text-align:inherit}label{display:inline-block;margin-bottom:.5rem}button{border-radius:0}button:focus{outline:1px dotted;outline:5px auto -webkit-focus-ring-color}button,input,optgroup,select,textarea{margin:0;font-family:inherit;font-size:inherit;line-height:inherit}button,input{overflow:visible}button,select{text-transform:none}[role=button]{cursor:pointer}select{word-wrap:normal}[type=button],[type=reset],[type=submit],button{-webkit-appearance:button}[type=button]:not(:disabled),[type=reset]:not(:disabled),[type=submit]:not(:disabled),button:not(:disabled){cursor:pointer}[type=button]::-moz-focus-inner,[type=reset]::-moz-focus-inner,[type=submit]::-moz-focus-inner,button::-moz-focus-inner{padding:0;border-style:none}input[type=checkbox],input[type=radio]{box-sizing:border-box;padding:0}textarea{overflow:auto;resize:vertical}fieldset{min-width:0;padding:0;margin:0;border:0}legend{display:block;width:100%;max-width:100%;padding:0;margin-bottom:.5rem;font-size:1.5rem;line-height:inherit;color:inherit;white-space:normal}progress{vertical-align:baseline}[type=number]::-webkit-inner-spin-button,[type=number]::-webkit-outer-spin-button{height:auto}[type=search]{outline-offset:-2px;-webkit-appearance:none}[type=search]::-webkit-search-decoration{-webkit-appearance:none}::-webkit-file-upload-button{font:inherit;-webkit-appearance:button}output{display:inline-block}summary{display:list-item;cursor:pointer}template{display:none}[hidden]{display:none!important}.h1,.h2,.h3,.h4,.h5,.h6,h1,h2,h3,h4,h5,h6{margin-bottom:.5rem;font-weight:500;line-height:1.2}.h1,h1{font-size:2.5rem}.h2,h2{font-size:2rem}.h3,h3{font-size:1.75rem}.h4,h4{font-size:1.5rem}.h5,h5{font-size:1.25rem}.h6,h6{font-size:1rem}.lead{font-size:1.25rem;font-weight:300}.display-1{font-size:6rem}.display-1,.display-2{font-weight:300;line-height:1.2}.display-2{font-size:5.5rem}.display-3{font-size:4.5rem}.display-3,.display-4{font-weight:300;line-height:1.2}.display-4{font-size:3.5rem}hr{margin-top:1rem;margin-bottom:1rem;border-top:1px solid rgba(0,0,0,.1)}.small,small{font-size:80%;font-weight:400}.mark,mark{padding:.2em;background-color:#fcf8e3}.list-inline,.list-unstyled{padding-left:0;list-style:none}.list-inline-item{display:inline-block}.list-inline-item:not(:last-child){margin-right:.5rem}.initialism{font-size:90%;text-transform:uppercase}.blockquote{margin-bottom:1rem;font-size:1.25rem}.blockquote-footer{display:block;font-size:80%;color:#6c757d}.blockquote-footer:before{content:"\2014\00A0"}.img-fluid,.img-thumbnail{max-width:100%;height:auto}.img-thumbnail{padding:.25rem;background-color:#fff;border:1px solid #dee2e6;border-radius:.25rem}.figure{display:inline-block}.figure-img{margin-bottom:.5rem;line-height:1}.figure-caption{font-size:90%;color:#6c757d}code{font-size:87.5%;color:#e83e8c;word-wrap:break-word}a>code{color:inherit}kbd{padding:.2rem .4rem;font-size:87.5%;color:#fff;background-color:#212529;border-radius:.2rem}kbd kbd{padding:0;font-size:100%;font-weight:700}pre{display:block;font-size:87.5%;color:#212529}pre code{font-size:inherit;color:inherit;word-break:normal}.pre-scrollable{max-height:340px;overflow-y:scroll}.container{width:100%;padding-right:15px;padding-left:15px;margin-right:auto;margin-left:auto}@media (min-width:540px){.container{max-width:540px}}@media (min-width:720px){.container{max-width:720px}}@media (min-width:960px){.container{max-width:960px}}@media (min-width:1200px){.container{max-width:1400px}}.container-fluid,.container-lg,.container-md,.container-sm,.container-xl{width:100%;padding-right:15px;padding-left:15px;margin-right:auto;margin-left:auto}@media (min-width:540px){.container,.container-sm{max-width:540px}}@media (min-width:720px){.container,.container-md,.container-sm{max-width:720px}}@media (min-width:960px){.container,.container-lg,.container-md,.container-sm{max-width:960px}}@media (min-width:1200px){.container,.container-lg,.container-md,.container-sm,.container-xl{max-width:1400px}}.row{display:flex;flex-wrap:wrap;margin-right:-15px;margin-left:-15px}.no-gutters{margin-right:0;margin-left:0}.no-gutters>.col,.no-gutters>[class*=col-]{padding-right:0;padding-left:0}.col,.col-1,.col-2,.col-3,.col-4,.col-5,.col-6,.col-7,.col-8,.col-9,.col-10,.col-11,.col-12,.col-auto,.col-lg,.col-lg-1,.col-lg-2,.col-lg-3,.col-lg-4,.col-lg-5,.col-lg-6,.col-lg-7,.col-lg-8,.col-lg-9,.col-lg-10,.col-lg-11,.col-lg-12,.col-lg-auto,.col-md,.col-md-1,.col-md-2,.col-md-3,.col-md-4,.col-md-5,.col-md-6,.col-md-7,.col-md-8,.col-md-9,.col-md-10,.col-md-11,.col-md-12,.col-md-auto,.col-sm,.col-sm-1,.col-sm-2,.col-sm-3,.col-sm-4,.col-sm-5,.col-sm-6,.col-sm-7,.col-sm-8,.col-sm-9,.col-sm-10,.col-sm-11,.col-sm-12,.col-sm-auto,.col-xl,.col-xl-1,.col-xl-2,.col-xl-3,.col-xl-4,.col-xl-5,.col-xl-6,.col-xl-7,.col-xl-8,.col-xl-9,.col-xl-10,.col-xl-11,.col-xl-12,.col-xl-auto{position:relative;width:100%;padding-right:15px;padding-left:15px}.col{flex-basis:0;flex-grow:1;min-width:0;max-width:100%}.row-cols-1>*{flex:0 0 100%;max-width:100%}.row-cols-2>*{flex:0 0 50%;max-width:50%}.row-cols-3>*{flex:0 0 33.33333%;max-width:33.33333%}.row-cols-4>*{flex:0 0 25%;max-width:25%}.row-cols-5>*{flex:0 0 20%;max-width:20%}.row-cols-6>*{flex:0 0 16.66667%;max-width:16.66667%}.col-auto{flex:0 0 auto;width:auto;max-width:100%}.col-1{flex:0 0 8.33333%;max-width:8.33333%}.col-2{flex:0 0 16.66667%;max-width:16.66667%}.col-3{flex:0 0 25%;max-width:25%}.col-4{flex:0 0 33.33333%;max-width:33.33333%}.col-5{flex:0 0 41.66667%;max-width:41.66667%}.col-6{flex:0 0 50%;max-width:50%}.col-7{flex:0 0 58.33333%;max-width:58.33333%}.col-8{flex:0 0 66.66667%;max-width:66.66667%}.col-9{flex:0 0 75%;max-width:75%}.col-10{flex:0 0 83.33333%;max-width:83.33333%}.col-11{flex:0 0 91.66667%;max-width:91.66667%}.col-12{flex:0 0 100%;max-width:100%}.order-first{order:-1}.order-last{order:13}.order-0{order:0}.order-1{order:1}.order-2{order:2}.order-3{order:3}.order-4{order:4}.order-5{order:5}.order-6{order:6}.order-7{order:7}.order-8{order:8}.order-9{order:9}.order-10{order:10}.order-11{order:11}.order-12{order:12}.offset-1{margin-left:8.33333%}.offset-2{margin-left:16.66667%}.offset-3{margin-left:25%}.offset-4{margin-left:33.33333%}.offset-5{margin-left:41.66667%}.offset-6{margin-left:50%}.offset-7{margin-left:58.33333%}.offset-8{margin-left:66.66667%}.offset-9{margin-left:75%}.offset-10{margin-left:83.33333%}.offset-11{margin-left:91.66667%}@media (min-width:540px){.col-sm{flex-basis:0;flex-grow:1;min-width:0;max-width:100%}.row-cols-sm-1>*{flex:0 0 100%;max-width:100%}.row-cols-sm-2>*{flex:0 0 50%;max-width:50%}.row-cols-sm-3>*{flex:0 0 33.33333%;max-width:33.33333%}.row-cols-sm-4>*{flex:0 0 25%;max-width:25%}.row-cols-sm-5>*{flex:0 0 20%;max-width:20%}.row-cols-sm-6>*{flex:0 0 16.66667%;max-width:16.66667%}.col-sm-auto{flex:0 0 auto;width:auto;max-width:100%}.col-sm-1{flex:0 0 8.33333%;max-width:8.33333%}.col-sm-2{flex:0 0 16.66667%;max-width:16.66667%}.col-sm-3{flex:0 0 25%;max-width:25%}.col-sm-4{flex:0 0 33.33333%;max-width:33.33333%}.col-sm-5{flex:0 0 41.66667%;max-width:41.66667%}.col-sm-6{flex:0 0 50%;max-width:50%}.col-sm-7{flex:0 0 58.33333%;max-width:58.33333%}.col-sm-8{flex:0 0 66.66667%;max-width:66.66667%}.col-sm-9{flex:0 0 75%;max-width:75%}.col-sm-10{flex:0 0 83.33333%;max-width:83.33333%}.col-sm-11{flex:0 0 91.66667%;max-width:91.66667%}.col-sm-12{flex:0 0 100%;max-width:100%}.order-sm-first{order:-1}.order-sm-last{order:13}.order-sm-0{order:0}.order-sm-1{order:1}.order-sm-2{order:2}.order-sm-3{order:3}.order-sm-4{order:4}.order-sm-5{order:5}.order-sm-6{order:6}.order-sm-7{order:7}.order-sm-8{order:8}.order-sm-9{order:9}.order-sm-10{order:10}.order-sm-11{order:11}.order-sm-12{order:12}.offset-sm-0{margin-left:0}.offset-sm-1{margin-left:8.33333%}.offset-sm-2{margin-left:16.66667%}.offset-sm-3{margin-left:25%}.offset-sm-4{margin-left:33.33333%}.offset-sm-5{margin-left:41.66667%}.offset-sm-6{margin-left:50%}.offset-sm-7{margin-left:58.33333%}.offset-sm-8{margin-left:66.66667%}.offset-sm-9{margin-left:75%}.offset-sm-10{margin-left:83.33333%}.offset-sm-11{margin-left:91.66667%}}@media (min-width:720px){.col-md{flex-basis:0;flex-grow:1;min-width:0;max-width:100%}.row-cols-md-1>*{flex:0 0 100%;max-width:100%}.row-cols-md-2>*{flex:0 0 50%;max-width:50%}.row-cols-md-3>*{flex:0 0 33.33333%;max-width:33.33333%}.row-cols-md-4>*{flex:0 0 25%;max-width:25%}.row-cols-md-5>*{flex:0 0 20%;max-width:20%}.row-cols-md-6>*{flex:0 0 16.66667%;max-width:16.66667%}.col-md-auto{flex:0 0 auto;width:auto;max-width:100%}.col-md-1{flex:0 0 8.33333%;max-width:8.33333%}.col-md-2{flex:0 0 16.66667%;max-width:16.66667%}.col-md-3{flex:0 0 25%;max-width:25%}.col-md-4{flex:0 0 33.33333%;max-width:33.33333%}.col-md-5{flex:0 0 41.66667%;max-width:41.66667%}.col-md-6{flex:0 0 50%;max-width:50%}.col-md-7{flex:0 0 58.33333%;max-width:58.33333%}.col-md-8{flex:0 0 66.66667%;max-width:66.66667%}.col-md-9{flex:0 0 75%;max-width:75%}.col-md-10{flex:0 0 83.33333%;max-width:83.33333%}.col-md-11{flex:0 0 91.66667%;max-width:91.66667%}.col-md-12{flex:0 0 100%;max-width:100%}.order-md-first{order:-1}.order-md-last{order:13}.order-md-0{order:0}.order-md-1{order:1}.order-md-2{order:2}.order-md-3{order:3}.order-md-4{order:4}.order-md-5{order:5}.order-md-6{order:6}.order-md-7{order:7}.order-md-8{order:8}.order-md-9{order:9}.order-md-10{order:10}.order-md-11{order:11}.order-md-12{order:12}.offset-md-0{margin-left:0}.offset-md-1{margin-left:8.33333%}.offset-md-2{margin-left:16.66667%}.offset-md-3{margin-left:25%}.offset-md-4{margin-left:33.33333%}.offset-md-5{margin-left:41.66667%}.offset-md-6{margin-left:50%}.offset-md-7{margin-left:58.33333%}.offset-md-8{margin-left:66.66667%}.offset-md-9{margin-left:75%}.offset-md-10{margin-left:83.33333%}.offset-md-11{margin-left:91.66667%}}@media (min-width:960px){.col-lg{flex-basis:0;flex-grow:1;min-width:0;max-width:100%}.row-cols-lg-1>*{flex:0 0 100%;max-width:100%}.row-cols-lg-2>*{flex:0 0 50%;max-width:50%}.row-cols-lg-3>*{flex:0 0 33.33333%;max-width:33.33333%}.row-cols-lg-4>*{flex:0 0 25%;max-width:25%}.row-cols-lg-5>*{flex:0 0 20%;max-width:20%}.row-cols-lg-6>*{flex:0 0 16.66667%;max-width:16.66667%}.col-lg-auto{flex:0 0 auto;width:auto;max-width:100%}.col-lg-1{flex:0 0 8.33333%;max-width:8.33333%}.col-lg-2{flex:0 0 16.66667%;max-width:16.66667%}.col-lg-3{flex:0 0 25%;max-width:25%}.col-lg-4{flex:0 0 33.33333%;max-width:33.33333%}.col-lg-5{flex:0 0 41.66667%;max-width:41.66667%}.col-lg-6{flex:0 0 50%;max-width:50%}.col-lg-7{flex:0 0 58.33333%;max-width:58.33333%}.col-lg-8{flex:0 0 66.66667%;max-width:66.66667%}.col-lg-9{flex:0 0 75%;max-width:75%}.col-lg-10{flex:0 0 83.33333%;max-width:83.33333%}.col-lg-11{flex:0 0 91.66667%;max-width:91.66667%}.col-lg-12{flex:0 0 100%;max-width:100%}.order-lg-first{order:-1}.order-lg-last{order:13}.order-lg-0{order:0}.order-lg-1{order:1}.order-lg-2{order:2}.order-lg-3{order:3}.order-lg-4{order:4}.order-lg-5{order:5}.order-lg-6{order:6}.order-lg-7{order:7}.order-lg-8{order:8}.order-lg-9{order:9}.order-lg-10{order:10}.order-lg-11{order:11}.order-lg-12{order:12}.offset-lg-0{margin-left:0}.offset-lg-1{margin-left:8.33333%}.offset-lg-2{margin-left:16.66667%}.offset-lg-3{margin-left:25%}.offset-lg-4{margin-left:33.33333%}.offset-lg-5{margin-left:41.66667%}.offset-lg-6{margin-left:50%}.offset-lg-7{margin-left:58.33333%}.offset-lg-8{margin-left:66.66667%}.offset-lg-9{margin-left:75%}.offset-lg-10{margin-left:83.33333%}.offset-lg-11{margin-left:91.66667%}}@media (min-width:1200px){.col-xl{flex-basis:0;flex-grow:1;min-width:0;max-width:100%}.row-cols-xl-1>*{flex:0 0 100%;max-width:100%}.row-cols-xl-2>*{flex:0 0 50%;max-width:50%}.row-cols-xl-3>*{flex:0 0 33.33333%;max-width:33.33333%}.row-cols-xl-4>*{flex:0 0 25%;max-width:25%}.row-cols-xl-5>*{flex:0 0 20%;max-width:20%}.row-cols-xl-6>*{flex:0 0 16.66667%;max-width:16.66667%}.col-xl-auto{flex:0 0 auto;width:auto;max-width:100%}.col-xl-1{flex:0 0 8.33333%;max-width:8.33333%}.col-xl-2{flex:0 0 16.66667%;max-width:16.66667%}.col-xl-3{flex:0 0 25%;max-width:25%}.col-xl-4{flex:0 0 33.33333%;max-width:33.33333%}.col-xl-5{flex:0 0 41.66667%;max-width:41.66667%}.col-xl-6{flex:0 0 50%;max-width:50%}.col-xl-7{flex:0 0 58.33333%;max-width:58.33333%}.col-xl-8{flex:0 0 66.66667%;max-width:66.66667%}.col-xl-9{flex:0 0 75%;max-width:75%}.col-xl-10{flex:0 0 83.33333%;max-width:83.33333%}.col-xl-11{flex:0 0 91.66667%;max-width:91.66667%}.col-xl-12{flex:0 0 100%;max-width:100%}.order-xl-first{order:-1}.order-xl-last{order:13}.order-xl-0{order:0}.order-xl-1{order:1}.order-xl-2{order:2}.order-xl-3{order:3}.order-xl-4{order:4}.order-xl-5{order:5}.order-xl-6{order:6}.order-xl-7{order:7}.order-xl-8{order:8}.order-xl-9{order:9}.order-xl-10{order:10}.order-xl-11{order:11}.order-xl-12{order:12}.offset-xl-0{margin-left:0}.offset-xl-1{margin-left:8.33333%}.offset-xl-2{margin-left:16.66667%}.offset-xl-3{margin-left:25%}.offset-xl-4{margin-left:33.33333%}.offset-xl-5{margin-left:41.66667%}.offset-xl-6{margin-left:50%}.offset-xl-7{margin-left:58.33333%}.offset-xl-8{margin-left:66.66667%}.offset-xl-9{margin-left:75%}.offset-xl-10{margin-left:83.33333%}.offset-xl-11{margin-left:91.66667%}}.table{width:100%;margin-bottom:1rem;color:#212529}.table td,.table th{padding:.75rem;vertical-align:top;border-top:1px solid #dee2e6}.table thead th{vertical-align:bottom;border-bottom:2px solid #dee2e6}.table tbody+tbody{border-top:2px solid #dee2e6}.table-sm td,.table-sm th{padding:.3rem}.table-bordered,.table-bordered td,.table-bordered th{border:1px solid #dee2e6}.table-bordered thead td,.table-bordered thead th{border-bottom-width:2px}.table-borderless tbody+tbody,.table-borderless td,.table-borderless th,.table-borderless thead th{border:0}.table-striped tbody tr:nth-of-type(odd){background-color:rgba(0,0,0,.05)}.table-hover tbody tr:hover{color:#212529;background-color:rgba(0,0,0,.075)}.table-primary,.table-primary>td,.table-primary>th{background-color:#b8daff}.table-primary tbody+tbody,.table-primary td,.table-primary th,.table-primary thead th{border-color:#7abaff}.table-hover .table-primary:hover,.table-hover .table-primary:hover>td,.table-hover .table-primary:hover>th{background-color:#9fcdff}.table-secondary,.table-secondary>td,.table-secondary>th{background-color:#d6d8db}.table-secondary tbody+tbody,.table-secondary td,.table-secondary th,.table-secondary thead th{border-color:#b3b7bb}.table-hover .table-secondary:hover,.table-hover .table-secondary:hover>td,.table-hover .table-secondary:hover>th{background-color:#c8cbcf}.table-success,.table-success>td,.table-success>th{background-color:#c3e6cb}.table-success tbody+tbody,.table-success td,.table-success th,.table-success thead th{border-color:#8fd19e}.table-hover .table-success:hover,.table-hover .table-success:hover>td,.table-hover .table-success:hover>th{background-color:#b1dfbb}.table-info,.table-info>td,.table-info>th{background-color:#bee5eb}.table-info tbody+tbody,.table-info td,.table-info th,.table-info thead th{border-color:#86cfda}.table-hover .table-info:hover,.table-hover .table-info:hover>td,.table-hover .table-info:hover>th{background-color:#abdde5}.table-warning,.table-warning>td,.table-warning>th{background-color:#ffeeba}.table-warning tbody+tbody,.table-warning td,.table-warning th,.table-warning thead th{border-color:#ffdf7e}.table-hover .table-warning:hover,.table-hover .table-warning:hover>td,.table-hover .table-warning:hover>th{background-color:#ffe8a1}.table-danger,.table-danger>td,.table-danger>th{background-color:#f5c6cb}.table-danger tbody+tbody,.table-danger td,.table-danger th,.table-danger thead th{border-color:#ed969e}.table-hover .table-danger:hover,.table-hover .table-danger:hover>td,.table-hover .table-danger:hover>th{background-color:#f1b0b7}.table-light,.table-light>td,.table-light>th{background-color:#fdfdfe}.table-light tbody+tbody,.table-light td,.table-light th,.table-light thead th{border-color:#fbfcfc}.table-hover .table-light:hover,.table-hover .table-light:hover>td,.table-hover .table-light:hover>th{background-color:#ececf6}.table-dark,.table-dark>td,.table-dark>th{background-color:#c6c8ca}.table-dark tbody+tbody,.table-dark td,.table-dark th,.table-dark thead th{border-color:#95999c}.table-hover .table-dark:hover,.table-hover .table-dark:hover>td,.table-hover .table-dark:hover>th{background-color:#b9bbbe}.table-active,.table-active>td,.table-active>th,.table-hover .table-active:hover,.table-hover .table-active:hover>td,.table-hover .table-active:hover>th{background-color:rgba(0,0,0,.075)}.table .thead-dark th{color:#fff;background-color:#343a40;border-color:#454d55}.table .thead-light th{color:#495057;background-color:#e9ecef;border-color:#dee2e6}.table-dark{color:#fff;background-color:#343a40}.table-dark td,.table-dark th,.table-dark thead th{border-color:#454d55}.table-dark.table-bordered{border:0}.table-dark.table-striped tbody tr:nth-of-type(odd){background-color:hsla(0,0%,100%,.05)}.table-dark.table-hover tbody tr:hover{color:#fff;background-color:hsla(0,0%,100%,.075)}@media (max-width:539.98px){.table-responsive-sm{display:block;width:100%;overflow-x:auto;-webkit-overflow-scrolling:touch}.table-responsive-sm>.table-bordered{border:0}}@media (max-width:719.98px){.table-responsive-md{display:block;width:100%;overflow-x:auto;-webkit-overflow-scrolling:touch}.table-responsive-md>.table-bordered{border:0}}@media (max-width:959.98px){.table-responsive-lg{display:block;width:100%;overflow-x:auto;-webkit-overflow-scrolling:touch}.table-responsive-lg>.table-bordered{border:0}}@media (max-width:1199.98px){.table-responsive-xl{display:block;width:100%;overflow-x:auto;-webkit-overflow-scrolling:touch}.table-responsive-xl>.table-bordered{border:0}}.table-responsive{display:block;width:100%;overflow-x:auto;-webkit-overflow-scrolling:touch}.table-responsive>.table-bordered{border:0}.form-control{display:block;width:100%;height:calc(1.5em + .75rem + 2px);padding:.375rem .75rem;font-size:1rem;font-weight:400;line-height:1.5;color:#495057;background-color:#fff;background-clip:padding-box;border:1px solid #ced4da;border-radius:.25rem;transition:border-color .15s ease-in-out,box-shadow .15s ease-in-out}@media (prefers-reduced-motion:reduce){.form-control{transition:none}}.form-control::-ms-expand{background-color:transparent;border:0}.form-control:-moz-focusring{color:transparent;text-shadow:0 0 0 #495057}.form-control:focus{color:#495057;background-color:#fff;border-color:#80bdff;outline:0;box-shadow:0 0 0 .2rem rgba(0,123,255,.25)}.form-control::placeholder{color:#6c757d;opacity:1}.form-control:disabled,.form-control[readonly]{background-color:#e9ecef;opacity:1}input[type=date].form-control,input[type=datetime-local].form-control,input[type=month].form-control,input[type=time].form-control{appearance:none}select.form-control:focus::-ms-value{color:#495057;background-color:#fff}.form-control-file,.form-control-range{display:block;width:100%}.col-form-label{padding-top:calc(.375rem + 1px);padding-bottom:calc(.375rem + 1px);margin-bottom:0;font-size:inherit;line-height:1.5}.col-form-label-lg{padding-top:calc(.5rem + 1px);padding-bottom:calc(.5rem + 1px);font-size:1.25rem;line-height:1.5}.col-form-label-sm{padding-top:calc(.25rem + 1px);padding-bottom:calc(.25rem + 1px);font-size:.875rem;line-height:1.5}.form-control-plaintext{display:block;width:100%;padding:.375rem 0;margin-bottom:0;font-size:1rem;line-height:1.5;color:#212529;background-color:transparent;border:solid transparent;border-width:1px 0}.form-control-plaintext.form-control-lg,.form-control-plaintext.form-control-sm{padding-right:0;padding-left:0}.form-control-sm{height:calc(1.5em + .5rem + 2px);padding:.25rem .5rem;font-size:.875rem;line-height:1.5;border-radius:.2rem}.form-control-lg{height:calc(1.5em + 1rem + 2px);padding:.5rem 1rem;font-size:1.25rem;line-height:1.5;border-radius:.3rem}select.form-control[multiple],select.form-control[size],textarea.form-control{height:auto}.form-group{margin-bottom:1rem}.form-text{display:block;margin-top:.25rem}.form-row{display:flex;flex-wrap:wrap;margin-right:-5px;margin-left:-5px}.form-row>.col,.form-row>[class*=col-]{padding-right:5px;padding-left:5px}.form-check{position:relative;display:block;padding-left:1.25rem}.form-check-input{position:absolute;margin-top:.3rem;margin-left:-1.25rem}.form-check-input:disabled~.form-check-label,.form-check-input[disabled]~.form-check-label{color:#6c757d}.form-check-label{margin-bottom:0}.form-check-inline{display:inline-flex;align-items:center;padding-left:0;margin-right:.75rem}.form-check-inline .form-check-input{position:static;margin-top:0;margin-right:.3125rem;margin-left:0}.valid-feedback{display:none;width:100%;margin-top:.25rem;font-size:80%;color:#28a745}.valid-tooltip{position:absolute;top:100%;z-index:5;display:none;max-width:100%;padding:.25rem .5rem;margin-top:.1rem;font-size:.875rem;line-height:1.5;color:#fff;background-color:rgba(40,167,69,.9);border-radius:.25rem}.is-valid~.valid-feedback,.is-valid~.valid-tooltip,.was-validated :valid~.valid-feedback,.was-validated :valid~.valid-tooltip{display:block}.form-control.is-valid,.was-validated .form-control:valid{border-color:#28a745;padding-right:calc(1.5em + .75rem);background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='8' height='8'%3E%3Cpath fill='%2328a745' d='M2.3 6.73L.6 4.53c-.4-1.04.46-1.4 1.1-.8l1.1 1.4 3.4-3.8c.6-.63 1.6-.27 1.2.7l-4 4.6c-.43.5-.8.4-1.1.1z'/%3E%3C/svg%3E");background-repeat:no-repeat;background-position:right calc(.375em + .1875rem) center;background-size:calc(.75em + .375rem) calc(.75em + .375rem)}.form-control.is-valid:focus,.was-validated .form-control:valid:focus{border-color:#28a745;box-shadow:0 0 0 .2rem rgba(40,167,69,.25)}.was-validated textarea.form-control:valid,textarea.form-control.is-valid{padding-right:calc(1.5em + .75rem);background-position:top calc(.375em + .1875rem) right calc(.375em + .1875rem)}.custom-select.is-valid,.was-validated .custom-select:valid{border-color:#28a745;padding-right:calc(.75em + 2.3125rem);background:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='4' height='5'%3E%3Cpath fill='%23343a40' d='M2 0L0 2h4zm0 5L0 3h4z'/%3E%3C/svg%3E") no-repeat right .75rem center/8px 10px,url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='8' height='8'%3E%3Cpath fill='%2328a745' d='M2.3 6.73L.6 4.53c-.4-1.04.46-1.4 1.1-.8l1.1 1.4 3.4-3.8c.6-.63 1.6-.27 1.2.7l-4 4.6c-.43.5-.8.4-1.1.1z'/%3E%3C/svg%3E") #fff no-repeat center right 1.75rem/calc(.75em + .375rem) calc(.75em + .375rem)}.custom-select.is-valid:focus,.was-validated .custom-select:valid:focus{border-color:#28a745;box-shadow:0 0 0 .2rem rgba(40,167,69,.25)}.form-check-input.is-valid~.form-check-label,.was-validated .form-check-input:valid~.form-check-label{color:#28a745}.form-check-input.is-valid~.valid-feedback,.form-check-input.is-valid~.valid-tooltip,.was-validated .form-check-input:valid~.valid-feedback,.was-validated .form-check-input:valid~.valid-tooltip{display:block}.custom-control-input.is-valid~.custom-control-label,.was-validated .custom-control-input:valid~.custom-control-label{color:#28a745}.custom-control-input.is-valid~.custom-control-label:before,.was-validated .custom-control-input:valid~.custom-control-label:before{border-color:#28a745}.custom-control-input.is-valid:checked~.custom-control-label:before,.was-validated .custom-control-input:valid:checked~.custom-control-label:before{border-color:#34ce57;background-color:#34ce57}.custom-control-input.is-valid:focus~.custom-control-label:before,.was-validated .custom-control-input:valid:focus~.custom-control-label:before{box-shadow:0 0 0 .2rem rgba(40,167,69,.25)}.custom-control-input.is-valid:focus:not(:checked)~.custom-control-label:before,.custom-file-input.is-valid~.custom-file-label,.was-validated .custom-control-input:valid:focus:not(:checked)~.custom-control-label:before,.was-validated .custom-file-input:valid~.custom-file-label{border-color:#28a745}.custom-file-input.is-valid:focus~.custom-file-label,.was-validated .custom-file-input:valid:focus~.custom-file-label{border-color:#28a745;box-shadow:0 0 0 .2rem rgba(40,167,69,.25)}.invalid-feedback{display:none;width:100%;margin-top:.25rem;font-size:80%;color:#dc3545}.invalid-tooltip{position:absolute;top:100%;z-index:5;display:none;max-width:100%;padding:.25rem .5rem;margin-top:.1rem;font-size:.875rem;line-height:1.5;color:#fff;background-color:rgba(220,53,69,.9);border-radius:.25rem}.is-invalid~.invalid-feedback,.is-invalid~.invalid-tooltip,.was-validated :invalid~.invalid-feedback,.was-validated :invalid~.invalid-tooltip{display:block}.form-control.is-invalid,.was-validated .form-control:invalid{border-color:#dc3545;padding-right:calc(1.5em + .75rem);background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='12' height='12' fill='none' stroke='%23dc3545'%3E%3Ccircle cx='6' cy='6' r='4.5'/%3E%3Cpath stroke-linejoin='round' d='M5.8 3.6h.4L6 6.5z'/%3E%3Ccircle cx='6' cy='8.2' r='.6' fill='%23dc3545' stroke='none'/%3E%3C/svg%3E");background-repeat:no-repeat;background-position:right calc(.375em + .1875rem) center;background-size:calc(.75em + .375rem) calc(.75em + .375rem)}.form-control.is-invalid:focus,.was-validated .form-control:invalid:focus{border-color:#dc3545;box-shadow:0 0 0 .2rem rgba(220,53,69,.25)}.was-validated textarea.form-control:invalid,textarea.form-control.is-invalid{padding-right:calc(1.5em + .75rem);background-position:top calc(.375em + .1875rem) right calc(.375em + .1875rem)}.custom-select.is-invalid,.was-validated .custom-select:invalid{border-color:#dc3545;padding-right:calc(.75em + 2.3125rem);background:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='4' height='5'%3E%3Cpath fill='%23343a40' d='M2 0L0 2h4zm0 5L0 3h4z'/%3E%3C/svg%3E") no-repeat right .75rem center/8px 10px,url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='12' height='12' fill='none' stroke='%23dc3545'%3E%3Ccircle cx='6' cy='6' r='4.5'/%3E%3Cpath stroke-linejoin='round' d='M5.8 3.6h.4L6 6.5z'/%3E%3Ccircle cx='6' cy='8.2' r='.6' fill='%23dc3545' stroke='none'/%3E%3C/svg%3E") #fff no-repeat center right 1.75rem/calc(.75em + .375rem) calc(.75em + .375rem)}.custom-select.is-invalid:focus,.was-validated .custom-select:invalid:focus{border-color:#dc3545;box-shadow:0 0 0 .2rem rgba(220,53,69,.25)}.form-check-input.is-invalid~.form-check-label,.was-validated .form-check-input:invalid~.form-check-label{color:#dc3545}.form-check-input.is-invalid~.invalid-feedback,.form-check-input.is-invalid~.invalid-tooltip,.was-validated .form-check-input:invalid~.invalid-feedback,.was-validated .form-check-input:invalid~.invalid-tooltip{display:block}.custom-control-input.is-invalid~.custom-control-label,.was-validated .custom-control-input:invalid~.custom-control-label{color:#dc3545}.custom-control-input.is-invalid~.custom-control-label:before,.was-validated .custom-control-input:invalid~.custom-control-label:before{border-color:#dc3545}.custom-control-input.is-invalid:checked~.custom-control-label:before,.was-validated .custom-control-input:invalid:checked~.custom-control-label:before{border-color:#e4606d;background-color:#e4606d}.custom-control-input.is-invalid:focus~.custom-control-label:before,.was-validated .custom-control-input:invalid:focus~.custom-control-label:before{box-shadow:0 0 0 .2rem rgba(220,53,69,.25)}.custom-control-input.is-invalid:focus:not(:checked)~.custom-control-label:before,.custom-file-input.is-invalid~.custom-file-label,.was-validated .custom-control-input:invalid:focus:not(:checked)~.custom-control-label:before,.was-validated .custom-file-input:invalid~.custom-file-label{border-color:#dc3545}.custom-file-input.is-invalid:focus~.custom-file-label,.was-validated .custom-file-input:invalid:focus~.custom-file-label{border-color:#dc3545;box-shadow:0 0 0 .2rem rgba(220,53,69,.25)}.form-inline{display:flex;flex-flow:row wrap;align-items:center}.form-inline .form-check{width:100%}@media (min-width:540px){.form-inline label{justify-content:center}.form-inline .form-group,.form-inline label{display:flex;align-items:center;margin-bottom:0}.form-inline .form-group{flex:0 0 auto;flex-flow:row wrap}.form-inline .form-control{display:inline-block;width:auto;vertical-align:middle}.form-inline .form-control-plaintext{display:inline-block}.form-inline .custom-select,.form-inline .input-group{width:auto}.form-inline .form-check{display:flex;align-items:center;justify-content:center;width:auto;padding-left:0}.form-inline .form-check-input{position:relative;flex-shrink:0;margin-top:0;margin-right:.25rem;margin-left:0}.form-inline .custom-control{align-items:center;justify-content:center}.form-inline .custom-control-label{margin-bottom:0}}.btn{display:inline-block;font-weight:400;color:#212529;text-align:center;vertical-align:middle;user-select:none;background-color:transparent;border:1px solid transparent;padding:.375rem .75rem;font-size:1rem;line-height:1.5;border-radius:.25rem;transition:color .15s ease-in-out,background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out}@media (prefers-reduced-motion:reduce){.btn{transition:none}}.btn:hover{color:#212529;text-decoration:none}.btn.focus,.btn:focus{outline:0;box-shadow:0 0 0 .2rem rgba(0,123,255,.25)}.btn.disabled,.btn:disabled{opacity:.65}.btn:not(:disabled):not(.disabled){cursor:pointer}a.btn.disabled,fieldset:disabled a.btn{pointer-events:none}.btn-primary{color:#fff;background-color:#007bff;border-color:#007bff}.btn-primary.focus,.btn-primary:focus,.btn-primary:hover{color:#fff;background-color:#0069d9;border-color:#0062cc}.btn-primary.focus,.btn-primary:focus{box-shadow:0 0 0 .2rem rgba(38,143,255,.5)}.btn-primary.disabled,.btn-primary:disabled{color:#fff;background-color:#007bff;border-color:#007bff}.btn-primary:not(:disabled):not(.disabled).active,.btn-primary:not(:disabled):not(.disabled):active,.show>.btn-primary.dropdown-toggle{color:#fff;background-color:#0062cc;border-color:#005cbf}.btn-primary:not(:disabled):not(.disabled).active:focus,.btn-primary:not(:disabled):not(.disabled):active:focus,.show>.btn-primary.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(38,143,255,.5)}.btn-secondary{color:#fff;background-color:#6c757d;border-color:#6c757d}.btn-secondary.focus,.btn-secondary:focus,.btn-secondary:hover{color:#fff;background-color:#5a6268;border-color:#545b62}.btn-secondary.focus,.btn-secondary:focus{box-shadow:0 0 0 .2rem rgba(130,138,145,.5)}.btn-secondary.disabled,.btn-secondary:disabled{color:#fff;background-color:#6c757d;border-color:#6c757d}.btn-secondary:not(:disabled):not(.disabled).active,.btn-secondary:not(:disabled):not(.disabled):active,.show>.btn-secondary.dropdown-toggle{color:#fff;background-color:#545b62;border-color:#4e555b}.btn-secondary:not(:disabled):not(.disabled).active:focus,.btn-secondary:not(:disabled):not(.disabled):active:focus,.show>.btn-secondary.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(130,138,145,.5)}.btn-success{color:#fff;background-color:#28a745;border-color:#28a745}.btn-success.focus,.btn-success:focus,.btn-success:hover{color:#fff;background-color:#218838;border-color:#1e7e34}.btn-success.focus,.btn-success:focus{box-shadow:0 0 0 .2rem rgba(72,180,97,.5)}.btn-success.disabled,.btn-success:disabled{color:#fff;background-color:#28a745;border-color:#28a745}.btn-success:not(:disabled):not(.disabled).active,.btn-success:not(:disabled):not(.disabled):active,.show>.btn-success.dropdown-toggle{color:#fff;background-color:#1e7e34;border-color:#1c7430}.btn-success:not(:disabled):not(.disabled).active:focus,.btn-success:not(:disabled):not(.disabled):active:focus,.show>.btn-success.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(72,180,97,.5)}.btn-info{color:#fff;background-color:#17a2b8;border-color:#17a2b8}.btn-info.focus,.btn-info:focus,.btn-info:hover{color:#fff;background-color:#138496;border-color:#117a8b}.btn-info.focus,.btn-info:focus{box-shadow:0 0 0 .2rem rgba(58,176,195,.5)}.btn-info.disabled,.btn-info:disabled{color:#fff;background-color:#17a2b8;border-color:#17a2b8}.btn-info:not(:disabled):not(.disabled).active,.btn-info:not(:disabled):not(.disabled):active,.show>.btn-info.dropdown-toggle{color:#fff;background-color:#117a8b;border-color:#10707f}.btn-info:not(:disabled):not(.disabled).active:focus,.btn-info:not(:disabled):not(.disabled):active:focus,.show>.btn-info.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(58,176,195,.5)}.btn-warning{color:#212529;background-color:#ffc107;border-color:#ffc107}.btn-warning.focus,.btn-warning:focus,.btn-warning:hover{color:#212529;background-color:#e0a800;border-color:#d39e00}.btn-warning.focus,.btn-warning:focus{box-shadow:0 0 0 .2rem rgba(222,170,12,.5)}.btn-warning.disabled,.btn-warning:disabled{color:#212529;background-color:#ffc107;border-color:#ffc107}.btn-warning:not(:disabled):not(.disabled).active,.btn-warning:not(:disabled):not(.disabled):active,.show>.btn-warning.dropdown-toggle{color:#212529;background-color:#d39e00;border-color:#c69500}.btn-warning:not(:disabled):not(.disabled).active:focus,.btn-warning:not(:disabled):not(.disabled):active:focus,.show>.btn-warning.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(222,170,12,.5)}.btn-danger{color:#fff;background-color:#dc3545;border-color:#dc3545}.btn-danger.focus,.btn-danger:focus,.btn-danger:hover{color:#fff;background-color:#c82333;border-color:#bd2130}.btn-danger.focus,.btn-danger:focus{box-shadow:0 0 0 .2rem rgba(225,83,97,.5)}.btn-danger.disabled,.btn-danger:disabled{color:#fff;background-color:#dc3545;border-color:#dc3545}.btn-danger:not(:disabled):not(.disabled).active,.btn-danger:not(:disabled):not(.disabled):active,.show>.btn-danger.dropdown-toggle{color:#fff;background-color:#bd2130;border-color:#b21f2d}.btn-danger:not(:disabled):not(.disabled).active:focus,.btn-danger:not(:disabled):not(.disabled):active:focus,.show>.btn-danger.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(225,83,97,.5)}.btn-light{color:#212529;background-color:#f8f9fa;border-color:#f8f9fa}.btn-light.focus,.btn-light:focus,.btn-light:hover{color:#212529;background-color:#e2e6ea;border-color:#dae0e5}.btn-light.focus,.btn-light:focus{box-shadow:0 0 0 .2rem rgba(216,217,219,.5)}.btn-light.disabled,.btn-light:disabled{color:#212529;background-color:#f8f9fa;border-color:#f8f9fa}.btn-light:not(:disabled):not(.disabled).active,.btn-light:not(:disabled):not(.disabled):active,.show>.btn-light.dropdown-toggle{color:#212529;background-color:#dae0e5;border-color:#d3d9df}.btn-light:not(:disabled):not(.disabled).active:focus,.btn-light:not(:disabled):not(.disabled):active:focus,.show>.btn-light.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(216,217,219,.5)}.btn-dark{color:#fff;background-color:#343a40;border-color:#343a40}.btn-dark.focus,.btn-dark:focus,.btn-dark:hover{color:#fff;background-color:#23272b;border-color:#1d2124}.btn-dark.focus,.btn-dark:focus{box-shadow:0 0 0 .2rem rgba(82,88,93,.5)}.btn-dark.disabled,.btn-dark:disabled{color:#fff;background-color:#343a40;border-color:#343a40}.btn-dark:not(:disabled):not(.disabled).active,.btn-dark:not(:disabled):not(.disabled):active,.show>.btn-dark.dropdown-toggle{color:#fff;background-color:#1d2124;border-color:#171a1d}.btn-dark:not(:disabled):not(.disabled).active:focus,.btn-dark:not(:disabled):not(.disabled):active:focus,.show>.btn-dark.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(82,88,93,.5)}.btn-outline-primary{color:#007bff;border-color:#007bff}.btn-outline-primary:hover{color:#fff;background-color:#007bff;border-color:#007bff}.btn-outline-primary.focus,.btn-outline-primary:focus{box-shadow:0 0 0 .2rem rgba(0,123,255,.5)}.btn-outline-primary.disabled,.btn-outline-primary:disabled{color:#007bff;background-color:transparent}.btn-outline-primary:not(:disabled):not(.disabled).active,.btn-outline-primary:not(:disabled):not(.disabled):active,.show>.btn-outline-primary.dropdown-toggle{color:#fff;background-color:#007bff;border-color:#007bff}.btn-outline-primary:not(:disabled):not(.disabled).active:focus,.btn-outline-primary:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-primary.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(0,123,255,.5)}.btn-outline-secondary{color:#6c757d;border-color:#6c757d}.btn-outline-secondary:hover{color:#fff;background-color:#6c757d;border-color:#6c757d}.btn-outline-secondary.focus,.btn-outline-secondary:focus{box-shadow:0 0 0 .2rem rgba(108,117,125,.5)}.btn-outline-secondary.disabled,.btn-outline-secondary:disabled{color:#6c757d;background-color:transparent}.btn-outline-secondary:not(:disabled):not(.disabled).active,.btn-outline-secondary:not(:disabled):not(.disabled):active,.show>.btn-outline-secondary.dropdown-toggle{color:#fff;background-color:#6c757d;border-color:#6c757d}.btn-outline-secondary:not(:disabled):not(.disabled).active:focus,.btn-outline-secondary:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-secondary.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(108,117,125,.5)}.btn-outline-success{color:#28a745;border-color:#28a745}.btn-outline-success:hover{color:#fff;background-color:#28a745;border-color:#28a745}.btn-outline-success.focus,.btn-outline-success:focus{box-shadow:0 0 0 .2rem rgba(40,167,69,.5)}.btn-outline-success.disabled,.btn-outline-success:disabled{color:#28a745;background-color:transparent}.btn-outline-success:not(:disabled):not(.disabled).active,.btn-outline-success:not(:disabled):not(.disabled):active,.show>.btn-outline-success.dropdown-toggle{color:#fff;background-color:#28a745;border-color:#28a745}.btn-outline-success:not(:disabled):not(.disabled).active:focus,.btn-outline-success:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-success.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(40,167,69,.5)}.btn-outline-info{color:#17a2b8;border-color:#17a2b8}.btn-outline-info:hover{color:#fff;background-color:#17a2b8;border-color:#17a2b8}.btn-outline-info.focus,.btn-outline-info:focus{box-shadow:0 0 0 .2rem rgba(23,162,184,.5)}.btn-outline-info.disabled,.btn-outline-info:disabled{color:#17a2b8;background-color:transparent}.btn-outline-info:not(:disabled):not(.disabled).active,.btn-outline-info:not(:disabled):not(.disabled):active,.show>.btn-outline-info.dropdown-toggle{color:#fff;background-color:#17a2b8;border-color:#17a2b8}.btn-outline-info:not(:disabled):not(.disabled).active:focus,.btn-outline-info:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-info.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(23,162,184,.5)}.btn-outline-warning{color:#ffc107;border-color:#ffc107}.btn-outline-warning:hover{color:#212529;background-color:#ffc107;border-color:#ffc107}.btn-outline-warning.focus,.btn-outline-warning:focus{box-shadow:0 0 0 .2rem rgba(255,193,7,.5)}.btn-outline-warning.disabled,.btn-outline-warning:disabled{color:#ffc107;background-color:transparent}.btn-outline-warning:not(:disabled):not(.disabled).active,.btn-outline-warning:not(:disabled):not(.disabled):active,.show>.btn-outline-warning.dropdown-toggle{color:#212529;background-color:#ffc107;border-color:#ffc107}.btn-outline-warning:not(:disabled):not(.disabled).active:focus,.btn-outline-warning:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-warning.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(255,193,7,.5)}.btn-outline-danger{color:#dc3545;border-color:#dc3545}.btn-outline-danger:hover{color:#fff;background-color:#dc3545;border-color:#dc3545}.btn-outline-danger.focus,.btn-outline-danger:focus{box-shadow:0 0 0 .2rem rgba(220,53,69,.5)}.btn-outline-danger.disabled,.btn-outline-danger:disabled{color:#dc3545;background-color:transparent}.btn-outline-danger:not(:disabled):not(.disabled).active,.btn-outline-danger:not(:disabled):not(.disabled):active,.show>.btn-outline-danger.dropdown-toggle{color:#fff;background-color:#dc3545;border-color:#dc3545}.btn-outline-danger:not(:disabled):not(.disabled).active:focus,.btn-outline-danger:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-danger.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(220,53,69,.5)}.btn-outline-light{color:#f8f9fa;border-color:#f8f9fa}.btn-outline-light:hover{color:#212529;background-color:#f8f9fa;border-color:#f8f9fa}.btn-outline-light.focus,.btn-outline-light:focus{box-shadow:0 0 0 .2rem rgba(248,249,250,.5)}.btn-outline-light.disabled,.btn-outline-light:disabled{color:#f8f9fa;background-color:transparent}.btn-outline-light:not(:disabled):not(.disabled).active,.btn-outline-light:not(:disabled):not(.disabled):active,.show>.btn-outline-light.dropdown-toggle{color:#212529;background-color:#f8f9fa;border-color:#f8f9fa}.btn-outline-light:not(:disabled):not(.disabled).active:focus,.btn-outline-light:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-light.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(248,249,250,.5)}.btn-outline-dark{color:#343a40;border-color:#343a40}.btn-outline-dark:hover{color:#fff;background-color:#343a40;border-color:#343a40}.btn-outline-dark.focus,.btn-outline-dark:focus{box-shadow:0 0 0 .2rem rgba(52,58,64,.5)}.btn-outline-dark.disabled,.btn-outline-dark:disabled{color:#343a40;background-color:transparent}.btn-outline-dark:not(:disabled):not(.disabled).active,.btn-outline-dark:not(:disabled):not(.disabled):active,.show>.btn-outline-dark.dropdown-toggle{color:#fff;background-color:#343a40;border-color:#343a40}.btn-outline-dark:not(:disabled):not(.disabled).active:focus,.btn-outline-dark:not(:disabled):not(.disabled):active:focus,.show>.btn-outline-dark.dropdown-toggle:focus{box-shadow:0 0 0 .2rem rgba(52,58,64,.5)}.btn-link{font-weight:400;color:#007bff;text-decoration:none}.btn-link:hover{color:#0056b3}.btn-link.focus,.btn-link:focus,.btn-link:hover{text-decoration:underline}.btn-link.disabled,.btn-link:disabled{color:#6c757d;pointer-events:none}.btn-group-lg>.btn,.btn-lg{padding:.5rem 1rem;font-size:1.25rem;line-height:1.5;border-radius:.3rem}.btn-group-sm>.btn,.btn-sm{padding:.25rem .5rem;font-size:.875rem;line-height:1.5;border-radius:.2rem}.btn-block{display:block;width:100%}.btn-block+.btn-block{margin-top:.5rem}input[type=button].btn-block,input[type=reset].btn-block,input[type=submit].btn-block{width:100%}.fade{transition:opacity .15s linear}@media (prefers-reduced-motion:reduce){.fade{transition:none}}.fade:not(.show){opacity:0}.collapse:not(.show){display:none}.collapsing{position:relative;height:0;overflow:hidden;transition:height .35s ease}@media (prefers-reduced-motion:reduce){.collapsing{transition:none}}.dropdown,.dropleft,.dropright,.dropup{position:relative}.dropdown-toggle{white-space:nowrap}.dropdown-toggle:after{display:inline-block;margin-left:.255em;vertical-align:.255em;content:"";border-top:.3em solid;border-right:.3em solid transparent;border-bottom:0;border-left:.3em solid transparent}.dropdown-toggle:empty:after{margin-left:0}.dropdown-menu{position:absolute;top:100%;left:0;z-index:1000;display:none;float:left;min-width:10rem;padding:.5rem 0;margin:.125rem 0 0;font-size:1rem;color:#212529;text-align:left;list-style:none;background-color:#fff;background-clip:padding-box;border:1px solid rgba(0,0,0,.15);border-radius:.25rem}.dropdown-menu-left{right:auto;left:0}.dropdown-menu-right{right:0;left:auto}@media (min-width:540px){.dropdown-menu-sm-left{right:auto;left:0}.dropdown-menu-sm-right{right:0;left:auto}}@media (min-width:720px){.dropdown-menu-md-left{right:auto;left:0}.dropdown-menu-md-right{right:0;left:auto}}@media (min-width:960px){.dropdown-menu-lg-left{right:auto;left:0}.dropdown-menu-lg-right{right:0;left:auto}}@media (min-width:1200px){.dropdown-menu-xl-left{right:auto;left:0}.dropdown-menu-xl-right{right:0;left:auto}}.dropup .dropdown-menu{top:auto;bottom:100%;margin-top:0;margin-bottom:.125rem}.dropup .dropdown-toggle:after{display:inline-block;margin-left:.255em;vertical-align:.255em;content:"";border-top:0;border-right:.3em solid transparent;border-bottom:.3em solid;border-left:.3em solid transparent}.dropup .dropdown-toggle:empty:after{margin-left:0}.dropright .dropdown-menu{top:0;right:auto;left:100%;margin-top:0;margin-left:.125rem}.dropright .dropdown-toggle:after{display:inline-block;margin-left:.255em;vertical-align:.255em;content:"";border-top:.3em solid transparent;border-right:0;border-bottom:.3em solid transparent;border-left:.3em solid}.dropright .dropdown-toggle:empty:after{margin-left:0}.dropright .dropdown-toggle:after{vertical-align:0}.dropleft .dropdown-menu{top:0;right:100%;left:auto;margin-top:0;margin-right:.125rem}.dropleft .dropdown-toggle:after{display:inline-block;margin-left:.255em;vertical-align:.255em;content:"";display:none}.dropleft .dropdown-toggle:before{display:inline-block;margin-right:.255em;vertical-align:.255em;content:"";border-top:.3em solid transparent;border-right:.3em solid;border-bottom:.3em solid transparent}.dropleft .dropdown-toggle:empty:after{margin-left:0}.dropleft .dropdown-toggle:before{vertical-align:0}.dropdown-menu[x-placement^=bottom],.dropdown-menu[x-placement^=left],.dropdown-menu[x-placement^=right],.dropdown-menu[x-placement^=top]{right:auto;bottom:auto}.dropdown-divider{height:0;margin:.5rem 0;overflow:hidden;border-top:1px solid #e9ecef}.dropdown-item{display:block;width:100%;padding:.25rem 1.5rem;clear:both;font-weight:400;color:#212529;text-align:inherit;white-space:nowrap;background-color:transparent;border:0}.dropdown-item:focus,.dropdown-item:hover{color:#16181b;text-decoration:none;background-color:#f8f9fa}.dropdown-item.active,.dropdown-item:active{color:#fff;text-decoration:none;background-color:#007bff}.dropdown-item.disabled,.dropdown-item:disabled{color:#6c757d;pointer-events:none;background-color:transparent}.dropdown-menu.show{display:block}.dropdown-header{display:block;padding:.5rem 1.5rem;margin-bottom:0;font-size:.875rem;color:#6c757d;white-space:nowrap}.dropdown-item-text{display:block;padding:.25rem 1.5rem;color:#212529}.btn-group,.btn-group-vertical{position:relative;display:inline-flex;vertical-align:middle}.btn-group-vertical>.btn,.btn-group>.btn{position:relative;flex:1 1 auto}.btn-group-vertical>.btn.active,.btn-group-vertical>.btn:active,.btn-group-vertical>.btn:focus,.btn-group-vertical>.btn:hover,.btn-group>.btn.active,.btn-group>.btn:active,.btn-group>.btn:focus,.btn-group>.btn:hover{z-index:1}.btn-toolbar{display:flex;flex-wrap:wrap;justify-content:flex-start}.btn-toolbar .input-group{width:auto}.btn-group>.btn-group:not(:first-child),.btn-group>.btn:not(:first-child){margin-left:-1px}.btn-group>.btn-group:not(:last-child)>.btn,.btn-group>.btn:not(:last-child):not(.dropdown-toggle){border-top-right-radius:0;border-bottom-right-radius:0}.btn-group>.btn-group:not(:first-child)>.btn,.btn-group>.btn:not(:first-child){border-top-left-radius:0;border-bottom-left-radius:0}.dropdown-toggle-split{padding-right:.5625rem;padding-left:.5625rem}.dropdown-toggle-split:after,.dropright .dropdown-toggle-split:after,.dropup .dropdown-toggle-split:after{margin-left:0}.dropleft .dropdown-toggle-split:before{margin-right:0}.btn-group-sm>.btn+.dropdown-toggle-split,.btn-sm+.dropdown-toggle-split{padding-right:.375rem;padding-left:.375rem}.btn-group-lg>.btn+.dropdown-toggle-split,.btn-lg+.dropdown-toggle-split{padding-right:.75rem;padding-left:.75rem}.btn-group-vertical{flex-direction:column;align-items:flex-start;justify-content:center}.btn-group-vertical>.btn,.btn-group-vertical>.btn-group{width:100%}.btn-group-vertical>.btn-group:not(:first-child),.btn-group-vertical>.btn:not(:first-child){margin-top:-1px}.btn-group-vertical>.btn-group:not(:last-child)>.btn,.btn-group-vertical>.btn:not(:last-child):not(.dropdown-toggle){border-bottom-right-radius:0;border-bottom-left-radius:0}.btn-group-vertical>.btn-group:not(:first-child)>.btn,.btn-group-vertical>.btn:not(:first-child){border-top-left-radius:0;border-top-right-radius:0}.btn-group-toggle>.btn,.btn-group-toggle>.btn-group>.btn{margin-bottom:0}.btn-group-toggle>.btn-group>.btn input[type=checkbox],.btn-group-toggle>.btn-group>.btn input[type=radio],.btn-group-toggle>.btn input[type=checkbox],.btn-group-toggle>.btn input[type=radio]{position:absolute;clip:rect(0,0,0,0);pointer-events:none}.input-group{position:relative;display:flex;flex-wrap:wrap;align-items:stretch;width:100%}.input-group>.custom-file,.input-group>.custom-select,.input-group>.form-control,.input-group>.form-control-plaintext{position:relative;flex:1 1 auto;width:1%;min-width:0;margin-bottom:0}.input-group>.custom-file+.custom-file,.input-group>.custom-file+.custom-select,.input-group>.custom-file+.form-control,.input-group>.custom-select+.custom-file,.input-group>.custom-select+.custom-select,.input-group>.custom-select+.form-control,.input-group>.form-control+.custom-file,.input-group>.form-control+.custom-select,.input-group>.form-control+.form-control,.input-group>.form-control-plaintext+.custom-file,.input-group>.form-control-plaintext+.custom-select,.input-group>.form-control-plaintext+.form-control{margin-left:-1px}.input-group>.custom-file .custom-file-input:focus~.custom-file-label,.input-group>.custom-select:focus,.input-group>.form-control:focus{z-index:3}.input-group>.custom-file .custom-file-input:focus{z-index:4}.input-group>.custom-select:not(:last-child),.input-group>.form-control:not(:last-child){border-top-right-radius:0;border-bottom-right-radius:0}.input-group>.custom-select:not(:first-child),.input-group>.form-control:not(:first-child){border-top-left-radius:0;border-bottom-left-radius:0}.input-group>.custom-file{display:flex;align-items:center}.input-group>.custom-file:not(:last-child) .custom-file-label,.input-group>.custom-file:not(:last-child) .custom-file-label:after{border-top-right-radius:0;border-bottom-right-radius:0}.input-group>.custom-file:not(:first-child) .custom-file-label{border-top-left-radius:0;border-bottom-left-radius:0}.input-group-append,.input-group-prepend{display:flex}.input-group-append .btn,.input-group-prepend .btn{position:relative;z-index:2}.input-group-append .btn:focus,.input-group-prepend .btn:focus{z-index:3}.input-group-append .btn+.btn,.input-group-append .btn+.input-group-text,.input-group-append .input-group-text+.btn,.input-group-append .input-group-text+.input-group-text,.input-group-prepend .btn+.btn,.input-group-prepend .btn+.input-group-text,.input-group-prepend .input-group-text+.btn,.input-group-prepend .input-group-text+.input-group-text{margin-left:-1px}.input-group-prepend{margin-right:-1px}.input-group-append{margin-left:-1px}.input-group-text{display:flex;align-items:center;padding:.375rem .75rem;margin-bottom:0;font-size:1rem;font-weight:400;line-height:1.5;color:#495057;text-align:center;white-space:nowrap;background-color:#e9ecef;border:1px solid #ced4da;border-radius:.25rem}.input-group-text input[type=checkbox],.input-group-text input[type=radio]{margin-top:0}.input-group-lg>.custom-select,.input-group-lg>.form-control:not(textarea){height:calc(1.5em + 1rem + 2px)}.input-group-lg>.custom-select,.input-group-lg>.form-control,.input-group-lg>.input-group-append>.btn,.input-group-lg>.input-group-append>.input-group-text,.input-group-lg>.input-group-prepend>.btn,.input-group-lg>.input-group-prepend>.input-group-text{padding:.5rem 1rem;font-size:1.25rem;line-height:1.5;border-radius:.3rem}.input-group-sm>.custom-select,.input-group-sm>.form-control:not(textarea){height:calc(1.5em + .5rem + 2px)}.input-group-sm>.custom-select,.input-group-sm>.form-control,.input-group-sm>.input-group-append>.btn,.input-group-sm>.input-group-append>.input-group-text,.input-group-sm>.input-group-prepend>.btn,.input-group-sm>.input-group-prepend>.input-group-text{padding:.25rem .5rem;font-size:.875rem;line-height:1.5;border-radius:.2rem}.input-group-lg>.custom-select,.input-group-sm>.custom-select{padding-right:1.75rem}.input-group>.input-group-append:last-child>.btn:not(:last-child):not(.dropdown-toggle),.input-group>.input-group-append:last-child>.input-group-text:not(:last-child),.input-group>.input-group-append:not(:last-child)>.btn,.input-group>.input-group-append:not(:last-child)>.input-group-text,.input-group>.input-group-prepend>.btn,.input-group>.input-group-prepend>.input-group-text{border-top-right-radius:0;border-bottom-right-radius:0}.input-group>.input-group-append>.btn,.input-group>.input-group-append>.input-group-text,.input-group>.input-group-prepend:first-child>.btn:not(:first-child),.input-group>.input-group-prepend:first-child>.input-group-text:not(:first-child),.input-group>.input-group-prepend:not(:first-child)>.btn,.input-group>.input-group-prepend:not(:first-child)>.input-group-text{border-top-left-radius:0;border-bottom-left-radius:0}.custom-control{position:relative;display:block;min-height:1.5rem;padding-left:1.5rem}.custom-control-inline{display:inline-flex;margin-right:1rem}.custom-control-input{position:absolute;left:0;z-index:-1;width:1rem;height:1.25rem;opacity:0}.custom-control-input:checked~.custom-control-label:before{color:#fff;border-color:#007bff;background-color:#007bff}.custom-control-input:focus~.custom-control-label:before{box-shadow:0 0 0 .2rem rgba(0,123,255,.25)}.custom-control-input:focus:not(:checked)~.custom-control-label:before{border-color:#80bdff}.custom-control-input:not(:disabled):active~.custom-control-label:before{color:#fff;background-color:#b3d7ff;border-color:#b3d7ff}.custom-control-input:disabled~.custom-control-label,.custom-control-input[disabled]~.custom-control-label{color:#6c757d}.custom-control-input:disabled~.custom-control-label:before,.custom-control-input[disabled]~.custom-control-label:before{background-color:#e9ecef}.custom-control-label{position:relative;margin-bottom:0;vertical-align:top}.custom-control-label:before{pointer-events:none;background-color:#fff;border:1px solid #adb5bd}.custom-control-label:after,.custom-control-label:before{position:absolute;top:.25rem;left:-1.5rem;display:block;width:1rem;height:1rem;content:""}.custom-control-label:after{background:no-repeat 50%/50% 50%}.custom-checkbox .custom-control-label:before{border-radius:.25rem}.custom-checkbox .custom-control-input:checked~.custom-control-label:after{background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='8' height='8'%3E%3Cpath fill='%23fff' d='M6.564.75l-3.59 3.612-1.538-1.55L0 4.26l2.974 2.99L8 2.193z'/%3E%3C/svg%3E")}.custom-checkbox .custom-control-input:indeterminate~.custom-control-label:before{border-color:#007bff;background-color:#007bff}.custom-checkbox .custom-control-input:indeterminate~.custom-control-label:after{background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='4' height='4'%3E%3Cpath stroke='%23fff' d='M0 2h4'/%3E%3C/svg%3E")}.custom-checkbox .custom-control-input:disabled:checked~.custom-control-label:before{background-color:rgba(0,123,255,.5)}.custom-checkbox .custom-control-input:disabled:indeterminate~.custom-control-label:before{background-color:rgba(0,123,255,.5)}.custom-radio .custom-control-label:before{border-radius:50%}.custom-radio .custom-control-input:checked~.custom-control-label:after{background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='12' height='12' viewBox='-4 -4 8 8'%3E%3Ccircle r='3' fill='%23fff'/%3E%3C/svg%3E")}.custom-radio .custom-control-input:disabled:checked~.custom-control-label:before{background-color:rgba(0,123,255,.5)}.custom-switch{padding-left:2.25rem}.custom-switch .custom-control-label:before{left:-2.25rem;width:1.75rem;pointer-events:all;border-radius:.5rem}.custom-switch .custom-control-label:after{top:calc(.25rem + 2px);left:calc(-2.25rem + 2px);width:calc(1rem - 4px);height:calc(1rem - 4px);background-color:#adb5bd;border-radius:.5rem;transition:transform .15s ease-in-out,background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out}@media (prefers-reduced-motion:reduce){.custom-switch .custom-control-label:after{transition:none}}.custom-switch .custom-control-input:checked~.custom-control-label:after{background-color:#fff;transform:translateX(.75rem)}.custom-switch .custom-control-input:disabled:checked~.custom-control-label:before{background-color:rgba(0,123,255,.5)}.custom-select{display:inline-block;width:100%;height:calc(1.5em + .75rem + 2px);padding:.375rem 1.75rem .375rem .75rem;font-size:1rem;font-weight:400;line-height:1.5;color:#495057;vertical-align:middle;background:#fff url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='4' height='5'%3E%3Cpath fill='%23343a40' d='M2 0L0 2h4zm0 5L0 3h4z'/%3E%3C/svg%3E") no-repeat right .75rem center/8px 10px;border:1px solid #ced4da;border-radius:.25rem;appearance:none}.custom-select:focus{border-color:#80bdff;outline:0;box-shadow:0 0 0 .2rem rgba(0,123,255,.25)}.custom-select:focus::-ms-value{color:#495057;background-color:#fff}.custom-select[multiple],.custom-select[size]:not([size="1"]){height:auto;padding-right:.75rem;background-image:none}.custom-select:disabled{color:#6c757d;background-color:#e9ecef}.custom-select::-ms-expand{display:none}.custom-select:-moz-focusring{color:transparent;text-shadow:0 0 0 #495057}.custom-select-sm{height:calc(1.5em + .5rem + 2px);padding-top:.25rem;padding-bottom:.25rem;padding-left:.5rem;font-size:.875rem}.custom-select-lg{height:calc(1.5em + 1rem + 2px);padding-top:.5rem;padding-bottom:.5rem;padding-left:1rem;font-size:1.25rem}.custom-file{display:inline-block;margin-bottom:0}.custom-file,.custom-file-input{position:relative;width:100%;height:calc(1.5em + .75rem + 2px)}.custom-file-input{z-index:2;margin:0;opacity:0}.custom-file-input:focus~.custom-file-label{border-color:#80bdff;box-shadow:0 0 0 .2rem rgba(0,123,255,.25)}.custom-file-input:disabled~.custom-file-label,.custom-file-input[disabled]~.custom-file-label{background-color:#e9ecef}.custom-file-input:lang(en)~.custom-file-label:after{content:"Browse"}.custom-file-input~.custom-file-label[data-browse]:after{content:attr(data-browse)}.custom-file-label{left:0;z-index:1;height:calc(1.5em + .75rem + 2px);font-weight:400;background-color:#fff;border:1px solid #ced4da;border-radius:.25rem}.custom-file-label,.custom-file-label:after{position:absolute;top:0;right:0;padding:.375rem .75rem;line-height:1.5;color:#495057}.custom-file-label:after{bottom:0;z-index:3;display:block;height:calc(1.5em + .75rem);content:"Browse";background-color:#e9ecef;border-left:inherit;border-radius:0 .25rem .25rem 0}.custom-range{width:100%;height:1.4rem;padding:0;background-color:transparent;appearance:none}.custom-range:focus{outline:none}.custom-range:focus::-webkit-slider-thumb{box-shadow:0 0 0 1px #fff,0 0 0 .2rem rgba(0,123,255,.25)}.custom-range:focus::-moz-range-thumb{box-shadow:0 0 0 1px #fff,0 0 0 .2rem rgba(0,123,255,.25)}.custom-range:focus::-ms-thumb{box-shadow:0 0 0 1px #fff,0 0 0 .2rem rgba(0,123,255,.25)}.custom-range::-moz-focus-outer{border:0}.custom-range::-webkit-slider-thumb{width:1rem;height:1rem;margin-top:-.25rem;background-color:#007bff;border:0;border-radius:1rem;transition:background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out;appearance:none}@media (prefers-reduced-motion:reduce){.custom-range::-webkit-slider-thumb{transition:none}}.custom-range::-webkit-slider-thumb:active{background-color:#b3d7ff}.custom-range::-webkit-slider-runnable-track{width:100%;height:.5rem;color:transparent;cursor:pointer;background-color:#dee2e6;border-color:transparent;border-radius:1rem}.custom-range::-moz-range-thumb{width:1rem;height:1rem;background-color:#007bff;border:0;border-radius:1rem;transition:background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out;appearance:none}@media (prefers-reduced-motion:reduce){.custom-range::-moz-range-thumb{transition:none}}.custom-range::-moz-range-thumb:active{background-color:#b3d7ff}.custom-range::-moz-range-track{width:100%;height:.5rem;color:transparent;cursor:pointer;background-color:#dee2e6;border-color:transparent;border-radius:1rem}.custom-range::-ms-thumb{width:1rem;height:1rem;margin-top:0;margin-right:.2rem;margin-left:.2rem;background-color:#007bff;border:0;border-radius:1rem;transition:background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out;appearance:none}@media (prefers-reduced-motion:reduce){.custom-range::-ms-thumb{transition:none}}.custom-range::-ms-thumb:active{background-color:#b3d7ff}.custom-range::-ms-track{width:100%;height:.5rem;color:transparent;cursor:pointer;background-color:transparent;border-color:transparent;border-width:.5rem}.custom-range::-ms-fill-lower,.custom-range::-ms-fill-upper{background-color:#dee2e6;border-radius:1rem}.custom-range::-ms-fill-upper{margin-right:15px}.custom-range:disabled::-webkit-slider-thumb{background-color:#adb5bd}.custom-range:disabled::-webkit-slider-runnable-track{cursor:default}.custom-range:disabled::-moz-range-thumb{background-color:#adb5bd}.custom-range:disabled::-moz-range-track{cursor:default}.custom-range:disabled::-ms-thumb{background-color:#adb5bd}.custom-control-label:before,.custom-file-label,.custom-select{transition:background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out}@media (prefers-reduced-motion:reduce){.custom-control-label:before,.custom-file-label,.custom-select{transition:none}}.nav{display:flex;flex-wrap:wrap;padding-left:0;margin-bottom:0;list-style:none}.nav-link{display:block;padding:.5rem 1rem}.nav-link:focus,.nav-link:hover{text-decoration:none}.nav-link.disabled{color:#6c757d;pointer-events:none;cursor:default}.nav-tabs{border-bottom:1px solid #dee2e6}.nav-tabs .nav-item{margin-bottom:-1px}.nav-tabs .nav-link{border:1px solid transparent;border-top-left-radius:.25rem;border-top-right-radius:.25rem}.nav-tabs .nav-link:focus,.nav-tabs .nav-link:hover{border-color:#e9ecef #e9ecef #dee2e6}.nav-tabs .nav-link.disabled{color:#6c757d;background-color:transparent;border-color:transparent}.nav-tabs .nav-item.show .nav-link,.nav-tabs .nav-link.active{color:#495057;background-color:#fff;border-color:#dee2e6 #dee2e6 #fff}.nav-tabs .dropdown-menu{margin-top:-1px;border-top-left-radius:0;border-top-right-radius:0}.nav-pills .nav-link{border-radius:.25rem}.nav-pills .nav-link.active,.nav-pills .show>.nav-link{color:#fff;background-color:#007bff}.nav-fill .nav-item{flex:1 1 auto;text-align:center}.nav-justified .nav-item{flex-basis:0;flex-grow:1;text-align:center}.tab-content>.tab-pane{display:none}.tab-content>.active{display:block}.navbar{position:relative;padding:.5rem 1rem}.navbar,.navbar .container,.navbar .container-fluid,.navbar .container-lg,.navbar .container-md,.navbar .container-sm,.navbar .container-xl{display:flex;flex-wrap:wrap;align-items:center;justify-content:space-between}.navbar-brand{display:inline-block;padding-top:.3125rem;padding-bottom:.3125rem;margin-right:1rem;font-size:1.25rem;line-height:inherit;white-space:nowrap}.navbar-brand:focus,.navbar-brand:hover{text-decoration:none}.navbar-nav{display:flex;flex-direction:column;padding-left:0;margin-bottom:0;list-style:none}.navbar-nav .nav-link{padding-right:0;padding-left:0}.navbar-nav .dropdown-menu{position:static;float:none}.navbar-text{display:inline-block;padding-top:.5rem;padding-bottom:.5rem}.navbar-collapse{flex-basis:100%;flex-grow:1;align-items:center}.navbar-toggler{padding:.25rem .75rem;font-size:1.25rem;line-height:1;background-color:transparent;border:1px solid transparent;border-radius:.25rem}.navbar-toggler:focus,.navbar-toggler:hover{text-decoration:none}.navbar-toggler-icon{display:inline-block;width:1.5em;height:1.5em;vertical-align:middle;content:"";background:no-repeat 50%;background-size:100% 100%}@media (max-width:539.98px){.navbar-expand-sm>.container,.navbar-expand-sm>.container-fluid,.navbar-expand-sm>.container-lg,.navbar-expand-sm>.container-md,.navbar-expand-sm>.container-sm,.navbar-expand-sm>.container-xl{padding-right:0;padding-left:0}}@media (min-width:540px){.navbar-expand-sm{flex-flow:row nowrap;justify-content:flex-start}.navbar-expand-sm .navbar-nav{flex-direction:row}.navbar-expand-sm .navbar-nav .dropdown-menu{position:absolute}.navbar-expand-sm .navbar-nav .nav-link{padding-right:.5rem;padding-left:.5rem}.navbar-expand-sm>.container,.navbar-expand-sm>.container-fluid,.navbar-expand-sm>.container-lg,.navbar-expand-sm>.container-md,.navbar-expand-sm>.container-sm,.navbar-expand-sm>.container-xl{flex-wrap:nowrap}.navbar-expand-sm .navbar-collapse{display:flex!important;flex-basis:auto}.navbar-expand-sm .navbar-toggler{display:none}}@media (max-width:719.98px){.navbar-expand-md>.container,.navbar-expand-md>.container-fluid,.navbar-expand-md>.container-lg,.navbar-expand-md>.container-md,.navbar-expand-md>.container-sm,.navbar-expand-md>.container-xl{padding-right:0;padding-left:0}}@media (min-width:720px){.navbar-expand-md{flex-flow:row nowrap;justify-content:flex-start}.navbar-expand-md .navbar-nav{flex-direction:row}.navbar-expand-md .navbar-nav .dropdown-menu{position:absolute}.navbar-expand-md .navbar-nav .nav-link{padding-right:.5rem;padding-left:.5rem}.navbar-expand-md>.container,.navbar-expand-md>.container-fluid,.navbar-expand-md>.container-lg,.navbar-expand-md>.container-md,.navbar-expand-md>.container-sm,.navbar-expand-md>.container-xl{flex-wrap:nowrap}.navbar-expand-md .navbar-collapse{display:flex!important;flex-basis:auto}.navbar-expand-md .navbar-toggler{display:none}}@media (max-width:959.98px){.navbar-expand-lg>.container,.navbar-expand-lg>.container-fluid,.navbar-expand-lg>.container-lg,.navbar-expand-lg>.container-md,.navbar-expand-lg>.container-sm,.navbar-expand-lg>.container-xl{padding-right:0;padding-left:0}}@media (min-width:960px){.navbar-expand-lg{flex-flow:row nowrap;justify-content:flex-start}.navbar-expand-lg .navbar-nav{flex-direction:row}.navbar-expand-lg .navbar-nav .dropdown-menu{position:absolute}.navbar-expand-lg .navbar-nav .nav-link{padding-right:.5rem;padding-left:.5rem}.navbar-expand-lg>.container,.navbar-expand-lg>.container-fluid,.navbar-expand-lg>.container-lg,.navbar-expand-lg>.container-md,.navbar-expand-lg>.container-sm,.navbar-expand-lg>.container-xl{flex-wrap:nowrap}.navbar-expand-lg .navbar-collapse{display:flex!important;flex-basis:auto}.navbar-expand-lg .navbar-toggler{display:none}}@media (max-width:1199.98px){.navbar-expand-xl>.container,.navbar-expand-xl>.container-fluid,.navbar-expand-xl>.container-lg,.navbar-expand-xl>.container-md,.navbar-expand-xl>.container-sm,.navbar-expand-xl>.container-xl{padding-right:0;padding-left:0}}@media (min-width:1200px){.navbar-expand-xl{flex-flow:row nowrap;justify-content:flex-start}.navbar-expand-xl .navbar-nav{flex-direction:row}.navbar-expand-xl .navbar-nav .dropdown-menu{position:absolute}.navbar-expand-xl .navbar-nav .nav-link{padding-right:.5rem;padding-left:.5rem}.navbar-expand-xl>.container,.navbar-expand-xl>.container-fluid,.navbar-expand-xl>.container-lg,.navbar-expand-xl>.container-md,.navbar-expand-xl>.container-sm,.navbar-expand-xl>.container-xl{flex-wrap:nowrap}.navbar-expand-xl .navbar-collapse{display:flex!important;flex-basis:auto}.navbar-expand-xl .navbar-toggler{display:none}}.navbar-expand{flex-flow:row nowrap;justify-content:flex-start}.navbar-expand>.container,.navbar-expand>.container-fluid,.navbar-expand>.container-lg,.navbar-expand>.container-md,.navbar-expand>.container-sm,.navbar-expand>.container-xl{padding-right:0;padding-left:0}.navbar-expand .navbar-nav{flex-direction:row}.navbar-expand .navbar-nav .dropdown-menu{position:absolute}.navbar-expand .navbar-nav .nav-link{padding-right:.5rem;padding-left:.5rem}.navbar-expand>.container,.navbar-expand>.container-fluid,.navbar-expand>.container-lg,.navbar-expand>.container-md,.navbar-expand>.container-sm,.navbar-expand>.container-xl{flex-wrap:nowrap}.navbar-expand .navbar-collapse{display:flex!important;flex-basis:auto}.navbar-expand .navbar-toggler{display:none}.navbar-light .navbar-brand,.navbar-light .navbar-brand:focus,.navbar-light .navbar-brand:hover{color:rgba(0,0,0,.9)}.navbar-light .navbar-nav .nav-link{color:rgba(0,0,0,.5)}.navbar-light .navbar-nav .nav-link:focus,.navbar-light .navbar-nav .nav-link:hover{color:rgba(0,0,0,.7)}.navbar-light .navbar-nav .nav-link.disabled{color:rgba(0,0,0,.3)}.navbar-light .navbar-nav .active>.nav-link,.navbar-light .navbar-nav .nav-link.active,.navbar-light .navbar-nav .nav-link.show,.navbar-light .navbar-nav .show>.nav-link{color:rgba(0,0,0,.9)}.navbar-light .navbar-toggler{color:rgba(0,0,0,.5);border-color:rgba(0,0,0,.1)}.navbar-light .navbar-toggler-icon{background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='30' height='30'%3E%3Cpath stroke='rgba(0,0,0,0.5)' stroke-linecap='round' stroke-miterlimit='10' stroke-width='2' d='M4 7h22M4 15h22M4 23h22'/%3E%3C/svg%3E")}.navbar-light .navbar-text{color:rgba(0,0,0,.5)}.navbar-light .navbar-text a,.navbar-light .navbar-text a:focus,.navbar-light .navbar-text a:hover{color:rgba(0,0,0,.9)}.navbar-dark .navbar-brand,.navbar-dark .navbar-brand:focus,.navbar-dark .navbar-brand:hover{color:#fff}.navbar-dark .navbar-nav .nav-link{color:hsla(0,0%,100%,.5)}.navbar-dark .navbar-nav .nav-link:focus,.navbar-dark .navbar-nav .nav-link:hover{color:hsla(0,0%,100%,.75)}.navbar-dark .navbar-nav .nav-link.disabled{color:hsla(0,0%,100%,.25)}.navbar-dark .navbar-nav .active>.nav-link,.navbar-dark .navbar-nav .nav-link.active,.navbar-dark .navbar-nav .nav-link.show,.navbar-dark .navbar-nav .show>.nav-link{color:#fff}.navbar-dark .navbar-toggler{color:hsla(0,0%,100%,.5);border-color:hsla(0,0%,100%,.1)}.navbar-dark .navbar-toggler-icon{background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' width='30' height='30'%3E%3Cpath stroke='rgba(255,255,255,0.5)' stroke-linecap='round' stroke-miterlimit='10' stroke-width='2' d='M4 7h22M4 15h22M4 23h22'/%3E%3C/svg%3E")}.navbar-dark .navbar-text{color:hsla(0,0%,100%,.5)}.navbar-dark .navbar-text a,.navbar-dark .navbar-text a:focus,.navbar-dark .navbar-text a:hover{color:#fff}.card{position:relative;display:flex;flex-direction:column;min-width:0;word-wrap:break-word;background-color:#fff;background-clip:border-box;border:1px solid rgba(0,0,0,.125);border-radius:.25rem}.card>hr{margin-right:0;margin-left:0}.card>.list-group{border-top:inherit;border-bottom:inherit}.card>.list-group:first-child{border-top-width:0;border-top-left-radius:calc(.25rem - 1px);border-top-right-radius:calc(.25rem - 1px)}.card>.list-group:last-child{border-bottom-width:0;border-bottom-right-radius:calc(.25rem - 1px);border-bottom-left-radius:calc(.25rem - 1px)}.card-body{flex:1 1 auto;min-height:1px;padding:1.25rem}.card-title{margin-bottom:.75rem}.card-subtitle{margin-top:-.375rem}.card-subtitle,.card-text:last-child{margin-bottom:0}.card-link:hover{text-decoration:none}.card-link+.card-link{margin-left:1.25rem}.card-header{padding:.75rem 1.25rem;margin-bottom:0;background-color:rgba(0,0,0,.03);border-bottom:1px solid rgba(0,0,0,.125)}.card-header:first-child{border-radius:calc(.25rem - 1px) calc(.25rem - 1px) 0 0}.card-header+.list-group .list-group-item:first-child{border-top:0}.card-footer{padding:.75rem 1.25rem;background-color:rgba(0,0,0,.03);border-top:1px solid rgba(0,0,0,.125)}.card-footer:last-child{border-radius:0 0 calc(.25rem - 1px) calc(.25rem - 1px)}.card-header-tabs{margin-bottom:-.75rem;border-bottom:0}.card-header-pills,.card-header-tabs{margin-right:-.625rem;margin-left:-.625rem}.card-img-overlay{position:absolute;top:0;right:0;bottom:0;left:0;padding:1.25rem}.card-img,.card-img-bottom,.card-img-top{flex-shrink:0;width:100%}.card-img,.card-img-top{border-top-left-radius:calc(.25rem - 1px);border-top-right-radius:calc(.25rem - 1px)}.card-img,.card-img-bottom{border-bottom-right-radius:calc(.25rem - 1px);border-bottom-left-radius:calc(.25rem - 1px)}.card-deck .card{margin-bottom:15px}@media (min-width:540px){.card-deck{display:flex;flex-flow:row wrap;margin-right:-15px;margin-left:-15px}.card-deck .card{flex:1 0 0%;margin-right:15px;margin-bottom:0;margin-left:15px}}.card-group>.card{margin-bottom:15px}@media (min-width:540px){.card-group{display:flex;flex-flow:row wrap}.card-group>.card{flex:1 0 0%;margin-bottom:0}.card-group>.card+.card{margin-left:0;border-left:0}.card-group>.card:not(:last-child){border-top-right-radius:0;border-bottom-right-radius:0}.card-group>.card:not(:last-child) .card-header,.card-group>.card:not(:last-child) .card-img-top{border-top-right-radius:0}.card-group>.card:not(:last-child) .card-footer,.card-group>.card:not(:last-child) .card-img-bottom{border-bottom-right-radius:0}.card-group>.card:not(:first-child){border-top-left-radius:0;border-bottom-left-radius:0}.card-group>.card:not(:first-child) .card-header,.card-group>.card:not(:first-child) .card-img-top{border-top-left-radius:0}.card-group>.card:not(:first-child) .card-footer,.card-group>.card:not(:first-child) .card-img-bottom{border-bottom-left-radius:0}}.card-columns .card{margin-bottom:.75rem}@media (min-width:540px){.card-columns{column-count:3;column-gap:1.25rem;orphans:1;widows:1}.card-columns .card{display:inline-block;width:100%}}.accordion>.card{overflow:hidden}.accordion>.card:not(:last-of-type){border-bottom:0;border-bottom-right-radius:0;border-bottom-left-radius:0}.accordion>.card:not(:first-of-type){border-top-left-radius:0;border-top-right-radius:0}.accordion>.card>.card-header{border-radius:0;margin-bottom:-1px}.breadcrumb{flex-wrap:wrap;padding:.75rem 1rem;margin-bottom:1rem;list-style:none;background-color:#e9ecef;border-radius:.25rem}.breadcrumb,.breadcrumb-item{display:flex}.breadcrumb-item+.breadcrumb-item{padding-left:.5rem}.breadcrumb-item+.breadcrumb-item:before{display:inline-block;padding-right:.5rem;color:#6c757d;content:"/"}.breadcrumb-item+.breadcrumb-item:hover:before{text-decoration:underline;text-decoration:none}.breadcrumb-item.active{color:#6c757d}.pagination{display:flex;padding-left:0;list-style:none;border-radius:.25rem}.page-link{position:relative;display:block;padding:.5rem .75rem;margin-left:-1px;line-height:1.25;color:#007bff;background-color:#fff;border:1px solid #dee2e6}.page-link:hover{z-index:2;color:#0056b3;text-decoration:none;background-color:#e9ecef;border-color:#dee2e6}.page-link:focus{z-index:3;outline:0;box-shadow:0 0 0 .2rem rgba(0,123,255,.25)}.page-item:first-child .page-link{margin-left:0;border-top-left-radius:.25rem;border-bottom-left-radius:.25rem}.page-item:last-child .page-link{border-top-right-radius:.25rem;border-bottom-right-radius:.25rem}.page-item.active .page-link{z-index:3;color:#fff;background-color:#007bff;border-color:#007bff}.page-item.disabled .page-link{color:#6c757d;pointer-events:none;cursor:auto;background-color:#fff;border-color:#dee2e6}.pagination-lg .page-link{padding:.75rem 1.5rem;font-size:1.25rem;line-height:1.5}.pagination-lg .page-item:first-child .page-link{border-top-left-radius:.3rem;border-bottom-left-radius:.3rem}.pagination-lg .page-item:last-child .page-link{border-top-right-radius:.3rem;border-bottom-right-radius:.3rem}.pagination-sm .page-link{padding:.25rem .5rem;font-size:.875rem;line-height:1.5}.pagination-sm .page-item:first-child .page-link{border-top-left-radius:.2rem;border-bottom-left-radius:.2rem}.pagination-sm .page-item:last-child .page-link{border-top-right-radius:.2rem;border-bottom-right-radius:.2rem}.badge{display:inline-block;padding:.25em .4em;font-size:75%;font-weight:700;line-height:1;text-align:center;white-space:nowrap;vertical-align:baseline;border-radius:.25rem;transition:color .15s ease-in-out,background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out}@media (prefers-reduced-motion:reduce){.badge{transition:none}}a.badge:focus,a.badge:hover{text-decoration:none}.badge:empty{display:none}.btn .badge{position:relative;top:-1px}.badge-pill{padding-right:.6em;padding-left:.6em;border-radius:10rem}.badge-primary{color:#fff;background-color:#007bff}a.badge-primary:focus,a.badge-primary:hover{color:#fff;background-color:#0062cc}a.badge-primary.focus,a.badge-primary:focus{outline:0;box-shadow:0 0 0 .2rem rgba(0,123,255,.5)}.badge-secondary{color:#fff;background-color:#6c757d}a.badge-secondary:focus,a.badge-secondary:hover{color:#fff;background-color:#545b62}a.badge-secondary.focus,a.badge-secondary:focus{outline:0;box-shadow:0 0 0 .2rem rgba(108,117,125,.5)}.badge-success{color:#fff;background-color:#28a745}a.badge-success:focus,a.badge-success:hover{color:#fff;background-color:#1e7e34}a.badge-success.focus,a.badge-success:focus{outline:0;box-shadow:0 0 0 .2rem rgba(40,167,69,.5)}.badge-info{color:#fff;background-color:#17a2b8}a.badge-info:focus,a.badge-info:hover{color:#fff;background-color:#117a8b}a.badge-info.focus,a.badge-info:focus{outline:0;box-shadow:0 0 0 .2rem rgba(23,162,184,.5)}.badge-warning{color:#212529;background-color:#ffc107}a.badge-warning:focus,a.badge-warning:hover{color:#212529;background-color:#d39e00}a.badge-warning.focus,a.badge-warning:focus{outline:0;box-shadow:0 0 0 .2rem rgba(255,193,7,.5)}.badge-danger{color:#fff;background-color:#dc3545}a.badge-danger:focus,a.badge-danger:hover{color:#fff;background-color:#bd2130}a.badge-danger.focus,a.badge-danger:focus{outline:0;box-shadow:0 0 0 .2rem rgba(220,53,69,.5)}.badge-light{color:#212529;background-color:#f8f9fa}a.badge-light:focus,a.badge-light:hover{color:#212529;background-color:#dae0e5}a.badge-light.focus,a.badge-light:focus{outline:0;box-shadow:0 0 0 .2rem rgba(248,249,250,.5)}.badge-dark{color:#fff;background-color:#343a40}a.badge-dark:focus,a.badge-dark:hover{color:#fff;background-color:#1d2124}a.badge-dark.focus,a.badge-dark:focus{outline:0;box-shadow:0 0 0 .2rem rgba(52,58,64,.5)}.jumbotron{padding:2rem 1rem;margin-bottom:2rem;background-color:#e9ecef;border-radius:.3rem}@media (min-width:540px){.jumbotron{padding:4rem 2rem}}.jumbotron-fluid{padding-right:0;padding-left:0;border-radius:0}.alert{position:relative;padding:.75rem 1.25rem;margin-bottom:1rem;border:1px solid transparent;border-radius:.25rem}.alert-heading{color:inherit}.alert-link{font-weight:700}.alert-dismissible{padding-right:4rem}.alert-dismissible .close{position:absolute;top:0;right:0;padding:.75rem 1.25rem;color:inherit}.alert-primary{color:#004085;background-color:#cce5ff;border-color:#b8daff}.alert-primary hr{border-top-color:#9fcdff}.alert-primary .alert-link{color:#002752}.alert-secondary{color:#383d41;background-color:#e2e3e5;border-color:#d6d8db}.alert-secondary hr{border-top-color:#c8cbcf}.alert-secondary .alert-link{color:#202326}.alert-success{color:#155724;background-color:#d4edda;border-color:#c3e6cb}.alert-success hr{border-top-color:#b1dfbb}.alert-success .alert-link{color:#0b2e13}.alert-info{color:#0c5460;background-color:#d1ecf1;border-color:#bee5eb}.alert-info hr{border-top-color:#abdde5}.alert-info .alert-link{color:#062c33}.alert-warning{color:#856404;background-color:#fff3cd;border-color:#ffeeba}.alert-warning hr{border-top-color:#ffe8a1}.alert-warning .alert-link{color:#533f03}.alert-danger{color:#721c24;background-color:#f8d7da;border-color:#f5c6cb}.alert-danger hr{border-top-color:#f1b0b7}.alert-danger .alert-link{color:#491217}.alert-light{color:#818182;background-color:#fefefe;border-color:#fdfdfe}.alert-light hr{border-top-color:#ececf6}.alert-light .alert-link{color:#686868}.alert-dark{color:#1b1e21;background-color:#d6d8d9;border-color:#c6c8ca}.alert-dark hr{border-top-color:#b9bbbe}.alert-dark .alert-link{color:#040505}@keyframes progress-bar-stripes{0%{background-position:1rem 0}to{background-position:0 0}}.progress{height:1rem;line-height:0;font-size:.75rem;background-color:#e9ecef;border-radius:.25rem}.progress,.progress-bar{display:flex;overflow:hidden}.progress-bar{flex-direction:column;justify-content:center;color:#fff;text-align:center;white-space:nowrap;background-color:#007bff;transition:width .6s ease}@media (prefers-reduced-motion:reduce){.progress-bar{transition:none}}.progress-bar-striped{background-image:linear-gradient(45deg,hsla(0,0%,100%,.15) 25%,transparent 0,transparent 50%,hsla(0,0%,100%,.15) 0,hsla(0,0%,100%,.15) 75%,transparent 0,transparent);background-size:1rem 1rem}.progress-bar-animated{animation:progress-bar-stripes 1s linear infinite}@media (prefers-reduced-motion:reduce){.progress-bar-animated{animation:none}}.media{display:flex;align-items:flex-start}.media-body{flex:1}.list-group{display:flex;flex-direction:column;padding-left:0;margin-bottom:0;border-radius:.25rem}.list-group-item-action{width:100%;color:#495057;text-align:inherit}.list-group-item-action:focus,.list-group-item-action:hover{z-index:1;color:#495057;text-decoration:none;background-color:#f8f9fa}.list-group-item-action:active{color:#212529;background-color:#e9ecef}.list-group-item{position:relative;display:block;padding:.75rem 1.25rem;background-color:#fff;border:1px solid rgba(0,0,0,.125)}.list-group-item:first-child{border-top-left-radius:inherit;border-top-right-radius:inherit}.list-group-item:last-child{border-bottom-right-radius:inherit;border-bottom-left-radius:inherit}.list-group-item.disabled,.list-group-item:disabled{color:#6c757d;pointer-events:none;background-color:#fff}.list-group-item.active{z-index:2;color:#fff;background-color:#007bff;border-color:#007bff}.list-group-item+.list-group-item{border-top-width:0}.list-group-item+.list-group-item.active{margin-top:-1px;border-top-width:1px}.list-group-horizontal{flex-direction:row}.list-group-horizontal>.list-group-item:first-child{border-bottom-left-radius:.25rem;border-top-right-radius:0}.list-group-horizontal>.list-group-item:last-child{border-top-right-radius:.25rem;border-bottom-left-radius:0}.list-group-horizontal>.list-group-item.active{margin-top:0}.list-group-horizontal>.list-group-item+.list-group-item{border-top-width:1px;border-left-width:0}.list-group-horizontal>.list-group-item+.list-group-item.active{margin-left:-1px;border-left-width:1px}@media (min-width:540px){.list-group-horizontal-sm{flex-direction:row}.list-group-horizontal-sm>.list-group-item:first-child{border-bottom-left-radius:.25rem;border-top-right-radius:0}.list-group-horizontal-sm>.list-group-item:last-child{border-top-right-radius:.25rem;border-bottom-left-radius:0}.list-group-horizontal-sm>.list-group-item.active{margin-top:0}.list-group-horizontal-sm>.list-group-item+.list-group-item{border-top-width:1px;border-left-width:0}.list-group-horizontal-sm>.list-group-item+.list-group-item.active{margin-left:-1px;border-left-width:1px}}@media (min-width:720px){.list-group-horizontal-md{flex-direction:row}.list-group-horizontal-md>.list-group-item:first-child{border-bottom-left-radius:.25rem;border-top-right-radius:0}.list-group-horizontal-md>.list-group-item:last-child{border-top-right-radius:.25rem;border-bottom-left-radius:0}.list-group-horizontal-md>.list-group-item.active{margin-top:0}.list-group-horizontal-md>.list-group-item+.list-group-item{border-top-width:1px;border-left-width:0}.list-group-horizontal-md>.list-group-item+.list-group-item.active{margin-left:-1px;border-left-width:1px}}@media (min-width:960px){.list-group-horizontal-lg{flex-direction:row}.list-group-horizontal-lg>.list-group-item:first-child{border-bottom-left-radius:.25rem;border-top-right-radius:0}.list-group-horizontal-lg>.list-group-item:last-child{border-top-right-radius:.25rem;border-bottom-left-radius:0}.list-group-horizontal-lg>.list-group-item.active{margin-top:0}.list-group-horizontal-lg>.list-group-item+.list-group-item{border-top-width:1px;border-left-width:0}.list-group-horizontal-lg>.list-group-item+.list-group-item.active{margin-left:-1px;border-left-width:1px}}@media (min-width:1200px){.list-group-horizontal-xl{flex-direction:row}.list-group-horizontal-xl>.list-group-item:first-child{border-bottom-left-radius:.25rem;border-top-right-radius:0}.list-group-horizontal-xl>.list-group-item:last-child{border-top-right-radius:.25rem;border-bottom-left-radius:0}.list-group-horizontal-xl>.list-group-item.active{margin-top:0}.list-group-horizontal-xl>.list-group-item+.list-group-item{border-top-width:1px;border-left-width:0}.list-group-horizontal-xl>.list-group-item+.list-group-item.active{margin-left:-1px;border-left-width:1px}}.list-group-flush{border-radius:0}.list-group-flush>.list-group-item{border-width:0 0 1px}.list-group-flush>.list-group-item:last-child{border-bottom-width:0}.list-group-item-primary{color:#004085;background-color:#b8daff}.list-group-item-primary.list-group-item-action:focus,.list-group-item-primary.list-group-item-action:hover{color:#004085;background-color:#9fcdff}.list-group-item-primary.list-group-item-action.active{color:#fff;background-color:#004085;border-color:#004085}.list-group-item-secondary{color:#383d41;background-color:#d6d8db}.list-group-item-secondary.list-group-item-action:focus,.list-group-item-secondary.list-group-item-action:hover{color:#383d41;background-color:#c8cbcf}.list-group-item-secondary.list-group-item-action.active{color:#fff;background-color:#383d41;border-color:#383d41}.list-group-item-success{color:#155724;background-color:#c3e6cb}.list-group-item-success.list-group-item-action:focus,.list-group-item-success.list-group-item-action:hover{color:#155724;background-color:#b1dfbb}.list-group-item-success.list-group-item-action.active{color:#fff;background-color:#155724;border-color:#155724}.list-group-item-info{color:#0c5460;background-color:#bee5eb}.list-group-item-info.list-group-item-action:focus,.list-group-item-info.list-group-item-action:hover{color:#0c5460;background-color:#abdde5}.list-group-item-info.list-group-item-action.active{color:#fff;background-color:#0c5460;border-color:#0c5460}.list-group-item-warning{color:#856404;background-color:#ffeeba}.list-group-item-warning.list-group-item-action:focus,.list-group-item-warning.list-group-item-action:hover{color:#856404;background-color:#ffe8a1}.list-group-item-warning.list-group-item-action.active{color:#fff;background-color:#856404;border-color:#856404}.list-group-item-danger{color:#721c24;background-color:#f5c6cb}.list-group-item-danger.list-group-item-action:focus,.list-group-item-danger.list-group-item-action:hover{color:#721c24;background-color:#f1b0b7}.list-group-item-danger.list-group-item-action.active{color:#fff;background-color:#721c24;border-color:#721c24}.list-group-item-light{color:#818182;background-color:#fdfdfe}.list-group-item-light.list-group-item-action:focus,.list-group-item-light.list-group-item-action:hover{color:#818182;background-color:#ececf6}.list-group-item-light.list-group-item-action.active{color:#fff;background-color:#818182;border-color:#818182}.list-group-item-dark{color:#1b1e21;background-color:#c6c8ca}.list-group-item-dark.list-group-item-action:focus,.list-group-item-dark.list-group-item-action:hover{color:#1b1e21;background-color:#b9bbbe}.list-group-item-dark.list-group-item-action.active{color:#fff;background-color:#1b1e21;border-color:#1b1e21}.close{float:right;font-size:1.5rem;font-weight:700;line-height:1;color:#000;text-shadow:0 1px 0 #fff;opacity:.5}.close:hover{color:#000;text-decoration:none}.close:not(:disabled):not(.disabled):focus,.close:not(:disabled):not(.disabled):hover{opacity:.75}button.close{padding:0;background-color:transparent;border:0}a.close.disabled{pointer-events:none}.toast{max-width:350px;overflow:hidden;font-size:.875rem;background-color:hsla(0,0%,100%,.85);background-clip:padding-box;border:1px solid rgba(0,0,0,.1);box-shadow:0 .25rem .75rem rgba(0,0,0,.1);backdrop-filter:blur(10px);opacity:0;border-radius:.25rem}.toast:not(:last-child){margin-bottom:.75rem}.toast.showing{opacity:1}.toast.show{display:block;opacity:1}.toast.hide{display:none}.toast-header{display:flex;align-items:center;padding:.25rem .75rem;color:#6c757d;background-color:hsla(0,0%,100%,.85);background-clip:padding-box;border-bottom:1px solid rgba(0,0,0,.05)}.toast-body{padding:.75rem}.modal-open{overflow:hidden}.modal-open .modal{overflow-x:hidden;overflow-y:auto}.modal{position:fixed;top:0;left:0;z-index:1050;display:none;width:100%;height:100%;overflow:hidden;outline:0}.modal-dialog{position:relative;width:auto;margin:.5rem;pointer-events:none}.modal.fade .modal-dialog{transition:transform .3s ease-out;transform:translateY(-50px)}@media (prefers-reduced-motion:reduce){.modal.fade .modal-dialog{transition:none}}.modal.show .modal-dialog{transform:none}.modal.modal-static .modal-dialog{transform:scale(1.02)}.modal-dialog-scrollable{display:flex;max-height:calc(100% - 1rem)}.modal-dialog-scrollable .modal-content{max-height:calc(100vh - 1rem);overflow:hidden}.modal-dialog-scrollable .modal-footer,.modal-dialog-scrollable .modal-header{flex-shrink:0}.modal-dialog-scrollable .modal-body{overflow-y:auto}.modal-dialog-centered{display:flex;align-items:center;min-height:calc(100% - 1rem)}.modal-dialog-centered:before{display:block;height:calc(100vh - 1rem);height:min-content;content:""}.modal-dialog-centered.modal-dialog-scrollable{flex-direction:column;justify-content:center;height:100%}.modal-dialog-centered.modal-dialog-scrollable .modal-content{max-height:none}.modal-dialog-centered.modal-dialog-scrollable:before{content:none}.modal-content{position:relative;display:flex;flex-direction:column;width:100%;pointer-events:auto;background-color:#fff;background-clip:padding-box;border:1px solid rgba(0,0,0,.2);border-radius:.3rem;outline:0}.modal-backdrop{position:fixed;top:0;left:0;z-index:1040;width:100vw;height:100vh;background-color:#000}.modal-backdrop.fade{opacity:0}.modal-backdrop.show{opacity:.5}.modal-header{display:flex;align-items:flex-start;justify-content:space-between;padding:1rem;border-bottom:1px solid #dee2e6;border-top-left-radius:calc(.3rem - 1px);border-top-right-radius:calc(.3rem - 1px)}.modal-header .close{padding:1rem;margin:-1rem -1rem -1rem auto}.modal-title{margin-bottom:0;line-height:1.5}.modal-body{position:relative;flex:1 1 auto;padding:1rem}.modal-footer{display:flex;flex-wrap:wrap;align-items:center;justify-content:flex-end;padding:.75rem;border-top:1px solid #dee2e6;border-bottom-right-radius:calc(.3rem - 1px);border-bottom-left-radius:calc(.3rem - 1px)}.modal-footer>*{margin:.25rem}.modal-scrollbar-measure{position:absolute;top:-9999px;width:50px;height:50px;overflow:scroll}@media (min-width:540px){.modal-dialog{max-width:500px;margin:1.75rem auto}.modal-dialog-scrollable{max-height:calc(100% - 3.5rem)}.modal-dialog-scrollable .modal-content{max-height:calc(100vh - 3.5rem)}.modal-dialog-centered{min-height:calc(100% - 3.5rem)}.modal-dialog-centered:before{height:calc(100vh - 3.5rem);height:min-content}.modal-sm{max-width:300px}}@media (min-width:960px){.modal-lg,.modal-xl{max-width:800px}}@media (min-width:1200px){.modal-xl{max-width:1140px}}.tooltip{position:absolute;z-index:1070;display:block;margin:0;font-family:-apple-system,BlinkMacSystemFont,Segoe UI,Roboto,Helvetica Neue,Arial,Noto Sans,sans-serif,Apple Color Emoji,Segoe UI Emoji,Segoe UI Symbol,Noto Color Emoji;font-style:normal;font-weight:400;line-height:1.5;text-align:left;text-align:start;text-decoration:none;text-shadow:none;text-transform:none;letter-spacing:normal;word-break:normal;word-spacing:normal;white-space:normal;line-break:auto;font-size:.875rem;word-wrap:break-word;opacity:0}.tooltip.show{opacity:.9}.tooltip .arrow{position:absolute;display:block;width:.8rem;height:.4rem}.tooltip .arrow:before{position:absolute;content:"";border-color:transparent;border-style:solid}.bs-tooltip-auto[x-placement^=top],.bs-tooltip-top{padding:.4rem 0}.bs-tooltip-auto[x-placement^=top] .arrow,.bs-tooltip-top .arrow{bottom:0}.bs-tooltip-auto[x-placement^=top] .arrow:before,.bs-tooltip-top .arrow:before{top:0;border-width:.4rem .4rem 0;border-top-color:#000}.bs-tooltip-auto[x-placement^=right],.bs-tooltip-right{padding:0 .4rem}.bs-tooltip-auto[x-placement^=right] .arrow,.bs-tooltip-right .arrow{left:0;width:.4rem;height:.8rem}.bs-tooltip-auto[x-placement^=right] .arrow:before,.bs-tooltip-right .arrow:before{right:0;border-width:.4rem .4rem .4rem 0;border-right-color:#000}.bs-tooltip-auto[x-placement^=bottom],.bs-tooltip-bottom{padding:.4rem 0}.bs-tooltip-auto[x-placement^=bottom] .arrow,.bs-tooltip-bottom .arrow{top:0}.bs-tooltip-auto[x-placement^=bottom] .arrow:before,.bs-tooltip-bottom .arrow:before{bottom:0;border-width:0 .4rem .4rem;border-bottom-color:#000}.bs-tooltip-auto[x-placement^=left],.bs-tooltip-left{padding:0 .4rem}.bs-tooltip-auto[x-placement^=left] .arrow,.bs-tooltip-left .arrow{right:0;width:.4rem;height:.8rem}.bs-tooltip-auto[x-placement^=left] .arrow:before,.bs-tooltip-left .arrow:before{left:0;border-width:.4rem 0 .4rem .4rem;border-left-color:#000}.tooltip-inner{max-width:200px;padding:.25rem .5rem;color:#fff;text-align:center;background-color:#000;border-radius:.25rem}.popover{top:0;left:0;z-index:1060;max-width:276px;font-family:-apple-system,BlinkMacSystemFont,Segoe UI,Roboto,Helvetica Neue,Arial,Noto Sans,sans-serif,Apple Color Emoji,Segoe UI Emoji,Segoe UI Symbol,Noto Color Emoji;font-style:normal;font-weight:400;line-height:1.5;text-align:left;text-align:start;text-decoration:none;text-shadow:none;text-transform:none;letter-spacing:normal;word-break:normal;word-spacing:normal;white-space:normal;line-break:auto;font-size:.875rem;word-wrap:break-word;background-color:#fff;background-clip:padding-box;border:1px solid rgba(0,0,0,.2);border-radius:.3rem}.popover,.popover .arrow{position:absolute;display:block}.popover .arrow{width:1rem;height:.5rem;margin:0 .3rem}.popover .arrow:after,.popover .arrow:before{position:absolute;display:block;content:"";border-color:transparent;border-style:solid}.bs-popover-auto[x-placement^=top],.bs-popover-top{margin-bottom:.5rem}.bs-popover-auto[x-placement^=top]>.arrow,.bs-popover-top>.arrow{bottom:calc(-.5rem - 1px)}.bs-popover-auto[x-placement^=top]>.arrow:before,.bs-popover-top>.arrow:before{bottom:0;border-width:.5rem .5rem 0;border-top-color:rgba(0,0,0,.25)}.bs-popover-auto[x-placement^=top]>.arrow:after,.bs-popover-top>.arrow:after{bottom:1px;border-width:.5rem .5rem 0;border-top-color:#fff}.bs-popover-auto[x-placement^=right],.bs-popover-right{margin-left:.5rem}.bs-popover-auto[x-placement^=right]>.arrow,.bs-popover-right>.arrow{left:calc(-.5rem - 1px);width:.5rem;height:1rem;margin:.3rem 0}.bs-popover-auto[x-placement^=right]>.arrow:before,.bs-popover-right>.arrow:before{left:0;border-width:.5rem .5rem .5rem 0;border-right-color:rgba(0,0,0,.25)}.bs-popover-auto[x-placement^=right]>.arrow:after,.bs-popover-right>.arrow:after{left:1px;border-width:.5rem .5rem .5rem 0;border-right-color:#fff}.bs-popover-auto[x-placement^=bottom],.bs-popover-bottom{margin-top:.5rem}.bs-popover-auto[x-placement^=bottom]>.arrow,.bs-popover-bottom>.arrow{top:calc(-.5rem - 1px)}.bs-popover-auto[x-placement^=bottom]>.arrow:before,.bs-popover-bottom>.arrow:before{top:0;border-width:0 .5rem .5rem;border-bottom-color:rgba(0,0,0,.25)}.bs-popover-auto[x-placement^=bottom]>.arrow:after,.bs-popover-bottom>.arrow:after{top:1px;border-width:0 .5rem .5rem;border-bottom-color:#fff}.bs-popover-auto[x-placement^=bottom] .popover-header:before,.bs-popover-bottom .popover-header:before{position:absolute;top:0;left:50%;display:block;width:1rem;margin-left:-.5rem;content:"";border-bottom:1px solid #f7f7f7}.bs-popover-auto[x-placement^=left],.bs-popover-left{margin-right:.5rem}.bs-popover-auto[x-placement^=left]>.arrow,.bs-popover-left>.arrow{right:calc(-.5rem - 1px);width:.5rem;height:1rem;margin:.3rem 0}.bs-popover-auto[x-placement^=left]>.arrow:before,.bs-popover-left>.arrow:before{right:0;border-width:.5rem 0 .5rem .5rem;border-left-color:rgba(0,0,0,.25)}.bs-popover-auto[x-placement^=left]>.arrow:after,.bs-popover-left>.arrow:after{right:1px;border-width:.5rem 0 .5rem .5rem;border-left-color:#fff}.popover-header{padding:.5rem .75rem;margin-bottom:0;font-size:1rem;background-color:#f7f7f7;border-bottom:1px solid #ebebeb;border-top-left-radius:calc(.3rem - 1px);border-top-right-radius:calc(.3rem - 1px)}.popover-header:empty{display:none}.popover-body{padding:.5rem .75rem;color:#212529}.carousel{position:relative}.carousel.pointer-event{touch-action:pan-y}.carousel-inner{position:relative;width:100%;overflow:hidden}.carousel-inner:after{display:block;clear:both;content:""}.carousel-item{position:relative;display:none;float:left;width:100%;margin-right:-100%;backface-visibility:hidden;transition:transform .6s ease-in-out}@media (prefers-reduced-motion:reduce){.carousel-item{transition:none}}.carousel-item-next,.carousel-item-prev,.carousel-item.active{display:block}.active.carousel-item-right,.carousel-item-next:not(.carousel-item-left){transform:translateX(100%)}.active.carousel-item-left,.carousel-item-prev:not(.carousel-item-right){transform:translateX(-100%)}.carousel-fade .carousel-item{opacity:0;transition-property:opacity;transform:none}.carousel-fade .carousel-item-next.carousel-item-left,.carousel-fade .carousel-item-prev.carousel-item-right,.carousel-fade .carousel-item.active{z-index:1;opacity:1}.carousel-fade .active.carousel-item-left,.carousel-fade .active.carousel-item-right{z-index:0;opacity:0;transition:opacity 0s .6s}@media (prefers-reduced-motion:reduce){.carousel-fade .active.carousel-item-left,.carousel-fade .active.carousel-item-right{transition:none}}.carousel-control-next,.carousel-control-prev{position:absolute;top:0;bottom:0;z-index:1;display:flex;align-items:center;justify-content:center;width:15%;color:#fff;text-align:center;opacity:.5;transition:opacity .15s ease}@media (prefers-reduced-motion:reduce){.carousel-control-next,.carousel-control-prev{transition:none}}.carousel-control-next:focus,.carousel-control-next:hover,.carousel-control-prev:focus,.carousel-control-prev:hover{color:#fff;text-decoration:none;outline:0;opacity:.9}.carousel-control-prev{left:0}.carousel-control-next{right:0}.carousel-control-next-icon,.carousel-control-prev-icon{display:inline-block;width:20px;height:20px;background:no-repeat 50%/100% 100%}.carousel-control-prev-icon{background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' fill='%23fff' width='8' height='8'%3E%3Cpath d='M5.25 0l-4 4 4 4 1.5-1.5L4.25 4l2.5-2.5L5.25 0z'/%3E%3C/svg%3E")}.carousel-control-next-icon{background-image:url("data:image/svg+xml;charset=utf-8,%3Csvg xmlns='http://www.w3.org/2000/svg' fill='%23fff' width='8' height='8'%3E%3Cpath d='M2.75 0l-1.5 1.5L3.75 4l-2.5 2.5L2.75 8l4-4-4-4z'/%3E%3C/svg%3E")}.carousel-indicators{position:absolute;right:0;bottom:0;left:0;z-index:15;display:flex;justify-content:center;padding-left:0;margin-right:15%;margin-left:15%;list-style:none}.carousel-indicators li{box-sizing:content-box;flex:0 1 auto;width:30px;height:3px;margin-right:3px;margin-left:3px;text-indent:-999px;cursor:pointer;background-color:#fff;background-clip:padding-box;border-top:10px solid transparent;border-bottom:10px solid transparent;opacity:.5;transition:opacity .6s ease}@media (prefers-reduced-motion:reduce){.carousel-indicators li{transition:none}}.carousel-indicators .active{opacity:1}.carousel-caption{position:absolute;right:15%;bottom:20px;left:15%;z-index:10;padding-top:20px;padding-bottom:20px;color:#fff;text-align:center}@keyframes spinner-border{to{transform:rotate(1turn)}}.spinner-border{display:inline-block;width:2rem;height:2rem;vertical-align:text-bottom;border:.25em solid;border-right:.25em solid transparent;border-radius:50%;animation:spinner-border .75s linear infinite}.spinner-border-sm{width:1rem;height:1rem;border-width:.2em}@keyframes spinner-grow{0%{transform:scale(0)}50%{opacity:1;transform:none}}.spinner-grow{display:inline-block;width:2rem;height:2rem;vertical-align:text-bottom;background-color:currentColor;border-radius:50%;opacity:0;animation:spinner-grow .75s linear infinite}.spinner-grow-sm{width:1rem;height:1rem}.align-baseline{vertical-align:baseline!important}.align-top{vertical-align:top!important}.align-middle{vertical-align:middle!important}.align-bottom{vertical-align:bottom!important}.align-text-bottom{vertical-align:text-bottom!important}.align-text-top{vertical-align:text-top!important}.bg-primary{background-color:#007bff!important}a.bg-primary:focus,a.bg-primary:hover,button.bg-primary:focus,button.bg-primary:hover{background-color:#0062cc!important}.bg-secondary{background-color:#6c757d!important}a.bg-secondary:focus,a.bg-secondary:hover,button.bg-secondary:focus,button.bg-secondary:hover{background-color:#545b62!important}.bg-success{background-color:#28a745!important}a.bg-success:focus,a.bg-success:hover,button.bg-success:focus,button.bg-success:hover{background-color:#1e7e34!important}.bg-info{background-color:#17a2b8!important}a.bg-info:focus,a.bg-info:hover,button.bg-info:focus,button.bg-info:hover{background-color:#117a8b!important}.bg-warning{background-color:#ffc107!important}a.bg-warning:focus,a.bg-warning:hover,button.bg-warning:focus,button.bg-warning:hover{background-color:#d39e00!important}.bg-danger{background-color:#dc3545!important}a.bg-danger:focus,a.bg-danger:hover,button.bg-danger:focus,button.bg-danger:hover{background-color:#bd2130!important}.bg-light{background-color:#f8f9fa!important}a.bg-light:focus,a.bg-light:hover,button.bg-light:focus,button.bg-light:hover{background-color:#dae0e5!important}.bg-dark{background-color:#343a40!important}a.bg-dark:focus,a.bg-dark:hover,button.bg-dark:focus,button.bg-dark:hover{background-color:#1d2124!important}.bg-white{background-color:#fff!important}.bg-transparent{background-color:transparent!important}.border{border:1px solid #dee2e6!important}.border-top{border-top:1px solid #dee2e6!important}.border-right{border-right:1px solid #dee2e6!important}.border-bottom{border-bottom:1px solid #dee2e6!important}.border-left{border-left:1px solid #dee2e6!important}.border-0{border:0!important}.border-top-0{border-top:0!important}.border-right-0{border-right:0!important}.border-bottom-0{border-bottom:0!important}.border-left-0{border-left:0!important}.border-primary{border-color:#007bff!important}.border-secondary{border-color:#6c757d!important}.border-success{border-color:#28a745!important}.border-info{border-color:#17a2b8!important}.border-warning{border-color:#ffc107!important}.border-danger{border-color:#dc3545!important}.border-light{border-color:#f8f9fa!important}.border-dark{border-color:#343a40!important}.border-white{border-color:#fff!important}.rounded-sm{border-radius:.2rem!important}.rounded{border-radius:.25rem!important}.rounded-top{border-top-left-radius:.25rem!important}.rounded-right,.rounded-top{border-top-right-radius:.25rem!important}.rounded-bottom,.rounded-right{border-bottom-right-radius:.25rem!important}.rounded-bottom,.rounded-left{border-bottom-left-radius:.25rem!important}.rounded-left{border-top-left-radius:.25rem!important}.rounded-lg{border-radius:.3rem!important}.rounded-circle{border-radius:50%!important}.rounded-pill{border-radius:50rem!important}.rounded-0{border-radius:0!important}.clearfix:after{display:block;clear:both;content:""}.d-none{display:none!important}.d-inline{display:inline!important}.d-inline-block{display:inline-block!important}.d-block{display:block!important}.d-table{display:table!important}.d-table-row{display:table-row!important}.d-table-cell{display:table-cell!important}.d-flex{display:flex!important}.d-inline-flex{display:inline-flex!important}@media (min-width:540px){.d-sm-none{display:none!important}.d-sm-inline{display:inline!important}.d-sm-inline-block{display:inline-block!important}.d-sm-block{display:block!important}.d-sm-table{display:table!important}.d-sm-table-row{display:table-row!important}.d-sm-table-cell{display:table-cell!important}.d-sm-flex{display:flex!important}.d-sm-inline-flex{display:inline-flex!important}}@media (min-width:720px){.d-md-none{display:none!important}.d-md-inline{display:inline!important}.d-md-inline-block{display:inline-block!important}.d-md-block{display:block!important}.d-md-table{display:table!important}.d-md-table-row{display:table-row!important}.d-md-table-cell{display:table-cell!important}.d-md-flex{display:flex!important}.d-md-inline-flex{display:inline-flex!important}}@media (min-width:960px){.d-lg-none{display:none!important}.d-lg-inline{display:inline!important}.d-lg-inline-block{display:inline-block!important}.d-lg-block{display:block!important}.d-lg-table{display:table!important}.d-lg-table-row{display:table-row!important}.d-lg-table-cell{display:table-cell!important}.d-lg-flex{display:flex!important}.d-lg-inline-flex{display:inline-flex!important}}@media (min-width:1200px){.d-xl-none{display:none!important}.d-xl-inline{display:inline!important}.d-xl-inline-block{display:inline-block!important}.d-xl-block{display:block!important}.d-xl-table{display:table!important}.d-xl-table-row{display:table-row!important}.d-xl-table-cell{display:table-cell!important}.d-xl-flex{display:flex!important}.d-xl-inline-flex{display:inline-flex!important}}@media print{.d-print-none{display:none!important}.d-print-inline{display:inline!important}.d-print-inline-block{display:inline-block!important}.d-print-block{display:block!important}.d-print-table{display:table!important}.d-print-table-row{display:table-row!important}.d-print-table-cell{display:table-cell!important}.d-print-flex{display:flex!important}.d-print-inline-flex{display:inline-flex!important}}.embed-responsive{position:relative;display:block;width:100%;padding:0;overflow:hidden}.embed-responsive:before{display:block;content:""}.embed-responsive .embed-responsive-item,.embed-responsive embed,.embed-responsive iframe,.embed-responsive object,.embed-responsive video{position:absolute;top:0;bottom:0;left:0;width:100%;height:100%;border:0}.embed-responsive-21by9:before{padding-top:42.85714%}.embed-responsive-16by9:before{padding-top:56.25%}.embed-responsive-4by3:before{padding-top:75%}.embed-responsive-1by1:before{padding-top:100%}.flex-row{flex-direction:row!important}.flex-column{flex-direction:column!important}.flex-row-reverse{flex-direction:row-reverse!important}.flex-column-reverse{flex-direction:column-reverse!important}.flex-wrap{flex-wrap:wrap!important}.flex-nowrap{flex-wrap:nowrap!important}.flex-wrap-reverse{flex-wrap:wrap-reverse!important}.flex-fill{flex:1 1 auto!important}.flex-grow-0{flex-grow:0!important}.flex-grow-1{flex-grow:1!important}.flex-shrink-0{flex-shrink:0!important}.flex-shrink-1{flex-shrink:1!important}.justify-content-start{justify-content:flex-start!important}.justify-content-end{justify-content:flex-end!important}.justify-content-center{justify-content:center!important}.justify-content-between{justify-content:space-between!important}.justify-content-around{justify-content:space-around!important}.align-items-start{align-items:flex-start!important}.align-items-end{align-items:flex-end!important}.align-items-center{align-items:center!important}.align-items-baseline{align-items:baseline!important}.align-items-stretch{align-items:stretch!important}.align-content-start{align-content:flex-start!important}.align-content-end{align-content:flex-end!important}.align-content-center{align-content:center!important}.align-content-between{align-content:space-between!important}.align-content-around{align-content:space-around!important}.align-content-stretch{align-content:stretch!important}.align-self-auto{align-self:auto!important}.align-self-start{align-self:flex-start!important}.align-self-end{align-self:flex-end!important}.align-self-center{align-self:center!important}.align-self-baseline{align-self:baseline!important}.align-self-stretch{align-self:stretch!important}@media (min-width:540px){.flex-sm-row{flex-direction:row!important}.flex-sm-column{flex-direction:column!important}.flex-sm-row-reverse{flex-direction:row-reverse!important}.flex-sm-column-reverse{flex-direction:column-reverse!important}.flex-sm-wrap{flex-wrap:wrap!important}.flex-sm-nowrap{flex-wrap:nowrap!important}.flex-sm-wrap-reverse{flex-wrap:wrap-reverse!important}.flex-sm-fill{flex:1 1 auto!important}.flex-sm-grow-0{flex-grow:0!important}.flex-sm-grow-1{flex-grow:1!important}.flex-sm-shrink-0{flex-shrink:0!important}.flex-sm-shrink-1{flex-shrink:1!important}.justify-content-sm-start{justify-content:flex-start!important}.justify-content-sm-end{justify-content:flex-end!important}.justify-content-sm-center{justify-content:center!important}.justify-content-sm-between{justify-content:space-between!important}.justify-content-sm-around{justify-content:space-around!important}.align-items-sm-start{align-items:flex-start!important}.align-items-sm-end{align-items:flex-end!important}.align-items-sm-center{align-items:center!important}.align-items-sm-baseline{align-items:baseline!important}.align-items-sm-stretch{align-items:stretch!important}.align-content-sm-start{align-content:flex-start!important}.align-content-sm-end{align-content:flex-end!important}.align-content-sm-center{align-content:center!important}.align-content-sm-between{align-content:space-between!important}.align-content-sm-around{align-content:space-around!important}.align-content-sm-stretch{align-content:stretch!important}.align-self-sm-auto{align-self:auto!important}.align-self-sm-start{align-self:flex-start!important}.align-self-sm-end{align-self:flex-end!important}.align-self-sm-center{align-self:center!important}.align-self-sm-baseline{align-self:baseline!important}.align-self-sm-stretch{align-self:stretch!important}}@media (min-width:720px){.flex-md-row{flex-direction:row!important}.flex-md-column{flex-direction:column!important}.flex-md-row-reverse{flex-direction:row-reverse!important}.flex-md-column-reverse{flex-direction:column-reverse!important}.flex-md-wrap{flex-wrap:wrap!important}.flex-md-nowrap{flex-wrap:nowrap!important}.flex-md-wrap-reverse{flex-wrap:wrap-reverse!important}.flex-md-fill{flex:1 1 auto!important}.flex-md-grow-0{flex-grow:0!important}.flex-md-grow-1{flex-grow:1!important}.flex-md-shrink-0{flex-shrink:0!important}.flex-md-shrink-1{flex-shrink:1!important}.justify-content-md-start{justify-content:flex-start!important}.justify-content-md-end{justify-content:flex-end!important}.justify-content-md-center{justify-content:center!important}.justify-content-md-between{justify-content:space-between!important}.justify-content-md-around{justify-content:space-around!important}.align-items-md-start{align-items:flex-start!important}.align-items-md-end{align-items:flex-end!important}.align-items-md-center{align-items:center!important}.align-items-md-baseline{align-items:baseline!important}.align-items-md-stretch{align-items:stretch!important}.align-content-md-start{align-content:flex-start!important}.align-content-md-end{align-content:flex-end!important}.align-content-md-center{align-content:center!important}.align-content-md-between{align-content:space-between!important}.align-content-md-around{align-content:space-around!important}.align-content-md-stretch{align-content:stretch!important}.align-self-md-auto{align-self:auto!important}.align-self-md-start{align-self:flex-start!important}.align-self-md-end{align-self:flex-end!important}.align-self-md-center{align-self:center!important}.align-self-md-baseline{align-self:baseline!important}.align-self-md-stretch{align-self:stretch!important}}@media (min-width:960px){.flex-lg-row{flex-direction:row!important}.flex-lg-column{flex-direction:column!important}.flex-lg-row-reverse{flex-direction:row-reverse!important}.flex-lg-column-reverse{flex-direction:column-reverse!important}.flex-lg-wrap{flex-wrap:wrap!important}.flex-lg-nowrap{flex-wrap:nowrap!important}.flex-lg-wrap-reverse{flex-wrap:wrap-reverse!important}.flex-lg-fill{flex:1 1 auto!important}.flex-lg-grow-0{flex-grow:0!important}.flex-lg-grow-1{flex-grow:1!important}.flex-lg-shrink-0{flex-shrink:0!important}.flex-lg-shrink-1{flex-shrink:1!important}.justify-content-lg-start{justify-content:flex-start!important}.justify-content-lg-end{justify-content:flex-end!important}.justify-content-lg-center{justify-content:center!important}.justify-content-lg-between{justify-content:space-between!important}.justify-content-lg-around{justify-content:space-around!important}.align-items-lg-start{align-items:flex-start!important}.align-items-lg-end{align-items:flex-end!important}.align-items-lg-center{align-items:center!important}.align-items-lg-baseline{align-items:baseline!important}.align-items-lg-stretch{align-items:stretch!important}.align-content-lg-start{align-content:flex-start!important}.align-content-lg-end{align-content:flex-end!important}.align-content-lg-center{align-content:center!important}.align-content-lg-between{align-content:space-between!important}.align-content-lg-around{align-content:space-around!important}.align-content-lg-stretch{align-content:stretch!important}.align-self-lg-auto{align-self:auto!important}.align-self-lg-start{align-self:flex-start!important}.align-self-lg-end{align-self:flex-end!important}.align-self-lg-center{align-self:center!important}.align-self-lg-baseline{align-self:baseline!important}.align-self-lg-stretch{align-self:stretch!important}}@media (min-width:1200px){.flex-xl-row{flex-direction:row!important}.flex-xl-column{flex-direction:column!important}.flex-xl-row-reverse{flex-direction:row-reverse!important}.flex-xl-column-reverse{flex-direction:column-reverse!important}.flex-xl-wrap{flex-wrap:wrap!important}.flex-xl-nowrap{flex-wrap:nowrap!important}.flex-xl-wrap-reverse{flex-wrap:wrap-reverse!important}.flex-xl-fill{flex:1 1 auto!important}.flex-xl-grow-0{flex-grow:0!important}.flex-xl-grow-1{flex-grow:1!important}.flex-xl-shrink-0{flex-shrink:0!important}.flex-xl-shrink-1{flex-shrink:1!important}.justify-content-xl-start{justify-content:flex-start!important}.justify-content-xl-end{justify-content:flex-end!important}.justify-content-xl-center{justify-content:center!important}.justify-content-xl-between{justify-content:space-between!important}.justify-content-xl-around{justify-content:space-around!important}.align-items-xl-start{align-items:flex-start!important}.align-items-xl-end{align-items:flex-end!important}.align-items-xl-center{align-items:center!important}.align-items-xl-baseline{align-items:baseline!important}.align-items-xl-stretch{align-items:stretch!important}.align-content-xl-start{align-content:flex-start!important}.align-content-xl-end{align-content:flex-end!important}.align-content-xl-center{align-content:center!important}.align-content-xl-between{align-content:space-between!important}.align-content-xl-around{align-content:space-around!important}.align-content-xl-stretch{align-content:stretch!important}.align-self-xl-auto{align-self:auto!important}.align-self-xl-start{align-self:flex-start!important}.align-self-xl-end{align-self:flex-end!important}.align-self-xl-center{align-self:center!important}.align-self-xl-baseline{align-self:baseline!important}.align-self-xl-stretch{align-self:stretch!important}}.float-left{float:left!important}.float-right{float:right!important}.float-none{float:none!important}@media (min-width:540px){.float-sm-left{float:left!important}.float-sm-right{float:right!important}.float-sm-none{float:none!important}}@media (min-width:720px){.float-md-left{float:left!important}.float-md-right{float:right!important}.float-md-none{float:none!important}}@media (min-width:960px){.float-lg-left{float:left!important}.float-lg-right{float:right!important}.float-lg-none{float:none!important}}@media (min-width:1200px){.float-xl-left{float:left!important}.float-xl-right{float:right!important}.float-xl-none{float:none!important}}.user-select-all{user-select:all!important}.user-select-auto{user-select:auto!important}.user-select-none{user-select:none!important}.overflow-auto{overflow:auto!important}.overflow-hidden{overflow:hidden!important}.position-static{position:static!important}.position-relative{position:relative!important}.position-absolute{position:absolute!important}.position-fixed{position:fixed!important}.position-sticky{position:sticky!important}.fixed-top{top:0}.fixed-bottom,.fixed-top{position:fixed;right:0;left:0;z-index:1030}.fixed-bottom{bottom:0}@supports (position:sticky){.sticky-top{position:sticky;top:0;z-index:1020}}.sr-only{position:absolute;width:1px;height:1px;padding:0;margin:-1px;overflow:hidden;clip:rect(0,0,0,0);white-space:nowrap;border:0}.sr-only-focusable:active,.sr-only-focusable:focus{position:static;width:auto;height:auto;overflow:visible;clip:auto;white-space:normal}.shadow-sm{box-shadow:0 .125rem .25rem rgba(0,0,0,.075)!important}.shadow{box-shadow:0 .5rem 1rem rgba(0,0,0,.15)!important}.shadow-lg{box-shadow:0 1rem 3rem rgba(0,0,0,.175)!important}.shadow-none{box-shadow:none!important}.w-25{width:25%!important}.w-50{width:50%!important}.w-75{width:75%!important}.w-100{width:100%!important}.w-auto{width:auto!important}.h-25{height:25%!important}.h-50{height:50%!important}.h-75{height:75%!important}.h-100{height:100%!important}.h-auto{height:auto!important}.mw-100{max-width:100%!important}.mh-100{max-height:100%!important}.min-vw-100{min-width:100vw!important}.min-vh-100{min-height:100vh!important}.vw-100{width:100vw!important}.vh-100{height:100vh!important}.m-0{margin:0!important}.mt-0,.my-0{margin-top:0!important}.mr-0,.mx-0{margin-right:0!important}.mb-0,.my-0{margin-bottom:0!important}.ml-0,.mx-0{margin-left:0!important}.m-1{margin:.25rem!important}.mt-1,.my-1{margin-top:.25rem!important}.mr-1,.mx-1{margin-right:.25rem!important}.mb-1,.my-1{margin-bottom:.25rem!important}.ml-1,.mx-1{margin-left:.25rem!important}.m-2{margin:.5rem!important}.mt-2,.my-2{margin-top:.5rem!important}.mr-2,.mx-2{margin-right:.5rem!important}.mb-2,.my-2{margin-bottom:.5rem!important}.ml-2,.mx-2{margin-left:.5rem!important}.m-3{margin:1rem!important}.mt-3,.my-3{margin-top:1rem!important}.mr-3,.mx-3{margin-right:1rem!important}.mb-3,.my-3{margin-bottom:1rem!important}.ml-3,.mx-3{margin-left:1rem!important}.m-4{margin:1.5rem!important}.mt-4,.my-4{margin-top:1.5rem!important}.mr-4,.mx-4{margin-right:1.5rem!important}.mb-4,.my-4{margin-bottom:1.5rem!important}.ml-4,.mx-4{margin-left:1.5rem!important}.m-5{margin:3rem!important}.mt-5,.my-5{margin-top:3rem!important}.mr-5,.mx-5{margin-right:3rem!important}.mb-5,.my-5{margin-bottom:3rem!important}.ml-5,.mx-5{margin-left:3rem!important}.p-0{padding:0!important}.pt-0,.py-0{padding-top:0!important}.pr-0,.px-0{padding-right:0!important}.pb-0,.py-0{padding-bottom:0!important}.pl-0,.px-0{padding-left:0!important}.p-1{padding:.25rem!important}.pt-1,.py-1{padding-top:.25rem!important}.pr-1,.px-1{padding-right:.25rem!important}.pb-1,.py-1{padding-bottom:.25rem!important}.pl-1,.px-1{padding-left:.25rem!important}.p-2{padding:.5rem!important}.pt-2,.py-2{padding-top:.5rem!important}.pr-2,.px-2{padding-right:.5rem!important}.pb-2,.py-2{padding-bottom:.5rem!important}.pl-2,.px-2{padding-left:.5rem!important}.p-3{padding:1rem!important}.pt-3,.py-3{padding-top:1rem!important}.pr-3,.px-3{padding-right:1rem!important}.pb-3,.py-3{padding-bottom:1rem!important}.pl-3,.px-3{padding-left:1rem!important}.p-4{padding:1.5rem!important}.pt-4,.py-4{padding-top:1.5rem!important}.pr-4,.px-4{padding-right:1.5rem!important}.pb-4,.py-4{padding-bottom:1.5rem!important}.pl-4,.px-4{padding-left:1.5rem!important}.p-5{padding:3rem!important}.pt-5,.py-5{padding-top:3rem!important}.pr-5,.px-5{padding-right:3rem!important}.pb-5,.py-5{padding-bottom:3rem!important}.pl-5,.px-5{padding-left:3rem!important}.m-n1{margin:-.25rem!important}.mt-n1,.my-n1{margin-top:-.25rem!important}.mr-n1,.mx-n1{margin-right:-.25rem!important}.mb-n1,.my-n1{margin-bottom:-.25rem!important}.ml-n1,.mx-n1{margin-left:-.25rem!important}.m-n2{margin:-.5rem!important}.mt-n2,.my-n2{margin-top:-.5rem!important}.mr-n2,.mx-n2{margin-right:-.5rem!important}.mb-n2,.my-n2{margin-bottom:-.5rem!important}.ml-n2,.mx-n2{margin-left:-.5rem!important}.m-n3{margin:-1rem!important}.mt-n3,.my-n3{margin-top:-1rem!important}.mr-n3,.mx-n3{margin-right:-1rem!important}.mb-n3,.my-n3{margin-bottom:-1rem!important}.ml-n3,.mx-n3{margin-left:-1rem!important}.m-n4{margin:-1.5rem!important}.mt-n4,.my-n4{margin-top:-1.5rem!important}.mr-n4,.mx-n4{margin-right:-1.5rem!important}.mb-n4,.my-n4{margin-bottom:-1.5rem!important}.ml-n4,.mx-n4{margin-left:-1.5rem!important}.m-n5{margin:-3rem!important}.mt-n5,.my-n5{margin-top:-3rem!important}.mr-n5,.mx-n5{margin-right:-3rem!important}.mb-n5,.my-n5{margin-bottom:-3rem!important}.ml-n5,.mx-n5{margin-left:-3rem!important}.m-auto{margin:auto!important}.mt-auto,.my-auto{margin-top:auto!important}.mr-auto,.mx-auto{margin-right:auto!important}.mb-auto,.my-auto{margin-bottom:auto!important}.ml-auto,.mx-auto{margin-left:auto!important}@media (min-width:540px){.m-sm-0{margin:0!important}.mt-sm-0,.my-sm-0{margin-top:0!important}.mr-sm-0,.mx-sm-0{margin-right:0!important}.mb-sm-0,.my-sm-0{margin-bottom:0!important}.ml-sm-0,.mx-sm-0{margin-left:0!important}.m-sm-1{margin:.25rem!important}.mt-sm-1,.my-sm-1{margin-top:.25rem!important}.mr-sm-1,.mx-sm-1{margin-right:.25rem!important}.mb-sm-1,.my-sm-1{margin-bottom:.25rem!important}.ml-sm-1,.mx-sm-1{margin-left:.25rem!important}.m-sm-2{margin:.5rem!important}.mt-sm-2,.my-sm-2{margin-top:.5rem!important}.mr-sm-2,.mx-sm-2{margin-right:.5rem!important}.mb-sm-2,.my-sm-2{margin-bottom:.5rem!important}.ml-sm-2,.mx-sm-2{margin-left:.5rem!important}.m-sm-3{margin:1rem!important}.mt-sm-3,.my-sm-3{margin-top:1rem!important}.mr-sm-3,.mx-sm-3{margin-right:1rem!important}.mb-sm-3,.my-sm-3{margin-bottom:1rem!important}.ml-sm-3,.mx-sm-3{margin-left:1rem!important}.m-sm-4{margin:1.5rem!important}.mt-sm-4,.my-sm-4{margin-top:1.5rem!important}.mr-sm-4,.mx-sm-4{margin-right:1.5rem!important}.mb-sm-4,.my-sm-4{margin-bottom:1.5rem!important}.ml-sm-4,.mx-sm-4{margin-left:1.5rem!important}.m-sm-5{margin:3rem!important}.mt-sm-5,.my-sm-5{margin-top:3rem!important}.mr-sm-5,.mx-sm-5{margin-right:3rem!important}.mb-sm-5,.my-sm-5{margin-bottom:3rem!important}.ml-sm-5,.mx-sm-5{margin-left:3rem!important}.p-sm-0{padding:0!important}.pt-sm-0,.py-sm-0{padding-top:0!important}.pr-sm-0,.px-sm-0{padding-right:0!important}.pb-sm-0,.py-sm-0{padding-bottom:0!important}.pl-sm-0,.px-sm-0{padding-left:0!important}.p-sm-1{padding:.25rem!important}.pt-sm-1,.py-sm-1{padding-top:.25rem!important}.pr-sm-1,.px-sm-1{padding-right:.25rem!important}.pb-sm-1,.py-sm-1{padding-bottom:.25rem!important}.pl-sm-1,.px-sm-1{padding-left:.25rem!important}.p-sm-2{padding:.5rem!important}.pt-sm-2,.py-sm-2{padding-top:.5rem!important}.pr-sm-2,.px-sm-2{padding-right:.5rem!important}.pb-sm-2,.py-sm-2{padding-bottom:.5rem!important}.pl-sm-2,.px-sm-2{padding-left:.5rem!important}.p-sm-3{padding:1rem!important}.pt-sm-3,.py-sm-3{padding-top:1rem!important}.pr-sm-3,.px-sm-3{padding-right:1rem!important}.pb-sm-3,.py-sm-3{padding-bottom:1rem!important}.pl-sm-3,.px-sm-3{padding-left:1rem!important}.p-sm-4{padding:1.5rem!important}.pt-sm-4,.py-sm-4{padding-top:1.5rem!important}.pr-sm-4,.px-sm-4{padding-right:1.5rem!important}.pb-sm-4,.py-sm-4{padding-bottom:1.5rem!important}.pl-sm-4,.px-sm-4{padding-left:1.5rem!important}.p-sm-5{padding:3rem!important}.pt-sm-5,.py-sm-5{padding-top:3rem!important}.pr-sm-5,.px-sm-5{padding-right:3rem!important}.pb-sm-5,.py-sm-5{padding-bottom:3rem!important}.pl-sm-5,.px-sm-5{padding-left:3rem!important}.m-sm-n1{margin:-.25rem!important}.mt-sm-n1,.my-sm-n1{margin-top:-.25rem!important}.mr-sm-n1,.mx-sm-n1{margin-right:-.25rem!important}.mb-sm-n1,.my-sm-n1{margin-bottom:-.25rem!important}.ml-sm-n1,.mx-sm-n1{margin-left:-.25rem!important}.m-sm-n2{margin:-.5rem!important}.mt-sm-n2,.my-sm-n2{margin-top:-.5rem!important}.mr-sm-n2,.mx-sm-n2{margin-right:-.5rem!important}.mb-sm-n2,.my-sm-n2{margin-bottom:-.5rem!important}.ml-sm-n2,.mx-sm-n2{margin-left:-.5rem!important}.m-sm-n3{margin:-1rem!important}.mt-sm-n3,.my-sm-n3{margin-top:-1rem!important}.mr-sm-n3,.mx-sm-n3{margin-right:-1rem!important}.mb-sm-n3,.my-sm-n3{margin-bottom:-1rem!important}.ml-sm-n3,.mx-sm-n3{margin-left:-1rem!important}.m-sm-n4{margin:-1.5rem!important}.mt-sm-n4,.my-sm-n4{margin-top:-1.5rem!important}.mr-sm-n4,.mx-sm-n4{margin-right:-1.5rem!important}.mb-sm-n4,.my-sm-n4{margin-bottom:-1.5rem!important}.ml-sm-n4,.mx-sm-n4{margin-left:-1.5rem!important}.m-sm-n5{margin:-3rem!important}.mt-sm-n5,.my-sm-n5{margin-top:-3rem!important}.mr-sm-n5,.mx-sm-n5{margin-right:-3rem!important}.mb-sm-n5,.my-sm-n5{margin-bottom:-3rem!important}.ml-sm-n5,.mx-sm-n5{margin-left:-3rem!important}.m-sm-auto{margin:auto!important}.mt-sm-auto,.my-sm-auto{margin-top:auto!important}.mr-sm-auto,.mx-sm-auto{margin-right:auto!important}.mb-sm-auto,.my-sm-auto{margin-bottom:auto!important}.ml-sm-auto,.mx-sm-auto{margin-left:auto!important}}@media (min-width:720px){.m-md-0{margin:0!important}.mt-md-0,.my-md-0{margin-top:0!important}.mr-md-0,.mx-md-0{margin-right:0!important}.mb-md-0,.my-md-0{margin-bottom:0!important}.ml-md-0,.mx-md-0{margin-left:0!important}.m-md-1{margin:.25rem!important}.mt-md-1,.my-md-1{margin-top:.25rem!important}.mr-md-1,.mx-md-1{margin-right:.25rem!important}.mb-md-1,.my-md-1{margin-bottom:.25rem!important}.ml-md-1,.mx-md-1{margin-left:.25rem!important}.m-md-2{margin:.5rem!important}.mt-md-2,.my-md-2{margin-top:.5rem!important}.mr-md-2,.mx-md-2{margin-right:.5rem!important}.mb-md-2,.my-md-2{margin-bottom:.5rem!important}.ml-md-2,.mx-md-2{margin-left:.5rem!important}.m-md-3{margin:1rem!important}.mt-md-3,.my-md-3{margin-top:1rem!important}.mr-md-3,.mx-md-3{margin-right:1rem!important}.mb-md-3,.my-md-3{margin-bottom:1rem!important}.ml-md-3,.mx-md-3{margin-left:1rem!important}.m-md-4{margin:1.5rem!important}.mt-md-4,.my-md-4{margin-top:1.5rem!important}.mr-md-4,.mx-md-4{margin-right:1.5rem!important}.mb-md-4,.my-md-4{margin-bottom:1.5rem!important}.ml-md-4,.mx-md-4{margin-left:1.5rem!important}.m-md-5{margin:3rem!important}.mt-md-5,.my-md-5{margin-top:3rem!important}.mr-md-5,.mx-md-5{margin-right:3rem!important}.mb-md-5,.my-md-5{margin-bottom:3rem!important}.ml-md-5,.mx-md-5{margin-left:3rem!important}.p-md-0{padding:0!important}.pt-md-0,.py-md-0{padding-top:0!important}.pr-md-0,.px-md-0{padding-right:0!important}.pb-md-0,.py-md-0{padding-bottom:0!important}.pl-md-0,.px-md-0{padding-left:0!important}.p-md-1{padding:.25rem!important}.pt-md-1,.py-md-1{padding-top:.25rem!important}.pr-md-1,.px-md-1{padding-right:.25rem!important}.pb-md-1,.py-md-1{padding-bottom:.25rem!important}.pl-md-1,.px-md-1{padding-left:.25rem!important}.p-md-2{padding:.5rem!important}.pt-md-2,.py-md-2{padding-top:.5rem!important}.pr-md-2,.px-md-2{padding-right:.5rem!important}.pb-md-2,.py-md-2{padding-bottom:.5rem!important}.pl-md-2,.px-md-2{padding-left:.5rem!important}.p-md-3{padding:1rem!important}.pt-md-3,.py-md-3{padding-top:1rem!important}.pr-md-3,.px-md-3{padding-right:1rem!important}.pb-md-3,.py-md-3{padding-bottom:1rem!important}.pl-md-3,.px-md-3{padding-left:1rem!important}.p-md-4{padding:1.5rem!important}.pt-md-4,.py-md-4{padding-top:1.5rem!important}.pr-md-4,.px-md-4{padding-right:1.5rem!important}.pb-md-4,.py-md-4{padding-bottom:1.5rem!important}.pl-md-4,.px-md-4{padding-left:1.5rem!important}.p-md-5{padding:3rem!important}.pt-md-5,.py-md-5{padding-top:3rem!important}.pr-md-5,.px-md-5{padding-right:3rem!important}.pb-md-5,.py-md-5{padding-bottom:3rem!important}.pl-md-5,.px-md-5{padding-left:3rem!important}.m-md-n1{margin:-.25rem!important}.mt-md-n1,.my-md-n1{margin-top:-.25rem!important}.mr-md-n1,.mx-md-n1{margin-right:-.25rem!important}.mb-md-n1,.my-md-n1{margin-bottom:-.25rem!important}.ml-md-n1,.mx-md-n1{margin-left:-.25rem!important}.m-md-n2{margin:-.5rem!important}.mt-md-n2,.my-md-n2{margin-top:-.5rem!important}.mr-md-n2,.mx-md-n2{margin-right:-.5rem!important}.mb-md-n2,.my-md-n2{margin-bottom:-.5rem!important}.ml-md-n2,.mx-md-n2{margin-left:-.5rem!important}.m-md-n3{margin:-1rem!important}.mt-md-n3,.my-md-n3{margin-top:-1rem!important}.mr-md-n3,.mx-md-n3{margin-right:-1rem!important}.mb-md-n3,.my-md-n3{margin-bottom:-1rem!important}.ml-md-n3,.mx-md-n3{margin-left:-1rem!important}.m-md-n4{margin:-1.5rem!important}.mt-md-n4,.my-md-n4{margin-top:-1.5rem!important}.mr-md-n4,.mx-md-n4{margin-right:-1.5rem!important}.mb-md-n4,.my-md-n4{margin-bottom:-1.5rem!important}.ml-md-n4,.mx-md-n4{margin-left:-1.5rem!important}.m-md-n5{margin:-3rem!important}.mt-md-n5,.my-md-n5{margin-top:-3rem!important}.mr-md-n5,.mx-md-n5{margin-right:-3rem!important}.mb-md-n5,.my-md-n5{margin-bottom:-3rem!important}.ml-md-n5,.mx-md-n5{margin-left:-3rem!important}.m-md-auto{margin:auto!important}.mt-md-auto,.my-md-auto{margin-top:auto!important}.mr-md-auto,.mx-md-auto{margin-right:auto!important}.mb-md-auto,.my-md-auto{margin-bottom:auto!important}.ml-md-auto,.mx-md-auto{margin-left:auto!important}}@media (min-width:960px){.m-lg-0{margin:0!important}.mt-lg-0,.my-lg-0{margin-top:0!important}.mr-lg-0,.mx-lg-0{margin-right:0!important}.mb-lg-0,.my-lg-0{margin-bottom:0!important}.ml-lg-0,.mx-lg-0{margin-left:0!important}.m-lg-1{margin:.25rem!important}.mt-lg-1,.my-lg-1{margin-top:.25rem!important}.mr-lg-1,.mx-lg-1{margin-right:.25rem!important}.mb-lg-1,.my-lg-1{margin-bottom:.25rem!important}.ml-lg-1,.mx-lg-1{margin-left:.25rem!important}.m-lg-2{margin:.5rem!important}.mt-lg-2,.my-lg-2{margin-top:.5rem!important}.mr-lg-2,.mx-lg-2{margin-right:.5rem!important}.mb-lg-2,.my-lg-2{margin-bottom:.5rem!important}.ml-lg-2,.mx-lg-2{margin-left:.5rem!important}.m-lg-3{margin:1rem!important}.mt-lg-3,.my-lg-3{margin-top:1rem!important}.mr-lg-3,.mx-lg-3{margin-right:1rem!important}.mb-lg-3,.my-lg-3{margin-bottom:1rem!important}.ml-lg-3,.mx-lg-3{margin-left:1rem!important}.m-lg-4{margin:1.5rem!important}.mt-lg-4,.my-lg-4{margin-top:1.5rem!important}.mr-lg-4,.mx-lg-4{margin-right:1.5rem!important}.mb-lg-4,.my-lg-4{margin-bottom:1.5rem!important}.ml-lg-4,.mx-lg-4{margin-left:1.5rem!important}.m-lg-5{margin:3rem!important}.mt-lg-5,.my-lg-5{margin-top:3rem!important}.mr-lg-5,.mx-lg-5{margin-right:3rem!important}.mb-lg-5,.my-lg-5{margin-bottom:3rem!important}.ml-lg-5,.mx-lg-5{margin-left:3rem!important}.p-lg-0{padding:0!important}.pt-lg-0,.py-lg-0{padding-top:0!important}.pr-lg-0,.px-lg-0{padding-right:0!important}.pb-lg-0,.py-lg-0{padding-bottom:0!important}.pl-lg-0,.px-lg-0{padding-left:0!important}.p-lg-1{padding:.25rem!important}.pt-lg-1,.py-lg-1{padding-top:.25rem!important}.pr-lg-1,.px-lg-1{padding-right:.25rem!important}.pb-lg-1,.py-lg-1{padding-bottom:.25rem!important}.pl-lg-1,.px-lg-1{padding-left:.25rem!important}.p-lg-2{padding:.5rem!important}.pt-lg-2,.py-lg-2{padding-top:.5rem!important}.pr-lg-2,.px-lg-2{padding-right:.5rem!important}.pb-lg-2,.py-lg-2{padding-bottom:.5rem!important}.pl-lg-2,.px-lg-2{padding-left:.5rem!important}.p-lg-3{padding:1rem!important}.pt-lg-3,.py-lg-3{padding-top:1rem!important}.pr-lg-3,.px-lg-3{padding-right:1rem!important}.pb-lg-3,.py-lg-3{padding-bottom:1rem!important}.pl-lg-3,.px-lg-3{padding-left:1rem!important}.p-lg-4{padding:1.5rem!important}.pt-lg-4,.py-lg-4{padding-top:1.5rem!important}.pr-lg-4,.px-lg-4{padding-right:1.5rem!important}.pb-lg-4,.py-lg-4{padding-bottom:1.5rem!important}.pl-lg-4,.px-lg-4{padding-left:1.5rem!important}.p-lg-5{padding:3rem!important}.pt-lg-5,.py-lg-5{padding-top:3rem!important}.pr-lg-5,.px-lg-5{padding-right:3rem!important}.pb-lg-5,.py-lg-5{padding-bottom:3rem!important}.pl-lg-5,.px-lg-5{padding-left:3rem!important}.m-lg-n1{margin:-.25rem!important}.mt-lg-n1,.my-lg-n1{margin-top:-.25rem!important}.mr-lg-n1,.mx-lg-n1{margin-right:-.25rem!important}.mb-lg-n1,.my-lg-n1{margin-bottom:-.25rem!important}.ml-lg-n1,.mx-lg-n1{margin-left:-.25rem!important}.m-lg-n2{margin:-.5rem!important}.mt-lg-n2,.my-lg-n2{margin-top:-.5rem!important}.mr-lg-n2,.mx-lg-n2{margin-right:-.5rem!important}.mb-lg-n2,.my-lg-n2{margin-bottom:-.5rem!important}.ml-lg-n2,.mx-lg-n2{margin-left:-.5rem!important}.m-lg-n3{margin:-1rem!important}.mt-lg-n3,.my-lg-n3{margin-top:-1rem!important}.mr-lg-n3,.mx-lg-n3{margin-right:-1rem!important}.mb-lg-n3,.my-lg-n3{margin-bottom:-1rem!important}.ml-lg-n3,.mx-lg-n3{margin-left:-1rem!important}.m-lg-n4{margin:-1.5rem!important}.mt-lg-n4,.my-lg-n4{margin-top:-1.5rem!important}.mr-lg-n4,.mx-lg-n4{margin-right:-1.5rem!important}.mb-lg-n4,.my-lg-n4{margin-bottom:-1.5rem!important}.ml-lg-n4,.mx-lg-n4{margin-left:-1.5rem!important}.m-lg-n5{margin:-3rem!important}.mt-lg-n5,.my-lg-n5{margin-top:-3rem!important}.mr-lg-n5,.mx-lg-n5{margin-right:-3rem!important}.mb-lg-n5,.my-lg-n5{margin-bottom:-3rem!important}.ml-lg-n5,.mx-lg-n5{margin-left:-3rem!important}.m-lg-auto{margin:auto!important}.mt-lg-auto,.my-lg-auto{margin-top:auto!important}.mr-lg-auto,.mx-lg-auto{margin-right:auto!important}.mb-lg-auto,.my-lg-auto{margin-bottom:auto!important}.ml-lg-auto,.mx-lg-auto{margin-left:auto!important}}@media (min-width:1200px){.m-xl-0{margin:0!important}.mt-xl-0,.my-xl-0{margin-top:0!important}.mr-xl-0,.mx-xl-0{margin-right:0!important}.mb-xl-0,.my-xl-0{margin-bottom:0!important}.ml-xl-0,.mx-xl-0{margin-left:0!important}.m-xl-1{margin:.25rem!important}.mt-xl-1,.my-xl-1{margin-top:.25rem!important}.mr-xl-1,.mx-xl-1{margin-right:.25rem!important}.mb-xl-1,.my-xl-1{margin-bottom:.25rem!important}.ml-xl-1,.mx-xl-1{margin-left:.25rem!important}.m-xl-2{margin:.5rem!important}.mt-xl-2,.my-xl-2{margin-top:.5rem!important}.mr-xl-2,.mx-xl-2{margin-right:.5rem!important}.mb-xl-2,.my-xl-2{margin-bottom:.5rem!important}.ml-xl-2,.mx-xl-2{margin-left:.5rem!important}.m-xl-3{margin:1rem!important}.mt-xl-3,.my-xl-3{margin-top:1rem!important}.mr-xl-3,.mx-xl-3{margin-right:1rem!important}.mb-xl-3,.my-xl-3{margin-bottom:1rem!important}.ml-xl-3,.mx-xl-3{margin-left:1rem!important}.m-xl-4{margin:1.5rem!important}.mt-xl-4,.my-xl-4{margin-top:1.5rem!important}.mr-xl-4,.mx-xl-4{margin-right:1.5rem!important}.mb-xl-4,.my-xl-4{margin-bottom:1.5rem!important}.ml-xl-4,.mx-xl-4{margin-left:1.5rem!important}.m-xl-5{margin:3rem!important}.mt-xl-5,.my-xl-5{margin-top:3rem!important}.mr-xl-5,.mx-xl-5{margin-right:3rem!important}.mb-xl-5,.my-xl-5{margin-bottom:3rem!important}.ml-xl-5,.mx-xl-5{margin-left:3rem!important}.p-xl-0{padding:0!important}.pt-xl-0,.py-xl-0{padding-top:0!important}.pr-xl-0,.px-xl-0{padding-right:0!important}.pb-xl-0,.py-xl-0{padding-bottom:0!important}.pl-xl-0,.px-xl-0{padding-left:0!important}.p-xl-1{padding:.25rem!important}.pt-xl-1,.py-xl-1{padding-top:.25rem!important}.pr-xl-1,.px-xl-1{padding-right:.25rem!important}.pb-xl-1,.py-xl-1{padding-bottom:.25rem!important}.pl-xl-1,.px-xl-1{padding-left:.25rem!important}.p-xl-2{padding:.5rem!important}.pt-xl-2,.py-xl-2{padding-top:.5rem!important}.pr-xl-2,.px-xl-2{padding-right:.5rem!important}.pb-xl-2,.py-xl-2{padding-bottom:.5rem!important}.pl-xl-2,.px-xl-2{padding-left:.5rem!important}.p-xl-3{padding:1rem!important}.pt-xl-3,.py-xl-3{padding-top:1rem!important}.pr-xl-3,.px-xl-3{padding-right:1rem!important}.pb-xl-3,.py-xl-3{padding-bottom:1rem!important}.pl-xl-3,.px-xl-3{padding-left:1rem!important}.p-xl-4{padding:1.5rem!important}.pt-xl-4,.py-xl-4{padding-top:1.5rem!important}.pr-xl-4,.px-xl-4{padding-right:1.5rem!important}.pb-xl-4,.py-xl-4{padding-bottom:1.5rem!important}.pl-xl-4,.px-xl-4{padding-left:1.5rem!important}.p-xl-5{padding:3rem!important}.pt-xl-5,.py-xl-5{padding-top:3rem!important}.pr-xl-5,.px-xl-5{padding-right:3rem!important}.pb-xl-5,.py-xl-5{padding-bottom:3rem!important}.pl-xl-5,.px-xl-5{padding-left:3rem!important}.m-xl-n1{margin:-.25rem!important}.mt-xl-n1,.my-xl-n1{margin-top:-.25rem!important}.mr-xl-n1,.mx-xl-n1{margin-right:-.25rem!important}.mb-xl-n1,.my-xl-n1{margin-bottom:-.25rem!important}.ml-xl-n1,.mx-xl-n1{margin-left:-.25rem!important}.m-xl-n2{margin:-.5rem!important}.mt-xl-n2,.my-xl-n2{margin-top:-.5rem!important}.mr-xl-n2,.mx-xl-n2{margin-right:-.5rem!important}.mb-xl-n2,.my-xl-n2{margin-bottom:-.5rem!important}.ml-xl-n2,.mx-xl-n2{margin-left:-.5rem!important}.m-xl-n3{margin:-1rem!important}.mt-xl-n3,.my-xl-n3{margin-top:-1rem!important}.mr-xl-n3,.mx-xl-n3{margin-right:-1rem!important}.mb-xl-n3,.my-xl-n3{margin-bottom:-1rem!important}.ml-xl-n3,.mx-xl-n3{margin-left:-1rem!important}.m-xl-n4{margin:-1.5rem!important}.mt-xl-n4,.my-xl-n4{margin-top:-1.5rem!important}.mr-xl-n4,.mx-xl-n4{margin-right:-1.5rem!important}.mb-xl-n4,.my-xl-n4{margin-bottom:-1.5rem!important}.ml-xl-n4,.mx-xl-n4{margin-left:-1.5rem!important}.m-xl-n5{margin:-3rem!important}.mt-xl-n5,.my-xl-n5{margin-top:-3rem!important}.mr-xl-n5,.mx-xl-n5{margin-right:-3rem!important}.mb-xl-n5,.my-xl-n5{margin-bottom:-3rem!important}.ml-xl-n5,.mx-xl-n5{margin-left:-3rem!important}.m-xl-auto{margin:auto!important}.mt-xl-auto,.my-xl-auto{margin-top:auto!important}.mr-xl-auto,.mx-xl-auto{margin-right:auto!important}.mb-xl-auto,.my-xl-auto{margin-bottom:auto!important}.ml-xl-auto,.mx-xl-auto{margin-left:auto!important}}.stretched-link:after{position:absolute;top:0;right:0;bottom:0;left:0;z-index:1;pointer-events:auto;content:"";background-color:transparent}.text-monospace{font-family:SFMono-Regular,Menlo,Monaco,Consolas,Liberation Mono,Courier New,monospace!important}.text-justify{text-align:justify!important}.text-wrap{white-space:normal!important}.text-nowrap{white-space:nowrap!important}.text-truncate{overflow:hidden;text-overflow:ellipsis;white-space:nowrap}.text-left{text-align:left!important}.text-right{text-align:right!important}.text-center{text-align:center!important}@media (min-width:540px){.text-sm-left{text-align:left!important}.text-sm-right{text-align:right!important}.text-sm-center{text-align:center!important}}@media (min-width:720px){.text-md-left{text-align:left!important}.text-md-right{text-align:right!important}.text-md-center{text-align:center!important}}@media (min-width:960px){.text-lg-left{text-align:left!important}.text-lg-right{text-align:right!important}.text-lg-center{text-align:center!important}}@media (min-width:1200px){.text-xl-left{text-align:left!important}.text-xl-right{text-align:right!important}.text-xl-center{text-align:center!important}}.text-lowercase{text-transform:lowercase!important}.text-uppercase{text-transform:uppercase!important}.text-capitalize{text-transform:capitalize!important}.font-weight-light{font-weight:300!important}.font-weight-lighter{font-weight:lighter!important}.font-weight-normal{font-weight:400!important}.font-weight-bold{font-weight:700!important}.font-weight-bolder{font-weight:bolder!important}.font-italic{font-style:italic!important}.text-white{color:#fff!important}.text-primary{color:#007bff!important}a.text-primary:focus,a.text-primary:hover{color:#0056b3!important}.text-secondary{color:#6c757d!important}a.text-secondary:focus,a.text-secondary:hover{color:#494f54!important}.text-success{color:#28a745!important}a.text-success:focus,a.text-success:hover{color:#19692c!important}.text-info{color:#17a2b8!important}a.text-info:focus,a.text-info:hover{color:#0f6674!important}.text-warning{color:#ffc107!important}a.text-warning:focus,a.text-warning:hover{color:#ba8b00!important}.text-danger{color:#dc3545!important}a.text-danger:focus,a.text-danger:hover{color:#a71d2a!important}.text-light{color:#f8f9fa!important}a.text-light:focus,a.text-light:hover{color:#cbd3da!important}.text-dark{color:#343a40!important}a.text-dark:focus,a.text-dark:hover{color:#121416!important}.text-body{color:#212529!important}.text-muted{color:#6c757d!important}.text-black-50{color:rgba(0,0,0,.5)!important}.text-white-50{color:hsla(0,0%,100%,.5)!important}.text-hide{font:0/0 a;color:transparent;text-shadow:none;background-color:transparent;border:0}.text-decoration-none{text-decoration:none!important}.text-break{word-wrap:break-word!important}.text-reset{color:inherit!important}.visible{visibility:visible!important}.invisible{visibility:hidden!important}@media print{*,:after,:before{text-shadow:none!important;box-shadow:none!important}a:not(.btn){text-decoration:underline}abbr[title]:after{content:" (" attr(title) ")"}pre{white-space:pre-wrap!important}blockquote,pre{border:1px solid #adb5bd;page-break-inside:avoid}thead{display:table-header-group}img,tr{page-break-inside:avoid}h2,h3,p{orphans:3;widows:3}h2,h3{page-break-after:avoid}@page{size:a3}.container,body{min-width:960px!important}.navbar{display:none}.badge{border:1px solid #000}.table{border-collapse:collapse!important}.table td,.table th{background-color:#fff!important}.table-bordered td,.table-bordered th{border:1px solid #dee2e6!important}.table-dark{color:inherit}.table-dark tbody+tbody,.table-dark td,.table-dark th,.table-dark thead th{border-color:#dee2e6}.table .thead-dark th{color:inherit;border-color:#dee2e6}}html{font-size:var(--pst-font-size-base);scroll-padding-top:calc(var(--pst-header-height) + 12px)}body{padding-top:calc(var(--pst-header-height) + 20px);background-color:#fff;font-family:var(--pst-font-family-base);font-weight:400;line-height:1.65;color:rgba(var(--pst-color-text-base),1)}p{margin-bottom:1.15rem;font-size:1em;color:rgba(var(--pst-color-paragraph),1)}p.rubric{border-bottom:1px solid #c9c9c9}a{color:rgba(var(--pst-color-link),1);text-decoration:none}a:hover{color:rgba(var(--pst-color-link-hover),1);text-decoration:underline}a.headerlink{color:rgba(var(--pst-color-headerlink),1);font-size:.8em;padding:0 4px;text-decoration:none}a.headerlink:hover{background-color:rgba(var(--pst-color-headerlink),1);color:rgba(var(--pst-color-headerlink-hover),1)}.heading-style,h1,h2,h3,h4,h5,h6{margin:2.75rem 0 1.05rem;font-family:var(--pst-font-family-heading);font-weight:400;line-height:1.15}h1{margin-top:0;font-size:var(--pst-font-size-h1);color:rgba(var(--pst-color-h1),1)}h2{font-size:var(--pst-font-size-h2);color:rgba(var(--pst-color-h2),1)}h3{font-size:var(--pst-font-size-h3);color:rgba(var(--pst-color-h3),1)}h4{font-size:var(--pst-font-size-h4);color:rgba(var(--pst-color-h4),1)}h5{font-size:var(--pst-font-size-h5);color:rgba(var(--pst-color-h5),1)}h6{font-size:var(--pst-font-size-h6);color:rgba(var(--pst-color-h6),1)}.text_small,small{font-size:var(--pst-font-size-milli)}hr{border:0;border-top:1px solid #e5e5e5}code,kbd,pre,samp{font-family:var(--pst-font-family-monospace)}code{color:rgba(var(--pst-color-inline-code),1)}pre{margin:1.5em 0;padding:10px;background-color:rgba(var(--pst-color-preformatted-background),1);color:rgba(var(--pst-color-preformatted-text),1);line-height:1.2em;border:1px solid #c9c9c9;border-radius:.2rem;box-shadow:1px 1px 1px #d8d8d8}dd{margin-top:3px;margin-bottom:10px;margin-left:30px}.navbar{position:fixed;min-height:var(--pst-header-height);width:100%;padding:0}.navbar .container-xl{height:100%}@media (min-width:960px){.navbar #navbar-end>.navbar-end-item{display:inline-block}}.navbar-brand{position:relative;height:var(--pst-header-height);width:auto;padding:.5rem 0}.navbar-brand img{max-width:100%;height:100%;width:auto}.navbar-light{background:#fff!important;box-shadow:0 .125rem .25rem 0 rgba(0,0,0,.11)}.navbar-light .navbar-nav li a.nav-link{padding:0 .5rem;color:rgba(var(--pst-color-navbar-link),1)}.navbar-light .navbar-nav li a.nav-link:hover{color:rgba(var(--pst-color-navbar-link-hover),1)}.navbar-light .navbar-nav>.active>.nav-link{font-weight:600;color:rgba(var(--pst-color-navbar-link-active),1)}.navbar-header a{padding:0 15px}.admonition,div.admonition{margin:1.5625em auto;padding:0 .6rem .8rem;overflow:hidden;page-break-inside:avoid;border-left:.2rem solid;border-left-color:rgba(var(--pst-color-admonition-default),1);border-bottom-color:rgba(var(--pst-color-admonition-default),1);border-right-color:rgba(var(--pst-color-admonition-default),1);border-top-color:rgba(var(--pst-color-admonition-default),1);border-radius:.2rem;box-shadow:0 .2rem .5rem rgba(0,0,0,.05),0 0 .0625rem rgba(0,0,0,.1);transition:color .25s,background-color .25s,border-color .25s}.admonition :last-child,div.admonition :last-child{margin-bottom:0}.admonition p.admonition-title~*,div.admonition p.admonition-title~*{padding:0 1.4rem}.admonition>ol,.admonition>ul,div.admonition>ol,div.admonition>ul{margin-left:1em}.admonition>.admonition-title,div.admonition>.admonition-title{position:relative;margin:0 -.6rem;padding:.4rem .6rem .4rem 2rem;font-weight:700;background-color:rgba(var(--pst-color-admonition-default),.1)}.admonition>.admonition-title:before,div.admonition>.admonition-title:before{position:absolute;left:.6rem;width:1rem;height:1rem;color:rgba(var(--pst-color-admonition-default),1);font-family:Font Awesome\ 5 Free;font-weight:900;content:var(--pst-icon-admonition-default)}.admonition>.admonition-title+*,div.admonition>.admonition-title+*{margin-top:.4em}.admonition.attention,div.admonition.attention{border-color:rgba(var(--pst-color-admonition-attention),1)}.admonition.attention>.admonition-title,div.admonition.attention>.admonition-title{background-color:rgba(var(--pst-color-admonition-attention),.1)}.admonition.attention>.admonition-title:before,div.admonition.attention>.admonition-title:before{color:rgba(var(--pst-color-admonition-attention),1);content:var(--pst-icon-admonition-attention)}.admonition.caution,div.admonition.caution{border-color:rgba(var(--pst-color-admonition-caution),1)}.admonition.caution>.admonition-title,div.admonition.caution>.admonition-title{background-color:rgba(var(--pst-color-admonition-caution),.1)}.admonition.caution>.admonition-title:before,div.admonition.caution>.admonition-title:before{color:rgba(var(--pst-color-admonition-caution),1);content:var(--pst-icon-admonition-caution)}.admonition.warning,div.admonition.warning{border-color:rgba(var(--pst-color-admonition-warning),1)}.admonition.warning>.admonition-title,div.admonition.warning>.admonition-title{background-color:rgba(var(--pst-color-admonition-warning),.1)}.admonition.warning>.admonition-title:before,div.admonition.warning>.admonition-title:before{color:rgba(var(--pst-color-admonition-warning),1);content:var(--pst-icon-admonition-warning)}.admonition.danger,div.admonition.danger{border-color:rgba(var(--pst-color-admonition-danger),1)}.admonition.danger>.admonition-title,div.admonition.danger>.admonition-title{background-color:rgba(var(--pst-color-admonition-danger),.1)}.admonition.danger>.admonition-title:before,div.admonition.danger>.admonition-title:before{color:rgba(var(--pst-color-admonition-danger),1);content:var(--pst-icon-admonition-danger)}.admonition.error,div.admonition.error{border-color:rgba(var(--pst-color-admonition-error),1)}.admonition.error>.admonition-title,div.admonition.error>.admonition-title{background-color:rgba(var(--pst-color-admonition-error),.1)}.admonition.error>.admonition-title:before,div.admonition.error>.admonition-title:before{color:rgba(var(--pst-color-admonition-error),1);content:var(--pst-icon-admonition-error)}.admonition.hint,div.admonition.hint{border-color:rgba(var(--pst-color-admonition-hint),1)}.admonition.hint>.admonition-title,div.admonition.hint>.admonition-title{background-color:rgba(var(--pst-color-admonition-hint),.1)}.admonition.hint>.admonition-title:before,div.admonition.hint>.admonition-title:before{color:rgba(var(--pst-color-admonition-hint),1);content:var(--pst-icon-admonition-hint)}.admonition.tip,div.admonition.tip{border-color:rgba(var(--pst-color-admonition-tip),1)}.admonition.tip>.admonition-title,div.admonition.tip>.admonition-title{background-color:rgba(var(--pst-color-admonition-tip),.1)}.admonition.tip>.admonition-title:before,div.admonition.tip>.admonition-title:before{color:rgba(var(--pst-color-admonition-tip),1);content:var(--pst-icon-admonition-tip)}.admonition.important,div.admonition.important{border-color:rgba(var(--pst-color-admonition-important),1)}.admonition.important>.admonition-title,div.admonition.important>.admonition-title{background-color:rgba(var(--pst-color-admonition-important),.1)}.admonition.important>.admonition-title:before,div.admonition.important>.admonition-title:before{color:rgba(var(--pst-color-admonition-important),1);content:var(--pst-icon-admonition-important)}.admonition.note,div.admonition.note{border-color:rgba(var(--pst-color-admonition-note),1)}.admonition.note>.admonition-title,div.admonition.note>.admonition-title{background-color:rgba(var(--pst-color-admonition-note),.1)}.admonition.note>.admonition-title:before,div.admonition.note>.admonition-title:before{color:rgba(var(--pst-color-admonition-note),1);content:var(--pst-icon-admonition-note)}table.field-list{border-collapse:separate;border-spacing:10px;margin-left:1px}table.field-list th.field-name{padding:1px 8px 1px 5px;white-space:nowrap;background-color:#eee}table.field-list td.field-body p{font-style:italic}table.field-list td.field-body p>strong{font-style:normal}table.field-list td.field-body blockquote{border-left:none;margin:0 0 .3em;padding-left:30px}.table.autosummary td:first-child{white-space:nowrap}.sig{font-family:var(--pst-font-family-monospace)}.sig-inline.c-texpr,.sig-inline.cpp-texpr{font-family:unset}.sig.c .k,.sig.c .kt,.sig.c .m,.sig.c .s,.sig.c .sc,.sig.cpp .k,.sig.cpp .kt,.sig.cpp .m,.sig.cpp .s,.sig.cpp .sc{color:rgba(var(--pst-color-text-base),1)}.sig-name{color:rgba(var(--pst-color-inline-code),1)}blockquote{padding:0 1em;color:#6a737d;border-left:.25em solid #dfe2e5}dt.label>span.brackets:not(:only-child):before{content:"["}dt.label>span.brackets:not(:only-child):after{content:"]"}a.footnote-reference{vertical-align:super;font-size:small}div.deprecated{margin-bottom:10px;margin-top:10px;padding:7px;background-color:#f3e5e5;border:1px solid #eed3d7;border-radius:.5rem}div.deprecated p{color:#b94a48;display:inline}.topic{background-color:#eee}.seealso dd{margin-top:0;margin-bottom:0}.viewcode-back{font-family:var(--pst-font-family-base)}.viewcode-block:target{background-color:#f4debf;border-top:1px solid #ac9;border-bottom:1px solid #ac9}span.guilabel{border:1px solid #7fbbe3;background:#e7f2fa;font-size:80%;font-weight:700;border-radius:4px;padding:2.4px 6px;margin:auto 2px}footer{width:100%;border-top:1px solid #ccc;padding:10px}footer .footer-item p{margin-bottom:0}.bd-search{position:relative;padding:1rem 15px;margin-right:-15px;margin-left:-15px}.bd-search .icon{position:absolute;color:#a4a6a7;left:25px;top:25px}.bd-search input{border-radius:0;border:0;border-bottom:1px solid #e5e5e5;padding-left:35px}.bd-toc{-ms-flex-order:2;order:2;height:calc(100vh - 2rem);overflow-y:auto}@supports (position:-webkit-sticky) or (position:sticky){.bd-toc{position:-webkit-sticky;position:sticky;top:calc(var(--pst-header-height) + 20px);height:calc(100vh - 5rem);overflow-y:auto}}.bd-toc .onthispage{color:#a4a6a7}.section-nav{padding-left:0;border-left:1px solid #eee;border-bottom:none}.section-nav ul{padding-left:1rem}.toc-entry,.toc-entry a{display:block}.toc-entry a{padding:.125rem 1.5rem;color:rgba(var(--pst-color-toc-link),1)}@media (min-width:1200px){.toc-entry a{padding-right:0}}.toc-entry a:hover{color:rgba(var(--pst-color-toc-link-hover),1);text-decoration:none}.bd-sidebar{padding-top:1em}@media (min-width:720px){.bd-sidebar{border-right:1px solid rgba(0,0,0,.1)}@supports (position:-webkit-sticky) or (position:sticky){.bd-sidebar{position:-webkit-sticky;position:sticky;top:calc(var(--pst-header-height) + 20px);z-index:1000;height:calc(100vh - var(--pst-header-height) - 20px)}}}.bd-sidebar.no-sidebar{border-right:0}.bd-links{padding-top:1rem;padding-bottom:1rem;margin-right:-15px;margin-left:-15px}@media (min-width:720px){.bd-links{display:block}@supports (position:-webkit-sticky) or (position:sticky){.bd-links{max-height:calc(100vh - 11rem);overflow-y:auto}}}.bd-sidenav{display:none}.bd-content{padding-top:20px}.bd-content .section{max-width:100%}.bd-content .section table{display:block;overflow:auto}.bd-toc-link{display:block;padding:.25rem 1.5rem;font-weight:600;color:rgba(0,0,0,.65)}.bd-toc-link:hover{color:rgba(0,0,0,.85);text-decoration:none}.bd-toc-item.active{margin-bottom:1rem}.bd-toc-item.active:not(:first-child){margin-top:1rem}.bd-toc-item.active>.bd-toc-link{color:rgba(0,0,0,.85)}.bd-toc-item.active>.bd-toc-link:hover{background-color:transparent}.bd-toc-item.active>.bd-sidenav{display:block}nav.bd-links p.caption{font-size:var(--pst-sidebar-caption-font-size);text-transform:uppercase;font-weight:700;position:relative;margin-top:1.25em;margin-bottom:.5em;padding:0 1.5rem;color:rgba(var(--pst-color-sidebar-caption),1)}nav.bd-links p.caption:first-child{margin-top:0}.bd-sidebar .nav{font-size:var(--pst-sidebar-font-size)}.bd-sidebar .nav ul{list-style:none;padding:0 0 0 1.5rem}.bd-sidebar .nav li>a{display:block;padding:.25rem 1.5rem;color:rgba(var(--pst-color-sidebar-link),1)}.bd-sidebar .nav li>a:hover{color:rgba(var(--pst-color-sidebar-link-hover),1);text-decoration:none;background-color:transparent}.bd-sidebar .nav li>a.reference.external:after{font-family:Font Awesome\ 5 Free;font-weight:900;content:"\f35d";font-size:.75em;margin-left:.3em}.bd-sidebar .nav .active:hover>a,.bd-sidebar .nav .active>a{font-weight:600;color:rgba(var(--pst-color-sidebar-link-active),1)}.toc-h2{font-size:.85rem}.toc-h3{font-size:.75rem}.toc-h4{font-size:.65rem}.toc-entry>.nav-link.active{font-weight:600;color:#130654;color:rgba(var(--pst-color-toc-link-active),1);background-color:transparent;border-left:2px solid rgba(var(--pst-color-toc-link-active),1)}.nav-link:hover{border-style:none}#navbar-main-elements li.nav-item i{font-size:.7rem;padding-left:2px;vertical-align:middle}.bd-toc .nav .nav{display:none}.bd-toc .nav .nav.visible,.bd-toc .nav>.active>ul{display:block}.prev-next-area{margin:20px 0}.prev-next-area p{margin:0 .3em;line-height:1.3em}.prev-next-area i{font-size:1.2em}.prev-next-area a{display:flex;align-items:center;border:none;padding:10px;max-width:45%;overflow-x:hidden;color:rgba(0,0,0,.65);text-decoration:none}.prev-next-area a p.prev-next-title{color:rgba(var(--pst-color-link),1);font-weight:600;font-size:1.1em}.prev-next-area a:hover p.prev-next-title{text-decoration:underline}.prev-next-area a .prev-next-info{flex-direction:column;margin:0 .5em}.prev-next-area a .prev-next-info .prev-next-subtitle{text-transform:capitalize}.prev-next-area a.left-prev{float:left}.prev-next-area a.right-next{float:right}.prev-next-area a.right-next div.prev-next-info{text-align:right}.alert{padding-bottom:0}.alert-info a{color:#e83e8c}#navbar-icon-links i.fa,#navbar-icon-links i.fab,#navbar-icon-links i.far,#navbar-icon-links i.fas{vertical-align:middle;font-style:normal;font-size:1.5rem;line-height:1.25}#navbar-icon-links i.fa-github-square:before{color:#333}#navbar-icon-links i.fa-twitter-square:before{color:#55acee}#navbar-icon-links i.fa-gitlab:before{color:#548}#navbar-icon-links i.fa-bitbucket:before{color:#0052cc}.tocsection{border-left:1px solid #eee;padding:.3rem 1.5rem}.tocsection i{padding-right:.5rem}.editthispage{padding-top:2rem}.editthispage a{color:var(--pst-color-sidebar-link-active)}.xr-wrap[hidden]{display:block!important}.toctree-checkbox{position:absolute;display:none}.toctree-checkbox~ul{display:none}.toctree-checkbox~label i{transform:rotate(0deg)}.toctree-checkbox:checked~ul{display:block}.toctree-checkbox:checked~label i{transform:rotate(180deg)}.bd-sidebar li{position:relative}.bd-sidebar label{position:absolute;top:0;right:0;height:30px;width:30px;cursor:pointer;display:flex;justify-content:center;align-items:center}.bd-sidebar label:hover{background:rgba(var(--pst-color-sidebar-expander-background-hover),1)}.bd-sidebar label i{display:inline-block;font-size:.75rem;text-align:center}.bd-sidebar label i:hover{color:rgba(var(--pst-color-sidebar-link-hover),1)}.bd-sidebar li.has-children>.reference{padding-right:30px}div.doctest>div.highlight span.gp,span.linenos,table.highlighttable td.linenos{user-select:none;-webkit-user-select:text;-webkit-user-select:none;-moz-user-select:none;-ms-user-select:none}.docutils.container{padding-left:unset;padding-right:unset}
\ No newline at end of file
diff --git a/_static/css/theme.css b/_static/css/theme.css
index 2e03fe37..aca94290 100755
--- a/_static/css/theme.css
+++ b/_static/css/theme.css
@@ -1,120 +1,120 @@
-/* Provided by the Sphinx base theme template at build time */
-@import "../basic.css";
-
-:root {
- /*****************************************************************************
- * Theme config
- **/
- --pst-header-height: 60px;
-
- /*****************************************************************************
- * Font size
- **/
- --pst-font-size-base: 15px; /* base font size - applied at body / html level */
-
- /* heading font sizes */
- --pst-font-size-h1: 36px;
- --pst-font-size-h2: 32px;
- --pst-font-size-h3: 26px;
- --pst-font-size-h4: 21px;
- --pst-font-size-h5: 18px;
- --pst-font-size-h6: 16px;
-
- /* smaller then heading font sizes*/
- --pst-font-size-milli: 12px;
-
- --pst-sidebar-font-size: .9em;
- --pst-sidebar-caption-font-size: .9em;
-
- /*****************************************************************************
- * Font family
- **/
- /* These are adapted from https://systemfontstack.com/ */
- --pst-font-family-base-system: -apple-system, BlinkMacSystemFont, Segoe UI, "Helvetica Neue",
- Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol;
- --pst-font-family-monospace-system: "SFMono-Regular", Menlo, Consolas, Monaco,
- Liberation Mono, Lucida Console, monospace;
-
- --pst-font-family-base: var(--pst-font-family-base-system);
- --pst-font-family-heading: var(--pst-font-family-base);
- --pst-font-family-monospace: var(--pst-font-family-monospace-system);
-
- /*****************************************************************************
- * Color
- *
- * Colors are defined in rgb string way, "red, green, blue"
- **/
- --pst-color-primary: 19, 6, 84;
- --pst-color-success: 40, 167, 69;
- --pst-color-info: 0, 123, 255; /*23, 162, 184;*/
- --pst-color-warning: 255, 193, 7;
- --pst-color-danger: 220, 53, 69;
- --pst-color-text-base: 51, 51, 51;
-
- --pst-color-h1: var(--pst-color-primary);
- --pst-color-h2: var(--pst-color-primary);
- --pst-color-h3: var(--pst-color-text-base);
- --pst-color-h4: var(--pst-color-text-base);
- --pst-color-h5: var(--pst-color-text-base);
- --pst-color-h6: var(--pst-color-text-base);
- --pst-color-paragraph: var(--pst-color-text-base);
- --pst-color-link: 0, 91, 129;
- --pst-color-link-hover: 227, 46, 0;
- --pst-color-headerlink: 198, 15, 15;
- --pst-color-headerlink-hover: 255, 255, 255;
- --pst-color-preformatted-text: 34, 34, 34;
- --pst-color-preformatted-background: 250, 250, 250;
- --pst-color-inline-code: 232, 62, 140;
-
- --pst-color-active-navigation: 19, 6, 84;
- --pst-color-navbar-link: 77, 77, 77;
- --pst-color-navbar-link-hover: var(--pst-color-active-navigation);
- --pst-color-navbar-link-active: var(--pst-color-active-navigation);
- --pst-color-sidebar-link: 77, 77, 77;
- --pst-color-sidebar-link-hover: var(--pst-color-active-navigation);
- --pst-color-sidebar-link-active: var(--pst-color-active-navigation);
- --pst-color-sidebar-expander-background-hover: 244, 244, 244;
- --pst-color-sidebar-caption: 77, 77, 77;
- --pst-color-toc-link: 119, 117, 122;
- --pst-color-toc-link-hover: var(--pst-color-active-navigation);
- --pst-color-toc-link-active: var(--pst-color-active-navigation);
-
- /*****************************************************************************
- * Icon
- **/
-
- /* font awesome icons*/
- --pst-icon-check-circle: '\f058';
- --pst-icon-info-circle: '\f05a';
- --pst-icon-exclamation-triangle: '\f071';
- --pst-icon-exclamation-circle: '\f06a';
- --pst-icon-times-circle: '\f057';
- --pst-icon-lightbulb: '\f0eb';
-
- /*****************************************************************************
- * Admonitions
- **/
-
- --pst-color-admonition-default: var(--pst-color-info);
- --pst-color-admonition-note: var(--pst-color-info);
- --pst-color-admonition-attention: var(--pst-color-warning);
- --pst-color-admonition-caution: var(--pst-color-warning);
- --pst-color-admonition-warning: var(--pst-color-warning);
- --pst-color-admonition-danger: var(--pst-color-danger);
- --pst-color-admonition-error: var(--pst-color-danger);
- --pst-color-admonition-hint: var(--pst-color-success);
- --pst-color-admonition-tip: var(--pst-color-success);
- --pst-color-admonition-important: var(--pst-color-success);
-
- --pst-icon-admonition-default: var(--pst-icon-info-circle);
- --pst-icon-admonition-note: var(--pst-icon-info-circle);
- --pst-icon-admonition-attention: var(--pst-icon-exclamation-circle);
- --pst-icon-admonition-caution: var(--pst-icon-exclamation-triangle);
- --pst-icon-admonition-warning: var(--pst-icon-exclamation-triangle);
- --pst-icon-admonition-danger: var(--pst-icon-exclamation-triangle);
- --pst-icon-admonition-error: var(--pst-icon-times-circle);
- --pst-icon-admonition-hint: var(--pst-icon-lightbulb);
- --pst-icon-admonition-tip: var(--pst-icon-lightbulb);
- --pst-icon-admonition-important: var(--pst-icon-exclamation-circle);
-
-}
+/* Provided by the Sphinx base theme template at build time */
+@import "../basic.css";
+
+:root {
+ /*****************************************************************************
+ * Theme config
+ **/
+ --pst-header-height: 60px;
+
+ /*****************************************************************************
+ * Font size
+ **/
+ --pst-font-size-base: 15px; /* base font size - applied at body / html level */
+
+ /* heading font sizes */
+ --pst-font-size-h1: 36px;
+ --pst-font-size-h2: 32px;
+ --pst-font-size-h3: 26px;
+ --pst-font-size-h4: 21px;
+ --pst-font-size-h5: 18px;
+ --pst-font-size-h6: 16px;
+
+ /* smaller then heading font sizes*/
+ --pst-font-size-milli: 12px;
+
+ --pst-sidebar-font-size: .9em;
+ --pst-sidebar-caption-font-size: .9em;
+
+ /*****************************************************************************
+ * Font family
+ **/
+ /* These are adapted from https://systemfontstack.com/ */
+ --pst-font-family-base-system: -apple-system, BlinkMacSystemFont, Segoe UI, "Helvetica Neue",
+ Arial, sans-serif, Apple Color Emoji, Segoe UI Emoji, Segoe UI Symbol;
+ --pst-font-family-monospace-system: "SFMono-Regular", Menlo, Consolas, Monaco,
+ Liberation Mono, Lucida Console, monospace;
+
+ --pst-font-family-base: var(--pst-font-family-base-system);
+ --pst-font-family-heading: var(--pst-font-family-base);
+ --pst-font-family-monospace: var(--pst-font-family-monospace-system);
+
+ /*****************************************************************************
+ * Color
+ *
+ * Colors are defined in rgb string way, "red, green, blue"
+ **/
+ --pst-color-primary: 19, 6, 84;
+ --pst-color-success: 40, 167, 69;
+ --pst-color-info: 0, 123, 255; /*23, 162, 184;*/
+ --pst-color-warning: 255, 193, 7;
+ --pst-color-danger: 220, 53, 69;
+ --pst-color-text-base: 51, 51, 51;
+
+ --pst-color-h1: var(--pst-color-primary);
+ --pst-color-h2: var(--pst-color-primary);
+ --pst-color-h3: var(--pst-color-text-base);
+ --pst-color-h4: var(--pst-color-text-base);
+ --pst-color-h5: var(--pst-color-text-base);
+ --pst-color-h6: var(--pst-color-text-base);
+ --pst-color-paragraph: var(--pst-color-text-base);
+ --pst-color-link: 0, 91, 129;
+ --pst-color-link-hover: 227, 46, 0;
+ --pst-color-headerlink: 198, 15, 15;
+ --pst-color-headerlink-hover: 255, 255, 255;
+ --pst-color-preformatted-text: 34, 34, 34;
+ --pst-color-preformatted-background: 250, 250, 250;
+ --pst-color-inline-code: 232, 62, 140;
+
+ --pst-color-active-navigation: 19, 6, 84;
+ --pst-color-navbar-link: 77, 77, 77;
+ --pst-color-navbar-link-hover: var(--pst-color-active-navigation);
+ --pst-color-navbar-link-active: var(--pst-color-active-navigation);
+ --pst-color-sidebar-link: 77, 77, 77;
+ --pst-color-sidebar-link-hover: var(--pst-color-active-navigation);
+ --pst-color-sidebar-link-active: var(--pst-color-active-navigation);
+ --pst-color-sidebar-expander-background-hover: 244, 244, 244;
+ --pst-color-sidebar-caption: 77, 77, 77;
+ --pst-color-toc-link: 119, 117, 122;
+ --pst-color-toc-link-hover: var(--pst-color-active-navigation);
+ --pst-color-toc-link-active: var(--pst-color-active-navigation);
+
+ /*****************************************************************************
+ * Icon
+ **/
+
+ /* font awesome icons*/
+ --pst-icon-check-circle: '\f058';
+ --pst-icon-info-circle: '\f05a';
+ --pst-icon-exclamation-triangle: '\f071';
+ --pst-icon-exclamation-circle: '\f06a';
+ --pst-icon-times-circle: '\f057';
+ --pst-icon-lightbulb: '\f0eb';
+
+ /*****************************************************************************
+ * Admonitions
+ **/
+
+ --pst-color-admonition-default: var(--pst-color-info);
+ --pst-color-admonition-note: var(--pst-color-info);
+ --pst-color-admonition-attention: var(--pst-color-warning);
+ --pst-color-admonition-caution: var(--pst-color-warning);
+ --pst-color-admonition-warning: var(--pst-color-warning);
+ --pst-color-admonition-danger: var(--pst-color-danger);
+ --pst-color-admonition-error: var(--pst-color-danger);
+ --pst-color-admonition-hint: var(--pst-color-success);
+ --pst-color-admonition-tip: var(--pst-color-success);
+ --pst-color-admonition-important: var(--pst-color-success);
+
+ --pst-icon-admonition-default: var(--pst-icon-info-circle);
+ --pst-icon-admonition-note: var(--pst-icon-info-circle);
+ --pst-icon-admonition-attention: var(--pst-icon-exclamation-circle);
+ --pst-icon-admonition-caution: var(--pst-icon-exclamation-triangle);
+ --pst-icon-admonition-warning: var(--pst-icon-exclamation-triangle);
+ --pst-icon-admonition-danger: var(--pst-icon-exclamation-triangle);
+ --pst-icon-admonition-error: var(--pst-icon-times-circle);
+ --pst-icon-admonition-hint: var(--pst-icon-lightbulb);
+ --pst-icon-admonition-tip: var(--pst-icon-lightbulb);
+ --pst-icon-admonition-important: var(--pst-icon-exclamation-circle);
+
+}
diff --git a/_static/design-style.4045f2051d55cab465a707391d5b2007.min.css b/_static/design-style.4045f2051d55cab465a707391d5b2007.min.css
index 3225661c..57bec30a 100755
--- a/_static/design-style.4045f2051d55cab465a707391d5b2007.min.css
+++ b/_static/design-style.4045f2051d55cab465a707391d5b2007.min.css
@@ -1 +1 @@
-.sd-bg-primary{background-color:var(--sd-color-primary) !important}.sd-bg-text-primary{color:var(--sd-color-primary-text) !important}button.sd-bg-primary:focus,button.sd-bg-primary:hover{background-color:var(--sd-color-primary-highlight) !important}a.sd-bg-primary:focus,a.sd-bg-primary:hover{background-color:var(--sd-color-primary-highlight) !important}.sd-bg-secondary{background-color:var(--sd-color-secondary) !important}.sd-bg-text-secondary{color:var(--sd-color-secondary-text) !important}button.sd-bg-secondary:focus,button.sd-bg-secondary:hover{background-color:var(--sd-color-secondary-highlight) !important}a.sd-bg-secondary:focus,a.sd-bg-secondary:hover{background-color:var(--sd-color-secondary-highlight) !important}.sd-bg-success{background-color:var(--sd-color-success) !important}.sd-bg-text-success{color:var(--sd-color-success-text) !important}button.sd-bg-success:focus,button.sd-bg-success:hover{background-color:var(--sd-color-success-highlight) !important}a.sd-bg-success:focus,a.sd-bg-success:hover{background-color:var(--sd-color-success-highlight) !important}.sd-bg-info{background-color:var(--sd-color-info) !important}.sd-bg-text-info{color:var(--sd-color-info-text) !important}button.sd-bg-info:focus,button.sd-bg-info:hover{background-color:var(--sd-color-info-highlight) !important}a.sd-bg-info:focus,a.sd-bg-info:hover{background-color:var(--sd-color-info-highlight) !important}.sd-bg-warning{background-color:var(--sd-color-warning) !important}.sd-bg-text-warning{color:var(--sd-color-warning-text) !important}button.sd-bg-warning:focus,button.sd-bg-warning:hover{background-color:var(--sd-color-warning-highlight) !important}a.sd-bg-warning:focus,a.sd-bg-warning:hover{background-color:var(--sd-color-warning-highlight) !important}.sd-bg-danger{background-color:var(--sd-color-danger) !important}.sd-bg-text-danger{color:var(--sd-color-danger-text) !important}button.sd-bg-danger:focus,button.sd-bg-danger:hover{background-color:var(--sd-color-danger-highlight) !important}a.sd-bg-danger:focus,a.sd-bg-danger:hover{background-color:var(--sd-color-danger-highlight) !important}.sd-bg-light{background-color:var(--sd-color-light) !important}.sd-bg-text-light{color:var(--sd-color-light-text) !important}button.sd-bg-light:focus,button.sd-bg-light:hover{background-color:var(--sd-color-light-highlight) !important}a.sd-bg-light:focus,a.sd-bg-light:hover{background-color:var(--sd-color-light-highlight) !important}.sd-bg-muted{background-color:var(--sd-color-muted) !important}.sd-bg-text-muted{color:var(--sd-color-muted-text) !important}button.sd-bg-muted:focus,button.sd-bg-muted:hover{background-color:var(--sd-color-muted-highlight) !important}a.sd-bg-muted:focus,a.sd-bg-muted:hover{background-color:var(--sd-color-muted-highlight) !important}.sd-bg-dark{background-color:var(--sd-color-dark) !important}.sd-bg-text-dark{color:var(--sd-color-dark-text) !important}button.sd-bg-dark:focus,button.sd-bg-dark:hover{background-color:var(--sd-color-dark-highlight) !important}a.sd-bg-dark:focus,a.sd-bg-dark:hover{background-color:var(--sd-color-dark-highlight) !important}.sd-bg-black{background-color:var(--sd-color-black) !important}.sd-bg-text-black{color:var(--sd-color-black-text) !important}button.sd-bg-black:focus,button.sd-bg-black:hover{background-color:var(--sd-color-black-highlight) !important}a.sd-bg-black:focus,a.sd-bg-black:hover{background-color:var(--sd-color-black-highlight) !important}.sd-bg-white{background-color:var(--sd-color-white) !important}.sd-bg-text-white{color:var(--sd-color-white-text) !important}button.sd-bg-white:focus,button.sd-bg-white:hover{background-color:var(--sd-color-white-highlight) !important}a.sd-bg-white:focus,a.sd-bg-white:hover{background-color:var(--sd-color-white-highlight) !important}.sd-text-primary,.sd-text-primary>p{color:var(--sd-color-primary) !important}a.sd-text-primary:focus,a.sd-text-primary:hover{color:var(--sd-color-primary-highlight) !important}.sd-text-secondary,.sd-text-secondary>p{color:var(--sd-color-secondary) !important}a.sd-text-secondary:focus,a.sd-text-secondary:hover{color:var(--sd-color-secondary-highlight) !important}.sd-text-success,.sd-text-success>p{color:var(--sd-color-success) !important}a.sd-text-success:focus,a.sd-text-success:hover{color:var(--sd-color-success-highlight) !important}.sd-text-info,.sd-text-info>p{color:var(--sd-color-info) !important}a.sd-text-info:focus,a.sd-text-info:hover{color:var(--sd-color-info-highlight) !important}.sd-text-warning,.sd-text-warning>p{color:var(--sd-color-warning) !important}a.sd-text-warning:focus,a.sd-text-warning:hover{color:var(--sd-color-warning-highlight) !important}.sd-text-danger,.sd-text-danger>p{color:var(--sd-color-danger) !important}a.sd-text-danger:focus,a.sd-text-danger:hover{color:var(--sd-color-danger-highlight) !important}.sd-text-light,.sd-text-light>p{color:var(--sd-color-light) !important}a.sd-text-light:focus,a.sd-text-light:hover{color:var(--sd-color-light-highlight) !important}.sd-text-muted,.sd-text-muted>p{color:var(--sd-color-muted) !important}a.sd-text-muted:focus,a.sd-text-muted:hover{color:var(--sd-color-muted-highlight) !important}.sd-text-dark,.sd-text-dark>p{color:var(--sd-color-dark) !important}a.sd-text-dark:focus,a.sd-text-dark:hover{color:var(--sd-color-dark-highlight) !important}.sd-text-black,.sd-text-black>p{color:var(--sd-color-black) !important}a.sd-text-black:focus,a.sd-text-black:hover{color:var(--sd-color-black-highlight) !important}.sd-text-white,.sd-text-white>p{color:var(--sd-color-white) !important}a.sd-text-white:focus,a.sd-text-white:hover{color:var(--sd-color-white-highlight) !important}.sd-outline-primary{border-color:var(--sd-color-primary) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-primary:focus,a.sd-outline-primary:hover{border-color:var(--sd-color-primary-highlight) !important}.sd-outline-secondary{border-color:var(--sd-color-secondary) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-secondary:focus,a.sd-outline-secondary:hover{border-color:var(--sd-color-secondary-highlight) !important}.sd-outline-success{border-color:var(--sd-color-success) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-success:focus,a.sd-outline-success:hover{border-color:var(--sd-color-success-highlight) !important}.sd-outline-info{border-color:var(--sd-color-info) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-info:focus,a.sd-outline-info:hover{border-color:var(--sd-color-info-highlight) !important}.sd-outline-warning{border-color:var(--sd-color-warning) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-warning:focus,a.sd-outline-warning:hover{border-color:var(--sd-color-warning-highlight) !important}.sd-outline-danger{border-color:var(--sd-color-danger) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-danger:focus,a.sd-outline-danger:hover{border-color:var(--sd-color-danger-highlight) !important}.sd-outline-light{border-color:var(--sd-color-light) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-light:focus,a.sd-outline-light:hover{border-color:var(--sd-color-light-highlight) !important}.sd-outline-muted{border-color:var(--sd-color-muted) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-muted:focus,a.sd-outline-muted:hover{border-color:var(--sd-color-muted-highlight) !important}.sd-outline-dark{border-color:var(--sd-color-dark) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-dark:focus,a.sd-outline-dark:hover{border-color:var(--sd-color-dark-highlight) !important}.sd-outline-black{border-color:var(--sd-color-black) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-black:focus,a.sd-outline-black:hover{border-color:var(--sd-color-black-highlight) !important}.sd-outline-white{border-color:var(--sd-color-white) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-white:focus,a.sd-outline-white:hover{border-color:var(--sd-color-white-highlight) !important}.sd-bg-transparent{background-color:transparent !important}.sd-outline-transparent{border-color:transparent !important}.sd-text-transparent{color:transparent !important}.sd-p-0{padding:0 !important}.sd-pt-0,.sd-py-0{padding-top:0 !important}.sd-pr-0,.sd-px-0{padding-right:0 !important}.sd-pb-0,.sd-py-0{padding-bottom:0 !important}.sd-pl-0,.sd-px-0{padding-left:0 !important}.sd-p-1{padding:.25rem !important}.sd-pt-1,.sd-py-1{padding-top:.25rem !important}.sd-pr-1,.sd-px-1{padding-right:.25rem !important}.sd-pb-1,.sd-py-1{padding-bottom:.25rem !important}.sd-pl-1,.sd-px-1{padding-left:.25rem !important}.sd-p-2{padding:.5rem !important}.sd-pt-2,.sd-py-2{padding-top:.5rem !important}.sd-pr-2,.sd-px-2{padding-right:.5rem !important}.sd-pb-2,.sd-py-2{padding-bottom:.5rem !important}.sd-pl-2,.sd-px-2{padding-left:.5rem !important}.sd-p-3{padding:1rem !important}.sd-pt-3,.sd-py-3{padding-top:1rem !important}.sd-pr-3,.sd-px-3{padding-right:1rem !important}.sd-pb-3,.sd-py-3{padding-bottom:1rem !important}.sd-pl-3,.sd-px-3{padding-left:1rem !important}.sd-p-4{padding:1.5rem !important}.sd-pt-4,.sd-py-4{padding-top:1.5rem !important}.sd-pr-4,.sd-px-4{padding-right:1.5rem !important}.sd-pb-4,.sd-py-4{padding-bottom:1.5rem !important}.sd-pl-4,.sd-px-4{padding-left:1.5rem !important}.sd-p-5{padding:3rem !important}.sd-pt-5,.sd-py-5{padding-top:3rem !important}.sd-pr-5,.sd-px-5{padding-right:3rem !important}.sd-pb-5,.sd-py-5{padding-bottom:3rem !important}.sd-pl-5,.sd-px-5{padding-left:3rem !important}.sd-m-auto{margin:auto !important}.sd-mt-auto,.sd-my-auto{margin-top:auto !important}.sd-mr-auto,.sd-mx-auto{margin-right:auto !important}.sd-mb-auto,.sd-my-auto{margin-bottom:auto !important}.sd-ml-auto,.sd-mx-auto{margin-left:auto !important}.sd-m-0{margin:0 !important}.sd-mt-0,.sd-my-0{margin-top:0 !important}.sd-mr-0,.sd-mx-0{margin-right:0 !important}.sd-mb-0,.sd-my-0{margin-bottom:0 !important}.sd-ml-0,.sd-mx-0{margin-left:0 !important}.sd-m-1{margin:.25rem !important}.sd-mt-1,.sd-my-1{margin-top:.25rem !important}.sd-mr-1,.sd-mx-1{margin-right:.25rem !important}.sd-mb-1,.sd-my-1{margin-bottom:.25rem !important}.sd-ml-1,.sd-mx-1{margin-left:.25rem !important}.sd-m-2{margin:.5rem !important}.sd-mt-2,.sd-my-2{margin-top:.5rem !important}.sd-mr-2,.sd-mx-2{margin-right:.5rem !important}.sd-mb-2,.sd-my-2{margin-bottom:.5rem !important}.sd-ml-2,.sd-mx-2{margin-left:.5rem !important}.sd-m-3{margin:1rem !important}.sd-mt-3,.sd-my-3{margin-top:1rem !important}.sd-mr-3,.sd-mx-3{margin-right:1rem !important}.sd-mb-3,.sd-my-3{margin-bottom:1rem !important}.sd-ml-3,.sd-mx-3{margin-left:1rem !important}.sd-m-4{margin:1.5rem !important}.sd-mt-4,.sd-my-4{margin-top:1.5rem !important}.sd-mr-4,.sd-mx-4{margin-right:1.5rem !important}.sd-mb-4,.sd-my-4{margin-bottom:1.5rem !important}.sd-ml-4,.sd-mx-4{margin-left:1.5rem !important}.sd-m-5{margin:3rem !important}.sd-mt-5,.sd-my-5{margin-top:3rem !important}.sd-mr-5,.sd-mx-5{margin-right:3rem !important}.sd-mb-5,.sd-my-5{margin-bottom:3rem !important}.sd-ml-5,.sd-mx-5{margin-left:3rem !important}.sd-w-25{width:25% !important}.sd-w-50{width:50% !important}.sd-w-75{width:75% !important}.sd-w-100{width:100% !important}.sd-w-auto{width:auto !important}.sd-h-25{height:25% !important}.sd-h-50{height:50% !important}.sd-h-75{height:75% !important}.sd-h-100{height:100% !important}.sd-h-auto{height:auto !important}.sd-d-none{display:none !important}.sd-d-inline{display:inline !important}.sd-d-inline-block{display:inline-block !important}.sd-d-block{display:block !important}.sd-d-grid{display:grid !important}.sd-d-flex-row{display:-ms-flexbox !important;display:flex !important;flex-direction:row !important}.sd-d-flex-column{display:-ms-flexbox !important;display:flex !important;flex-direction:column !important}.sd-d-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}@media(min-width: 576px){.sd-d-sm-none{display:none !important}.sd-d-sm-inline{display:inline !important}.sd-d-sm-inline-block{display:inline-block !important}.sd-d-sm-block{display:block !important}.sd-d-sm-grid{display:grid !important}.sd-d-sm-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-sm-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}@media(min-width: 768px){.sd-d-md-none{display:none !important}.sd-d-md-inline{display:inline !important}.sd-d-md-inline-block{display:inline-block !important}.sd-d-md-block{display:block !important}.sd-d-md-grid{display:grid !important}.sd-d-md-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-md-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}@media(min-width: 992px){.sd-d-lg-none{display:none !important}.sd-d-lg-inline{display:inline !important}.sd-d-lg-inline-block{display:inline-block !important}.sd-d-lg-block{display:block !important}.sd-d-lg-grid{display:grid !important}.sd-d-lg-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-lg-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}@media(min-width: 1200px){.sd-d-xl-none{display:none !important}.sd-d-xl-inline{display:inline !important}.sd-d-xl-inline-block{display:inline-block !important}.sd-d-xl-block{display:block !important}.sd-d-xl-grid{display:grid !important}.sd-d-xl-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-xl-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}.sd-align-major-start{justify-content:flex-start !important}.sd-align-major-end{justify-content:flex-end !important}.sd-align-major-center{justify-content:center !important}.sd-align-major-justify{justify-content:space-between !important}.sd-align-major-spaced{justify-content:space-evenly !important}.sd-align-minor-start{align-items:flex-start !important}.sd-align-minor-end{align-items:flex-end !important}.sd-align-minor-center{align-items:center !important}.sd-align-minor-stretch{align-items:stretch !important}.sd-text-justify{text-align:justify !important}.sd-text-left{text-align:left !important}.sd-text-right{text-align:right !important}.sd-text-center{text-align:center !important}.sd-font-weight-light{font-weight:300 !important}.sd-font-weight-lighter{font-weight:lighter !important}.sd-font-weight-normal{font-weight:400 !important}.sd-font-weight-bold{font-weight:700 !important}.sd-font-weight-bolder{font-weight:bolder !important}.sd-font-italic{font-style:italic !important}.sd-text-decoration-none{text-decoration:none !important}.sd-text-lowercase{text-transform:lowercase !important}.sd-text-uppercase{text-transform:uppercase !important}.sd-text-capitalize{text-transform:capitalize !important}.sd-text-wrap{white-space:normal !important}.sd-text-nowrap{white-space:nowrap !important}.sd-text-truncate{overflow:hidden;text-overflow:ellipsis;white-space:nowrap}.sd-fs-1,.sd-fs-1>p{font-size:calc(1.375rem + 1.5vw) !important;line-height:unset !important}.sd-fs-2,.sd-fs-2>p{font-size:calc(1.325rem + 0.9vw) !important;line-height:unset !important}.sd-fs-3,.sd-fs-3>p{font-size:calc(1.3rem + 0.6vw) !important;line-height:unset !important}.sd-fs-4,.sd-fs-4>p{font-size:calc(1.275rem + 0.3vw) !important;line-height:unset !important}.sd-fs-5,.sd-fs-5>p{font-size:1.25rem !important;line-height:unset !important}.sd-fs-6,.sd-fs-6>p{font-size:1rem !important;line-height:unset !important}.sd-border-0{border:0 solid !important}.sd-border-top-0{border-top:0 solid !important}.sd-border-bottom-0{border-bottom:0 solid !important}.sd-border-right-0{border-right:0 solid !important}.sd-border-left-0{border-left:0 solid !important}.sd-border-1{border:1px solid !important}.sd-border-top-1{border-top:1px solid !important}.sd-border-bottom-1{border-bottom:1px solid !important}.sd-border-right-1{border-right:1px solid !important}.sd-border-left-1{border-left:1px solid !important}.sd-border-2{border:2px solid !important}.sd-border-top-2{border-top:2px solid !important}.sd-border-bottom-2{border-bottom:2px solid !important}.sd-border-right-2{border-right:2px solid !important}.sd-border-left-2{border-left:2px solid !important}.sd-border-3{border:3px solid !important}.sd-border-top-3{border-top:3px solid !important}.sd-border-bottom-3{border-bottom:3px solid !important}.sd-border-right-3{border-right:3px solid !important}.sd-border-left-3{border-left:3px solid !important}.sd-border-4{border:4px solid !important}.sd-border-top-4{border-top:4px solid !important}.sd-border-bottom-4{border-bottom:4px solid !important}.sd-border-right-4{border-right:4px solid !important}.sd-border-left-4{border-left:4px solid !important}.sd-border-5{border:5px solid !important}.sd-border-top-5{border-top:5px solid !important}.sd-border-bottom-5{border-bottom:5px solid !important}.sd-border-right-5{border-right:5px solid !important}.sd-border-left-5{border-left:5px solid !important}.sd-rounded-0{border-radius:0 !important}.sd-rounded-1{border-radius:.2rem !important}.sd-rounded-2{border-radius:.3rem !important}.sd-rounded-3{border-radius:.5rem !important}.sd-rounded-pill{border-radius:50rem !important}.sd-rounded-circle{border-radius:50% !important}.shadow-none{box-shadow:none !important}.sd-shadow-sm{box-shadow:0 .125rem .25rem var(--sd-color-shadow) !important}.sd-shadow-md{box-shadow:0 .5rem 1rem var(--sd-color-shadow) !important}.sd-shadow-lg{box-shadow:0 1rem 3rem var(--sd-color-shadow) !important}@keyframes sd-slide-from-left{0%{transform:translateX(-100%)}100%{transform:translateX(0)}}@keyframes sd-slide-from-right{0%{transform:translateX(200%)}100%{transform:translateX(0)}}@keyframes sd-grow100{0%{transform:scale(0);opacity:.5}100%{transform:scale(1);opacity:1}}@keyframes sd-grow50{0%{transform:scale(0.5);opacity:.5}100%{transform:scale(1);opacity:1}}@keyframes sd-grow50-rot20{0%{transform:scale(0.5) rotateZ(-20deg);opacity:.5}75%{transform:scale(1) rotateZ(5deg);opacity:1}95%{transform:scale(1) rotateZ(-1deg);opacity:1}100%{transform:scale(1) rotateZ(0);opacity:1}}.sd-animate-slide-from-left{animation:1s ease-out 0s 1 normal none running sd-slide-from-left}.sd-animate-slide-from-right{animation:1s ease-out 0s 1 normal none running sd-slide-from-right}.sd-animate-grow100{animation:1s ease-out 0s 1 normal none running sd-grow100}.sd-animate-grow50{animation:1s ease-out 0s 1 normal none running sd-grow50}.sd-animate-grow50-rot20{animation:1s ease-out 0s 1 normal none running sd-grow50-rot20}.sd-badge{display:inline-block;padding:.35em .65em;font-size:.75em;font-weight:700;line-height:1;text-align:center;white-space:nowrap;vertical-align:baseline;border-radius:.25rem}.sd-badge:empty{display:none}a.sd-badge{text-decoration:none}.sd-btn .sd-badge{position:relative;top:-1px}.sd-btn{background-color:transparent;border:1px solid transparent;border-radius:.25rem;cursor:pointer;display:inline-block;font-weight:400;font-size:1rem;line-height:1.5;padding:.375rem .75rem;text-align:center;text-decoration:none;transition:color .15s ease-in-out,background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out;vertical-align:middle;user-select:none;-moz-user-select:none;-ms-user-select:none;-webkit-user-select:none}.sd-btn:hover{text-decoration:none}@media(prefers-reduced-motion: reduce){.sd-btn{transition:none}}.sd-btn-primary,.sd-btn-outline-primary:hover,.sd-btn-outline-primary:focus{color:var(--sd-color-primary-text) !important;background-color:var(--sd-color-primary) !important;border-color:var(--sd-color-primary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-primary:hover,.sd-btn-primary:focus{color:var(--sd-color-primary-text) !important;background-color:var(--sd-color-primary-highlight) !important;border-color:var(--sd-color-primary-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-primary{color:var(--sd-color-primary) !important;border-color:var(--sd-color-primary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-secondary,.sd-btn-outline-secondary:hover,.sd-btn-outline-secondary:focus{color:var(--sd-color-secondary-text) !important;background-color:var(--sd-color-secondary) !important;border-color:var(--sd-color-secondary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-secondary:hover,.sd-btn-secondary:focus{color:var(--sd-color-secondary-text) !important;background-color:var(--sd-color-secondary-highlight) !important;border-color:var(--sd-color-secondary-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-secondary{color:var(--sd-color-secondary) !important;border-color:var(--sd-color-secondary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-success,.sd-btn-outline-success:hover,.sd-btn-outline-success:focus{color:var(--sd-color-success-text) !important;background-color:var(--sd-color-success) !important;border-color:var(--sd-color-success) !important;border-width:1px !important;border-style:solid !important}.sd-btn-success:hover,.sd-btn-success:focus{color:var(--sd-color-success-text) !important;background-color:var(--sd-color-success-highlight) !important;border-color:var(--sd-color-success-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-success{color:var(--sd-color-success) !important;border-color:var(--sd-color-success) !important;border-width:1px !important;border-style:solid !important}.sd-btn-info,.sd-btn-outline-info:hover,.sd-btn-outline-info:focus{color:var(--sd-color-info-text) !important;background-color:var(--sd-color-info) !important;border-color:var(--sd-color-info) !important;border-width:1px !important;border-style:solid !important}.sd-btn-info:hover,.sd-btn-info:focus{color:var(--sd-color-info-text) !important;background-color:var(--sd-color-info-highlight) !important;border-color:var(--sd-color-info-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-info{color:var(--sd-color-info) !important;border-color:var(--sd-color-info) !important;border-width:1px !important;border-style:solid !important}.sd-btn-warning,.sd-btn-outline-warning:hover,.sd-btn-outline-warning:focus{color:var(--sd-color-warning-text) !important;background-color:var(--sd-color-warning) !important;border-color:var(--sd-color-warning) !important;border-width:1px !important;border-style:solid !important}.sd-btn-warning:hover,.sd-btn-warning:focus{color:var(--sd-color-warning-text) !important;background-color:var(--sd-color-warning-highlight) !important;border-color:var(--sd-color-warning-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-warning{color:var(--sd-color-warning) !important;border-color:var(--sd-color-warning) !important;border-width:1px !important;border-style:solid !important}.sd-btn-danger,.sd-btn-outline-danger:hover,.sd-btn-outline-danger:focus{color:var(--sd-color-danger-text) !important;background-color:var(--sd-color-danger) !important;border-color:var(--sd-color-danger) !important;border-width:1px !important;border-style:solid !important}.sd-btn-danger:hover,.sd-btn-danger:focus{color:var(--sd-color-danger-text) !important;background-color:var(--sd-color-danger-highlight) !important;border-color:var(--sd-color-danger-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-danger{color:var(--sd-color-danger) !important;border-color:var(--sd-color-danger) !important;border-width:1px !important;border-style:solid !important}.sd-btn-light,.sd-btn-outline-light:hover,.sd-btn-outline-light:focus{color:var(--sd-color-light-text) !important;background-color:var(--sd-color-light) !important;border-color:var(--sd-color-light) !important;border-width:1px !important;border-style:solid !important}.sd-btn-light:hover,.sd-btn-light:focus{color:var(--sd-color-light-text) !important;background-color:var(--sd-color-light-highlight) !important;border-color:var(--sd-color-light-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-light{color:var(--sd-color-light) !important;border-color:var(--sd-color-light) !important;border-width:1px !important;border-style:solid !important}.sd-btn-muted,.sd-btn-outline-muted:hover,.sd-btn-outline-muted:focus{color:var(--sd-color-muted-text) !important;background-color:var(--sd-color-muted) !important;border-color:var(--sd-color-muted) !important;border-width:1px !important;border-style:solid !important}.sd-btn-muted:hover,.sd-btn-muted:focus{color:var(--sd-color-muted-text) !important;background-color:var(--sd-color-muted-highlight) !important;border-color:var(--sd-color-muted-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-muted{color:var(--sd-color-muted) !important;border-color:var(--sd-color-muted) !important;border-width:1px !important;border-style:solid !important}.sd-btn-dark,.sd-btn-outline-dark:hover,.sd-btn-outline-dark:focus{color:var(--sd-color-dark-text) !important;background-color:var(--sd-color-dark) !important;border-color:var(--sd-color-dark) !important;border-width:1px !important;border-style:solid !important}.sd-btn-dark:hover,.sd-btn-dark:focus{color:var(--sd-color-dark-text) !important;background-color:var(--sd-color-dark-highlight) !important;border-color:var(--sd-color-dark-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-dark{color:var(--sd-color-dark) !important;border-color:var(--sd-color-dark) !important;border-width:1px !important;border-style:solid !important}.sd-btn-black,.sd-btn-outline-black:hover,.sd-btn-outline-black:focus{color:var(--sd-color-black-text) !important;background-color:var(--sd-color-black) !important;border-color:var(--sd-color-black) !important;border-width:1px !important;border-style:solid !important}.sd-btn-black:hover,.sd-btn-black:focus{color:var(--sd-color-black-text) !important;background-color:var(--sd-color-black-highlight) !important;border-color:var(--sd-color-black-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-black{color:var(--sd-color-black) !important;border-color:var(--sd-color-black) !important;border-width:1px !important;border-style:solid !important}.sd-btn-white,.sd-btn-outline-white:hover,.sd-btn-outline-white:focus{color:var(--sd-color-white-text) !important;background-color:var(--sd-color-white) !important;border-color:var(--sd-color-white) !important;border-width:1px !important;border-style:solid !important}.sd-btn-white:hover,.sd-btn-white:focus{color:var(--sd-color-white-text) !important;background-color:var(--sd-color-white-highlight) !important;border-color:var(--sd-color-white-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-white{color:var(--sd-color-white) !important;border-color:var(--sd-color-white) !important;border-width:1px !important;border-style:solid !important}.sd-stretched-link::after{position:absolute;top:0;right:0;bottom:0;left:0;z-index:1;content:""}.sd-hide-link-text{font-size:0}.sd-octicon,.sd-material-icon{display:inline-block;fill:currentColor;vertical-align:middle}.sd-avatar-xs{border-radius:50%;object-fit:cover;object-position:center;width:1rem;height:1rem}.sd-avatar-sm{border-radius:50%;object-fit:cover;object-position:center;width:3rem;height:3rem}.sd-avatar-md{border-radius:50%;object-fit:cover;object-position:center;width:5rem;height:5rem}.sd-avatar-lg{border-radius:50%;object-fit:cover;object-position:center;width:7rem;height:7rem}.sd-avatar-xl{border-radius:50%;object-fit:cover;object-position:center;width:10rem;height:10rem}.sd-avatar-inherit{border-radius:50%;object-fit:cover;object-position:center;width:inherit;height:inherit}.sd-avatar-initial{border-radius:50%;object-fit:cover;object-position:center;width:initial;height:initial}.sd-card{background-clip:border-box;background-color:var(--sd-color-card-background);border:1px solid var(--sd-color-card-border);border-radius:.25rem;color:var(--sd-color-card-text);display:-ms-flexbox;display:flex;-ms-flex-direction:column;flex-direction:column;min-width:0;position:relative;word-wrap:break-word}.sd-card>hr{margin-left:0;margin-right:0}.sd-card-hover:hover{border-color:var(--sd-color-card-border-hover);transform:scale(1.01)}.sd-card-body{-ms-flex:1 1 auto;flex:1 1 auto;padding:1rem 1rem}.sd-card-title{margin-bottom:.5rem}.sd-card-subtitle{margin-top:-0.25rem;margin-bottom:0}.sd-card-text:last-child{margin-bottom:0}.sd-card-link:hover{text-decoration:none}.sd-card-link+.card-link{margin-left:1rem}.sd-card-header{padding:.5rem 1rem;margin-bottom:0;background-color:var(--sd-color-card-header);border-bottom:1px solid var(--sd-color-card-border)}.sd-card-header:first-child{border-radius:calc(0.25rem - 1px) calc(0.25rem - 1px) 0 0}.sd-card-footer{padding:.5rem 1rem;background-color:var(--sd-color-card-footer);border-top:1px solid var(--sd-color-card-border)}.sd-card-footer:last-child{border-radius:0 0 calc(0.25rem - 1px) calc(0.25rem - 1px)}.sd-card-header-tabs{margin-right:-0.5rem;margin-bottom:-0.5rem;margin-left:-0.5rem;border-bottom:0}.sd-card-header-pills{margin-right:-0.5rem;margin-left:-0.5rem}.sd-card-img-overlay{position:absolute;top:0;right:0;bottom:0;left:0;padding:1rem;border-radius:calc(0.25rem - 1px)}.sd-card-img,.sd-card-img-bottom,.sd-card-img-top{width:100%}.sd-card-img,.sd-card-img-top{border-top-left-radius:calc(0.25rem - 1px);border-top-right-radius:calc(0.25rem - 1px)}.sd-card-img,.sd-card-img-bottom{border-bottom-left-radius:calc(0.25rem - 1px);border-bottom-right-radius:calc(0.25rem - 1px)}.sd-cards-carousel{width:100%;display:flex;flex-wrap:nowrap;-ms-flex-direction:row;flex-direction:row;overflow-x:hidden;scroll-snap-type:x mandatory}.sd-cards-carousel.sd-show-scrollbar{overflow-x:auto}.sd-cards-carousel:hover,.sd-cards-carousel:focus{overflow-x:auto}.sd-cards-carousel>.sd-card{flex-shrink:0;scroll-snap-align:start}.sd-cards-carousel>.sd-card:not(:last-child){margin-right:3px}.sd-card-cols-1>.sd-card{width:90%}.sd-card-cols-2>.sd-card{width:45%}.sd-card-cols-3>.sd-card{width:30%}.sd-card-cols-4>.sd-card{width:22.5%}.sd-card-cols-5>.sd-card{width:18%}.sd-card-cols-6>.sd-card{width:15%}.sd-card-cols-7>.sd-card{width:12.8571428571%}.sd-card-cols-8>.sd-card{width:11.25%}.sd-card-cols-9>.sd-card{width:10%}.sd-card-cols-10>.sd-card{width:9%}.sd-card-cols-11>.sd-card{width:8.1818181818%}.sd-card-cols-12>.sd-card{width:7.5%}.sd-container,.sd-container-fluid,.sd-container-lg,.sd-container-md,.sd-container-sm,.sd-container-xl{margin-left:auto;margin-right:auto;padding-left:var(--sd-gutter-x, 0.75rem);padding-right:var(--sd-gutter-x, 0.75rem);width:100%}@media(min-width: 576px){.sd-container-sm,.sd-container{max-width:540px}}@media(min-width: 768px){.sd-container-md,.sd-container-sm,.sd-container{max-width:720px}}@media(min-width: 992px){.sd-container-lg,.sd-container-md,.sd-container-sm,.sd-container{max-width:960px}}@media(min-width: 1200px){.sd-container-xl,.sd-container-lg,.sd-container-md,.sd-container-sm,.sd-container{max-width:1140px}}.sd-row{--sd-gutter-x: 1.5rem;--sd-gutter-y: 0;display:-ms-flexbox;display:flex;-ms-flex-wrap:wrap;flex-wrap:wrap;margin-top:calc(var(--sd-gutter-y) * -1);margin-right:calc(var(--sd-gutter-x) * -0.5);margin-left:calc(var(--sd-gutter-x) * -0.5)}.sd-row>*{box-sizing:border-box;flex-shrink:0;width:100%;max-width:100%;padding-right:calc(var(--sd-gutter-x) * 0.5);padding-left:calc(var(--sd-gutter-x) * 0.5);margin-top:var(--sd-gutter-y)}.sd-col{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-auto>*{flex:0 0 auto;width:auto}.sd-row-cols-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}@media(min-width: 576px){.sd-col-sm{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-sm-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-sm-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-sm-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-sm-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-sm-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-sm-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-sm-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-sm-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-sm-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-sm-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-sm-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-sm-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-sm-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}@media(min-width: 768px){.sd-col-md{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-md-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-md-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-md-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-md-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-md-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-md-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-md-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-md-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-md-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-md-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-md-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-md-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-md-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}@media(min-width: 992px){.sd-col-lg{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-lg-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-lg-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-lg-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-lg-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-lg-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-lg-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-lg-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-lg-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-lg-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-lg-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-lg-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-lg-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-lg-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}@media(min-width: 1200px){.sd-col-xl{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-xl-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-xl-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-xl-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-xl-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-xl-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-xl-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-xl-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-xl-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-xl-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-xl-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-xl-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-xl-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-xl-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}.sd-col-auto{flex:0 0 auto;-ms-flex:0 0 auto;width:auto}.sd-col-1{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}.sd-col-2{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-col-3{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-col-4{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-col-5{flex:0 0 auto;-ms-flex:0 0 auto;width:41.6666666667%}.sd-col-6{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-col-7{flex:0 0 auto;-ms-flex:0 0 auto;width:58.3333333333%}.sd-col-8{flex:0 0 auto;-ms-flex:0 0 auto;width:66.6666666667%}.sd-col-9{flex:0 0 auto;-ms-flex:0 0 auto;width:75%}.sd-col-10{flex:0 0 auto;-ms-flex:0 0 auto;width:83.3333333333%}.sd-col-11{flex:0 0 auto;-ms-flex:0 0 auto;width:91.6666666667%}.sd-col-12{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-g-0,.sd-gy-0{--sd-gutter-y: 0}.sd-g-0,.sd-gx-0{--sd-gutter-x: 0}.sd-g-1,.sd-gy-1{--sd-gutter-y: 0.25rem}.sd-g-1,.sd-gx-1{--sd-gutter-x: 0.25rem}.sd-g-2,.sd-gy-2{--sd-gutter-y: 0.5rem}.sd-g-2,.sd-gx-2{--sd-gutter-x: 0.5rem}.sd-g-3,.sd-gy-3{--sd-gutter-y: 1rem}.sd-g-3,.sd-gx-3{--sd-gutter-x: 1rem}.sd-g-4,.sd-gy-4{--sd-gutter-y: 1.5rem}.sd-g-4,.sd-gx-4{--sd-gutter-x: 1.5rem}.sd-g-5,.sd-gy-5{--sd-gutter-y: 3rem}.sd-g-5,.sd-gx-5{--sd-gutter-x: 3rem}@media(min-width: 576px){.sd-col-sm-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-sm-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-sm-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-sm-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-sm-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-sm-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-sm-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-sm-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-sm-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-sm-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-sm-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-sm-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-sm-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-sm-0,.sd-gy-sm-0{--sd-gutter-y: 0}.sd-g-sm-0,.sd-gx-sm-0{--sd-gutter-x: 0}.sd-g-sm-1,.sd-gy-sm-1{--sd-gutter-y: 0.25rem}.sd-g-sm-1,.sd-gx-sm-1{--sd-gutter-x: 0.25rem}.sd-g-sm-2,.sd-gy-sm-2{--sd-gutter-y: 0.5rem}.sd-g-sm-2,.sd-gx-sm-2{--sd-gutter-x: 0.5rem}.sd-g-sm-3,.sd-gy-sm-3{--sd-gutter-y: 1rem}.sd-g-sm-3,.sd-gx-sm-3{--sd-gutter-x: 1rem}.sd-g-sm-4,.sd-gy-sm-4{--sd-gutter-y: 1.5rem}.sd-g-sm-4,.sd-gx-sm-4{--sd-gutter-x: 1.5rem}.sd-g-sm-5,.sd-gy-sm-5{--sd-gutter-y: 3rem}.sd-g-sm-5,.sd-gx-sm-5{--sd-gutter-x: 3rem}}@media(min-width: 768px){.sd-col-md-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-md-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-md-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-md-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-md-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-md-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-md-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-md-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-md-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-md-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-md-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-md-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-md-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-md-0,.sd-gy-md-0{--sd-gutter-y: 0}.sd-g-md-0,.sd-gx-md-0{--sd-gutter-x: 0}.sd-g-md-1,.sd-gy-md-1{--sd-gutter-y: 0.25rem}.sd-g-md-1,.sd-gx-md-1{--sd-gutter-x: 0.25rem}.sd-g-md-2,.sd-gy-md-2{--sd-gutter-y: 0.5rem}.sd-g-md-2,.sd-gx-md-2{--sd-gutter-x: 0.5rem}.sd-g-md-3,.sd-gy-md-3{--sd-gutter-y: 1rem}.sd-g-md-3,.sd-gx-md-3{--sd-gutter-x: 1rem}.sd-g-md-4,.sd-gy-md-4{--sd-gutter-y: 1.5rem}.sd-g-md-4,.sd-gx-md-4{--sd-gutter-x: 1.5rem}.sd-g-md-5,.sd-gy-md-5{--sd-gutter-y: 3rem}.sd-g-md-5,.sd-gx-md-5{--sd-gutter-x: 3rem}}@media(min-width: 992px){.sd-col-lg-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-lg-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-lg-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-lg-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-lg-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-lg-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-lg-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-lg-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-lg-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-lg-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-lg-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-lg-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-lg-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-lg-0,.sd-gy-lg-0{--sd-gutter-y: 0}.sd-g-lg-0,.sd-gx-lg-0{--sd-gutter-x: 0}.sd-g-lg-1,.sd-gy-lg-1{--sd-gutter-y: 0.25rem}.sd-g-lg-1,.sd-gx-lg-1{--sd-gutter-x: 0.25rem}.sd-g-lg-2,.sd-gy-lg-2{--sd-gutter-y: 0.5rem}.sd-g-lg-2,.sd-gx-lg-2{--sd-gutter-x: 0.5rem}.sd-g-lg-3,.sd-gy-lg-3{--sd-gutter-y: 1rem}.sd-g-lg-3,.sd-gx-lg-3{--sd-gutter-x: 1rem}.sd-g-lg-4,.sd-gy-lg-4{--sd-gutter-y: 1.5rem}.sd-g-lg-4,.sd-gx-lg-4{--sd-gutter-x: 1.5rem}.sd-g-lg-5,.sd-gy-lg-5{--sd-gutter-y: 3rem}.sd-g-lg-5,.sd-gx-lg-5{--sd-gutter-x: 3rem}}@media(min-width: 1200px){.sd-col-xl-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-xl-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-xl-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-xl-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-xl-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-xl-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-xl-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-xl-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-xl-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-xl-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-xl-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-xl-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-xl-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-xl-0,.sd-gy-xl-0{--sd-gutter-y: 0}.sd-g-xl-0,.sd-gx-xl-0{--sd-gutter-x: 0}.sd-g-xl-1,.sd-gy-xl-1{--sd-gutter-y: 0.25rem}.sd-g-xl-1,.sd-gx-xl-1{--sd-gutter-x: 0.25rem}.sd-g-xl-2,.sd-gy-xl-2{--sd-gutter-y: 0.5rem}.sd-g-xl-2,.sd-gx-xl-2{--sd-gutter-x: 0.5rem}.sd-g-xl-3,.sd-gy-xl-3{--sd-gutter-y: 1rem}.sd-g-xl-3,.sd-gx-xl-3{--sd-gutter-x: 1rem}.sd-g-xl-4,.sd-gy-xl-4{--sd-gutter-y: 1.5rem}.sd-g-xl-4,.sd-gx-xl-4{--sd-gutter-x: 1.5rem}.sd-g-xl-5,.sd-gy-xl-5{--sd-gutter-y: 3rem}.sd-g-xl-5,.sd-gx-xl-5{--sd-gutter-x: 3rem}}.sd-flex-row-reverse{flex-direction:row-reverse !important}details.sd-dropdown{position:relative}details.sd-dropdown .sd-summary-title{font-weight:700;padding-right:3em !important;-moz-user-select:none;-ms-user-select:none;-webkit-user-select:none;user-select:none}details.sd-dropdown:hover{cursor:pointer}details.sd-dropdown .sd-summary-content{cursor:default}details.sd-dropdown summary{list-style:none;padding:1em}details.sd-dropdown summary .sd-octicon.no-title{vertical-align:middle}details.sd-dropdown[open] summary .sd-octicon.no-title{visibility:hidden}details.sd-dropdown summary::-webkit-details-marker{display:none}details.sd-dropdown summary:focus{outline:none}details.sd-dropdown .sd-summary-icon{margin-right:.5em}details.sd-dropdown .sd-summary-icon svg{opacity:.8}details.sd-dropdown summary:hover .sd-summary-up svg,details.sd-dropdown summary:hover .sd-summary-down svg{opacity:1;transform:scale(1.1)}details.sd-dropdown .sd-summary-up svg,details.sd-dropdown .sd-summary-down svg{display:block;opacity:.6}details.sd-dropdown .sd-summary-up,details.sd-dropdown .sd-summary-down{pointer-events:none;position:absolute;right:1em;top:1em}details.sd-dropdown[open]>.sd-summary-title .sd-summary-down{visibility:hidden}details.sd-dropdown:not([open])>.sd-summary-title .sd-summary-up{visibility:hidden}details.sd-dropdown:not([open]).sd-card{border:none}details.sd-dropdown:not([open])>.sd-card-header{border:1px solid var(--sd-color-card-border);border-radius:.25rem}details.sd-dropdown.sd-fade-in[open] summary~*{-moz-animation:sd-fade-in .5s ease-in-out;-webkit-animation:sd-fade-in .5s ease-in-out;animation:sd-fade-in .5s ease-in-out}details.sd-dropdown.sd-fade-in-slide-down[open] summary~*{-moz-animation:sd-fade-in .5s ease-in-out,sd-slide-down .5s ease-in-out;-webkit-animation:sd-fade-in .5s ease-in-out,sd-slide-down .5s ease-in-out;animation:sd-fade-in .5s ease-in-out,sd-slide-down .5s ease-in-out}.sd-col>.sd-dropdown{width:100%}.sd-summary-content>.sd-tab-set:first-child{margin-top:0}@keyframes sd-fade-in{0%{opacity:0}100%{opacity:1}}@keyframes sd-slide-down{0%{transform:translate(0, -10px)}100%{transform:translate(0, 0)}}.sd-tab-set{border-radius:.125rem;display:flex;flex-wrap:wrap;margin:1em 0;position:relative}.sd-tab-set>input{opacity:0;position:absolute}.sd-tab-set>input:checked+label{border-color:var(--sd-color-tabs-underline-active);color:var(--sd-color-tabs-label-active)}.sd-tab-set>input:checked+label+.sd-tab-content{display:block}.sd-tab-set>input:not(:checked)+label:hover{color:var(--sd-color-tabs-label-hover);border-color:var(--sd-color-tabs-underline-hover)}.sd-tab-set>input:focus+label{outline-style:auto}.sd-tab-set>input:not(.focus-visible)+label{outline:none;-webkit-tap-highlight-color:transparent}.sd-tab-set>label{border-bottom:.125rem solid transparent;margin-bottom:0;color:var(--sd-color-tabs-label-inactive);border-color:var(--sd-color-tabs-underline-inactive);cursor:pointer;font-size:var(--sd-fontsize-tabs-label);font-weight:700;padding:1em 1.25em .5em;transition:color 250ms;width:auto;z-index:1}html .sd-tab-set>label:hover{color:var(--sd-color-tabs-label-active)}.sd-col>.sd-tab-set{width:100%}.sd-tab-content{box-shadow:0 -0.0625rem var(--sd-color-tabs-overline),0 .0625rem var(--sd-color-tabs-underline);display:none;order:99;padding-bottom:.75rem;padding-top:.75rem;width:100%}.sd-tab-content>:first-child{margin-top:0 !important}.sd-tab-content>:last-child{margin-bottom:0 !important}.sd-tab-content>.sd-tab-set{margin:0}.sd-sphinx-override,.sd-sphinx-override *{-moz-box-sizing:border-box;-webkit-box-sizing:border-box;box-sizing:border-box}.sd-sphinx-override p{margin-top:0}:root{--sd-color-primary: #007bff;--sd-color-secondary: #6c757d;--sd-color-success: #28a745;--sd-color-info: #17a2b8;--sd-color-warning: #f0b37e;--sd-color-danger: #dc3545;--sd-color-light: #f8f9fa;--sd-color-muted: #6c757d;--sd-color-dark: #212529;--sd-color-black: black;--sd-color-white: white;--sd-color-primary-highlight: #0069d9;--sd-color-secondary-highlight: #5c636a;--sd-color-success-highlight: #228e3b;--sd-color-info-highlight: #148a9c;--sd-color-warning-highlight: #cc986b;--sd-color-danger-highlight: #bb2d3b;--sd-color-light-highlight: #d3d4d5;--sd-color-muted-highlight: #5c636a;--sd-color-dark-highlight: #1c1f23;--sd-color-black-highlight: black;--sd-color-white-highlight: #d9d9d9;--sd-color-primary-text: #fff;--sd-color-secondary-text: #fff;--sd-color-success-text: #fff;--sd-color-info-text: #fff;--sd-color-warning-text: #212529;--sd-color-danger-text: #fff;--sd-color-light-text: #212529;--sd-color-muted-text: #fff;--sd-color-dark-text: #fff;--sd-color-black-text: #fff;--sd-color-white-text: #212529;--sd-color-shadow: rgba(0, 0, 0, 0.15);--sd-color-card-border: rgba(0, 0, 0, 0.125);--sd-color-card-border-hover: hsla(231, 99%, 66%, 1);--sd-color-card-background: transparent;--sd-color-card-text: inherit;--sd-color-card-header: transparent;--sd-color-card-footer: transparent;--sd-color-tabs-label-active: hsla(231, 99%, 66%, 1);--sd-color-tabs-label-hover: hsla(231, 99%, 66%, 1);--sd-color-tabs-label-inactive: hsl(0, 0%, 66%);--sd-color-tabs-underline-active: hsla(231, 99%, 66%, 1);--sd-color-tabs-underline-hover: rgba(178, 206, 245, 0.62);--sd-color-tabs-underline-inactive: transparent;--sd-color-tabs-overline: rgb(222, 222, 222);--sd-color-tabs-underline: rgb(222, 222, 222);--sd-fontsize-tabs-label: 1rem}
+.sd-bg-primary{background-color:var(--sd-color-primary) !important}.sd-bg-text-primary{color:var(--sd-color-primary-text) !important}button.sd-bg-primary:focus,button.sd-bg-primary:hover{background-color:var(--sd-color-primary-highlight) !important}a.sd-bg-primary:focus,a.sd-bg-primary:hover{background-color:var(--sd-color-primary-highlight) !important}.sd-bg-secondary{background-color:var(--sd-color-secondary) !important}.sd-bg-text-secondary{color:var(--sd-color-secondary-text) !important}button.sd-bg-secondary:focus,button.sd-bg-secondary:hover{background-color:var(--sd-color-secondary-highlight) !important}a.sd-bg-secondary:focus,a.sd-bg-secondary:hover{background-color:var(--sd-color-secondary-highlight) !important}.sd-bg-success{background-color:var(--sd-color-success) !important}.sd-bg-text-success{color:var(--sd-color-success-text) !important}button.sd-bg-success:focus,button.sd-bg-success:hover{background-color:var(--sd-color-success-highlight) !important}a.sd-bg-success:focus,a.sd-bg-success:hover{background-color:var(--sd-color-success-highlight) !important}.sd-bg-info{background-color:var(--sd-color-info) !important}.sd-bg-text-info{color:var(--sd-color-info-text) !important}button.sd-bg-info:focus,button.sd-bg-info:hover{background-color:var(--sd-color-info-highlight) !important}a.sd-bg-info:focus,a.sd-bg-info:hover{background-color:var(--sd-color-info-highlight) !important}.sd-bg-warning{background-color:var(--sd-color-warning) !important}.sd-bg-text-warning{color:var(--sd-color-warning-text) !important}button.sd-bg-warning:focus,button.sd-bg-warning:hover{background-color:var(--sd-color-warning-highlight) !important}a.sd-bg-warning:focus,a.sd-bg-warning:hover{background-color:var(--sd-color-warning-highlight) !important}.sd-bg-danger{background-color:var(--sd-color-danger) !important}.sd-bg-text-danger{color:var(--sd-color-danger-text) !important}button.sd-bg-danger:focus,button.sd-bg-danger:hover{background-color:var(--sd-color-danger-highlight) !important}a.sd-bg-danger:focus,a.sd-bg-danger:hover{background-color:var(--sd-color-danger-highlight) !important}.sd-bg-light{background-color:var(--sd-color-light) !important}.sd-bg-text-light{color:var(--sd-color-light-text) !important}button.sd-bg-light:focus,button.sd-bg-light:hover{background-color:var(--sd-color-light-highlight) !important}a.sd-bg-light:focus,a.sd-bg-light:hover{background-color:var(--sd-color-light-highlight) !important}.sd-bg-muted{background-color:var(--sd-color-muted) !important}.sd-bg-text-muted{color:var(--sd-color-muted-text) !important}button.sd-bg-muted:focus,button.sd-bg-muted:hover{background-color:var(--sd-color-muted-highlight) !important}a.sd-bg-muted:focus,a.sd-bg-muted:hover{background-color:var(--sd-color-muted-highlight) !important}.sd-bg-dark{background-color:var(--sd-color-dark) !important}.sd-bg-text-dark{color:var(--sd-color-dark-text) !important}button.sd-bg-dark:focus,button.sd-bg-dark:hover{background-color:var(--sd-color-dark-highlight) !important}a.sd-bg-dark:focus,a.sd-bg-dark:hover{background-color:var(--sd-color-dark-highlight) !important}.sd-bg-black{background-color:var(--sd-color-black) !important}.sd-bg-text-black{color:var(--sd-color-black-text) !important}button.sd-bg-black:focus,button.sd-bg-black:hover{background-color:var(--sd-color-black-highlight) !important}a.sd-bg-black:focus,a.sd-bg-black:hover{background-color:var(--sd-color-black-highlight) !important}.sd-bg-white{background-color:var(--sd-color-white) !important}.sd-bg-text-white{color:var(--sd-color-white-text) !important}button.sd-bg-white:focus,button.sd-bg-white:hover{background-color:var(--sd-color-white-highlight) !important}a.sd-bg-white:focus,a.sd-bg-white:hover{background-color:var(--sd-color-white-highlight) !important}.sd-text-primary,.sd-text-primary>p{color:var(--sd-color-primary) !important}a.sd-text-primary:focus,a.sd-text-primary:hover{color:var(--sd-color-primary-highlight) !important}.sd-text-secondary,.sd-text-secondary>p{color:var(--sd-color-secondary) !important}a.sd-text-secondary:focus,a.sd-text-secondary:hover{color:var(--sd-color-secondary-highlight) !important}.sd-text-success,.sd-text-success>p{color:var(--sd-color-success) !important}a.sd-text-success:focus,a.sd-text-success:hover{color:var(--sd-color-success-highlight) !important}.sd-text-info,.sd-text-info>p{color:var(--sd-color-info) !important}a.sd-text-info:focus,a.sd-text-info:hover{color:var(--sd-color-info-highlight) !important}.sd-text-warning,.sd-text-warning>p{color:var(--sd-color-warning) !important}a.sd-text-warning:focus,a.sd-text-warning:hover{color:var(--sd-color-warning-highlight) !important}.sd-text-danger,.sd-text-danger>p{color:var(--sd-color-danger) !important}a.sd-text-danger:focus,a.sd-text-danger:hover{color:var(--sd-color-danger-highlight) !important}.sd-text-light,.sd-text-light>p{color:var(--sd-color-light) !important}a.sd-text-light:focus,a.sd-text-light:hover{color:var(--sd-color-light-highlight) !important}.sd-text-muted,.sd-text-muted>p{color:var(--sd-color-muted) !important}a.sd-text-muted:focus,a.sd-text-muted:hover{color:var(--sd-color-muted-highlight) !important}.sd-text-dark,.sd-text-dark>p{color:var(--sd-color-dark) !important}a.sd-text-dark:focus,a.sd-text-dark:hover{color:var(--sd-color-dark-highlight) !important}.sd-text-black,.sd-text-black>p{color:var(--sd-color-black) !important}a.sd-text-black:focus,a.sd-text-black:hover{color:var(--sd-color-black-highlight) !important}.sd-text-white,.sd-text-white>p{color:var(--sd-color-white) !important}a.sd-text-white:focus,a.sd-text-white:hover{color:var(--sd-color-white-highlight) !important}.sd-outline-primary{border-color:var(--sd-color-primary) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-primary:focus,a.sd-outline-primary:hover{border-color:var(--sd-color-primary-highlight) !important}.sd-outline-secondary{border-color:var(--sd-color-secondary) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-secondary:focus,a.sd-outline-secondary:hover{border-color:var(--sd-color-secondary-highlight) !important}.sd-outline-success{border-color:var(--sd-color-success) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-success:focus,a.sd-outline-success:hover{border-color:var(--sd-color-success-highlight) !important}.sd-outline-info{border-color:var(--sd-color-info) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-info:focus,a.sd-outline-info:hover{border-color:var(--sd-color-info-highlight) !important}.sd-outline-warning{border-color:var(--sd-color-warning) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-warning:focus,a.sd-outline-warning:hover{border-color:var(--sd-color-warning-highlight) !important}.sd-outline-danger{border-color:var(--sd-color-danger) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-danger:focus,a.sd-outline-danger:hover{border-color:var(--sd-color-danger-highlight) !important}.sd-outline-light{border-color:var(--sd-color-light) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-light:focus,a.sd-outline-light:hover{border-color:var(--sd-color-light-highlight) !important}.sd-outline-muted{border-color:var(--sd-color-muted) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-muted:focus,a.sd-outline-muted:hover{border-color:var(--sd-color-muted-highlight) !important}.sd-outline-dark{border-color:var(--sd-color-dark) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-dark:focus,a.sd-outline-dark:hover{border-color:var(--sd-color-dark-highlight) !important}.sd-outline-black{border-color:var(--sd-color-black) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-black:focus,a.sd-outline-black:hover{border-color:var(--sd-color-black-highlight) !important}.sd-outline-white{border-color:var(--sd-color-white) !important;border-style:solid !important;border-width:1px !important}a.sd-outline-white:focus,a.sd-outline-white:hover{border-color:var(--sd-color-white-highlight) !important}.sd-bg-transparent{background-color:transparent !important}.sd-outline-transparent{border-color:transparent !important}.sd-text-transparent{color:transparent !important}.sd-p-0{padding:0 !important}.sd-pt-0,.sd-py-0{padding-top:0 !important}.sd-pr-0,.sd-px-0{padding-right:0 !important}.sd-pb-0,.sd-py-0{padding-bottom:0 !important}.sd-pl-0,.sd-px-0{padding-left:0 !important}.sd-p-1{padding:.25rem !important}.sd-pt-1,.sd-py-1{padding-top:.25rem !important}.sd-pr-1,.sd-px-1{padding-right:.25rem !important}.sd-pb-1,.sd-py-1{padding-bottom:.25rem !important}.sd-pl-1,.sd-px-1{padding-left:.25rem !important}.sd-p-2{padding:.5rem !important}.sd-pt-2,.sd-py-2{padding-top:.5rem !important}.sd-pr-2,.sd-px-2{padding-right:.5rem !important}.sd-pb-2,.sd-py-2{padding-bottom:.5rem !important}.sd-pl-2,.sd-px-2{padding-left:.5rem !important}.sd-p-3{padding:1rem !important}.sd-pt-3,.sd-py-3{padding-top:1rem !important}.sd-pr-3,.sd-px-3{padding-right:1rem !important}.sd-pb-3,.sd-py-3{padding-bottom:1rem !important}.sd-pl-3,.sd-px-3{padding-left:1rem !important}.sd-p-4{padding:1.5rem !important}.sd-pt-4,.sd-py-4{padding-top:1.5rem !important}.sd-pr-4,.sd-px-4{padding-right:1.5rem !important}.sd-pb-4,.sd-py-4{padding-bottom:1.5rem !important}.sd-pl-4,.sd-px-4{padding-left:1.5rem !important}.sd-p-5{padding:3rem !important}.sd-pt-5,.sd-py-5{padding-top:3rem !important}.sd-pr-5,.sd-px-5{padding-right:3rem !important}.sd-pb-5,.sd-py-5{padding-bottom:3rem !important}.sd-pl-5,.sd-px-5{padding-left:3rem !important}.sd-m-auto{margin:auto !important}.sd-mt-auto,.sd-my-auto{margin-top:auto !important}.sd-mr-auto,.sd-mx-auto{margin-right:auto !important}.sd-mb-auto,.sd-my-auto{margin-bottom:auto !important}.sd-ml-auto,.sd-mx-auto{margin-left:auto !important}.sd-m-0{margin:0 !important}.sd-mt-0,.sd-my-0{margin-top:0 !important}.sd-mr-0,.sd-mx-0{margin-right:0 !important}.sd-mb-0,.sd-my-0{margin-bottom:0 !important}.sd-ml-0,.sd-mx-0{margin-left:0 !important}.sd-m-1{margin:.25rem !important}.sd-mt-1,.sd-my-1{margin-top:.25rem !important}.sd-mr-1,.sd-mx-1{margin-right:.25rem !important}.sd-mb-1,.sd-my-1{margin-bottom:.25rem !important}.sd-ml-1,.sd-mx-1{margin-left:.25rem !important}.sd-m-2{margin:.5rem !important}.sd-mt-2,.sd-my-2{margin-top:.5rem !important}.sd-mr-2,.sd-mx-2{margin-right:.5rem !important}.sd-mb-2,.sd-my-2{margin-bottom:.5rem !important}.sd-ml-2,.sd-mx-2{margin-left:.5rem !important}.sd-m-3{margin:1rem !important}.sd-mt-3,.sd-my-3{margin-top:1rem !important}.sd-mr-3,.sd-mx-3{margin-right:1rem !important}.sd-mb-3,.sd-my-3{margin-bottom:1rem !important}.sd-ml-3,.sd-mx-3{margin-left:1rem !important}.sd-m-4{margin:1.5rem !important}.sd-mt-4,.sd-my-4{margin-top:1.5rem !important}.sd-mr-4,.sd-mx-4{margin-right:1.5rem !important}.sd-mb-4,.sd-my-4{margin-bottom:1.5rem !important}.sd-ml-4,.sd-mx-4{margin-left:1.5rem !important}.sd-m-5{margin:3rem !important}.sd-mt-5,.sd-my-5{margin-top:3rem !important}.sd-mr-5,.sd-mx-5{margin-right:3rem !important}.sd-mb-5,.sd-my-5{margin-bottom:3rem !important}.sd-ml-5,.sd-mx-5{margin-left:3rem !important}.sd-w-25{width:25% !important}.sd-w-50{width:50% !important}.sd-w-75{width:75% !important}.sd-w-100{width:100% !important}.sd-w-auto{width:auto !important}.sd-h-25{height:25% !important}.sd-h-50{height:50% !important}.sd-h-75{height:75% !important}.sd-h-100{height:100% !important}.sd-h-auto{height:auto !important}.sd-d-none{display:none !important}.sd-d-inline{display:inline !important}.sd-d-inline-block{display:inline-block !important}.sd-d-block{display:block !important}.sd-d-grid{display:grid !important}.sd-d-flex-row{display:-ms-flexbox !important;display:flex !important;flex-direction:row !important}.sd-d-flex-column{display:-ms-flexbox !important;display:flex !important;flex-direction:column !important}.sd-d-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}@media(min-width: 576px){.sd-d-sm-none{display:none !important}.sd-d-sm-inline{display:inline !important}.sd-d-sm-inline-block{display:inline-block !important}.sd-d-sm-block{display:block !important}.sd-d-sm-grid{display:grid !important}.sd-d-sm-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-sm-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}@media(min-width: 768px){.sd-d-md-none{display:none !important}.sd-d-md-inline{display:inline !important}.sd-d-md-inline-block{display:inline-block !important}.sd-d-md-block{display:block !important}.sd-d-md-grid{display:grid !important}.sd-d-md-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-md-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}@media(min-width: 992px){.sd-d-lg-none{display:none !important}.sd-d-lg-inline{display:inline !important}.sd-d-lg-inline-block{display:inline-block !important}.sd-d-lg-block{display:block !important}.sd-d-lg-grid{display:grid !important}.sd-d-lg-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-lg-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}@media(min-width: 1200px){.sd-d-xl-none{display:none !important}.sd-d-xl-inline{display:inline !important}.sd-d-xl-inline-block{display:inline-block !important}.sd-d-xl-block{display:block !important}.sd-d-xl-grid{display:grid !important}.sd-d-xl-flex{display:-ms-flexbox !important;display:flex !important}.sd-d-xl-inline-flex{display:-ms-inline-flexbox !important;display:inline-flex !important}}.sd-align-major-start{justify-content:flex-start !important}.sd-align-major-end{justify-content:flex-end !important}.sd-align-major-center{justify-content:center !important}.sd-align-major-justify{justify-content:space-between !important}.sd-align-major-spaced{justify-content:space-evenly !important}.sd-align-minor-start{align-items:flex-start !important}.sd-align-minor-end{align-items:flex-end !important}.sd-align-minor-center{align-items:center !important}.sd-align-minor-stretch{align-items:stretch !important}.sd-text-justify{text-align:justify !important}.sd-text-left{text-align:left !important}.sd-text-right{text-align:right !important}.sd-text-center{text-align:center !important}.sd-font-weight-light{font-weight:300 !important}.sd-font-weight-lighter{font-weight:lighter !important}.sd-font-weight-normal{font-weight:400 !important}.sd-font-weight-bold{font-weight:700 !important}.sd-font-weight-bolder{font-weight:bolder !important}.sd-font-italic{font-style:italic !important}.sd-text-decoration-none{text-decoration:none !important}.sd-text-lowercase{text-transform:lowercase !important}.sd-text-uppercase{text-transform:uppercase !important}.sd-text-capitalize{text-transform:capitalize !important}.sd-text-wrap{white-space:normal !important}.sd-text-nowrap{white-space:nowrap !important}.sd-text-truncate{overflow:hidden;text-overflow:ellipsis;white-space:nowrap}.sd-fs-1,.sd-fs-1>p{font-size:calc(1.375rem + 1.5vw) !important;line-height:unset !important}.sd-fs-2,.sd-fs-2>p{font-size:calc(1.325rem + 0.9vw) !important;line-height:unset !important}.sd-fs-3,.sd-fs-3>p{font-size:calc(1.3rem + 0.6vw) !important;line-height:unset !important}.sd-fs-4,.sd-fs-4>p{font-size:calc(1.275rem + 0.3vw) !important;line-height:unset !important}.sd-fs-5,.sd-fs-5>p{font-size:1.25rem !important;line-height:unset !important}.sd-fs-6,.sd-fs-6>p{font-size:1rem !important;line-height:unset !important}.sd-border-0{border:0 solid !important}.sd-border-top-0{border-top:0 solid !important}.sd-border-bottom-0{border-bottom:0 solid !important}.sd-border-right-0{border-right:0 solid !important}.sd-border-left-0{border-left:0 solid !important}.sd-border-1{border:1px solid !important}.sd-border-top-1{border-top:1px solid !important}.sd-border-bottom-1{border-bottom:1px solid !important}.sd-border-right-1{border-right:1px solid !important}.sd-border-left-1{border-left:1px solid !important}.sd-border-2{border:2px solid !important}.sd-border-top-2{border-top:2px solid !important}.sd-border-bottom-2{border-bottom:2px solid !important}.sd-border-right-2{border-right:2px solid !important}.sd-border-left-2{border-left:2px solid !important}.sd-border-3{border:3px solid !important}.sd-border-top-3{border-top:3px solid !important}.sd-border-bottom-3{border-bottom:3px solid !important}.sd-border-right-3{border-right:3px solid !important}.sd-border-left-3{border-left:3px solid !important}.sd-border-4{border:4px solid !important}.sd-border-top-4{border-top:4px solid !important}.sd-border-bottom-4{border-bottom:4px solid !important}.sd-border-right-4{border-right:4px solid !important}.sd-border-left-4{border-left:4px solid !important}.sd-border-5{border:5px solid !important}.sd-border-top-5{border-top:5px solid !important}.sd-border-bottom-5{border-bottom:5px solid !important}.sd-border-right-5{border-right:5px solid !important}.sd-border-left-5{border-left:5px solid !important}.sd-rounded-0{border-radius:0 !important}.sd-rounded-1{border-radius:.2rem !important}.sd-rounded-2{border-radius:.3rem !important}.sd-rounded-3{border-radius:.5rem !important}.sd-rounded-pill{border-radius:50rem !important}.sd-rounded-circle{border-radius:50% !important}.shadow-none{box-shadow:none !important}.sd-shadow-sm{box-shadow:0 .125rem .25rem var(--sd-color-shadow) !important}.sd-shadow-md{box-shadow:0 .5rem 1rem var(--sd-color-shadow) !important}.sd-shadow-lg{box-shadow:0 1rem 3rem var(--sd-color-shadow) !important}@keyframes sd-slide-from-left{0%{transform:translateX(-100%)}100%{transform:translateX(0)}}@keyframes sd-slide-from-right{0%{transform:translateX(200%)}100%{transform:translateX(0)}}@keyframes sd-grow100{0%{transform:scale(0);opacity:.5}100%{transform:scale(1);opacity:1}}@keyframes sd-grow50{0%{transform:scale(0.5);opacity:.5}100%{transform:scale(1);opacity:1}}@keyframes sd-grow50-rot20{0%{transform:scale(0.5) rotateZ(-20deg);opacity:.5}75%{transform:scale(1) rotateZ(5deg);opacity:1}95%{transform:scale(1) rotateZ(-1deg);opacity:1}100%{transform:scale(1) rotateZ(0);opacity:1}}.sd-animate-slide-from-left{animation:1s ease-out 0s 1 normal none running sd-slide-from-left}.sd-animate-slide-from-right{animation:1s ease-out 0s 1 normal none running sd-slide-from-right}.sd-animate-grow100{animation:1s ease-out 0s 1 normal none running sd-grow100}.sd-animate-grow50{animation:1s ease-out 0s 1 normal none running sd-grow50}.sd-animate-grow50-rot20{animation:1s ease-out 0s 1 normal none running sd-grow50-rot20}.sd-badge{display:inline-block;padding:.35em .65em;font-size:.75em;font-weight:700;line-height:1;text-align:center;white-space:nowrap;vertical-align:baseline;border-radius:.25rem}.sd-badge:empty{display:none}a.sd-badge{text-decoration:none}.sd-btn .sd-badge{position:relative;top:-1px}.sd-btn{background-color:transparent;border:1px solid transparent;border-radius:.25rem;cursor:pointer;display:inline-block;font-weight:400;font-size:1rem;line-height:1.5;padding:.375rem .75rem;text-align:center;text-decoration:none;transition:color .15s ease-in-out,background-color .15s ease-in-out,border-color .15s ease-in-out,box-shadow .15s ease-in-out;vertical-align:middle;user-select:none;-moz-user-select:none;-ms-user-select:none;-webkit-user-select:none}.sd-btn:hover{text-decoration:none}@media(prefers-reduced-motion: reduce){.sd-btn{transition:none}}.sd-btn-primary,.sd-btn-outline-primary:hover,.sd-btn-outline-primary:focus{color:var(--sd-color-primary-text) !important;background-color:var(--sd-color-primary) !important;border-color:var(--sd-color-primary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-primary:hover,.sd-btn-primary:focus{color:var(--sd-color-primary-text) !important;background-color:var(--sd-color-primary-highlight) !important;border-color:var(--sd-color-primary-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-primary{color:var(--sd-color-primary) !important;border-color:var(--sd-color-primary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-secondary,.sd-btn-outline-secondary:hover,.sd-btn-outline-secondary:focus{color:var(--sd-color-secondary-text) !important;background-color:var(--sd-color-secondary) !important;border-color:var(--sd-color-secondary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-secondary:hover,.sd-btn-secondary:focus{color:var(--sd-color-secondary-text) !important;background-color:var(--sd-color-secondary-highlight) !important;border-color:var(--sd-color-secondary-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-secondary{color:var(--sd-color-secondary) !important;border-color:var(--sd-color-secondary) !important;border-width:1px !important;border-style:solid !important}.sd-btn-success,.sd-btn-outline-success:hover,.sd-btn-outline-success:focus{color:var(--sd-color-success-text) !important;background-color:var(--sd-color-success) !important;border-color:var(--sd-color-success) !important;border-width:1px !important;border-style:solid !important}.sd-btn-success:hover,.sd-btn-success:focus{color:var(--sd-color-success-text) !important;background-color:var(--sd-color-success-highlight) !important;border-color:var(--sd-color-success-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-success{color:var(--sd-color-success) !important;border-color:var(--sd-color-success) !important;border-width:1px !important;border-style:solid !important}.sd-btn-info,.sd-btn-outline-info:hover,.sd-btn-outline-info:focus{color:var(--sd-color-info-text) !important;background-color:var(--sd-color-info) !important;border-color:var(--sd-color-info) !important;border-width:1px !important;border-style:solid !important}.sd-btn-info:hover,.sd-btn-info:focus{color:var(--sd-color-info-text) !important;background-color:var(--sd-color-info-highlight) !important;border-color:var(--sd-color-info-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-info{color:var(--sd-color-info) !important;border-color:var(--sd-color-info) !important;border-width:1px !important;border-style:solid !important}.sd-btn-warning,.sd-btn-outline-warning:hover,.sd-btn-outline-warning:focus{color:var(--sd-color-warning-text) !important;background-color:var(--sd-color-warning) !important;border-color:var(--sd-color-warning) !important;border-width:1px !important;border-style:solid !important}.sd-btn-warning:hover,.sd-btn-warning:focus{color:var(--sd-color-warning-text) !important;background-color:var(--sd-color-warning-highlight) !important;border-color:var(--sd-color-warning-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-warning{color:var(--sd-color-warning) !important;border-color:var(--sd-color-warning) !important;border-width:1px !important;border-style:solid !important}.sd-btn-danger,.sd-btn-outline-danger:hover,.sd-btn-outline-danger:focus{color:var(--sd-color-danger-text) !important;background-color:var(--sd-color-danger) !important;border-color:var(--sd-color-danger) !important;border-width:1px !important;border-style:solid !important}.sd-btn-danger:hover,.sd-btn-danger:focus{color:var(--sd-color-danger-text) !important;background-color:var(--sd-color-danger-highlight) !important;border-color:var(--sd-color-danger-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-danger{color:var(--sd-color-danger) !important;border-color:var(--sd-color-danger) !important;border-width:1px !important;border-style:solid !important}.sd-btn-light,.sd-btn-outline-light:hover,.sd-btn-outline-light:focus{color:var(--sd-color-light-text) !important;background-color:var(--sd-color-light) !important;border-color:var(--sd-color-light) !important;border-width:1px !important;border-style:solid !important}.sd-btn-light:hover,.sd-btn-light:focus{color:var(--sd-color-light-text) !important;background-color:var(--sd-color-light-highlight) !important;border-color:var(--sd-color-light-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-light{color:var(--sd-color-light) !important;border-color:var(--sd-color-light) !important;border-width:1px !important;border-style:solid !important}.sd-btn-muted,.sd-btn-outline-muted:hover,.sd-btn-outline-muted:focus{color:var(--sd-color-muted-text) !important;background-color:var(--sd-color-muted) !important;border-color:var(--sd-color-muted) !important;border-width:1px !important;border-style:solid !important}.sd-btn-muted:hover,.sd-btn-muted:focus{color:var(--sd-color-muted-text) !important;background-color:var(--sd-color-muted-highlight) !important;border-color:var(--sd-color-muted-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-muted{color:var(--sd-color-muted) !important;border-color:var(--sd-color-muted) !important;border-width:1px !important;border-style:solid !important}.sd-btn-dark,.sd-btn-outline-dark:hover,.sd-btn-outline-dark:focus{color:var(--sd-color-dark-text) !important;background-color:var(--sd-color-dark) !important;border-color:var(--sd-color-dark) !important;border-width:1px !important;border-style:solid !important}.sd-btn-dark:hover,.sd-btn-dark:focus{color:var(--sd-color-dark-text) !important;background-color:var(--sd-color-dark-highlight) !important;border-color:var(--sd-color-dark-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-dark{color:var(--sd-color-dark) !important;border-color:var(--sd-color-dark) !important;border-width:1px !important;border-style:solid !important}.sd-btn-black,.sd-btn-outline-black:hover,.sd-btn-outline-black:focus{color:var(--sd-color-black-text) !important;background-color:var(--sd-color-black) !important;border-color:var(--sd-color-black) !important;border-width:1px !important;border-style:solid !important}.sd-btn-black:hover,.sd-btn-black:focus{color:var(--sd-color-black-text) !important;background-color:var(--sd-color-black-highlight) !important;border-color:var(--sd-color-black-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-black{color:var(--sd-color-black) !important;border-color:var(--sd-color-black) !important;border-width:1px !important;border-style:solid !important}.sd-btn-white,.sd-btn-outline-white:hover,.sd-btn-outline-white:focus{color:var(--sd-color-white-text) !important;background-color:var(--sd-color-white) !important;border-color:var(--sd-color-white) !important;border-width:1px !important;border-style:solid !important}.sd-btn-white:hover,.sd-btn-white:focus{color:var(--sd-color-white-text) !important;background-color:var(--sd-color-white-highlight) !important;border-color:var(--sd-color-white-highlight) !important;border-width:1px !important;border-style:solid !important}.sd-btn-outline-white{color:var(--sd-color-white) !important;border-color:var(--sd-color-white) !important;border-width:1px !important;border-style:solid !important}.sd-stretched-link::after{position:absolute;top:0;right:0;bottom:0;left:0;z-index:1;content:""}.sd-hide-link-text{font-size:0}.sd-octicon,.sd-material-icon{display:inline-block;fill:currentColor;vertical-align:middle}.sd-avatar-xs{border-radius:50%;object-fit:cover;object-position:center;width:1rem;height:1rem}.sd-avatar-sm{border-radius:50%;object-fit:cover;object-position:center;width:3rem;height:3rem}.sd-avatar-md{border-radius:50%;object-fit:cover;object-position:center;width:5rem;height:5rem}.sd-avatar-lg{border-radius:50%;object-fit:cover;object-position:center;width:7rem;height:7rem}.sd-avatar-xl{border-radius:50%;object-fit:cover;object-position:center;width:10rem;height:10rem}.sd-avatar-inherit{border-radius:50%;object-fit:cover;object-position:center;width:inherit;height:inherit}.sd-avatar-initial{border-radius:50%;object-fit:cover;object-position:center;width:initial;height:initial}.sd-card{background-clip:border-box;background-color:var(--sd-color-card-background);border:1px solid var(--sd-color-card-border);border-radius:.25rem;color:var(--sd-color-card-text);display:-ms-flexbox;display:flex;-ms-flex-direction:column;flex-direction:column;min-width:0;position:relative;word-wrap:break-word}.sd-card>hr{margin-left:0;margin-right:0}.sd-card-hover:hover{border-color:var(--sd-color-card-border-hover);transform:scale(1.01)}.sd-card-body{-ms-flex:1 1 auto;flex:1 1 auto;padding:1rem 1rem}.sd-card-title{margin-bottom:.5rem}.sd-card-subtitle{margin-top:-0.25rem;margin-bottom:0}.sd-card-text:last-child{margin-bottom:0}.sd-card-link:hover{text-decoration:none}.sd-card-link+.card-link{margin-left:1rem}.sd-card-header{padding:.5rem 1rem;margin-bottom:0;background-color:var(--sd-color-card-header);border-bottom:1px solid var(--sd-color-card-border)}.sd-card-header:first-child{border-radius:calc(0.25rem - 1px) calc(0.25rem - 1px) 0 0}.sd-card-footer{padding:.5rem 1rem;background-color:var(--sd-color-card-footer);border-top:1px solid var(--sd-color-card-border)}.sd-card-footer:last-child{border-radius:0 0 calc(0.25rem - 1px) calc(0.25rem - 1px)}.sd-card-header-tabs{margin-right:-0.5rem;margin-bottom:-0.5rem;margin-left:-0.5rem;border-bottom:0}.sd-card-header-pills{margin-right:-0.5rem;margin-left:-0.5rem}.sd-card-img-overlay{position:absolute;top:0;right:0;bottom:0;left:0;padding:1rem;border-radius:calc(0.25rem - 1px)}.sd-card-img,.sd-card-img-bottom,.sd-card-img-top{width:100%}.sd-card-img,.sd-card-img-top{border-top-left-radius:calc(0.25rem - 1px);border-top-right-radius:calc(0.25rem - 1px)}.sd-card-img,.sd-card-img-bottom{border-bottom-left-radius:calc(0.25rem - 1px);border-bottom-right-radius:calc(0.25rem - 1px)}.sd-cards-carousel{width:100%;display:flex;flex-wrap:nowrap;-ms-flex-direction:row;flex-direction:row;overflow-x:hidden;scroll-snap-type:x mandatory}.sd-cards-carousel.sd-show-scrollbar{overflow-x:auto}.sd-cards-carousel:hover,.sd-cards-carousel:focus{overflow-x:auto}.sd-cards-carousel>.sd-card{flex-shrink:0;scroll-snap-align:start}.sd-cards-carousel>.sd-card:not(:last-child){margin-right:3px}.sd-card-cols-1>.sd-card{width:90%}.sd-card-cols-2>.sd-card{width:45%}.sd-card-cols-3>.sd-card{width:30%}.sd-card-cols-4>.sd-card{width:22.5%}.sd-card-cols-5>.sd-card{width:18%}.sd-card-cols-6>.sd-card{width:15%}.sd-card-cols-7>.sd-card{width:12.8571428571%}.sd-card-cols-8>.sd-card{width:11.25%}.sd-card-cols-9>.sd-card{width:10%}.sd-card-cols-10>.sd-card{width:9%}.sd-card-cols-11>.sd-card{width:8.1818181818%}.sd-card-cols-12>.sd-card{width:7.5%}.sd-container,.sd-container-fluid,.sd-container-lg,.sd-container-md,.sd-container-sm,.sd-container-xl{margin-left:auto;margin-right:auto;padding-left:var(--sd-gutter-x, 0.75rem);padding-right:var(--sd-gutter-x, 0.75rem);width:100%}@media(min-width: 576px){.sd-container-sm,.sd-container{max-width:540px}}@media(min-width: 768px){.sd-container-md,.sd-container-sm,.sd-container{max-width:720px}}@media(min-width: 992px){.sd-container-lg,.sd-container-md,.sd-container-sm,.sd-container{max-width:960px}}@media(min-width: 1200px){.sd-container-xl,.sd-container-lg,.sd-container-md,.sd-container-sm,.sd-container{max-width:1140px}}.sd-row{--sd-gutter-x: 1.5rem;--sd-gutter-y: 0;display:-ms-flexbox;display:flex;-ms-flex-wrap:wrap;flex-wrap:wrap;margin-top:calc(var(--sd-gutter-y) * -1);margin-right:calc(var(--sd-gutter-x) * -0.5);margin-left:calc(var(--sd-gutter-x) * -0.5)}.sd-row>*{box-sizing:border-box;flex-shrink:0;width:100%;max-width:100%;padding-right:calc(var(--sd-gutter-x) * 0.5);padding-left:calc(var(--sd-gutter-x) * 0.5);margin-top:var(--sd-gutter-y)}.sd-col{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-auto>*{flex:0 0 auto;width:auto}.sd-row-cols-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}@media(min-width: 576px){.sd-col-sm{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-sm-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-sm-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-sm-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-sm-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-sm-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-sm-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-sm-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-sm-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-sm-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-sm-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-sm-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-sm-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-sm-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}@media(min-width: 768px){.sd-col-md{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-md-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-md-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-md-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-md-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-md-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-md-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-md-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-md-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-md-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-md-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-md-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-md-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-md-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}@media(min-width: 992px){.sd-col-lg{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-lg-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-lg-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-lg-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-lg-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-lg-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-lg-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-lg-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-lg-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-lg-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-lg-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-lg-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-lg-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-lg-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}@media(min-width: 1200px){.sd-col-xl{flex:1 0 0%;-ms-flex:1 0 0%}.sd-row-cols-xl-auto{flex:1 0 auto;-ms-flex:1 0 auto;width:100%}.sd-row-cols-xl-1>*{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-row-cols-xl-2>*{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-row-cols-xl-3>*{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-row-cols-xl-4>*{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-row-cols-xl-5>*{flex:0 0 auto;-ms-flex:0 0 auto;width:20%}.sd-row-cols-xl-6>*{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-row-cols-xl-7>*{flex:0 0 auto;-ms-flex:0 0 auto;width:14.2857142857%}.sd-row-cols-xl-8>*{flex:0 0 auto;-ms-flex:0 0 auto;width:12.5%}.sd-row-cols-xl-9>*{flex:0 0 auto;-ms-flex:0 0 auto;width:11.1111111111%}.sd-row-cols-xl-10>*{flex:0 0 auto;-ms-flex:0 0 auto;width:10%}.sd-row-cols-xl-11>*{flex:0 0 auto;-ms-flex:0 0 auto;width:9.0909090909%}.sd-row-cols-xl-12>*{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}}.sd-col-auto{flex:0 0 auto;-ms-flex:0 0 auto;width:auto}.sd-col-1{flex:0 0 auto;-ms-flex:0 0 auto;width:8.3333333333%}.sd-col-2{flex:0 0 auto;-ms-flex:0 0 auto;width:16.6666666667%}.sd-col-3{flex:0 0 auto;-ms-flex:0 0 auto;width:25%}.sd-col-4{flex:0 0 auto;-ms-flex:0 0 auto;width:33.3333333333%}.sd-col-5{flex:0 0 auto;-ms-flex:0 0 auto;width:41.6666666667%}.sd-col-6{flex:0 0 auto;-ms-flex:0 0 auto;width:50%}.sd-col-7{flex:0 0 auto;-ms-flex:0 0 auto;width:58.3333333333%}.sd-col-8{flex:0 0 auto;-ms-flex:0 0 auto;width:66.6666666667%}.sd-col-9{flex:0 0 auto;-ms-flex:0 0 auto;width:75%}.sd-col-10{flex:0 0 auto;-ms-flex:0 0 auto;width:83.3333333333%}.sd-col-11{flex:0 0 auto;-ms-flex:0 0 auto;width:91.6666666667%}.sd-col-12{flex:0 0 auto;-ms-flex:0 0 auto;width:100%}.sd-g-0,.sd-gy-0{--sd-gutter-y: 0}.sd-g-0,.sd-gx-0{--sd-gutter-x: 0}.sd-g-1,.sd-gy-1{--sd-gutter-y: 0.25rem}.sd-g-1,.sd-gx-1{--sd-gutter-x: 0.25rem}.sd-g-2,.sd-gy-2{--sd-gutter-y: 0.5rem}.sd-g-2,.sd-gx-2{--sd-gutter-x: 0.5rem}.sd-g-3,.sd-gy-3{--sd-gutter-y: 1rem}.sd-g-3,.sd-gx-3{--sd-gutter-x: 1rem}.sd-g-4,.sd-gy-4{--sd-gutter-y: 1.5rem}.sd-g-4,.sd-gx-4{--sd-gutter-x: 1.5rem}.sd-g-5,.sd-gy-5{--sd-gutter-y: 3rem}.sd-g-5,.sd-gx-5{--sd-gutter-x: 3rem}@media(min-width: 576px){.sd-col-sm-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-sm-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-sm-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-sm-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-sm-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-sm-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-sm-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-sm-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-sm-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-sm-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-sm-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-sm-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-sm-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-sm-0,.sd-gy-sm-0{--sd-gutter-y: 0}.sd-g-sm-0,.sd-gx-sm-0{--sd-gutter-x: 0}.sd-g-sm-1,.sd-gy-sm-1{--sd-gutter-y: 0.25rem}.sd-g-sm-1,.sd-gx-sm-1{--sd-gutter-x: 0.25rem}.sd-g-sm-2,.sd-gy-sm-2{--sd-gutter-y: 0.5rem}.sd-g-sm-2,.sd-gx-sm-2{--sd-gutter-x: 0.5rem}.sd-g-sm-3,.sd-gy-sm-3{--sd-gutter-y: 1rem}.sd-g-sm-3,.sd-gx-sm-3{--sd-gutter-x: 1rem}.sd-g-sm-4,.sd-gy-sm-4{--sd-gutter-y: 1.5rem}.sd-g-sm-4,.sd-gx-sm-4{--sd-gutter-x: 1.5rem}.sd-g-sm-5,.sd-gy-sm-5{--sd-gutter-y: 3rem}.sd-g-sm-5,.sd-gx-sm-5{--sd-gutter-x: 3rem}}@media(min-width: 768px){.sd-col-md-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-md-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-md-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-md-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-md-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-md-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-md-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-md-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-md-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-md-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-md-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-md-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-md-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-md-0,.sd-gy-md-0{--sd-gutter-y: 0}.sd-g-md-0,.sd-gx-md-0{--sd-gutter-x: 0}.sd-g-md-1,.sd-gy-md-1{--sd-gutter-y: 0.25rem}.sd-g-md-1,.sd-gx-md-1{--sd-gutter-x: 0.25rem}.sd-g-md-2,.sd-gy-md-2{--sd-gutter-y: 0.5rem}.sd-g-md-2,.sd-gx-md-2{--sd-gutter-x: 0.5rem}.sd-g-md-3,.sd-gy-md-3{--sd-gutter-y: 1rem}.sd-g-md-3,.sd-gx-md-3{--sd-gutter-x: 1rem}.sd-g-md-4,.sd-gy-md-4{--sd-gutter-y: 1.5rem}.sd-g-md-4,.sd-gx-md-4{--sd-gutter-x: 1.5rem}.sd-g-md-5,.sd-gy-md-5{--sd-gutter-y: 3rem}.sd-g-md-5,.sd-gx-md-5{--sd-gutter-x: 3rem}}@media(min-width: 992px){.sd-col-lg-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-lg-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-lg-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-lg-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-lg-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-lg-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-lg-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-lg-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-lg-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-lg-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-lg-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-lg-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-lg-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-lg-0,.sd-gy-lg-0{--sd-gutter-y: 0}.sd-g-lg-0,.sd-gx-lg-0{--sd-gutter-x: 0}.sd-g-lg-1,.sd-gy-lg-1{--sd-gutter-y: 0.25rem}.sd-g-lg-1,.sd-gx-lg-1{--sd-gutter-x: 0.25rem}.sd-g-lg-2,.sd-gy-lg-2{--sd-gutter-y: 0.5rem}.sd-g-lg-2,.sd-gx-lg-2{--sd-gutter-x: 0.5rem}.sd-g-lg-3,.sd-gy-lg-3{--sd-gutter-y: 1rem}.sd-g-lg-3,.sd-gx-lg-3{--sd-gutter-x: 1rem}.sd-g-lg-4,.sd-gy-lg-4{--sd-gutter-y: 1.5rem}.sd-g-lg-4,.sd-gx-lg-4{--sd-gutter-x: 1.5rem}.sd-g-lg-5,.sd-gy-lg-5{--sd-gutter-y: 3rem}.sd-g-lg-5,.sd-gx-lg-5{--sd-gutter-x: 3rem}}@media(min-width: 1200px){.sd-col-xl-auto{-ms-flex:0 0 auto;flex:0 0 auto;width:auto}.sd-col-xl-1{-ms-flex:0 0 auto;flex:0 0 auto;width:8.3333333333%}.sd-col-xl-2{-ms-flex:0 0 auto;flex:0 0 auto;width:16.6666666667%}.sd-col-xl-3{-ms-flex:0 0 auto;flex:0 0 auto;width:25%}.sd-col-xl-4{-ms-flex:0 0 auto;flex:0 0 auto;width:33.3333333333%}.sd-col-xl-5{-ms-flex:0 0 auto;flex:0 0 auto;width:41.6666666667%}.sd-col-xl-6{-ms-flex:0 0 auto;flex:0 0 auto;width:50%}.sd-col-xl-7{-ms-flex:0 0 auto;flex:0 0 auto;width:58.3333333333%}.sd-col-xl-8{-ms-flex:0 0 auto;flex:0 0 auto;width:66.6666666667%}.sd-col-xl-9{-ms-flex:0 0 auto;flex:0 0 auto;width:75%}.sd-col-xl-10{-ms-flex:0 0 auto;flex:0 0 auto;width:83.3333333333%}.sd-col-xl-11{-ms-flex:0 0 auto;flex:0 0 auto;width:91.6666666667%}.sd-col-xl-12{-ms-flex:0 0 auto;flex:0 0 auto;width:100%}.sd-g-xl-0,.sd-gy-xl-0{--sd-gutter-y: 0}.sd-g-xl-0,.sd-gx-xl-0{--sd-gutter-x: 0}.sd-g-xl-1,.sd-gy-xl-1{--sd-gutter-y: 0.25rem}.sd-g-xl-1,.sd-gx-xl-1{--sd-gutter-x: 0.25rem}.sd-g-xl-2,.sd-gy-xl-2{--sd-gutter-y: 0.5rem}.sd-g-xl-2,.sd-gx-xl-2{--sd-gutter-x: 0.5rem}.sd-g-xl-3,.sd-gy-xl-3{--sd-gutter-y: 1rem}.sd-g-xl-3,.sd-gx-xl-3{--sd-gutter-x: 1rem}.sd-g-xl-4,.sd-gy-xl-4{--sd-gutter-y: 1.5rem}.sd-g-xl-4,.sd-gx-xl-4{--sd-gutter-x: 1.5rem}.sd-g-xl-5,.sd-gy-xl-5{--sd-gutter-y: 3rem}.sd-g-xl-5,.sd-gx-xl-5{--sd-gutter-x: 3rem}}.sd-flex-row-reverse{flex-direction:row-reverse !important}details.sd-dropdown{position:relative}details.sd-dropdown .sd-summary-title{font-weight:700;padding-right:3em !important;-moz-user-select:none;-ms-user-select:none;-webkit-user-select:none;user-select:none}details.sd-dropdown:hover{cursor:pointer}details.sd-dropdown .sd-summary-content{cursor:default}details.sd-dropdown summary{list-style:none;padding:1em}details.sd-dropdown summary .sd-octicon.no-title{vertical-align:middle}details.sd-dropdown[open] summary .sd-octicon.no-title{visibility:hidden}details.sd-dropdown summary::-webkit-details-marker{display:none}details.sd-dropdown summary:focus{outline:none}details.sd-dropdown .sd-summary-icon{margin-right:.5em}details.sd-dropdown .sd-summary-icon svg{opacity:.8}details.sd-dropdown summary:hover .sd-summary-up svg,details.sd-dropdown summary:hover .sd-summary-down svg{opacity:1;transform:scale(1.1)}details.sd-dropdown .sd-summary-up svg,details.sd-dropdown .sd-summary-down svg{display:block;opacity:.6}details.sd-dropdown .sd-summary-up,details.sd-dropdown .sd-summary-down{pointer-events:none;position:absolute;right:1em;top:1em}details.sd-dropdown[open]>.sd-summary-title .sd-summary-down{visibility:hidden}details.sd-dropdown:not([open])>.sd-summary-title .sd-summary-up{visibility:hidden}details.sd-dropdown:not([open]).sd-card{border:none}details.sd-dropdown:not([open])>.sd-card-header{border:1px solid var(--sd-color-card-border);border-radius:.25rem}details.sd-dropdown.sd-fade-in[open] summary~*{-moz-animation:sd-fade-in .5s ease-in-out;-webkit-animation:sd-fade-in .5s ease-in-out;animation:sd-fade-in .5s ease-in-out}details.sd-dropdown.sd-fade-in-slide-down[open] summary~*{-moz-animation:sd-fade-in .5s ease-in-out,sd-slide-down .5s ease-in-out;-webkit-animation:sd-fade-in .5s ease-in-out,sd-slide-down .5s ease-in-out;animation:sd-fade-in .5s ease-in-out,sd-slide-down .5s ease-in-out}.sd-col>.sd-dropdown{width:100%}.sd-summary-content>.sd-tab-set:first-child{margin-top:0}@keyframes sd-fade-in{0%{opacity:0}100%{opacity:1}}@keyframes sd-slide-down{0%{transform:translate(0, -10px)}100%{transform:translate(0, 0)}}.sd-tab-set{border-radius:.125rem;display:flex;flex-wrap:wrap;margin:1em 0;position:relative}.sd-tab-set>input{opacity:0;position:absolute}.sd-tab-set>input:checked+label{border-color:var(--sd-color-tabs-underline-active);color:var(--sd-color-tabs-label-active)}.sd-tab-set>input:checked+label+.sd-tab-content{display:block}.sd-tab-set>input:not(:checked)+label:hover{color:var(--sd-color-tabs-label-hover);border-color:var(--sd-color-tabs-underline-hover)}.sd-tab-set>input:focus+label{outline-style:auto}.sd-tab-set>input:not(.focus-visible)+label{outline:none;-webkit-tap-highlight-color:transparent}.sd-tab-set>label{border-bottom:.125rem solid transparent;margin-bottom:0;color:var(--sd-color-tabs-label-inactive);border-color:var(--sd-color-tabs-underline-inactive);cursor:pointer;font-size:var(--sd-fontsize-tabs-label);font-weight:700;padding:1em 1.25em .5em;transition:color 250ms;width:auto;z-index:1}html .sd-tab-set>label:hover{color:var(--sd-color-tabs-label-active)}.sd-col>.sd-tab-set{width:100%}.sd-tab-content{box-shadow:0 -0.0625rem var(--sd-color-tabs-overline),0 .0625rem var(--sd-color-tabs-underline);display:none;order:99;padding-bottom:.75rem;padding-top:.75rem;width:100%}.sd-tab-content>:first-child{margin-top:0 !important}.sd-tab-content>:last-child{margin-bottom:0 !important}.sd-tab-content>.sd-tab-set{margin:0}.sd-sphinx-override,.sd-sphinx-override *{-moz-box-sizing:border-box;-webkit-box-sizing:border-box;box-sizing:border-box}.sd-sphinx-override p{margin-top:0}:root{--sd-color-primary: #007bff;--sd-color-secondary: #6c757d;--sd-color-success: #28a745;--sd-color-info: #17a2b8;--sd-color-warning: #f0b37e;--sd-color-danger: #dc3545;--sd-color-light: #f8f9fa;--sd-color-muted: #6c757d;--sd-color-dark: #212529;--sd-color-black: black;--sd-color-white: white;--sd-color-primary-highlight: #0069d9;--sd-color-secondary-highlight: #5c636a;--sd-color-success-highlight: #228e3b;--sd-color-info-highlight: #148a9c;--sd-color-warning-highlight: #cc986b;--sd-color-danger-highlight: #bb2d3b;--sd-color-light-highlight: #d3d4d5;--sd-color-muted-highlight: #5c636a;--sd-color-dark-highlight: #1c1f23;--sd-color-black-highlight: black;--sd-color-white-highlight: #d9d9d9;--sd-color-primary-text: #fff;--sd-color-secondary-text: #fff;--sd-color-success-text: #fff;--sd-color-info-text: #fff;--sd-color-warning-text: #212529;--sd-color-danger-text: #fff;--sd-color-light-text: #212529;--sd-color-muted-text: #fff;--sd-color-dark-text: #fff;--sd-color-black-text: #fff;--sd-color-white-text: #212529;--sd-color-shadow: rgba(0, 0, 0, 0.15);--sd-color-card-border: rgba(0, 0, 0, 0.125);--sd-color-card-border-hover: hsla(231, 99%, 66%, 1);--sd-color-card-background: transparent;--sd-color-card-text: inherit;--sd-color-card-header: transparent;--sd-color-card-footer: transparent;--sd-color-tabs-label-active: hsla(231, 99%, 66%, 1);--sd-color-tabs-label-hover: hsla(231, 99%, 66%, 1);--sd-color-tabs-label-inactive: hsl(0, 0%, 66%);--sd-color-tabs-underline-active: hsla(231, 99%, 66%, 1);--sd-color-tabs-underline-hover: rgba(178, 206, 245, 0.62);--sd-color-tabs-underline-inactive: transparent;--sd-color-tabs-overline: rgb(222, 222, 222);--sd-color-tabs-underline: rgb(222, 222, 222);--sd-fontsize-tabs-label: 1rem}
diff --git a/_static/design-tabs.js b/_static/design-tabs.js
index 36b38cf0..a869cf55 100755
--- a/_static/design-tabs.js
+++ b/_static/design-tabs.js
@@ -1,27 +1,27 @@
-var sd_labels_by_text = {};
-
-function ready() {
- const li = document.getElementsByClassName("sd-tab-label");
- for (const label of li) {
- syncId = label.getAttribute("data-sync-id");
- if (syncId) {
- label.onclick = onLabelClick;
- if (!sd_labels_by_text[syncId]) {
- sd_labels_by_text[syncId] = [];
- }
- sd_labels_by_text[syncId].push(label);
- }
- }
-}
-
-function onLabelClick() {
- // Activate other inputs with the same sync id.
- syncId = this.getAttribute("data-sync-id");
- for (label of sd_labels_by_text[syncId]) {
- if (label === this) continue;
- label.previousElementSibling.checked = true;
- }
- window.localStorage.setItem("sphinx-design-last-tab", syncId);
-}
-
-document.addEventListener("DOMContentLoaded", ready, false);
+var sd_labels_by_text = {};
+
+function ready() {
+ const li = document.getElementsByClassName("sd-tab-label");
+ for (const label of li) {
+ syncId = label.getAttribute("data-sync-id");
+ if (syncId) {
+ label.onclick = onLabelClick;
+ if (!sd_labels_by_text[syncId]) {
+ sd_labels_by_text[syncId] = [];
+ }
+ sd_labels_by_text[syncId].push(label);
+ }
+ }
+}
+
+function onLabelClick() {
+ // Activate other inputs with the same sync id.
+ syncId = this.getAttribute("data-sync-id");
+ for (label of sd_labels_by_text[syncId]) {
+ if (label === this) continue;
+ label.previousElementSibling.checked = true;
+ }
+ window.localStorage.setItem("sphinx-design-last-tab", syncId);
+}
+
+document.addEventListener("DOMContentLoaded", ready, false);
diff --git a/_static/jquery-3.5.1.js b/_static/jquery-3.5.1.js
index 50937333..55460159 100755
--- a/_static/jquery-3.5.1.js
+++ b/_static/jquery-3.5.1.js
@@ -1,10872 +1,10872 @@
-/*!
- * jQuery JavaScript Library v3.5.1
- * https://jquery.com/
- *
- * Includes Sizzle.js
- * https://sizzlejs.com/
- *
- * Copyright JS Foundation and other contributors
- * Released under the MIT license
- * https://jquery.org/license
- *
- * Date: 2020-05-04T22:49Z
- */
-( function( global, factory ) {
-
- "use strict";
-
- if ( typeof module === "object" && typeof module.exports === "object" ) {
-
- // For CommonJS and CommonJS-like environments where a proper `window`
- // is present, execute the factory and get jQuery.
- // For environments that do not have a `window` with a `document`
- // (such as Node.js), expose a factory as module.exports.
- // This accentuates the need for the creation of a real `window`.
- // e.g. var jQuery = require("jquery")(window);
- // See ticket #14549 for more info.
- module.exports = global.document ?
- factory( global, true ) :
- function( w ) {
- if ( !w.document ) {
- throw new Error( "jQuery requires a window with a document" );
- }
- return factory( w );
- };
- } else {
- factory( global );
- }
-
-// Pass this if window is not defined yet
-} )( typeof window !== "undefined" ? window : this, function( window, noGlobal ) {
-
-// Edge <= 12 - 13+, Firefox <=18 - 45+, IE 10 - 11, Safari 5.1 - 9+, iOS 6 - 9.1
-// throw exceptions when non-strict code (e.g., ASP.NET 4.5) accesses strict mode
-// arguments.callee.caller (trac-13335). But as of jQuery 3.0 (2016), strict mode should be common
-// enough that all such attempts are guarded in a try block.
-"use strict";
-
-var arr = [];
-
-var getProto = Object.getPrototypeOf;
-
-var slice = arr.slice;
-
-var flat = arr.flat ? function( array ) {
- return arr.flat.call( array );
-} : function( array ) {
- return arr.concat.apply( [], array );
-};
-
-
-var push = arr.push;
-
-var indexOf = arr.indexOf;
-
-var class2type = {};
-
-var toString = class2type.toString;
-
-var hasOwn = class2type.hasOwnProperty;
-
-var fnToString = hasOwn.toString;
-
-var ObjectFunctionString = fnToString.call( Object );
-
-var support = {};
-
-var isFunction = function isFunction( obj ) {
-
- // Support: Chrome <=57, Firefox <=52
- // In some browsers, typeof returns "function" for HTML