Clause Summarization Model
2023-1 YCC Project
website repo https://github.com/HeIIowrld/ToSAN
๊ธ์ต์ํ์ ์ข ๋ฅ์ ํน์ฑ์ ๋ค์ํ๋ค. ์ฃผ์, ์ฑ๊ถ๋ถํฐ ์ฝ ์ต์ , ํ ์ต์ , CDS, CDO, ETF๊น์ง ๋ค์ํ ๊ธฐ์ด์ํ๊ณผ ํ์์ํ์ด ์กด์ฌํ๋ค. ์ด๋ฌํ ๊ธ์ต์ํ๋ค์ ํฐ ๋ฒ์ฃผ์์๋ ๋ถ๋ฅ๊ฐ ๋์ง๋ง ์ธ๋ถ์ ์ธ ์กฐํญ, ๊ธฐ์ด์ํ ๋ฑ์ ๋ฐ๋ผ ๊ทธ ํน์ฑ๊ณผ ๋ฆฌ์คํฌ๊ฐ ๋ฌ๋ผ์ง๊ธฐ๋ ํ๋ฉฐ, ์ฌ์ง์ด ์ด์ ์๋ ์์๋ ์๋ก์ด ์ข ๋ฅ์ ๊ธ์ต์ํ์ด ํ๋งค๋๊ธฐ๋ ํ๋ค. ๋ ๋์๊ฐ ๊ฐ ๋๋ผ์ ๊ธ์ต์ํ๋ค์ ๊ฐ ๋๋ผ์ ๊ธ์ต ๋ฒ, ์ ์ฑ , ๊ท์ ์ ๊ฐํ ์ํฅ์ ๋ฐ๊ธฐ ๋๋ฌธ์ ํด๋น ๊ตญ๊ฐ์ ๊ธ์ต ์์ฅ ํน์ฑ๊ณผ ๊ธ์ต ๋ฒ, ์ ์ฑ ์ ๊ตญ๊ฐ๊ฐ ๊ธ์ต ํฌ์์ ๋ํ ์ฅ๋ฒฝ์ผ๋ก ์์ฉํ๋ค.
์ด๋ ์ฌ๋ฌ ๋ฌธ์ ๋ค์ ๋ณ์๋๋ฐ, ๋ํ์ ์ธ ๋ฌธ์ ๋ก๋ ๊ฒฝ์ ์ ๋นํจ์จ์ฑ๊ณผ ํฌ์์๊ฐ ์๋์น ์๋ ์ํ์ ๋ ์๋ ๊ฒ์ ๋ค ์ ์๋ค. ์์ฅ ํฌ์์ ๋ํ ์ง์ ์ฅ๋ฒฝ์ ์์ฅ ์ฐธ์ฌ์์ ์๋ฅผ ์ค์ด๊ณ , ๊ฐ๊ฒฉ ๋ณ๋์ ๋ํ ๊ฒฝ์ง์ฑ์ ๋ง๋ฆ๊ณผ ๋์์ ์์ฅ ์ ๋ฐ์ ์๊ธ์ ๊ณต๊ธํ๋ ๊ธ์ต์์ฅ ๋ด์์ ์ต๋๋ก ์ด์ฉ๋ ์ ์๋ ์๊ธ๋ณด๋ค ๋ ์ ์ ์๊ธ์ด ์ด์ฉ๋๊ฒ ํ๋ค. ๋ ์ ์ ์๊ธ์ ์์ฅ ๋ด ์๋ณธ์ ๊ฐ์๋ก ์ด์ด์ง๋ฏ๋ก, ํฌ์๊ฐ ์ต๋ ํจ์ฉ ์์ค์ผ๋ก ์ด๋ฃจ์ด์ง์ง ์์ ๊ฒฝ์ ์ ๋นํจ์จ์ฑ์ด ๋ฐ์ํ๋ค.
๋ ๋ค๋ฅธ ๋ฌธ์ ๋ ํฌ์์๊ฐ ๊ธ์ต์ํ์ ํน์ฑ์ ํ์ ํ์ง ๋ชปํ๋ ๊ฒ์ด ์๋ค. ๊ธ์ต์ํ์ ํน์ฑ์ ์ดํดํ์ง ๋ชปํ๋ ๊ฒ์ ํฌ์์๊ฐ ํฌ์ ์๋์๋ ๋ค๋ฅธ ํน์ฑ์ ๊ฐ์ง ๊ธ์ต์ํ์ ๊ตฌ๋งคํ์ฌ ์๋์น ์์ ์ํ์ ๋ ์์ ์ ์๊ฒ ํ๋ค. ์ด๋ ๊ฒฝ์ , ๊ธ์ต์ ๋ํ ์ดํด๊ฐ ๋ถ์กฑํ ํฌ์์๋ค์ด ํฌ๊ธฐ์ฑ ๊ธ์ต์ํ์ ์ถฉ๋์ ์ผ๋ก ๊ตฌ๋งคํ๊ฑฐ๋, ๊ธ์ต ์ํ ๊ตฌ๋งค ์์ฒด๋ฅผ ๊บผ๋ฆฌ๊ฒ ํ๋ ์ ์ธ์ด ๋๋ค.
์ด๋ฌํ ์ด์ ๋ก ์ธํด ์ ๋ณดํ, ์ธ๊ณํ ์๋์๋ ๋ถ๊ตฌํ๊ณ , ๊ธ์ต ์์ฅ ์ฐธ์ฌ์์ ์์ ์๋ณธ์ ํจ์จ์ ์ด์ง ๋ชปํ๋ฉฐ, ๊ตญ๊ฐ๊ฐ ๊ธ์ต ํฌ์๋ ๋ํ ํฌ์๊ธฐ๊ด์ ์ค์ฌ์ผ๋ก๋ง ์ด๋ฃจ์ด์ก๋ค. ๋ณธ ํ๋ก์ ํธ๋ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ(LLM)์ ์ฌ์ฉํด ์์ฐ์ด ์ฒ๋ฆฌ ๋ชจ๋ธ์ด ๊ตญ๋ด ํน์ ํด์ธ์ ๊ธ์ต์ํ ์ฝ๊ด์ ๋์ ์ดํดํ๊ณ ์์ฝ ์ ๋ณด๋ฅผ ์ ๊ณตํด ๊ฒฝ์ ์ ๋ํ ์ง์์ด ๋ถ์กฑํ๊ฑฐ๋ ๊ตญ๋ด ๋ฐ ํด์ธ์ ๊ธ์ต ๋ฒ, ์ ์ฑ ์ ๋ํ ์ดํด๊ฐ ๋ถ์กฑํ ํฌ์์์๊ฒ ์ ๋ณด๋ฅผ ์ดํดํ๊ธฐ ์ฝ๋๋ก ๊ฐ๊ณตํ๋๋ก ํ๊ณ ์ ํ๋ค. ๊ฐ๋ณ ํฌ์์์ ํฉ๋ฆฌ์ ์ธ ๊ธ์ต ํฌ์๋ฅผ ํ๋๋ก ๋์์ผ๋ก์จ, ๊ธ์ต ์์ฅ์ ๊ฑด์ ์ฑ๊ณผ ๊ฒฝ์ ๋ฏผ์ฃผํ๋ฅผ ๋ฌ์ฑํ๋ ๋ฐ ๊ธฐ์ฌํ๊ณ ์ ํ๋ค.
- 1์ฃผ์ฐจ: ์ ์ฒด ์ผ์ ์ธ๋ถ ์กฐ์ ๋ฐ ์๊ฐ ์กฐ์จ
- ์๊ฒฌ์ ์ถ๊ฐ์ ์ผ๋ก ์ํฉํด ๊ณํ์ ๋ณด์, ๊ฐ์ ๋ฐฉ์ ๋ ผ์
- ์ ๊ธฐ์ ๋ชจ์ ์๊ฐ๊ณผ ์ธ๋ถ ์ผ์ ์กฐ์จ
- 2์ฃผ์ฐจ: ์น ํฌ๋กค๋ฌ ์ค๊ณ ๋ฐ ๊ฐ๋ฐ ๋ฐฉํฅ ๋
ผ์
- ์น ํฌ๋กค๋ฌ์ ํ์, DB ์ค๊ณ์ ๊ฐ๋ฐ ์ญํ ํ ๋น
- 3~4์ฃผ์ฐจ: ์น ํฌ๋กค๋ฌ ๊ฐ๋ฐ
- ๊ฐ๋ฐ ๋ฐ ์ฃผ๊ธฐ์ ์ฝ๋๋ฆฌ๋ทฐ ์งํ
- 5์ฃผ์ฐจ: ํฌ๋กค๋ง ํ
์คํธ ๋ฐ ํฌ๋กค๋ง (์งํ์ค)
- ํฌ๋กค๋ง ํ ์คํธ๋ฅผ ํตํด ํฌ๋กค๋ฌ ํ ์คํธ
- NAVER ํด๋ผ์ฐ๋ ์๋ฒ๋ฅผ ์ด์ฉํด ํฌ๋กค๋ง ์ํ ๋ฐ DB ๊ตฌ์ถ
- 6์ฃผ์ฐจ: EDA ๋ฐ ํ์ ์ ์ถ๊ฐ ๋ฐ์ดํฐ ์์ง
- ๋ฐ์ดํฐ ํ์์ ํตํด ๋ฐ์ดํฐ์ ๋๋ต์ ์ธ ํน์ฑ์ ํ์ ํ๊ณ ํ์ ์ ์ถ๊ฐ๋ก ๋ฐ์ดํฐ ์์ง
- 7์ฃผ์ฐจ: Pre-trained ๋ชจ๋ธ ์ฑ๋ฅ ํ
์คํธ ๋ฐ ์ ํ
- ์ฌ๋ฌ Pre-trained ๋ชจ๋ธ ์ค ์ข์ ์ฑ๋ฅ์ ๋ณด์ด๋ ๋ชจ๋ธ์ ์ ํ
- 8~9์ฃผ์ฐจ: ๋ชจ๋ธ ์ค๊ณ/๊ตฌํ ๋ฐ ํ์ต ํ๊ฒฝ ๊ตฌ์ถ
- 10~11์ฃผ์ฐจ: ๋ชจ๋ธ ํ์ต ๋ฐ ๊ฒ์ฆ, ํ๋
- ๋ชจ๋ธ์ ํ์ต ์ํฉ๊ณผ ์ฑ๋ฅ์ ๊ณ ๋ คํด ํ์ดํผํ๋ผ๋ฏธํฐ๋ฅผ ํ๋
- ๋ชจ๋ธ์ ์ํ๋ task์ ๋ง์ถ์ด fine-tuning ์งํ
- NAVER ํด๋ผ์ฐ๋ GPU ์๋ฒ ํน์ ๋ก์ปฌํ๊ฒฝ์์ ๋ชจ๋ธ ํ์ต ์งํ
- 12์ฃผ์ฐจ: ๋ชจ๋ธ ํ ์คํธ ๋ฐ Metric ์ธก์
- 13์ฃผ์ฐจ: ๋ฒ ํ ํ
์คํธ ๋ฐ ํผ๋๋ฐฑ, ์ถํ ๋ฐ์ ๋ฐฉํฅ ๋ชจ์
- ๋ค์ํ ์ง์ ๋ฐฐ๊ฒฝ์ ๊ฐ์ง ์ฌ๋๋ค์๊ฒ ๋ฒ ํ ํ ์คํธ๋ฅผ ์ ๊ณตํ๊ณ ํผ๋๋ฐฑ์ ๋ฐ์ ๋ชจ๋ธ์ ๊ฐ์ ๋ฐฉํฅ์ ๋ชจ์.
๋ณธ ํ๋ก์ ํธ์ ์ต์ข ๋ชฉํ๋ฅผ ๋ ๊ฐ์ง๋ก ๋๋ ์ ์๋ค. ์ฒซ์งธ, ๊ฐ๋ณ ํฌ์์๋ค์ด ์ง๋ฉดํ ์ฌ๋ฌ ๊ธ์ต ์์ฅ ์ง์ ์ฅ๋ฒฝ์ ์์ ๋ ๊ฒ์ด๋ค. ๋์งธ, ๊ธ์ต์ํ๊ณผ ๊ฒฝ์ ์ ๋ํ ์ดํด๊ฐ ์ ์ ๊ฐ๋ณ ํฌ์์๋ค์๊ฒ ๊ธ์ต ์์ฅ๊ณผ ๊ธ์ต ์ํ์ ๋ํ ์ดํด๋ฅผ ๋์์ผ๋ก์จ ํฉ๋ฆฌ์ ์ธ ๊ธ์ต ํฌ์์ ๊ธ์ต ์์ฅ์ ๊ฑด์ ์ฑ์ ํ๋ํ๋ ๊ฒ์ด๋ค. ์ต๊ทผ ์์ฐ์ด ์ฒ๋ฆฌ ๋ชจ๋ธ๋ค์ด ๋ฐ๋ฌํ๋ฉฐ, ๋ง์ ์ฐ๊ตฌ๊ฐ ์งํ๋ ์ธ์ด์ ๊ฒฝ์ฐ, ์ฌ๋์ด ์์ฑํ ๊ธ๊ณผ ๊ธฐ๊ณ๊ฐ ์์ฑํ ํ ์คํธ๋ฅผ ๊ตฌ๋ถํ๊ธฐ ์ด๋ ค์ธ ์ ๋๋ก ๋ฐ์ ํ ๋ชจ์ต์ ๋ณด์ธ๋ค. ๋ฒ๊ท์ ๋ง์ถ์ด ์์ฑ๋ ๊ธ์ต์ํ ์ค๋ช ์์ ๋ณ์น์ฑ์ด ์ ์ ํน์ฑ๊ณผ, ๊ตญ๋ฆฝ๊ตญ์ด์, ๊ณต๊ณต ๋ฐ์ดํฐ ํฌํธ ๋ฑ ๋ค์ํ ๊ธฐ๊ด์์ ์ ๊ณตํ๋ ์์ฐ์ด ๋ฐ์ดํฐ(Corpus)๋ฅผ ์ด์ฉํ์ฌ ๋ชจ๋ธ์ ๊ฐ๋ฐํ๋ฉด, ์ดํดํ๊ธฐ ์ฌ์ด ์ธ์ด๋ก ํ์ด์ ์ค์ ์ฌ์ฉ์๋ค์ด ์ฝ๊ด ๋ด์ฉ์ ์ดํดํ๋๋ฐ ๋์์ ์ค ์ ์์ ๊ฒ์ด๋ผ ๊ธฐ๋ํ๋ค. ๊ทธ๋ฆฌ๊ณ ์ด์ ๋ํ ์ฑ๊ณผ๋ ๋ชจ๋ธ์ ์ฌ์ฉ์๋ค์ด ์ป์ ํจ์ฉ๊ณผ ๋ง์กฑ๋๋ฅผ ํตํด ํ์ธํ๊ณ ํผ๋๋ฐฑ์ ์ป์ ์ ์์ ๊ฒ์ด๋ค.