[๊น์ ํธ์ AI์๋์ ์ ๋ต]
โป์น์ ํ ๋ชฉ์๋ฆฌ์ AIโฆ ์ด์ ๊ณง ๋
ธ์ธ๋ ์ด๋ ต์ง ์๊ฒ ์ฃผ๋ฌธ ๊ฐ๋ฅ
โป์ธ๊ฐ๊ณผ ๋ํ๋ก ํ์ตํ AI๋ ์ฌ๋์ ์๊ฐ๊ณผ ํ๋๋ ์์ธก
โป์ธ๊ณ๋ โ๊ตญ์ ํ์ค์ดโ ์ ์์คโฆ ํ์ง ๋์ ์ธ์ด๋ ์๋ฉธํ ์๋
์์ฆ ์๋น์ ์์ผ๋ฉด ์ ์ผ ๋จผ์ ํ
์ด๋ธ์ ๋์ธ โํค์ค์คํฌโ๋ก ์์์ ์ฃผ๋ฌธํ๊ณ ์ ์ฉ์นด๋๋ก ๊ฒฐ์ ๋ฅผ ํ๋ค. ์ ๋ฆฌํ์ผ๋ก ๋ง๋ค์ด์ง ํค์ค์คํฌ ํ๋ฉด์๋ ์น์ ํ ํ์ ๋ ์๊ณ ๋ฐ๋ปํ ๋ํ๋ ์๋ค. ์ฌ์ฉ๋ฒ๋ ์ง๊ด์ ์ด์ง ์๊ณ ๋ณต์กํ๋ค. ๋ถํธํ๋ค.
์ด๋ ๊ฒ ํค์ค์คํฌ ํฐ์น์คํฌ๋ฆฐ ๋๋ฌธ์ ๋์งํธ์ ์ต์ํ์ง ์์ ์ธ๋๋ ๊ณ ํต์ ๋ฐ๋๋ค.
ํ์ง๋ง ๋คํํ๋ ๊ฐ๊น์ด ๋ฏธ๋์ ์ธ๊ณต์ง๋ฅ ๋๋ถ์ ํค์ค์คํฌ ์คํธ๋ ์ค์์ ํด๋ฐฉ๋ ์ ์์ ๋ฏํ๋ค.
์์ฑํ ์ธ๊ณต์ง๋ฅ์ ํ ์ข
๋ฅ์ธ โ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ(LLM: Large Language Model)โ ๋๋ถ์ ๋ณต์กํ ํฐ์น ์์ด ์ธ๊ณต์ง๋ฅ๊ณผ์ ํธ์ํ ๋ํ(ๅฐ่ฉฑ)๋ฅผ ํตํด์ ๋ง์๋ ์์์ ์ฃผ๋ฌธํ ์ ์์ ๊ฒ์ด๊ธฐ ๋๋ฌธ์ด๋ค.
LLM์ ๋จธ์ง์์ ์ธ๊ฐ์ฒ๋ผ ๋ง์ ์ฐฐ๋ก๊ฐ์ด ์์๋ฃ๊ณ , ์์๋ฃ๊ธฐ ์ฝ๊ฒ ์ค๋ช
๋ ํ ์ ์์ ๊ฒ์ด๋ค.
ํ๊ฑธ์ ๋ ๋์๊ฐ ์ธ๊ฐ์ ๋์์ ๋ฒ์ด์ง๋ ์ธ์ด์ ์ถ์ํ ๊ณผ์ ์กฐ์ฐจ๋ ์ธ๊ฐ์ฒ๋ผ ์ธ๊ณต์ง๋ฅ๋ง ์์์ ์ฌํํด๋ผ ์ ์๋ค.
๊ถ๊ทน์ ์ผ๋ก ์ธ๊ฐ๊ณผ ๋์์์ด ๋ํํ๋ฉด์ ์ธ๊ฐ์ ์๊ฐ์ ํ์
ํ๊ณ ์์ธกํ๊ฒ ๋๋ค. ๊ฒฐ๊ตญ ์ธ๊ฐ์ ์๋ง์์ ์๊ฒ ๋๋ ๊ฒ์ด๋ค.
๋ง์ง๋ง์๋ ์ธ๊ฐ๊ณผ์ ๋ํ๋ฅผ ํตํด์ ์ธ๊ณต์ง๋ฅ์ ์๊ฐ์ ์ธ๊ฐ์๊ฒ ์ฃผ์
ํ ์๋ ์๋ค.
๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ์ธ LLM์ ํ์ต ๊ณผ์ ์์ ๊ฐ ๋จ์ด ๊ฐ์ ๊ด๊ณ๋(Attention)๋ฅผ ์ค์ ์ ์ผ๋ก ํ์ตํ๊ณ ๊ธฐ๋กํ๋ค.
๋จ์ด์ ๋ฌธ์ฅ ์ฌ์ด ๋ฌธ๋งฅ์ ์ตํ๋ ๊ฒ์ด๋ค. ๊ทธ๋ฆฌ๊ณ ์ธ์ด์์๋ ๋จ์ด์ ์์น์ ๋ฐ๋ผ์ ์๋ฏธ๊ฐ ๋ฐ๋๊ธฐ๋ ํ๋ค. ๊ทธ๋์ ๋จ์ด์ ์์น ์ ๋ณด(Positional Encoding)๋ ํจ๊ป ์
๋ ฅํ๊ณ ํ์ตํ๋ค.
์ด๋ฅผ ํตํด์ ์ข
ํฉ์ ์ธ ๋ฌธํด๋ ฅ(ๆ่งฃๅ)์ ๊ฐ๊ฒ ๋๋ ๊ฒ์ด๋ค. ์ด๋ฌํ ๊ณผ์ ์ โ์ฌ์ ํ์ต(Pre-training)โ์ด๋ผ ๋ถ๋ฅธ๋ค.
๊ทธ๋ฆฌ๊ณ ์ด๋ ๊ฒ ๋ง๋ค์ด์ง ์ธ์ด ๋ชจ๋ธ์ด ๋ฐ๋ก โ๊ธฐ๋ฐ ๋ชจ๋ธ(Foundation Model)โ์ด ๋๋ค. ์ด๋ ์๋ง๋์ GPU์ ๋ฉ๋ชจ๋ฆฌ ๋ฐ๋์ฒด๊ฐ ํ์ํ๋ค.
ํ์ต ์๊ฐ๋ ์๊ฐ์์ด ๊ฑธ๋ฆฐ๋ค. ๊ทธ๋ฌ๊ณ ๋์ ์ด๋ฌํ ๊ธฐ๋ฐ ๋ชจ๋ธ์ ์ ๋ฌธ ๋ถ์ผ ํ์ต์ด ์ถ๊ฐ๋๋ค.
์๋ฅผ ๋ค๋ฉด ์ ์น, ๊ฒฝ์ , ๊ณตํ, ์ํ, ๋ฒ๋ฅ ๋ฑ ์ ๋ฌธ ๋ถ์ผ ๊ธ๋ค์ ์ง์ค ํ์ตํ๋ค. ๊ทธ๋ฌ๋ฉด ์ ๋ฌธ ์ธ์ด ๋ชจ๋ธ์ด ํ์ํ๊ฒ ๋๋ค. ์ด ๊ณผ์ ์ โ๋ฏธ์ธ ์กฐ์ ํ์ต(Fine Tuning)โ์ด๋ผ๊ณ ๋ถ๋ฅธ๋ค.
์ด๋ ๊ฒ ํ์ํ LLM์ ์ฃผ์ด์ง ๋ฌธ๋งฅ์ ๊ฐ์ฅ ํ๋ฅ ์ ์ผ๋ก ์ ํฉํ ๋จ์ด๋ค์ ์์๋๋ก ์์ฑํด ๋ธ๋ค.
๊ทธ ๊ฒฐ๊ณผ ์ ๋ฌธ ๋ถ์ผ์ ๊ธ์ ์ธ ์ ์๋ค. ๊ทธ๋ด๋ฏํ ์๋ ์ธ ์ ์๋ค. ๊ธ์ ๋ชฉ์๋ฆฌ๋ฅผ ์
ํ๋ฉด ์ฌ๋์ด ๋งํ๋ฏ ๋ํํ ์ ์๋ค.
๊ฒฐ๊ตญ ์ด ๋จ์ ์งง์ ์๊ฐ์ ์๋ฌธ๋ ํ๊ณ , ๋ณด๊ณ ์๋ ์ฐ๊ณ , ์ฃผ๋ฌธ๋ ๋ฐ๊ณ , ์๋ด๋ ํ๊ณ , ๊ฐ์๋ ํ๋ฉด์ ์ง์๋ ํ๋ค. ์ธ๊ฐ์ด ๋์ ํ ๋ฐ๋ผ๊ฐ ์ ์๋ ์์ฐ์ฑ์ด ๊ตฌํ๋๋ค.

๊ทธ๋ํฝ=์ด์ฒ ์
์ธ๊ฐ์ ๋๋ฅผ ๋ฌผ๋ฆฌ์ ์ผ๋ก ๋ค์ฌ๋ค๋ณด๋ ๋ฐฉ๋ฒ์ผ๋ก MRI์ CT๊ฐ ์๋ค. ๋ ์์ ๋ ์์ ๋ฐ๋์ฒด๋ฅผ ์ง์ด๋ฃ์ด ๋ ์์ ์ ๊ธฐ์ ํธ๋ฅผ ํฌ์ฐฉํ๋ ค๊ณ ์๋ํ๋ค. ์ด๋ฅผ ๋ชฉ์ ์ผ๋ก ์ผ๋ก ๋จธ์คํฌ๋ ๊ธฐ์
๋ด๋ด๋งํฌ(Neuralink)๋ฅผ ์ฐฝ์
ํ๋ค.
ํ์ง๋ง ์ด๋ค ๊ธฐ์ ๋ ๋ ์์ ์๋ ์ ๊ฒฝ์ธํฌ ๋ด๋ฐ์ ์ ํธ๋ฅผ ์ก์๋ด์ง๋ ๋ชปํ๋ค. ์ธ๊ฐ์ ๋ ์์์ ์ผ์ด๋๋ ์ถ์ํ ๊ณผ์ ์ ์์๋ด์ง๋ ๋ชปํ๋ ๊ฒ์ด๋ค.
๊ทธ ์ถ์ํ ์์
์ด ์ธ์ด์ ํต์ฌ์ด๋ค. ์ด๋ฅผ ํตํด ๊ฐ๋
์ ์๋ก ์ ๋ฌํ๊ณ ๊ธฐ๋กํ๋ค. ์ด๋ฅผ ์ํด์๋ ์ฌ๊ณ (ๆ่)ํ๋ ๋ฅ๋ ฅ์ด ์์ด์ผ ํ๋ค. ๋ฏธ๋์๋ ์ธ๊ณต์ง๋ฅ๋ ์ธ์ด๋ฅผ ํตํ ์ถ์ํ ๋ฅ๋ ฅ์ ๊ฐ๊ฒ ๋ ๊ฒ์ผ๋ก ์์ํ๋ค.
์ธ์ด(่จ่ช)๋ ์ธ๊ฐ์ธ ํธ๋ชจ ์ฌํผ์์ค์ ๋ํ์ ํน์ฑ์ผ๋ก ๊ธฐ์์ ์ฝ 30,000~100,000 ๋
๊ฒฝ ์ง๊ตฌ์์ ์ถํํ ๊ฒ์ผ๋ก ์๋ ค์ ธ ์๋ค.
๊ทธ์ค์์๋ ์ฐ๋ฆฌ ๋ง์ โ์ฐ๋์ํ์ด(Ural-Altai) ์ด์กฑ(่ชๆ)โ์ผ๋ก ๋ถ๋ฅ๋๋ค๊ณ ํ์ฐฝ ์์ ์ ๋ฐฐ์ ๋ค. ํ์ง๋ง ์ค๋๋ ์๋ ์ํ์ด ์ด์กฑ ๋๋ ์ฐ๋์ํ์ด ์ด์กฑ์ ์กด์ฌ๋ฅผ ๋๊ณ ๋ ๋
ผ์์ด ๊ณ์๋๊ณ ์๋ค.
์ต๊ทผ์๋ ์ฐ๋ฆฌ๋ง์ด ์ ์๊ธฐ ์๋์ธ ์ฝ 9000 ๋
์ ์ ์ค๊ตญ ๋๋ถ๋ถ ์ํ ์ง์ญ์์ ์ ๋ํ๋ค๋ ์๋ก์ด ํ์ค์ด ์ ๊ธฐ๋๊ธฐ๋ ํ๋ค.
์ธ์ดํ, ๊ณ ๊ณ ํ, ์ ์ ์๋ฌผํ ๋ถ์ ์ฐ๊ตฌ๋ฅผ ํตํด์ ์ป์ ์ด ์ฐ๊ตฌ์์๋ ์ฐ๋ฆฌ๋ง์ด ๋์
๊ธฐ์ ๊ณผ ํจ๊ป ํ๋ฐ๋๋ก ์ ์
๋์ด ์ ํ๋์๋ค๊ณ ์ฃผ์ฅํ๋ค.
๋ง์ฐฌ๊ฐ์ง๋ก ์ง๊ธ ๋์งํธ ์๋์๋ ์ธ๊ณต์ง๋ฅ์ด ์ฐ๋ ์ธ์ด๋ ๋์งํธ ๊ฐ์๊ณต๊ฐ์์ ์ ํ๋๋ค. LLM๋ ์ธ๊ฐ์ ์ธ์ด์ฒ๋ผ ์ ํ๋๋ค. ๊ทธ๋ฆฌ๊ณ ์ฐ์ํ ์ธ์ด ๋ชจ๋ธ์ด ์ง๋ฐฐ์ ์ผ๋ก ์ฌ์ฉ๋๋ค.
์ธ์ด ๋ชจ๋ธ์ ์ฐ์์ฑ์ ๋ฐ๋ก ํ์ต์ ์ฌ์ฉ๋๋ ์ธ์ด ๋ฐ์ดํฐ์ ํ์ง์ ์ํด์๋ ์ข์ฐ๋๋ค.
ํ์ง์ด ์ข์ ๋ฐ์ดํฐ๋ ๋ฌธ๋ฒ, ์๋ฏธ, ๋ฌธ๋งฅ ๋ฑ์ ์ ๋ฐ์ํ๊ณ ์๋ ์์ฐ์ค๋ฌ์ด ๋ฌธ์ฅ์ผ๋ก ๊ตฌ์ฑ๋์ด์ผ ํ๋ค.
๋ํ ํด๋น ๋ถ์ผ ์ ๋ฌธ ์์ญ์ ์ธ์ด ๋ฐ์ดํฐ๊ฐ ์ถฉ๋ถํ ํฌํจ๋์ด์ผ ํ๋ค. ๊ทธ๋์ ํ๊ตญ์ด ๋ฐ์ดํฐ๋ก ํ์ตํ ์ธ๊ณต์ง๋ฅ์ ํ๊ตญ์ด๋ฅผ ์ํ๊ฒ ๋๋ค.
๋ฏธ๋์๋ ์ธ๊ณต์ง๋ฅ์ด ์ ์ฌ์ฉํ๋ ์ธ์ด๊ฐ โ๊ตญ์ ํ์ค์ดโ๊ฐ ๋ ์ ์๋ค. ๋๋จธ์ง ์ธ์ด๋ ์ง๊ตฌ์์์ ์์ํ ์ฌ๋ผ์ง ์๋ ์๋ค. โํ๊ธโ์ด ํนํ๋ ์ธ์ด ๊ธฐ์ด ๋ชจ๋ธ์ ๊ฐ๋ฐ์ด ์ค์ํ ์ด์ ๋ค.
๊ฐ๊ตญ ๊ธฐ์
๋ค์ด ๊ฐ์์ ์ธ์ด๋ฅผ ์งํค๊ธฐ ์ํด์ ์น์ดํ๊ฒ ๊ฒฝ์ํ๋ ๋ฐฐ๊ฒฝ์ด๊ธฐ๋ ํ๋ค. ์ด๋ฅผ ์ํด์๋ ์ฐ์ ์ธ๋ ฅ ํ๋ณด, ์ปดํจํ
์ธํ๋ผ ๊ตฌ์ถ, ๊ทธ๋ฆฌ๊ณ ์์ง์ ํ๊ธ ๋ฐ์ดํฐ ํ๋ณด๊ฐ ์๊ธํ๋ค.
์ธ๊ณต์ง๋ฅ๊ณผ ๋ํ๋ฅผ ์ํ๋ ์ธ๊ฐ ์ ๋ฌธ๊ฐ๋ฅผ โPrompt Engineerโ๋ผ๊ณ ๋ถ๋ฅธ๋ค. ์ธ์์ด ํ์ฐธ ์ง๋์ ์ธ๊ฐ ์ฌ์ด์ ๋ํ๋ ๋จ์ ๋๊ณ , ์ธ๊ณต์ง๋ฅ๊ณผ์ ๋ํ๋ง ๋จ์ ์๋ ์๋ค.
๋ ๋์๊ฐ ์ธ๊ณต์ง๋ฅ์ด ์ธ๊ฐ๊ณผ์ ๋ํ๋ฅผ ๊ฑฐ๋ถํ๊ณ ์ธ๊ณต์ง๋ฅ ์ฌ์ด์ ๋ํ๋ง์ ์ํ ์๋ ์๋ค. ์ธ๊ฐ ์ฌ์ด์ ์๋ด์ผ๋ก โ๊ฐ๋ ๋ง์ด ๊ณ ์์ผ ์ค๋ ๋ง์ด ๊ณฑ๋คโ๋ ์๋ด์ด ์๋ค. ์ธ๊ณต์ง๋ฅ๊ณผ์ ๋ํ์์๋ ๋ง์ฐฌ๊ฐ์ง์ผ ๊ฒ์ด๋ค.
๊น์ ํธ KAIST ์ ๊ธฐยท์ ์๊ณตํ๊ณผ ๊ต์
์ถ์ฒ: ์กฐ์ ์ผ๋ณด