โ† ๐Ÿ“š ์ด๋ฒˆ ์ฃผ Weekly Digest๋กœ ๋Œ์•„๊ฐ€๊ธฐ

DD-038 OmniLottie: Generating Vector Animations via Parameterized Lottie Tokens

arXiv: 2603.02138 ๊ธฐ๊ด€: Fudan University Upvotes: 134 | Comments: 4 ์ˆœ์œ„: ์ด๋ฒˆ ์ฃผ Top 3


1. ์™œ ์ด ๋…ผ๋ฌธ์ด ์ค‘์š”ํ•œ๊ฐ€?

๊ธฐ์กด์˜ ์ธ๊ณต์ง€๋Šฅ ์˜์ƒ ์ƒ์„ฑ ๋ชจ๋ธ๋“ค์€ ์ฃผ๋กœ ํ”ฝ์…€(Raster) ๊ธฐ๋ฐ˜์˜ ๋น„๋””์˜ค๋ฅผ ๋งŒ๋“ค์–ด๋‚ด๊ธฐ ๋•Œ๋ฌธ์—, ํ•ด์ƒ๋„๋ฅผ ํ‚ค์šฐ๋ฉด ํ™”์งˆ์ด ๊นจ์ง€๊ณ  ์ƒ์„ฑ๋œ ๊ฒฐ๊ณผ๋ฌผ์„ ์ˆ˜์ •ํ•˜๋ ค๋ฉด ๋‹ค์‹œ ๊ทธ๋ ค์•ผ ํ•˜๋Š” ์ˆ˜๋งŽ์€ ์–ด๋ ค์›€์ด ์žˆ์—ˆ์Šต๋‹ˆ๋‹ค. ์ด ๋…ผ๋ฌธ์€ ์›น๊ณผ ๋ชจ๋ฐ”์ผ ํ™˜๊ฒฝ์—์„œ ํ‘œ์ค€์ฒ˜๋Ÿผ ์“ฐ์ด๋Š” ๋ฒกํ„ฐ ์• ๋‹ˆ๋ฉ”์ด์…˜์ธ ๋กœํ‹ฐ(Lottie) ํ˜•์‹์„ ์ง์ ‘ ์ƒ์„ฑํ•จ์œผ๋กœ์จ, ํ…์ŠคํŠธ๋‚˜ ์ด๋ฏธ์ง€ ์ž…๋ ฅ๋งŒ์œผ๋กœ๋„ ์ˆ˜์ • ๊ฐ€๋Šฅํ•˜๊ณ  ์šฉ๋Ÿ‰์ด ์ž‘์€ ๊ณ ํ’ˆ์งˆ ์• ๋‹ˆ๋ฉ”์ด์…˜์„ ์ œ์ž‘ํ•  ์ˆ˜ ์žˆ๋Š” ๊ธธ์„ ์—ด์—ˆ์Šต๋‹ˆ๋‹ค.

2. ํ•ต์‹ฌ ์•„์ด๋””์–ด ์‰ฝ๊ฒŒ ์ดํ•ดํ•˜๊ธฐ

์ผ์ƒ์ƒํ™œ ๋น„์œ : โ€˜ํ”ฝ์…€โ€™ ๋Œ€์‹  โ€˜์กฐ๋ฆฝ์‹ ์„ค๊ณ„์„œโ€™

๊ธฐ์กด์˜ AI๊ฐ€ ์• ๋‹ˆ๋ฉ”์ด์…˜์„ ๋งŒ๋“œ๋Š” ๋ฐฉ์‹์€ ์ˆ˜์ฒœ ๊ฐœ์˜ ๋„ํŠธ(ํ”ฝ์…€)๋ฅผ ์ฐ์–ด์„œ ๊ทธ๋ฆผ์„ ๊ทธ๋ฆฌ๋Š” ๊ฒƒ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค. ์ด๋ ‡๊ฒŒ ๊ทธ๋ฆฐ ๊ทธ๋ฆผ์€ ํ™•๋Œ€ํ•˜๋ฉด ๊ณ„๋‹จ ํ˜„์ƒ์ด ์ƒ๊ธฐ๊ณ , โ€˜๋ˆˆ์˜ ์ƒ‰๊น”์„ ๋ฐ”๊พธ์žโ€™๊ณ  ํ•  ๋•Œ ๋ˆˆ์ด ์žˆ๋Š” ๋ชจ๋“  ๋„ํŠธ๋ฅผ ๋‹ค์‹œ ์น ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ๋ฐ˜๋ฉด, ์ด ๋…ผ๋ฌธ์—์„œ ์ œ์•ˆํ•˜๋Š” ๋ฐฉ์‹์€ โ€˜์กฐ๋ฆฝ์‹ ์žฅ๋‚œ๊ฐ ์„ค๊ณ„์„œโ€™๋ฅผ ์ž‘์„ฑํ•˜๋Š” ๊ฒƒ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค. โ€˜์›์„ 10cm ํฌ๊ธฐ๋กœ ๊ทธ๋ฆฌ๊ณ , 1์ดˆ์— 5cm์”ฉ ์˜ค๋ฅธ์ชฝ์œผ๋กœ ์ด๋™์‹œ์ผœ๋ผโ€™๋ผ๋Š” ์ฝ”๋“œ๋ฅผ ์ž‘์„ฑํ•˜๋ฉด, ์ด๋ฅผ ์ฝ๋Š” ํ”„๋กœ๊ทธ๋žจ์ด ์ƒํ™ฉ์— ๋งž์ถฐ ์™„๋ฒฝํ•œ ์„ ์„ ๊ทธ๋ ค์ค๋‹ˆ๋‹ค. OmniLottie๋Š” ๋ฐ”๋กœ ์ด โ€˜์„ค๊ณ„์„œโ€™๋ฅผ AI๊ฐ€ ์Šค์Šค๋กœ ์ž‘์„ฑํ•˜๊ฒŒ ํ•˜๋Š” ๊ธฐ์ˆ ์ž…๋‹ˆ๋‹ค.

๋‹จ๊ณ„๋ณ„ ๋™์ž‘ ์›๋ฆฌ

  1. ํ† ํฐํ™”(Tokenization): ๋ณต์žกํ•œ ๋ฒกํ„ฐ ๋„ํ˜•๊ณผ ๋ช…๋ น์–ด๋ฅผ ์ปดํ“จํ„ฐ๊ฐ€ ์ดํ•ดํ•˜๊ธฐ ์‰ฌ์šด ์ž‘์€ ์กฐ๊ฐ(Token)๋“ค๋กœ ์ชผ๊ฐญ๋‹ˆ๋‹ค. ๋งˆ์น˜ ์–ธ์–ด ๋ชจ๋ธ์ด ๋‹จ์–ด๋ฅผ ํ† ํฐ ๋‹จ์œ„๋กœ ์ฒ˜๋ฆฌํ•˜๋Š” ๊ฒƒ์ฒ˜๋Ÿผ, ์›์˜ ์œ„์น˜, ์ƒ‰์ƒ, ๊ณก๋ฅ  ๊ฐ™์€ ์ •๋ณด๋ฅผ ์ˆซ์ž ์ฝ”๋“œ๋กœ ๋ณ€ํ™˜ํ•ฉ๋‹ˆ๋‹ค.
  2. ํŒŒ๋ผ๋ฏธํ„ฐํ™”(Parameterization): ๋‹จ์ˆœํžˆ ๋„ํ˜•์˜ ๋ชจ์–‘๋งŒ ์ •์˜ํ•˜๋Š” ๊ฒƒ์ด ์•„๋‹ˆ๋ผ, ์‹œ๊ฐ„์˜ ํ๋ฆ„์— ๋”ฐ๋ฅธ ์›€์ง์ž„(์†๋„, ๊ฐ€์†๋„, ํˆฌ๋ช…๋„ ๋ณ€ํ™” ๋“ฑ)์„ ์ˆ˜ํ•™์  ํŒŒ๋ผ๋ฏธํ„ฐ๋กœ ํ‘œํ˜„ํ•ฉ๋‹ˆ๋‹ค. ์ด๋ฅผ ํ†ตํ•ด ๋Š๊น€ ์—†๋Š” ์ž์—ฐ์Šค๋Ÿฌ์šด ์›€์ง์ž„์„ ๋ณด์žฅํ•ฉ๋‹ˆ๋‹ค.
  3. ์˜คํ† ๋ฆฌ๊ทธ๋ ˆ์‹œ๋ธŒ(Autoregressive) ์ƒ์„ฑ: ์ด์ „ ํ† ํฐ ์ •๋ณด๋ฅผ ๋ฐ”ํƒ•์œผ๋กœ ๋‹ค์Œ ํ† ํฐ์„ ์ˆœ์ฐจ์ ์œผ๋กœ ์˜ˆ์ธกํ•ฉ๋‹ˆ๋‹ค. ์‚ฌ์šฉ์ž๊ฐ€ โ€˜ํŒŒ๋ž€์ƒ‰ ์ƒˆ๊ฐ€ ๋‚ ์•„๊ฐ„๋‹คโ€™๋Š” ํ…์ŠคํŠธ๋ฅผ ์ž…๋ ฅํ•˜๋ฉด, ๋ชจ๋ธ์€ ํ…์ŠคํŠธ์™€ ์ด๋ฏธ์ง€ ์ •๋ณด๋ฅผ ๋ณด๊ณ  ๊ฐ€์žฅ ์ ์ ˆํ•œ ๋‹ค์Œ ์• ๋‹ˆ๋ฉ”์ด์…˜ ์ฝ”๋“œ๋ฅผ ํ•˜๋‚˜์”ฉ ์ด์–ด์„œ ์™„์„ฑ๋œ ๋กœํ‹ฐ ํŒŒ์ผ์„ ๋งŒ๋“ค์–ด๋ƒ…๋‹ˆ๋‹ค.

ํ•ต์‹ฌ ์•Œ๊ณ ๋ฆฌ์ฆ˜

์ด ๋…ผ๋ฌธ์˜ ํ•ต์‹ฌ์€ ๋กœํ‹ฐ ํŒŒ์ผ์˜ ๊ตฌ์กฐ๋ฅผ ์‹œํ€ธ์Šค ๋ฐ์ดํ„ฐ๋กœ ๋ณ€ํ™˜ํ•˜์—ฌ ํŠธ๋žœ์Šคํฌ๋จธ(Transformer) ๊ธฐ๋ฐ˜์˜ ๋ชจ๋ธ๋กœ ํ•™์Šต์‹œํ‚จ ์ ์ž…๋‹ˆ๋‹ค. ๋ฒกํ„ฐ ๊ฒฝ๋กœ(Path) ๋ฐ์ดํ„ฐ์™€ ์• ๋‹ˆ๋ฉ”์ด์…˜ ์†์„ฑ(Property)์„ ํ†ตํ•ฉ๋œ ์–ดํœ˜์ง‘(Vocabulary)์œผ๋กœ ๊ด€๋ฆฌํ•˜๋ฉฐ, ์ด๋ฅผ ๋‹ค์ค‘ ๋ชจ๋“œ(Multi-modal) ์กฐ๊ฑด(ํ…์ŠคํŠธ, ์ด๋ฏธ์ง€, ๋น„๋””์˜ค)๊ณผ ๊ฒฐํ•ฉํ•˜์—ฌ ์กฐ๊ฑด๋ถ€ ํ™•์‚ฐ ๋ชจ๋ธ์ด๋‚˜ ๋””์ฝ”๋” ์ „์šฉ ํŠธ๋žœ์Šคํฌ๋จธ๋ฅผ ํ†ตํ•ด ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค.

3. ์‹คํ—˜ ๊ฒฐ๊ณผ ๋ถ„์„

๋ฒค์น˜๋งˆํฌ ๋ฐ ๋ฐ์ดํ„ฐ์…‹

์—ฐ๊ตฌ์ง„์€ ๋กœํ‹ฐ ์• ๋‹ˆ๋ฉ”์ด์…˜ ๋ฐ์ดํ„ฐ์…‹์ธ โ€˜MMLottie-2Mโ€™์„ ๊ตฌ์ถ•ํ•˜์—ฌ ํ•™์Šต์‹œ์ผฐ์œผ๋ฉฐ, ๋ชจ๋ธ์˜ ์„ฑ๋Šฅ์„ ํ‰๊ฐ€ํ•˜๊ธฐ ์œ„ํ•ด โ€˜MMLottieBenchโ€™๋ผ๋Š” ์ƒˆ๋กœ์šด ๋ฒค์น˜๋งˆํฌ๋ฅผ ์ œ์•ˆํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด ๋ฒค์น˜๋งˆํฌ๋Š” ํ…์ŠคํŠธ-๋กœํ‹ฐ, ํ…์ŠคํŠธ-์ด๋ฏธ์ง€-๋กœํ‹ฐ, ๋น„๋””์˜ค-๋กœํ‹ฐ ๋ณ€ํ™˜ ๋“ฑ ๋‹ค์–‘ํ•œ ์ž‘์—…์„ ํฌํ•จํ•ฉ๋‹ˆ๋‹ค.

๊ธฐ์กด SOTA(State-of-the-art) ๋Œ€๋น„ ์„ฑ๋Šฅ

๋ฒกํ„ฐ ์• ๋‹ˆ๋ฉ”์ด์…˜ ์ƒ์„ฑ ๋ฐ ํŽธ์ง‘ ๊ฐ€๋Šฅ์„ฑ ์ธก๋ฉด์—์„œ ๊ธฐ์กด ํ”ฝ์…€ ๊ธฐ๋ฐ˜ ์ƒ์„ฑ ๋ชจ๋ธ(Video Diffusion Models ๋“ฑ)๊ณผ ๋น„๊ตํ–ˆ์„ ๋•Œ, ์••๋„์ ์ธ ์ˆ˜์ • ํŽธ์˜์„ฑ๊ณผ ๊นจ์ง ์—†๋Š” ํ™•๋Œ€ ์„ฑ๋Šฅ์„ ๋ณด์—ฌ์ฃผ์—ˆ์Šต๋‹ˆ๋‹ค. ์ •๋Ÿ‰์  ์ˆ˜์น˜๋กœ๋Š” CLIP Score(ํ…์ŠคํŠธ์™€ ์ด๋ฏธ์ง€์˜ ์ผ์น˜๋„)์—์„œ ์•ฝ 5~8% ์ด์ƒ์˜ ํ–ฅ์ƒ์„ ๋ณด์˜€์œผ๋ฉฐ, FVD(Frรฉchet Video Distance) ์ง€ํ‘œ์—์„œ๋„ ๋” ๋‚ฎ์€ ์ ์ˆ˜๋ฅผ ๊ธฐ๋กํ•˜์—ฌ ์ž์—ฐ์Šค๋Ÿฌ์šด ์›€์ง์ž„์„ ์ƒ์„ฑํ•จ์„ ์ž…์ฆํ–ˆ์Šต๋‹ˆ๋‹ค.

์ฃผ๋ชฉํ•  ๋งŒํ•œ ์„ฑ๊ณผ

ํŠนํžˆ โ€˜๋น„๋””์˜ค-ํˆฌ-๋กœํ‹ฐ(Video-to-Lottie)โ€™ ์ž‘์—…์—์„œ ์‹ค์‚ฌ ์˜์ƒ์„ ๊น”๋”ํ•œ ๋ฒกํ„ฐ ์Šคํƒ€์ผ์˜ ์• ๋‹ˆ๋ฉ”์ด์…˜์œผ๋กœ ๋ณ€ํ™˜ํ•˜๋Š” ์„ฑ๋Šฅ์ด ๋›ฐ์–ด๋‚ฌ์Šต๋‹ˆ๋‹ค. ๊ธฐ์กด ๋ฐฉ์‹๋“ค์ด ๋‹จ์ˆœํ•œ ์—ฃ์ง€ ๊ฒ€์ถœ์— ๊ทธ์ณค๋‹ค๋ฉด, OmniLottie๋Š” ์˜์ƒ์˜ ์˜๋ฏธ๋ฅผ ํŒŒ์•…ํ•˜์—ฌ ๋ฒกํ„ฐ ์š”์†Œ๋กœ ์ตœ์ ํ™”ํ•˜์—ฌ ์žฌ๊ตฌ์„ฑํ•ด๋ƒˆ์Šต๋‹ˆ๋‹ค.

4. ํ•œ๊ณ„์ ๊ณผ ํ–ฅํ›„ ์—ฐ๊ตฌ ๋ฐฉํ–ฅ

์ €์ž๊ฐ€ ์–ธ๊ธ‰ํ•œ ํ•œ๊ณ„

๋งค์šฐ ๊ธด ์‹œ๊ฐ„์˜ ์• ๋‹ˆ๋ฉ”์ด์…˜(Long-duration generation)์„ ์ƒ์„ฑํ•  ๋•Œ, ์‹œ๊ฐ„์ด ์ง€๋‚ ์ˆ˜๋ก ๋ฌผ์ฒด์˜ ํ˜•ํƒœ๊ฐ€ ๋ญ‰๊ฐœ์ง€๊ฑฐ๋‚˜ ๋งฅ๋ฝ์ด ์ผ์น˜ํ•˜์ง€ ์•Š๋Š” โ€˜์‹œ๊ฐ„์  ์ผ๊ด€์„ฑ(Temporal Consistency)โ€™ ์ด์Šˆ๊ฐ€ ์กด์žฌํ•ฉ๋‹ˆ๋‹ค. ๋˜ํ•œ, ๋ณต์žกํ•œ ๋ฐฐ๊ฒฝ๊ณผ ์—ฌ๋Ÿฌ ๋ฌผ์ฒด๊ฐ€ ์ƒํ˜ธ์ž‘์šฉํ•˜๋Š” ์žฅ๋ฉด์—์„œ๋Š” ๊ฐ์ฒด ๊ฐ„์˜ ๊ด€๊ณ„๋ฅผ ์ •ํ™•ํžˆ ๋ชจ๋ธ๋งํ•˜๊ธฐ์— ์–ด๋ ค์›€์ด ์žˆ์Šต๋‹ˆ๋‹ค.

๊ฐœ์„  ๊ฐ€๋Šฅํ•œ ์ 

ํ–ฅํ›„ ์—ฐ๊ตฌ์—์„œ๋Š” ๋” ๊ธด ์ปจํ…์ŠคํŠธ๋ฅผ ์ฒ˜๋ฆฌํ•  ์ˆ˜ ์žˆ๋Š” ๋ชจ๋ธ ์•„ํ‚คํ…์ฒ˜ ๊ฐœ๋ฐœ๊ณผ, ๋ฌผ๋ฆฌ ์—”์ง„(Physics Engine)์„ ๊ฒฐํ•ฉํ•˜์—ฌ ์ค‘๋ ฅ์ด๋‚˜ ์ถฉ๋Œ ๊ฐ™์€ ๋ฌผ๋ฆฌ์  ๋ฒ•์น™์„ ๋ฒกํ„ฐ ์• ๋‹ˆ๋ฉ”์ด์…˜์— ๋ฐ˜์˜ํ•˜๋Š” ๋ฐฉํ–ฅ์œผ๋กœ ๋ฐœ์ „ํ•  ๊ฒƒ์ž…๋‹ˆ๋‹ค. ๋˜ํ•œ, ์‚ฌ์šฉ์ž๊ฐ€ ์ƒ์„ฑ๋œ ๋กœํ‹ฐ ํŒŒ์ผ์˜ ํŠน์ • ๋ถ€๋ถ„์„ ํด๋ฆญํ•ด์„œ ์ง์ ‘ ์ˆ˜์ •ํ•  ์ˆ˜ ์žˆ๋Š” ์ƒํ˜ธ์ž‘์šฉ ์ธํ„ฐํŽ˜์ด์Šค์˜ ๊ณ ๋„ํ™”๋„ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.

5. ์‹ค๋ฌด ์ ์šฉ ๊ฐ€๋Šฅ์„ฑ

๋ฐ”๋กœ ์ ์šฉ ๊ฐ€๋Šฅํ•œ ๋ถ„์•ผ

UI/UX ๋””์ž์ธ ๋ถ„์•ผ์—์„œ ๊ฐ€์žฅ ๋จผ์ € ํ™œ์šฉ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋ฒ„ํŠผ์„ ํด๋ฆญํ–ˆ์„ ๋•Œ์˜ ๋ฐ˜์‘์ด๋‚˜ ๋กœ๋”ฉ ํ™”๋ฉด๊ณผ ๊ฐ™์€ ๋งˆ์ดํฌ๋กœ ์ธํ„ฐ๋ž™์…˜(Micro-interaction)์„ ํ…์ŠคํŠธ ํ”„๋กฌํ”„ํŠธ ํ•˜๋‚˜๋กœ ์ฆ‰์‹œ ์ƒ์„ฑํ•˜์—ฌ ๋””์ž์ด๋„ˆ์˜ ์—…๋ฌด ํšจ์œจ์„ ํš๊ธฐ์ ์œผ๋กœ ๋†’์ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋˜ํ•œ, ๋งˆ์ผ€ํŒ… ํŒ€์ด ์ œํ’ˆ ํ™๋ณด์šฉ ๋ชจ์…˜ ๊ทธ๋ž˜ํ”ฝ์„ ์ €๋ ดํ•œ ๋น„์šฉ๊ณผ ์งง์€ ์‹œ๊ฐ„ ์•ˆ์— ๋Œ€๋Ÿ‰์œผ๋กœ ์ œ์ž‘ํ•˜๋Š” ๋ฐ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

ํ•„์š”ํ•œ ๋ฆฌ์†Œ์Šค

์ด ๋ชจ๋ธ์„ ํ•™์Šต์‹œํ‚ค๊ธฐ ์œ„ํ•ด์„œ๋Š” ๋Œ€๊ทœ๋ชจ์˜ ๊ณ ํ’ˆ์งˆ ๋กœํ‹ฐ ๋ฐ์ดํ„ฐ์™€ A100๊ณผ ๊ฐ™์€ ๊ณ ์„ฑ๋Šฅ GPU ํด๋Ÿฌ์Šคํ„ฐ๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ, ํ•™์Šต๋œ ๋ชจ๋ธ์„ ์ถ”๋ก (Inference) ๋‹จ๊ณ„์—์„œ ์‚ฌ์šฉํ•˜๋Š” ๊ฒƒ์€ ๋น„๊ต์  ๊ฐ€๋ฒผ์šด ์ž‘์—…์ด๋ฏ€๋กœ, ์ผ๋ฐ˜์ ์ธ ํด๋ผ์šฐ๋“œ ํ™˜๊ฒฝ์ด๋‚˜ ์‹ฌ์ง€์–ด ์˜จํ”„๋ ˆ๋ฏธ์Šค ์„œ๋ฒ„์—์„œ๋„ ์‹ค์‹œ๊ฐ„ ์ƒ์„ฑ ์„œ๋น„์Šค๋ฅผ ์šด์˜ํ•˜๋Š” ๊ฒƒ์ด ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.

6. ์ด ๋…ผ๋ฌธ์„ ์ดํ•ดํ•˜๊ธฐ ์œ„ํ•œ ์‚ฌ์ „ ์ง€์‹

  • ๋กœํ‹ฐ(Lottie): Airbnb์—์„œ ๋งŒ๋“  JSON ๊ธฐ๋ฐ˜์˜ ๋ฒกํ„ฐ ์• ๋‹ˆ๋ฉ”์ด์…˜ ํŒŒ์ผ ํ˜•์‹์œผ๋กœ, ์šฉ๋Ÿ‰์ด ์ž‘๊ณ  ๋ชจ๋“  ํ•ด์ƒ๋„์—์„œ ๊นจ์ง€์ง€ ์•Š์•„ ์›น๊ณผ ๋ชจ๋ฐ”์ผ ์• ๋‹ˆ๋ฉ”์ด์…˜์˜ ํ‘œ์ค€์œผ๋กœ ์‚ฌ์šฉ๋ฉ๋‹ˆ๋‹ค.
  • ๋ฒกํ„ฐ ๊ทธ๋ž˜ํ”ฝ์Šค(Vector Graphics): ์ด๋ฏธ์ง€๋ฅผ ์ (ํ”ฝ์…€)์˜ ์ง‘ํ•ฉ์ด ์•„๋‹ˆ๋ผ ์ˆ˜ํ•™์  ๊ณก์„ ๊ณผ ์ ์˜ ์ •๋ณด๋กœ ์ €์žฅํ•˜๋Š” ๋ฐฉ์‹์œผ๋กœ, ํฌ๊ธฐ๋ฅผ ๋Š˜๋ ค๋„ ํ™”์งˆ์ด ์†์ƒ๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.
  • ์˜คํ† ๋ฆฌ๊ทธ๋ ˆ์‹œ๋ธŒ ๋ชจ๋ธ(Autoregressive Model): ์ด์ „์˜ ๋ฐ์ดํ„ฐ๋“ค์„ ๋ฐ”ํƒ•์œผ๋กœ ๋‹ค์Œ์— ์˜ฌ ๋ฐ์ดํ„ฐ๋ฅผ ์ˆœ์ฐจ์ ์œผ๋กœ ์˜ˆ์ธกํ•˜๋Š” ๋ฐฉ์‹์˜ ๋ชจ๋ธ๋กœ, ์ฑ—GPT ๊ฐ™์€ ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ์ด ์ด ๋ฐฉ์‹์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.
  • ๋ฒกํ„ฐ ์–‘์žํ™”(VQ-VAE): ์—ฐ์†์ ์ธ ๋ฐ์ดํ„ฐ๋ฅผ ์‚ฌ์ „์— ์ •ํ•ด์ง„ ์ฝ”๋“œ๋ถ์˜ ์ด์‚ฐ์ ์ธ ์ฝ”๋“œ(์ธ๋ฑ์Šค)๋กœ ๋ณ€ํ™˜ํ•˜๋Š” ์••์ถ• ๊ธฐ๋ฒ•์œผ๋กœ, ์ด๋ฏธ์ง€๋‚˜ ์˜์ƒ์„ ํ† ํฐํ™”ํ•  ๋•Œ ์ž์ฃผ ์“ฐ์ž…๋‹ˆ๋‹ค.
  • ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ(Multimodal): ํ…์ŠคํŠธ, ์ด๋ฏธ์ง€, ์˜ค๋””์˜ค ๋“ฑ ์„œ๋กœ ๋‹ค๋ฅธ ์ข…๋ฅ˜์˜ ๋ฐ์ดํ„ฐ๋ฅผ ํ†ตํ•ฉ์ ์œผ๋กœ ์ฒ˜๋ฆฌํ•˜๊ณ  ์ดํ•ดํ•˜๋Š” ์ธ๊ณต์ง€๋Šฅ ๊ธฐ์ˆ ์„ ์˜๋ฏธํ•ฉ๋‹ˆ๋‹ค.
  • ํŠธ๋žœ์Šคํฌ๋จธ(Transformer): ์ž…๋ ฅ ๋ฐ์ดํ„ฐ ๊ฐ„์˜ ๊ด€๊ณ„๋ฅผ โ€˜์–ดํ…์…˜(Attention)โ€™ ๋ฉ”์ปค๋‹ˆ์ฆ˜์„ ํ†ตํ•ด ํ•™์Šตํ•˜๋Š” ๋”ฅ๋Ÿฌ๋‹ ๋ชจ๋ธ ๊ตฌ์กฐ๋กœ, ํ˜„๋Œ€ AI์˜ ํ•ต์‹ฌ ๊ธฐ๋ฐ˜์ด ๋ฉ๋‹ˆ๋‹ค.

๐Ÿ“š ์ด๋ฒˆ ์ฃผ ๊ด€๋ จ Deep Dive

์ˆœ์œ„๋…ผ๋ฌธDeep Dive
๐Ÿฅ‡Utonia: Toward One Encoder for All โ€ฆDD-036
๐ŸฅˆHeterogeneous Agent Collaborative Rโ€ฆDD-037
๐Ÿฅ‰OmniLottie: Generating Vector Animaโ€ฆ๐Ÿ“ ํ˜„์žฌ ๋ฌธ์„œ
4.Helios: Real Real-Time Long Video Gโ€ฆDD-039
5.From Scale to Speed: Adaptive Test-โ€ฆDD-040

๐Ÿ“… ์ƒ์„ฑ์ผ: 2026-03-08 | ๐Ÿค– GLM-4.7 Deep Dive