SKÅÚ·¹ÄÞ(´ëÇ¥ÀÌ»ç CEO À¯¿µ»ó, www.sktelecom.com)Àº 11ÀÏ ¿ÀǼҽº Ä¿¹Â´ÏƼ Çã±ëÆäÀ̽º(Hugging Face)¿¡ µ¶ÀÚ ±¸Ãà LLMÀÎ ‘A.X(¿¡ÀÌ´å ¿¢½º) 3.1 ¶óÀÌÆ®’¸¦ °ø°³Çß´Ù°í ¹àÇû´Ù.
À̹ø¿¡ °ø°³ÇÑ ‘A.X 3.1 ¶óÀÌÆ®’´Â SKT°¡ ÇÁ·Ò ½ºÅ©·¡Ä¡(From Scratch) ¹æ½ÄÀ¸·Î ¸ðµ¨ ±¸Ãà°ú µ¥ÀÌÅÍ ÇнÀ µî Àü ´Ü°è¸¦ Á÷Á¢ ÁøÇàÇßÀ¸¸ç, 70¾ï °³(7B)ÀÇ ¸Å°³º¯¼ö¸¦ ±â¹ÝÀ¸·Î ÇÏ´Â °æ·® ¸ðµ¨ÀÌ´Ù.
‘A.X 3.1 ¶óÀÌÆ®’´Â ±âÁ¸ ¿¡ÀÌ´å ÀüÈ ÅëÈ¿ä¾à¿¡ Àû¿ëÇß´ø A.X 3.0 ¶óÀÌÆ® ¸ðµ¨ÀÇ ¾÷±×·¹ÀÌµå ¹öÀüÀ¸·Î, ÀüÀÛÀÇ °Á¡ÀÎ °æ·®ÈµÈ ¼º´É°ú ³ôÀº È¿À²¼ºÀ» À̾î¹Þ¾Ò´Ù.
ÀÌ·¯ÇÑ ÀåÁ¡Àº Á¤º¸ ó¸® ¿ë·®, ¼Òºñ Àü·Â µî ´Ù¾çÇÑ »ç¾çÀÇ ¸ð¹ÙÀÏ ±â±â¿¡¼ ÃÖÀûÀÇ Ç°ÁúÀ» ±¸ÇöÇÒ ¼ö ÀÖµµ·Ï ÇØ ±â¾÷µéÀÇ ¿øÈ°ÇÑ ¼ºñ½º Á¦°ø¿¡ ±â¿©ÇÒ ¼ö ÀÖÀ» °ÍÀ¸·Î ±â´ëµÈ´Ù.
¶ÇÇÑ ‘A.X 3.1 ¶óÀÌÆ®’´Â °°Àº ±Ô¸ðÀÇ ¸Å°³º¯¼ö¸¦ ¹ÙÅÁÀ¸·Î ÇÏ´Â ÀڸŠLLMÀÎ ‘A.X 4.0 ¶óÀÌÆ®’¿Í µ¿µîÇÑ ¼öÁØÀÇ ¿ì¼öÇÑ Çѱ¹¾î 󸮴ɷÂÀ» °®Ãè´Ù.
´ëÇ¥ÀûÀÎ Çѱ¹¾î ´É·Â Æò°¡ º¥Ä¡¸¶Å©ÀÎ KMMLU¿¡¼ ‘A.X 3.1 ¶óÀÌÆ®’(61.70)´Â ‘A.X 4.0 ¶óÀÌÆ®’(64.15)´ëºñ 96% ¼öÁØÀÇ ¼º´ÉÀ» ³ªÅ¸³Â°í, Çѱ¹¾î ¹× Çѱ¹ ¹®È º¥Ä¡¸¶Å©ÀÎ CLIcK¿¡¼´Â ‘A.X 3.1 ¶óÀÌÆ®’(71.22)°¡ ‘A.X 4.0 ¶óÀÌÆ®’(69.97) ´ëºñ 102% ¼öÁØÀÇ ¼º´ÉÀ» ±â·ÏÇß´Ù.
SKT´Â ÇâÈÄ º¸À¯ LLMÀ» ²ÙÁØÈ÷ ¿ÀǼҽº·Î °ø°³ÇÒ ¿¹Á¤À¸·Î, ‘A.X 3.1 ¶óÀÌÆ®’ ÈļÓÀÎ ¸Å°³º¯¼ö 340¾ï °³(34B)ÀÇ ÇÁ·Ò ½ºÅ©·¡Ä¡ ¸ðµ¨ÀÎ A.X 3.1¿ª½Ã ÀÌ´Þ Áß ¹ßÇ¥ÇÒ ¿¹Á¤ÀÌ´Ù.
¼ø¼ö ÀÚü°³¹ß A.X 3 ¸ðµ¨°ú ´ë±Ô¸ð ÇнÀ ±â¹Ý A.X 4 ¸ðµ¨ ‘Åõ Æ®·¢ Àü·«’
SKT´Â ÇÁ·Ò ½ºÅ©·¡Ä¡ ¹æ½Ä °³¹ß µî LLM °ü·Ã ±â¼ú ¿ª·®À» Áö¼Ó °íµµÈÇÒ ¿¹Á¤ÀÌ´Ù.
SKT´Â 2018³âºÎÅÍ AI ¾ð¾î ¸ðµ¨À» °³¹ßÇØ 2019³â KoBERT¸¦ °í°´¼¾ÅÍ Ãªº¿ µî¿¡ Ȱ¿ëÇϱ⠽ÃÀÛÇß°í, 2020³â ±¹³» ÃÖÃÊ·Î GPT2¸¦ Çѱ¹¾î·Î °³¹ßÇØ ¿ÀǼҽº·Î °ø°³ÇÑ ¹Ù ÀÖ´Ù.
2022³â ¼±º¸ÀÎ A.(¿¡ÀÌ´å) ¼ºñ½º¿¡´Â ÀÚü °³¹ßÇÑ A.X ¸ðµ¨À» Àû¿ëÇØ ÀÚÀ¯ ÁÖÁ¦·Î ´ëȰ¡ °¡´ÉÇÏ°Ô ÇßÀ¸¸ç, 2024³â A.X 3.0 ¸ðµ¨À» ¿¡ÀÌ´å ÀüÈ ÅëÈ¿ä¾à ±â´É¿¡ Àû¿ëÇϱ⵵ Çß´Ù.
¾ÕÀ¸·Îµµ SKT´Â A.X 3 °è¿ÀÇ ¼Ò¹ö¸° AI ¸ðµ¨·Î ÀÚ»ý·Â ÀÖ´Â ±â¼úÀ» °®Ãß´Â µ¿½Ã¿¡, ÃÖÀûÈµÈ ¼º´É•È¿À²ÀÌ ÇÊ¿äÇÑ ¿µ¿ª¿¡´Â ´ë±Ô¸ð ÇнÀ(CPT, Continual Pre-Training)¿¡ ±â¹ÝÇÑ A.X 4 °è¿ ¸ðµ¨À» Ȱ¿ëÇÒ ¿¹Á¤ÀÌ´Ù.
ÀÌ·¯ÇÑ Åõ Æ®·¢(Two Track) Àü·«À» ÅëÇØ ±¹³» ±â¾÷µéÀÌ °¢ÀÚÀÇ È¯°æ¿¡¼ AI ±â¼úÀ» º¸´Ù ½±°Ô Ȱ¿ëÇÒ ¼ö ÀÖ´Â ´Ù¾çÇÑ ¼±ÅÃÁö¸¦ Á¦°øÇÑ´Ù´Â ¹æÄ§ÀÌ´Ù. ¶ÇÇÑ ±âÁ¸ ¸ðµ¨ÀÇ ¼º´ÉÀ» ´ëÆø Çõ½ÅÇÒ ¼ö ÀÖµµ·Ï GPU(±×·¡ÇÈó¸®ÀåÄ¡) ÀÚ¿øÀ» È®ÃæÇÏ°í °³¹ß ¿ª·®À» ³ô¿© ³ª°¥ °èȹÀÌ´Ù.
SKT´Â ±× µ¿¾È È®º¸ÇÑ ¿ì¼öÇÑ LLM ±â¼ú ¿ª·®À» ¹ÙÅÁÀ¸·Î ÇâÈÄ Á¤ºÎ°¡ ÃßÁøÇÏ´Â ‘µ¶ÀÚ AI ÆÄ¿îµ¥ÀÌ¼Ç ¸ðµ¨ °³¹ß»ç¾÷’¿¡ Áö¿øÇÒ ¿¹Á¤ÀÌ´Ù.
±èÅÂÀ± SKÅÚ·¹ÄÞ ÆÄ¿îµ¥ÀÌ¼Ç ¸ðµ¨ ´ã´çÀº “²ÙÁØÈ÷ ½×¾Æ ¿Â Çѱ¹Çü LLM °³¹ß ¿ª·®À» ¹ÙÅÁÀ¸·Î AI »ýŰè ÀÚ¸³¼ºÀ» ³ôÀ̰í, ±¹°¡ AI °æÀï·Â Á¦°í¿¡ ±â¿©Çϵµ·Ï ³ë·ÂÇÒ °Í”À̶ó°í ¹àÇû´Ù.