![“AI부터 붙이면 된다?”…AI 전환, 흔히 빠지는 세 가지 함정 [나인O'Clock]](http://img.segye.com/content/image/2026/10/25/300/20261025503896.jpg
)
“AI부터 붙이면 된다?”…AI 전환, 흔히 빠지는 세 가지 함정 [나인O'Clock]
기업마다 인공지능 전환(AX)을 서두르고 있다. ‘1인 1에이전트’, ‘AI 네이티브’, ‘업무 자동화’와 같은 목표도 빠르게 확산하고 있다. 그러나 막상 현업에 적용하면 첫 발걸음부터 쉽지 않다. 무엇을 AI에 맡겨야 하고, 어디까지 자동화해야 하며, 만들어 놓은 AI가 몇 달 뒤에도 유효할지 판단해야 한다.
“에이전트를 만들었다고 해서 그 사람의 일이 줄어든 건 아니잖아요.”
지난 1년간 전사 AX를 추진해 온 이형진 SK브로드밴드 AI 보드 팀장은 기업들이 가장 쉽게 빠지는 함정을 이렇게 짚었다. 눈에 보이는 AI 도구 하나를 만드는 것보다 ‘업무를 얼마나 제대로 뜯어봤느냐’가 중요하다는 얘기다.
SK그룹은 ‘1인 1에이전트’를 목표로 하고 있다. 다만 이는 모든 직원에게 코딩을 시키는 그림과 다르다.
“AI를 새로 들어온 동료라고 생각하면 됩니다. 신입사원이나 경력직이 왔을 때 내 일을 알려주잖아요. AI한테도 그렇게 자기 업무를 알려주는 거죠.”
◆ 함정 ① AI부터 붙인다?
현업에서 “이 업무를 AI로 바꾸고 싶다”는 요청이 올라오면 곧바로 모델이나 도구부터 찾기 쉽다. SK브로드밴드 AI 보드는 그 전에 업무를 단계별로 구조화하는 업무혁신 프로세스(PI·Process Innovation) 시스템을 만들었다.
업무를 큰 단위에서 실제 수행 업무까지 L1∼L4로 쪼갠 뒤, 각 업무가 불필요한지부터 자동화·AI 보조·사람이 맡아야 할 일인지 판정한다. AI 적용 여부를 결정하기 전에 업무 자체를 구조화하는 셈이다. 이 과정에서 챗봇이 인터뷰하듯 질문을 던지고 답변을 하도록 해 팀과 개인의 업무 흐름을 정리하도록 했다. 이는 조직 안에서 특정 직원의 경험으로만 남아 있던 ‘암묵지’를 밖으로 꺼내는 작업이기도 하다.
손승현 AI 보드 매니저는 “굳이 모든 것을 AI로 대체하라고 하지 않는다”며 “프로세스를 먼저 점검하고 없앨 업무가 있는지, 비효율적인 부분은 무엇인지 확인한 뒤 필요할 때 AI를 적용한다”고 설명했다.
기안문 작성 지원 과제가 대표적이다. 연간 9만∼10만건의 데이터를 활용해 유사 사례를 찾고 초안을 작성하도록 하면 일이 줄 것으로 봤다. 그러나 현업과 업무를 뜯어보자 복잡한 결재선, 불명확한 전결 기준, 예산 정보 반복 입력 등 AI 이전의 병목이 보였다.
이 팀장은 “자기 업무를 명확하게 뜯어볼 수 있는 건 결국 본인”이라고 강조했다.
◆ 함정 ② 만든 것은 지켜야 한다?
잘 만든 AI라도 계속 붙잡고 있을 필요는 없다. AI 보드는 출범 초기 회의 내용을 회사 형식에 맞춰 재구성하는 회의록 작성 에이전트를 만들었다. 하지만 이후 기존 서비스 기능이 고도화되면서 별도 에이전트의 역할은 자연스럽게 줄었다.
이 팀장은 이를 빠른 ‘피버팅(방향 전환)’이 필요한 사례로 꼽았다. AX가 빠른 조직과 느린 조직의 차이도 여기서 갈렸다. 이 팀장은 “변화가 빠른 조직은 처음부터 완성된 시스템을 만들려고 하지 않았다”며 “리더가 먼저 AI를 공부하고 문제를 정의한 뒤 작은 단위로 실행하더라”고 말했다.
반면, 느린 조직은 기존 시스템통합(SI) 사업처럼 기능과 비용, 완성된 결과물을 모두 설계한 뒤 시작하는 경향이 있었다.
“완벽하게 준비하려고 하면 그사이에 기술이 또 바뀝니다. 먼저 해보고 빠르게 피버팅하는 조직이 결국 빨리 갑니다.”
반대로 AI가 업무에 맞는 자리를 찾으면 효과는 크다. B tv 큐레이션팀은 외부 트렌드와 화제성 지표를 모아 콘텐츠 편성에 반영하는 작업을 자연어로 지시하면 AI가 코드를 짜는 바이브 코딩 기반 원클릭 도구로 바꿨다. 하루 가까이 걸리던 작업이 약 10분으로 줄었다.
◆ 함정 ③ 좋은 도구를 만들면 알아서 퍼진다?
좋은 에이전트를 만들었다고 조직 전체가 알아서 쓰는 것도 아니다.
AI 보드가 현장 문제를 돕는 창구는 ‘오픈 오피스 아워(OOH)’다. 글로벌 데이터기업 팔란티어가 엔지니어를 현장에 보내 문제를 함께 푸는 ‘전방 배치 엔지니어(FDE)’ 모델을 참고했다.
이 과정에서 나온 내용은 사내 AX 커뮤니티 ‘단비’에 축적한다. 눈에 띄는 것은 거창한 AI 시스템보다 점심 메뉴 추천이나 휴양소 빈자리 알림처럼 구성원이 직접 만든 가벼운 사례의 반응이 좋다는 점이다. ‘비개발자도 해 볼 수 있다’는 경험이 퍼져야 AI가 기술 조직만의 일이 아니라 자신의 일로 느껴진다는 설명이다.
AX가 깊어질수록 문제는 도구에서 데이터와 조직 구조로 넘어간다. 이 팀장은 AI가 데이터의 의미와 맥락을 즉각 파악할할 수 있는 ‘AI 리더블(AI-Readable) 데이터’를 강조했다. 회사 안에 데이터가 존재하는 것만으로는 부족하고, AI가 그 의미와 연결 관계를 읽을 수 있어야 한다. 부서별로 데이터가 끊긴 조직 간 사일로(칸막이) 역시 AI 에이전트가 업무를 이어가는 데 걸림돌이 된다.
이 때문에 이 팀장은 AX를 기술보다 문화의 문제로 본다. AI에게 무엇을 맡길지를 결정하려면 내가 어떤 일을 반복하고, 무엇을 판단하며, 어떤 데이터를 보고 아는지 먼저 설명할 수 있어야 한다.
그는 “AX는 업무 프로세스를 정리하고 데이터를 AI가 읽을 수 있도록 만들고, 조직 간 사일로를 연결하면서 보안과 관리 기준까지 함께 마련해야 한다”고 말했다.
2026.10.26 09:00:00
![“두 사람이 대화하는 장면 찾아줘”… AI가 이 한 마디에 멈춰선 이유 [나인O'Clock]](http://img.segye.com/content/image/2026/08/26/300/20260826514934.jpg
)
“두 사람이 대화하는 장면 찾아줘”… AI가 이 한 마디에 멈춰선 이유 [나인O'Clock]
“두 사람이 대화하는 장면을 찾아줘.”
사람에게는 간단한 주문처럼 들리지만 인공지능(AI)에는 쉽지 않다. 두 사람이 만나 악수하는 순간부터 대화라고 봐야 할까. 첫마디를 꺼낸 순간부터일까. 서로 마주보며 침묵하는 순간은 대화에 포함될까.
오재호 파일러 대표는 지난 6일 본보와의 인터뷰에서 “영상은 이런 경계와 맥락을 정의하는 일부터 어렵다”며 “AI가 영상의 문맥과 맥락을 ‘알잘딱깔센’(‘알아서, 잘, 딱, 깔끔하고, 센스있게’의 줄임말)하게 판단하도록 하는 게 쉽지 않다”고 말했다.
생성형 AI 경쟁이 텍스트와 이미지를 넘어 영상으로 옮겨가고 있지만, ‘영상을 이해하는 AI’에는 풀리지 않은 문제가 많다. 업계에서는 AI가 영상의 내용과 맥락을 분석하고 이해하는 기술을 ‘비디오 언더스탠딩(Video Understanding)’이라고 부른다. 파일러는 이를 시각·음성·텍스트와 시간 정보를 함께 처리하는 옴니 모델(Omni model)로 구현하고 있다.
영상에는 이미지 한 장보다 훨씬 많은 정보가 담겨 있다. 시각을 넘어 대화와 같은 발화, 주변 소리, 음악, 화면 속 글자와 자막, 시시각각 변하는 상황까지 동시에 이해해야 한다.
일반적인 멀티모달 거대언어모델(MLLM)은 음성을 텍스트로 변환한 뒤 그 텍스트를 분석한다. 반면 파일러가 구현한 옴니 모델은 오디오 데이터 자체를 직접 처리한다. 이 과정에서 억양과 감정, 배경음처럼 텍스트 변환 과정에서 사라질 수 있는 비언어적 정보까지 영상 이해에 활용할 수 있다. 오 대표는 “파일러는 시각·음성·텍스트와 시간 정보를 함께 분석하는 쪽으로 모델을 만들고 있다”고 말했다.
영상은 ‘어떻게 나눠서 볼지’도 중요한 문제다. 일반적인 샷(Shot)은 카메라 화면이 전환되는 지점을 기준으로 영상을 잘게 분류한다. 하지만 이런 구분은 사람이 이해하는 이야기 흐름과 다를 수 있다.
예를 들어 서로 다른 공간에 있는 남녀가 전화 통화를 한다고 해보자. 여성의 화면과 남성의 화면이 번갈아 나오면 수십개의 샷으로 쪼개질 수 있다. 그러나 맥락상으로는 모두 ‘두 사람이 전화 통화를 나누는 하나의 장면’이다.
파일러는 이처럼 여러 샷을 하나의 의미와 맥락으로 묶은 씬(Scene) 단위로 영상을 분석한다. 카메라가 어디에서 바뀌느냐보다 이야기의 맥락이 어디에서 시작되고 끝나는지를 파악하는 것이다. 이를 기준으로 영상을 분석하고 검색·추론에도 활용한다.
문제는 맥락에도 ‘정답’은 없다는 것이다. 오 대표는 기자와 마주 앉아 진행 중이던 인터뷰 현장을 가리켰다. 그는 “지금 우리 모습을 15초 정도 찍어서 AI에 ‘이 영상을 이해해 봐’라고 하면 답이 여러 개 나올 수 있다”고 말했다. 가령 ‘남성 네 명과 여성 한 명이 대화한다’는 답도 가능하고, ‘언론사와 스타트업 관계자들이 인터뷰하고 있다’는 해석도 가능하다. 같은 영상을 보고도 어떤 정보를 알고 있는지, 무엇을 알고 싶은지에 따라 ‘이해’의 결과가 달라질 수 있다는 얘기다.
이에 파일러는 범용적으로 ‘모든 영상을 이해하는 AI’를 만들기보다 기업이 실제로 필요로 하는 문제부터 깔때기를 대듯 범위를 좁혀왔다. 창업 초기 약 30만개의 유튜브 영상과 광고를 분석하면서 ‘이 영상은 선정적인가’, ‘이 콘텐츠에 브랜드의 광고가 노출돼도 되는가’처럼 목적이 분명한 질문을 풀기 시작했다. 이해하려는 목표가 명확하면 가능한 답의 범위 역시 좁힐 수 있다는 설명이다.
이 과정에서 쌓이는 판단 기준과 데이터는 파일러가 말하는 ‘기술적 해자’로 이어진다. 기술적 해자는 경쟁사가 쉽게 따라오기 어려운 기술·데이터·노하우를 쌓아 시장에서 경쟁 우위를 유지하는 장벽을 뜻한다.
이 같은 해자를 쌓기 위한 전략 중 하나가 자체 모델 개발이다. 파일러는 챗GPT, 클로드 등 거대 범용모델 자체를 구축하는 경쟁에 뛰어들지 않는다. 대신 누적된 데이터를 자체 개발 모델에 활용해 특화 서비스를 제공한다. 오 대표는 “모든 것을 이해하는 파운데이션 모델을 만들기 위해 몇천억원, 몇조원을 투입하는 경쟁은 스타트업이 하기 어렵다”며 “오히려 우리가 나중에도 가지고 있을 때 큰 해자가 될 만한 이해관계자들의 일을 하고 그 문제를 해결하는 쪽에 팀을 집중하려 한다”고 말했다.
범용 생성형 AI 응용프로그램 인터페이스(API)만으로 파일러 서비스를 구현하기 어려운 이유도 있다. 일부 유해 영상은 범용 AI 모델에 입력하면 모델 자체의 안전장치 때문에 분석 요청이 거부될 수 있기 때문이다. 오 대표는 “아동 범죄나 극단적인 유해 콘텐츠를 범용 AI에 넣어 판별하려 하면 ‘부적절한 콘텐츠’라며 응답하지 않는 경우가 있다”고 설명했다.
그렇다고 외부 AI를 전혀 쓰지 않는 것은 아니다. AI 학습용 데이터에 분류 정보나 정답을 붙이는 ‘레이블링’ 과정에서는 제미나이 등 복수의 외부 AI를 활용하기도 한다. 같은 영상에 대해 여러 모델이 각각 판단하도록 한 뒤 서로 결과를 비교하거나 일종의 토론·투표를 시켜 정답 데이터를 만드는 식이다. 오 대표는 “API들을 경쟁시키고 레이블러끼리 토론하도록 해 좋은 정답을 만드는 데 활용한다”고 말했다. 다만, 실제 고객 서비스에 들어가는 핵심 모델은 자체 구축한다.
비용 측면에서도 자체 개발 모델 사용이 최선이라는 평가가 나온다. 파일러가 분석하는 영상은 하루 약 200만개에 달한다. 이 모든 영상을 LLM에 넣어 문장화하면 처리를 위한 토큰 비용이 기하급수적으로 증가한다.
이에 파일러는 상당수 작업에 ‘임베딩’을 적용 중이다. 임베딩은 영상의 특징을 숫자로 표현해 비슷한 영상이나 의미를 서로 가까운 위치에 배치하는 방식이다. 임베딩을 활용하면 이미 분석한 영상과 유사한 영상이 다시 들어왔을 때 매번 처음부터 대규모 추론을 반복하지 않아도 된다. 오 대표는 “초기 임베딩 체계를 구축하고 고객 피드백을 받아 검증하는 데에는 약 6∼8개월이 걸렸다”고 회상했다.
이 기술의 쓰임새는 유해 콘텐츠 판별 외에도 다양하다. 대표적인 것이 파일러가 개발 중인 영상 검색(retrieval) 기술이다. 자연어로 찾고 싶은 장면을 입력하면 영상 속 해당 구간에 타임스탬프를 찍고 필요한 부분을 찾아준다. 가령 방송 영상에서 “특정 인물이 등장하는 장면을 모두 찾아줘”, 스포츠 영상에서는 “골을 넣는 순간을 찾아줘”라고 요청하는 식으로 활용할 수 있다.
인간이 ‘알아서 적당히’ 판단하는 영역을 AI가 얼마나 비슷하게 해낼 수 있는지는 향후 승부처가 될 전망이다. 오 대표는 비디오 이해 기술이 아직 발전 여지가 큰 영역인 만큼, 파일러가 그 과정에서 경쟁력을 확보해 선두주자가 될 수 있다고 자신했다. 그는 “비디오를 이해한다는 게 무엇인지에 대한 답부터 아직 만들어 가는 단계”라며 “그런 논리와 지식이 쌓이고 성숙하면 제작사나 콘텐츠 플랫폼을 포함해 여러 영역에서 활용될 수 있을 것”이라고 강조했다.
2026.08.27 15:02:38
![황룡사 그리랬더니 日 목조탑이…AI 영화, ‘딸깍’ 아니었다 [나인O'Clock]](http://img.segye.com/content/image/2026/07/27/300/20260727515690.jpg
)
황룡사 그리랬더니 日 목조탑이…AI 영화, ‘딸깍’ 아니었다 [나인O'Clock]
빛 한 점 들지 않는 2035년 지중해 심해. 한국인 여성 고고학자 심 박사와 휴머노이드 로봇 ‘탈로스’가 수천년간 바닷속에 잠들어 있던 알렉산더 대왕의 무덤을 향해 내려간다. 탐사정의 불빛이 모래에 파묻힌 석상과 무너진 기둥을 훑는다. 이어 탐사정을 향해 미사일이 날아들자 탈로스는 “문화유산은 어떤 상황에서도 보호돼야 한다”고 외치며 공격을 막아선다.
◆시나리오부터 캐릭터 시트까지…인공지능(AI) 영화 제작법 보니
지난 14일 서울 강남구 가빈아트홀에서 열린 서울시교육청교육연수원의 ‘2026 우면골 아카데미 특별기획 직무연수’에서 공개된 31분짜리 단편 SF 역사서사시 ‘알렉산더 프로젝트’의 한 장면이다. 박진호 KAIST 김재철AI대학원 초빙교수가 1998년 대학 졸업논문으로 쓴 ‘알렉산더의 동방원정과 간다라 미술’에서 모티브를 얻어 생성형 AI로 만들었다. 이날 박 교수가 제작한 영상을 포함해 서울시교육청 소속 교원과 교육전문직을 대상으로 ‘백악기 공룡쟁투’ 등 총 9편의 AI 영상이 상영됐다.
“아직은 자동화보다 인간이 직접 판단하고 선택하는 작업이 훨씬 많습니다.”
이날 본보와 만난 박 교수는 AI 영화가 문장 몇 줄을 입력하면 완성되는 자동 제작물과는 거리가 멀다고 강조했다. ‘알렉산더 프로젝트’를 만드는 데 박 교수를 포함한 6명이 약 석 달간 매달렸다. 영화에 들어갈 장면을 생성하는 일뿐 아니라 수많은 결과물 가운데 쓸 만한 영상을 가려내고, 역사적 오류를 검수하는 데 상당한 시간이 들었다.
박 교수는 대학 시절 영화감독을 꿈꾸며 2년간 시나리오 작가 교육을 받았지만 1999년 문화유산 분야로 진로를 돌렸다. 이후 캄보디아 앙코르와트와 석굴암, 황룡사, 아프가니스탄 바미안 석불 등 국내외 문화유산을 디지털로 복원했다. 한때 접어둔 영화의 꿈이 그간 쌓은 문화유산 연구와 생성형 AI를 만나 다시 이어진 셈이다.
그는 2024년 ‘걸리버 율도국 여행기’를 시작으로 지금까지 8편의 AI 영화를 연출하거나 제작했다. 첫 작품으로 2025 경상북도 국제 AI·메타버스 영상제 대상을 받았고, 올해는 진시황릉 병마용갱과 몽골 고비사막의 공룡 화석을 소재로 한 후속작을 준비하고 있다. 현재 인도에서 ‘제2회 한·인도 AI영화제’도 진행하고 있다.
박 교수팀의 AI 영화 제작은 시나리오 작성, 이미지 생성, 영상 생성, 음성·음악 제작, 편집 등 다섯 단계를 거쳤다. 먼저 역사 자료와 고증 내용을 토대로 시나리오를 쓴 뒤 제미나이와 클로드 같은 거대언어모델(LLM)을 활용해 이야기 구조와 장면별 프롬프트를 다듬었다.
이어 이미지 생성 모델 미드저니와 구글의 나노바나나로 인물과 공간의 기준 이미지를 만들었다. 이때 주인공의 얼굴과 의상, 표정을 여러 각도에서 정리한 ‘캐릭터 시트(주인공의 다양한 얼굴모습 조망)’를 먼저 제작했다. 장면이 바뀔 때마다 같은 인물의 얼굴과 체형, 복식이 달라지는 AI 영상 특유의 문제를 줄이기 위해서다.
완성된 기준 이미지는 영상 생성 모델인 구글의 생성AI 비오(Veo)3나 중국 바이트댄스의 시댄스(Seedance)에 넣어 움직이는 영상으로 바꿨다. 텍스트만 입력해 곧바로 영상을 생성하는 ‘텍스트 투 비디오’보단, 이미지를 먼저 만든 뒤 영상으로 변환하는 ‘이미지 투 비디오’ 방식을 주로 썼다. 인물과 공간의 형태를 먼저 고정해 장면 간 일관성을 높이고, 텍스트만 입력했을 때 발생하는 예측하기 어려운 변형을 줄이기 위해서다.
박 교수는 “텍스트만 입력하면 익숙한 영화나 게임의 이미지가 섞여 나와 역사적 배경과 전혀 다른 영상이 만들어질 수 있다”며 “문화유산 전문가가 그린 스케치나 고증 자료를 기준 이미지로 제공해야 원하는 시대와 공간에 가까워진다”고 말했다.
음악과 내레이션에도 AI를 활용했지만 최종 편집은 어도비 프리미어와 다빈치 리졸브 같은 기존 영상 편집 프로그램에서 이뤄졌다. 제작팀은 시나리오와 연출을 총괄하는 감독, 영상을 생성하는 AI 크리에이터 2∼3명, 편집·음악 담당자로 구성됐다. 전통 영화에서 촬영과 조명, 미술, 의상, 분장, 특수효과 등 여러 직군이 나눠 맡던 일을 한 사람이 여러 개씩 담당하는 구조다.
이날 상영된 4분 분량의 ‘백악기 공룡쟁투’는 자문 인력을 포함해 5명이 약 일주일간 작업했다. 박 교수는 AI 프로그램 이용료 등 직접 비용으로 ‘알렉산더 프로젝트’에 약 150만원, ‘백악기 공룡쟁투’에 30만∼50만원이 들었다고 밝혔다.
다만 이는 인건비와 장비비, 고증을 위해 오랜 기간 축적한 연구 비용 등을 제외한 금액이다. 그는 “소규모 팀이 개인 비용으로 만든 작품이라 전통 영화처럼 전체 제작비를 산정하기는 어렵다”며 “완성도를 높인 AI 영상이나 게임 프로젝트는 프로그램 비용만 수백만원에서 수천만원까지 쓰는 사례도 있다”고 말했다.
◆AI 영화 ‘손 많이 가네’…“300개 만들면 280개 버려야”
선별에 손이 많이 가는 것은 생성형 AI가 같은 명령을 입력해도 매번 다른 결과를 내놓기 때문이다. 감독이 원하는 카메라 각도와 배우의 미세한 표정, 갑옷과 복식의 세부 형태까지 정확하게 통제하기 어렵다.
박 교수는 “영상 클립 300개를 만들면 실제로 쓸 수 있는 것은 20개 정도”라며 “나머지는 흐름이 맞지 않거나 화면이 조악해 모두 버려야 한다”고 말했다.
알렉산더 프로젝트에서는 알렉산더 대왕의 갑옷과 고대 헬레니즘 도시의 건축 양식을 구현하는 데 애를 먹었다. 구체적인 시대와 지역을 입력해도 AI가 서구 판타지 게임이나 할리우드 영화에서 본 듯한 갑옷과 도시를 만들어내는 경우가 많았다.
공룡이 등장하는 ‘백악기 공룡쟁투’는 더 큰 난항을 겪었다. 공룡의 피부와 골격, 움직임을 자연스럽게 만드는 동시에 전문가들이 인정할 만한 고증까지 유지해야 했기 때문이다.
박 교수는 “전문가가 보면 공룡의 피부나 골격이 잘못됐다는 사실을 바로 알아본다”며 “만든 결과물의 약 80%를 버리고 20% 정도만 이용해 4분짜리 영화를 완성했다”고 설명했다.
박 교수팀이 작품에 활용한 약 8초 분량의 영상 클립 하나를 얻는 데도 적게는 수십개, 많게는 수백개의 결과물을 만들어야 했다. 프롬프트의 단어와 순서를 조금씩 바꾸고, AI가 결과물을 만드는 기준값인 ‘시드’를 변경하며 같은 장면을 반복 생성했다.
그는 이 과정을 도자기 장인의 작업에 비유했다. “장인이 수많은 도자기를 구운 뒤 기준에 맞는 것만 남기듯 AI 영화감독도 수많은 영상을 만들고 버린다”며 “아직은 자동화보다 인간이 직접 판단하고 선택하는 작업이 훨씬 많다”고 말했다.
가장 난감한 순간은 고증이 무너질 때다. 알렉산더 프로젝트에는 박 교수가 20년에 걸쳐 고증한 아프가니스탄 바미안 석불의 얼굴이 반영됐다. 그러나 AI가 생성한 얼굴은 그가 확정한 복원안과 계속 어긋났다. 박 교수는 일곱 번가량 폐기한 뒤에야 쓸 만한 장면을 얻었다고 말했다.
문화유산을 소재로 한 AI 고증은 특히 민감하다. 글로벌 AI 모델이 한국과 중국, 일본의 역사와 건축 양식을 정확하게 구분하지 못하는 경우가 있기 때문이다. 박 교수는 신라를 소재로 한 뮤직비디오에 황룡사 9층목탑을 등장시키자 일본식 목조탑과 비슷한 형태가 생성됐고, 조선시대 왕의 행차를 표현한 미디어아트에는 중국 자금성을 연상시키는 붉은 건축물이 섞여 나왔다고 설명했다.
이는 국내 AI 산업이 안고 있는 기술적 딜레마와도 맞닿아 있다. 박 교수팀이 사용하는 비오, 시댄스, 미드저니 등 주요 생성형 AI 도구는 미국과 중국 기업이 개발했다. 한국과 아시아의 역사·문화를 영상으로 재현하면서도 표현 방식은 해외 기업이 구축한 데이터와 모델에 상당 부분 의존하는 셈이다.
이에 박 교수는 검수를 두 단계에 걸쳐 진행했다. 먼저 생성 결과를 고고학·역사 사료와 대조한다. 자체 판단만으로 확신하기 어려우면 해당 시대와 유적을 연구한 전문가에게 다시 자문한다. 박 교수는 “그럴듯하지만 틀린 이미지가 검증 없이 확산하면 대중과 미래 세대가 이를 실제 역사로 오인할 수 있다”며 “문화유산 전문가가 AI 제작 과정에 개입해 잘못된 결과물을 걸러내야 한다”고 강조했다.
◆장편 영화로 들어온 AI…’투명한 트로이 목마’일까
AI 영화는 더 이상 기술 시연에만 머물지 않는다. 지난 5월 칸국제영화제 기간에는 미국 AI 영상 스타트업 힉스필드AI가 제작한 95분 분량의 액션 영화 ‘헬 그라인드’가 상영됐다. 카자흐스탄을 기반으로 한 감독과 촬영감독, 편집자 등 15명이 2주 만에 완성했다. 제작비는 50만달러(약 7억3000만원) 미만이었고 이 가운데 약 40만달러(약 5억8000만원)가 AI 연산 비용이었다. 공식 프로그램은 아니었지만, 입소문을 타 화제를 모았다.
장편 AI 영화가 등장하면서 영화계의 경계도 커지고 있다. 최근 영화 ‘오디세이’를 연출한 크리스토퍼 놀란 감독은 AI를 “그리스군이 숨어 있다는 사실을 모두가 아는 투명한 트로이 목마”에 비유했다. 영화산업이 기술의 이면을 외면한 채 이를 받아들이고 있다는 역설을 강조한 것이다. 놀란은 젊은 세대가 질 낮은 AI 콘텐츠를 ‘AI 슬롭(slop·찌꺼기)’이라고 부르며 거부하는 현상을 건강한 회의주의로 평했다. 영화계에서는 AI가 기존 인력을 대체하고 작품의 질을 떨어뜨릴 수 있다는 우려도 이어지고 있다.
박 교수도 “창작자들의 생존권 위기와 반발은 지극히 정당하고 현실적인 문제”면서도 장기적으로는 인간과 기술이 함께 변화하는 ‘공진화’를 전망했다. 카메라의 발명이 회화를 없애지 않고 사진예술과 새로운 미술 사조를 낳았으며, 컴퓨터그래픽(CG)이 실사 촬영을 대체하기보다 영화가 표현할 수 있는 장면의 범위를 확장했다는 것이다.
그는 “AI를 통해 창작자들은 거대 자본 없이도 아이디어와 기획력만으로 영화를 만들 수 있는 1인 혹은 소규모 스튜디오 시대를 맞이할 것”이라며 “AI가 인간의 창의성을 확장하는 도구로 공존하는 생태계가 구축될 것”이라고 내다봤다.
그렇다면 AI가 영상을 만들어 주는 시대에 감독의 역할은 무엇일까. 좋은 결과물을 고르는 ‘큐레이터’에 그치는 것 아니냐는 질문에 박 교수는 ‘오케스트라 지휘자’에 가깝다고 답했다. 통제하기 어려운 기술을 하나의 서사 안으로 끌어들이는 역할이라는 것이다. 기존 영화감독이 촬영장에서 배우와 스태프를 지휘했다면 AI 영화감독은 프롬프트와 이미지, 영상, 음악, 편집 결과를 조율한다.
박 교수는 AI 시대 창작자의 핵심 역량으로 단순한 프롬프트 기술보다 인문학적 상상력을 꼽았다. 그는 “역사와 철학, 미술사에 대한 이해가 없다면 AI에 수준 높은 장면을 요구하기 어렵다”며 “기술은 빠르게 평준화되겠지만 어떤 이야기를 하고 싶은지, 어떤 이미지가 역사적으로 타당한지를 판단하는 능력은 평준화되지 않는다”고 말했다.
제작 문턱이 낮아졌다고 해서 좋은 영화의 문턱까지 낮아지는 것은 아니다. 박 교수는 현재 AI 영상 상당수가 화려한 이미지에 집중한 나머지 관객이 몰입할 이야기와 감정은 빈약하다고 평했다. 그는 “기술적 신기함은 금방 질린다”며 “관객이 기술이 아니라 이야기와 캐릭터의 감정에 몰입할 수 있는 서사의 완결성을 갖춰야 AI 영화도 단순한 기술 시연을 넘어 영화로 인정받을 수 있다”고 했다.
2026.08.07 16:51:44
![아무나 ‘AI 에이전트’ 만든다는데, 그다음은요? [나인O'Clock]](http://img.segye.com/content/image/2026/06/26/300/20260626512039.jpg
)
아무나 ‘AI 에이전트’ 만든다는데, 그다음은요? [나인O'Clock]
사람이 일일이 코드를 짜는 대신 인공지능(AI)에 일상적인 말로 원하는 기능을 설명해 프로그램을 만드는 ‘바이브코딩’의 시대가 열렸다. “메일을 내용별로 분류해 줘”, “매일 특정 데이터를 모아 보고서로 정리해 줘”라고 지시하면 AI가 필요한 코드를 작성한다. 코딩을 한 줄도 몰라도, 레고를 조립하듯 화면에서 각종 기능을 이어 붙이는 ‘노코드 블록’을 활용하면 그럴듯한 ‘AI 비서’가 탄생한다.
문제는 그다음이다. 바이브코딩으로 짠 프로그램은 데이터 형식이나 업무 절차가 조금만 바뀌어도 작동을 멈추기 일쑤다. 동료에게 자랑삼아 공유해도 다른 PC나 업무 환경에서는 돌아가지 않는다. 며칠간 신기해하며 사용했을 뿐, 어느새 기억 한 켠에 방치되는 ‘나만의 AI’는 이제 낯선 풍경이 아니다.
글로벌 시장조사업체 가트너는 기업이 추진하는 에이전틱 AI 프로젝트의 40% 이상이 2027년 말까지 중단될 것으로 전망했다. 운영 비용이 기대한 효과를 넘어서거나 사업적 가치가 불분명하기 때문이다. 글로벌 회계·컨설팅 기업 PwC 조사에서도 미국 기업 임원의 79%가 AI 에이전트를 도입했다고 답했지만, 이를 중심으로 실제 업무 프로세스를 재설계하고 있다는 응답은 42%에 그쳤다. AI를 만드는 문턱은 낮아졌지만, 실제 업무에 안착시켜 꾸준히 활용하는 것은 전혀 다른 문제라는 의미다.
자연어 몇 줄로 웹 사이트나 애플리케이션(앱)이 만들어지는 모습은 마법처럼 보인다. 그러나 AI가 완성도와 안정성까지 보장해 주지는 않는다. 보안업체 이스케이프테크가 공개된 바이브코딩 앱 5600여개를 분석한 결과, 1400개 앱에서 2000건이 넘는 고위험 취약점이 발견됐다. 외부에 노출된 인증정보 등도 400건 이상 확인됐다. 누구나 손쉽게 만들 수 있게 된 만큼, 미처 발견하지 못한 결함과 보안 취약점도 함께 늘어날 수 있다는 얘기다.
전 구성원이 자신에게 필요한 에이전트를 직접 만들어 쓰는 ‘1인 1 AI 에이전트’에 속도를 내고 있는 SK텔레콤도 같은 과제를 마주하고 있다. 그렇다면 이 벽을 어떻게 넘어야 할까. 비개발 직군을 포함해 누적 5000여명의 AI 교육을 진행한 SK텔레콤 역량육성팀의 윤홍노 팀장과 노정혜·유다솜 매니저에게 바이브코딩으로 에이전트를 만드는 사람이 알아야 할 점을 물었다.
Q. 프롬프트만 잘 쓰면 AI 에이전트도 잘 만들 수 있는 것 아닌가요.
노 매니저 = 프롬프트를 잘 써서 한 번 좋은 답을 얻는 것과 에이전트를 만드는 것은 다른 일입니다. 에이전트를 만들려면 내 업무 흐름을 잘게 쪼개고, 어디를 자동화하고 어디를 개선할지 다시 설계해야 해요. 이 단계를 넘지 못하면 결국 똑똑한 ‘챗봇’에 머뭅니다. 그냥 AI를 한 번 써보고 마는 결과물이 되는 거죠. 잘 굴러가는 에이전트는 똑똑한 프롬프트가 아니라 잘게 나눈 업무 흐름에서 나옵니다.
Q. 그렇다면 기술과 도구가 넘쳐나는 상황에서 어떤 것부터 배워야 할까요.
유 매니저 = 저는 제일 중요한 걸 ‘문제 정의’라고 봅니다. 기술과 툴이 넘치는 상황에서 내 업무에 어떤 걸 배울지 선택하는 것부터가 일이에요. 다 써보기에는 돈도 시간도 많이 드니까요. 사내에서 교육을 진행해 보면 AI를 붙이기 전에 내 업무를 잘 풀어 쓰는 것부터 생각보다 어려워 하는 분이 많습니다. 내가 끝까지 판단해야 할 영역과 AI에 맡겨도 될 영역을 구분하는 것이 먼저입니다. 결국 기존에 하던 업무를 잘 정의하고 문제를 명확하게 설명하는 역량이 훨씬 중요합니다. 그게 되면 거기에 맞는 툴도 자연스럽게 고를 수 있고요.
Q. 혼자 쓸 때는 잘되는데 팀에 공유하면 제대로 작동하지 않습니다.
노 매니저 = 업무에 활용하는 에이전트를 더 큰 조직 단위로 확장하려면 데이터셋 정비와 같은 기술적인 작업이 필요합니다. 비개발 직군이 가장 어려워하는 것도 개발 요건을 어떻게 요청하고 데이터셋 정의서를 어떻게 작성해야 하는지입니다. 직접 모든 것을 만들지 못하더라도 어떤 데이터가 어떤 형식으로 필요한지, 기대하는 동작과 예외 상황은 무엇인지 정확하게 정의해 전달할 수 있어야 합니다. 개발-비개발 직군 모두 에이전트를 실제 배포하고 지속적 운영을 위한 관리 역량을 고도화하는 부분이 필요하죠. 그러면 더 큰 규모의 에이전트도 움직일 수 있습니다.
Q. 데모는 잘 됐는데, 실제 회사 데이터에 붙이려니 막힙니다.
윤 팀장 = 구성원들이 가장 걸림돌로 느끼는 지점이 바로 그겁니다. 실제 일하는 보안 환경에서는 AI 접목 활용률이 낮습니다. 시연 환경에서 그럴듯하게 돌아가는 것과 실제 사내 데이터·시스템에 붙이는 것은 다른 문제예요. 보안 환경 안에서 기존 시스템과 데이터를 연결하는 일은 개개인이 혼자 뚫기 어렵습니다. 그래서 저희는 이 부분을 개인에게 맡기기보다 전담 부서가 맡는 게 좋겠다고 보고, 어떻게 할지 논의하고 있어요. 특히 보안 문제가 있는 만큼 사외 강사 등 외부 업체에 맡기기보다는 개발 플랫폼 부서와 협의하면서 ‘허브’ 역할을 하고 있습니다. 만들기 전에 어떤 데이터에 어떻게 연결할 수 있는지부터 확인하는 게 좋습니다.
Q. 막상 프로그램을 돌려 보니 API(응용 프로그램 인터페이스)·토큰 비용이 생각보다 많이 나옵니다.
유 매니저 = 현실에서 자주 부딪히는 문제입니다. 현장에서는 매력적으로 보였던 과제도 막상 평가를 해보면, 토큰이 너무 많이 나와 ROI(투자 대비 효과)가 안 나오는 경우가 있어요. 그러면 아무리 위에서 좋다고 꼽은 과제라도 결국 사장되는 단계로 갑니다. 그래서 이 일을 AI에 맡기는 게 비용 대비 정말 가치가 있는지부터 따져 보는 게 먼저입니다.
Q. AI 에이전트를 만들어 두긴 했는데 얼마 못 가 멈추거나 방치되는 경우가 많습니다. 오래 사용하려면 무엇이 필요한가요.
윤 팀장 = AI 에이전트는 만들었다고 끝이 아닙니다. 데이터가 바뀌면 손 봐야 하고, 오류를 검증하고 접근 권한을 관리하는 일도 계속 따라옵니다. 에이전트는 단순히 만드는 것보다 계속 정규화하고 지속적으로 쓸 수 있도록 관리하는 사람이 필요해요. 저희도 유지보수를 어떻게 하고 누가 담당할지 전사 차원에서 논의하는 단계입니다. AX(AI 내재화) 유지보수 전문가 직무 비중을 높여야 한다고도 생각하고 있고요. 만들 때부터 데이터나 업무 환경이 바뀌면 어느 부분을 수정해야 할지 생각해 두는 것이 결국 에이전트의 수명을 가릅니다.
Q. AI를 잘하는 사람을 따라잡지 못할 것 같아 불안합니다.
유 매니저 = 격차는 커질 수밖에 없습니다. 다만 그 격차가 어디에서 벌어지는지를 봐야 해요. 아이디어를 낼 때는 현장을 잘 아는 비개발 직군이 문제를 정확하게 설명해 오히려 강합니다. 반면 짧은 시간 안에 결과물을 만들 때는 아무리 바이브코딩이 잘 돼 있어도, 이미 쓰고 있는 서버와 데이터를 잘 활용하는 사람이 앞서죠. 하지만 그렇게 나온 결과물이 잘 공유되고 전파돼서 ‘우리 구성원이 직접 만든 것’이라는 사례가 퍼지면 자기 효능감을 높이면서 선순환이 생깁니다. 기초 레벨 자체가 올라가거든요. 더 화려한 것을 만들기보다 하나라도 끝까지 굴려 본 경험을 쌓는 게 중요합니다. 특히 이전의 클라우드나 데이터 교육 때와는 분위기가 확실히 다릅니다. 당시에는 필요한 조직만 배우면 됐지만, AI는 모두가 ‘피할 수 없다’고 느끼시는 것 같아요. 특히 임원급들은 “피할 수 없으면 즐겨라”라는 멘트를 현장에서 많이 합니다.
Q. 나이가 있거나 AI에 익숙하지 않은 사람도 충분히 따라갈 수 있을까요.
노 매니저 = 현장에서 머리가 희끗희끗한 임직원들이 정말 열심히 배우시는 모습을 자주 봐요. 결과물이 빠릿한 분들보다 조금 더디어도, 본인 업무에 적용하고 스스로 만족스러워하는 표정을 보면 준비한 사람으로서 감동적이기도 합니다. 의외로 가장 큰 자극은 강사가 아니라 옆자리 동료입니다. 교육 끝에 사례를 발표하면 거의 간증처럼 “동료 실력에 놀랐다”는 얘기가 나와요. 리더가 ‘AI 써야 한다’고 백 번 말하는 것보다, 옆 자리 동료가 잘 쓰는 걸 한 번 보는 게 훨씬 큰 자극이 됩니다.
Q. AI가 너무 빨리 바뀌다 보니 지금 배워도 금세 소용없어지는 것 아닌가요.
노 매니저 = 교육에서 ‘오늘 우리가 쓰는 AI가 앞으로 만날 AI 중 가장 최악의 AI’라는 말을 자주 합니다. 그만큼 도구가 빠르게 좋아지고 있다는 뜻이에요. 다만, 지금 만든 에이전트가 다소 어설퍼도 괜찮습니다. 도구는 계속 발전하지만, 지금 키운 문제 정의와 업무 설계의 근육은 그대로 남으니까요. 변화의 속도에 지나치게 스트레스받기보다 새로운 도구를 받아들이는 ‘러닝 어질리티’(학습민첩성)을 키우는 것이 중요합니다.
Q. 결국 AI 시대에는 어떤 역량을 키워야 하나요.
윤 팀장 = AI 에이전트 기술 자체보다 업무를 쪼개고 일의 구조를 이해해 어디에 AI를 적용할지 찾아내는 역량이 중요합니다. 기본 구조를 이해하고 있으면 어떤 업무를 맡더라도 AI를 적용하는 속도가 빨라집니다. 앞으로는 사람이 수많은 에이전트를 거느리고 모니터링하는 역할로 바뀔 텐데요. 그럴수록 단순한 코딩 실력보다 업무를 쪼개고 구조를 이해하는 감각이 중요해집니다. 이에 더해 자기 분야의 전문성만 쌓는 데 그치지 않고, 연관된 분야에도 관심을 가지고 전문성을 넓히는 것이 중요합니다.
2026.08.07 16:51:31
![“그림책만 보던 AI 현실로 나온 격”…피지컬 AI '월드 모델' 경쟁 본격화 [나인O'Clock]](http://img.segye.com/content/image/2026/05/13/300/20260513506227.jpg
)
“그림책만 보던 AI 현실로 나온 격”…피지컬 AI '월드 모델' 경쟁 본격화 [나인O'Clock]
챗GPT는 변호사 시험을 가뿐히 통과하고, 단 한 줄의 명령어로 시를 쓴다. 실사 수준 이미지도 순식간에 생성한다. 그러나 “식탁 위 머그잔을 잡으라”는 간단한 명령 앞에서는 쩔쩔맨다. 고도의 추론은 AI에겐 쉽지만, 세 살짜리 아이도 할 수 있는 공간 지각과 행동은 AI에게 어렵다는 ‘모라벡의 역설’이다. 1980년대 한스 모라벡 카네기멜런대 교수 등이 정리한 이 명제는 오랫동안 AI 발전의 거대한 벽이었다. AI가 따라잡은 인간의 추론 능력은 수십만 년의 산물이지만 사물을 보고 손을 움직이는 지각·운동 능력은 수억 년의 진화가 쌓인 결과물이기 때문이다.
그러나 AI가 화면 밖으로 나와 ‘몸’을 갖기 시작하면서 이 역설도 흔들리고 있다. 텍스트와 이미지의 디지털 세계에 머물던 AI가 실제 물리 환경에서 사물을 잡고, 장애물을 피하며, 인간과 상호작용하는 ‘피지컬 AI’의 시대로 진입한 것이다. 올 초 젠슨 황 엔비디아 최고경영자(CEO)가 “피지컬 AI의 ‘챗GPT 순간’이 왔다”고 선언한 뒤 피지컬 AI는 로봇·제조·자율주행 산업의 차세대 성장축으로 급부상했다.
‘제조업 강국’으로 꼽히는 한국은 피지컬 AI 경쟁에서 어디에 서 있을까. 컴퓨터비전 분야 세계 최고 권위 학회인 ‘CVPR’에 올해 다섯 편의 논문이 채택된 조민수 포스텍 무은재(無垠齋) 석좌교수(컴퓨터공학과)에게 물었다. 그는 카이스트·연세대·고려대·포스텍 4개 대학 교수 45명이 결집한 국가AI연구거점(NAIRL) 참여 교수로, 포스텍에서 컴퓨터비전 연구실을 이끌며 로봇·피지컬 AI를 연구한다. 조 교수는 피지컬 AI를 “동화책과 그림책으로만 세상을 배웠던 어린이가 이제 처음 냉혹한 세상으로 나오는 형국”이라고 표현했다. 지금까지의 AI가 텍스트와 사진·영상 등 비교적 정제된 데이터로 세상을 배웠다면, 이제는 실제 인간이 사는 환경에 손을 뻗기 시작했다는 진단이다. 이동수 기자와 함께 만났다.
— 피지컬 AI의 연구 방향을 쉽게 설명해 주시면요.
= 현실 세계는 정말 복잡미묘합니다. 컵을 들 때를 떠올려보세요. 컵의 무게가 얼마일지, 손에서 미끄러지지 않을지, 옆 사람과 부딪히진 않을지를 동시에 계산합니다. 기존 AI 연구는 물체 인식, 질의응답, 행동 인식을 따로 다뤘는데 현실은 이 모든 요소가 한꺼번에 얽혀 있습니다. 피지컬 AI는 임바디먼트(embodiment·체화), 즉 몸을 가지고 환경에 개입하는 AI예요. 문제는 사람조차 자신이 어떻게 컵을 드는지 완전히 설명하지 못한다는 점입니다. 인지과학·심리학·생물학에서 아직 다 밝혀내지 못한 영역이죠. AI에게 가르쳐줄 교과서가 없는 셈입니다. 그래서 지금까지 연구의 주류는 사람을 그대로 따라 하게 학습시키는 '이미테이션 러닝'이었습니다. 한계가 분명하죠.
— 피지컬AI 분야에서는 데이터 문제도 난제로 꼽힙니다. 인도 공장에서 인간 노동자가 AI 카메라를 부착하고 학습 데이터를 만드는 장면이 최근 사회관계망서비스(SNS)에서 화제가 됐는데요.
= 이미지나 텍스트 데이터는 인터넷에 차고 넘치는데, 피지컬 인터랙션 데이터는 그렇지 않습니다. 어떤 몸체로, 어떤 센서를 써야 할지부터 통일이 안 돼 있어요. 손에 느껴지는 힘과 압력 같은 멀티모달(다중감각) 정보를 어떻게 수집하고 연결할지도 정해지지 않습니다.
현재는 두 갈래로 문제를 풀고 있어요. 하나는 표준화된 수집 기구로 인터랙션 데이터를 직접 모으는 방식입니다. 노동자의 손과 머리에 센서를 붙이거나, 한국 정부의 ‘제조업 AI 전환(M.AX) 얼라이언스’처럼 각 분야 장인의 동작을 데이터화하는 시도가 그렇죠. 의미 있는 접근이지만 스케일링은 쉽지 않아요. 환경을 완전히 맞추지 않으면 데이터 간 도메인 갭이 생기고, 한 번 빠뜨린 데이터는 복구할 방법이 없거든요.
다른 하나는 유튜브 같은 비디오를 대량 수집해 사람과 사물의 상호작용을 뽑아내는 방식입니다. 비디오는 스케일링이 쉽지만 무게나 힘처럼 영상으로 알 수 없는 정보가 많아 결국 양쪽 다 필요해요.
◆ 더 작고 가볍게…토큰 경량화 ‘핵심’으로
— 그래서 등장하는 게 ‘월드 모델(world model)’입니다. 거대언어모델(LLM) 다음 전환점으로도 꼽히는데요.
= 월드 모델은 새로운 개념은 아닙니다. 강화학습이나 제어 이론에서 오래전부터 쓰인 개념입니다. 현재 상태와 내가 취할 행동을 입력받아 다음에 어떤 상황이 펼쳐질지를 예측해 주는 모델이에요. 로봇이 ‘이렇게 손을 뻗으면 어떻게 될까’를 미리 머릿속에서 시뮬레이션해보는 두뇌라고 보시면 됩니다. 지능이란 결국 환경에서 얻은 정보로 세계상을 확립하고, 그 위에서 행동을 선택하는 거잖아요. 미래를 잘 예측해야 좋은 행동을 고를 수 있기 때문에 월드 모델링이 모든 지능의 토대가 되는 셈입니다.
엔비디아의 ‘코스모스’도 비디오 한 프레임 한 프레임을 상태로 보면, 현재 장면과 텍스트 조건을 조합해 다음 장면을 예측·생성하는 모델로 볼 수 있습니다. 결국 미래 예측을 한다는 점에서 월드 모델로 해석할 수 있는 것이죠. 다만 최근에는 액션 조건 없이 미래를 예측하는 모델까지 폭넓게 월드 모델이라고 부르는 경향이 있습니다.
— 내달 열리는 글로벌 컴퓨터 비전 국제학회인 ‘CVPR’에서 채택된 연구 논문인 ‘월드모델 압축(Planning in 8 Tokens)’은 한 장면을 표현하는 데 수백 개의 토큰(AI가 정보를 처리하는 단위)이 들어가는 월드 모델의 연산 부담을 줄이는 연구입니다. 어떤 발상의 전환인가요.
= 통상 수백 개 토큰을 쓰던 한 장면을 단 8개 토큰으로 압축하는 기법입니다. 비디오 생성 기반 월드 모델 자체가 너무 무거우니까, 이걸 줄여야 공장이나 가정 같은 실제 현장에서도 쓸 수 있습니다.
토큰 압축은 학계 전반의 중요한 흐름입니다. 우리 연구도 그 일환이에요. 사람이 운전할 때 도로의 모든 픽셀을 보지 않잖아요. 신호등, 앞차, 차선처럼 행동에 필요한 정보만 추리듯 AI도 마찬가지입니다. 행동에 직결되는 중요한 정보만 골라내는 게 핵심이죠.
— 월드 모델이 실제 공장이나 가정에 들어가면, 어떤 변화가 가능한가요. 산업 현장에서는 오히려 공장보다 가정 로봇이 더 까다롭다는 얘기도 나옵니다.
= 두 가지 방향이 있어요. 하나는 비디오 생성 모델로 다양한 미래를 시뮬레이션해보고 그중 가장 좋은 행동을 고르는 방식이에요. ‘이렇게 하면 어떻게 되지, 저렇게 하면 어떻게 되지’를 다 그려보는 거죠. 다른 하나는 월드 모델 뒷단에 행동을 직접 출력하는 헤드를 달아서 예측과 행동 생성을 하나의 모델로 통합하는 방식이고요. 우리 팀도 두 가지 접근법을 다 시도하고 있습니다.
공장은 생각보다 어렵지 않아요. 같은 부품, 같은 동선, 같은 작업이 반복되거든요. 진짜 챌린지는 집안일을 돕는 로봇입니다. 가정에는 아이도 있고, 반려동물도 있고, 별의별 일이 다 일어나니까요.
— 산업계 일각에서는 “5년 안에 자동화 전환에 실패하면 핵심 사업이 사라질 위기”라는 진단도 나옵니다.
= 5년보다는 조금 더 걸릴 수도 있습니다. 다만 빨리 해야 한다는 점에는 동의합니다. 한국은 제조업 비중이 크고, 인구 감소와 산업재해 압력도 큽니다. 만능 로봇이 아니더라도 환경을 잘 셋업하면 지금 기술로도 자동화할 수 있는 일이 많습니다. 공장 자동화도 통제된 환경과 기술 발전을 잘 결합하면 훨씬 빨리 자리 잡을 수 있습니다.
◆ “한국 AI, 양은 상위권…임팩트가 과제”
— 한국 AI는 글로벌 무대에서 어디쯤 서 있나요.
= 양으로는 세계 다섯 손가락 안에 듭니다. 매년 세계 컴퓨터비전·기계학습 학회의 발표 논문 수와 참가자 비율로 보면 그래요. 그런데 임팩트로 보면 다릅니다. 프랑스·독일 같은 유럽 국가들에 밀리고, 학술·산업 리더십에서는 더 부족해요. 가장 큰 문제가 그거예요. 같은 내용이라도 미국 매사추세츠공대(MIT)에서 쓴 논문과 한국에서 쓴 논문은 조회수부터 다르거든요.
가격 경쟁력은 중국과 비교 불가 수준이에요. 요즘 한국 연구실에서 로봇을 사서 실험한다고 하면, 대체로 다 중국 로봇입니다. 미국 교수들이 로봇 연구하러 중국에 다녀온다는 얘기까지 들립니다. 다만 한국은 제조업 강국의 지위를 여전히 지키고 있고, 산학 간 협업 관계도 잘 형성돼 있습니다. 인구 감소와 산업재해 압력 같은 사회적 요인 때문에 어느 나라보다 피지컬 AI에 대한 동기부여가 크고요. 정부도 AI 연구·개발(R&D)을 강력하게 뒷받침하고 있어요. 거점을 포함한 한국 연구자들에게 절호의 기회입니다.
— 한국 AI가 글로벌 ‘메인스트림’에 진입하려면 무엇이 필요합니까.
= 동아시아 변방에 위치한 한국의 지정학적 상황은 메인스트림에 접근하기에 불리한 게 사실이에요. 프랑스에 있을 때는 워크숍 한 번 하면 책에서만 보던 사람들이 옆자리에서 커피를 마셨어요. 그 환경에 노출되는 것 자체가 자신감과 자극이 되거든요. 한국 연구자들이 더 의식적으로 국제 교류와 협력에 나서야 하는 이유입니다.
캐나다·일본·프랑스 같은 주요국 AI 기관과의 ‘미들파워’ 연대도 그 맥락입니다. 미국 의존을 다변화하면서 한국 독자 기술의 기반을 넓히는 시도입니다. 7월 서울에서 열리는 국제머신러닝학회(ICML)와 같은 기간, 거점이 공동 주관하는 ‘글로벌 AI 프론티어 심포지엄’도 그 일환입니다. 한국을 중심으로 글로벌 학계가 소통하는 장을 만들겠다는 구상입니다.
— AI 인재의 해외 유출은 오랜 우려입니다. 정부가 인재 유치를 위해 할 일은 무엇이라고 보시나요.
= 유출이 아니라 ‘진출’이라고 해석해야 합니다. 막을 게 아니라 돌아올 자리를 만드는 게 정부의 일이에요. 한국에 좋은 일자리와 기회가 있으면 인재는 돌아옵니다. 저도 그렇게 돌아왔고, 해외에 나가 있는 한국 연구자들 대부분이 같은 마음일 거예요.
해외 유수 연구소 유치도 중요합니다. 일본에는 빅테크 연구소들이 많은데 한국은 별로 없잖아요. 그런 거점이 늘어나면 학생들이 굳이 다 해외로 나갈 필요도 줄어들고, 해외에 있는 한국 연구자들도 돌아올 자리가 생기죠. 한국 안에서도 뛰어난 연구자들이 메인스트림 안으로 들어갈 수 있게 서로 끌어주고 받쳐주는 문화가 적절한 수준에서는 확실히 있어야 한다고 봅니다.
2026.08.07 16:51:20
‹
1
›

