AI 다섯을 고용했더니, 내가 제일 바빴다

-에듀라임 아카데미에 멀티에이전트 제작팀을 꾸린 이야기-

한국어 공부를 드라마 정주행처럼 중독적으로 만들고 싶었습니다. 한 편을 보고 나면 다음 편을 누르고 싶어지는 방식으로. 숙제라서 영상을 켜는 대신, 저 두 사람에게 무슨 일이 생기는지 궁금해서 계속 보게 만들고 싶었습니다. 그렇게 이야기를 따라가다 어느새 대사를 알아듣고, 직접 말해 보는 것. 에듀라임 아카데미에서 만들고 싶은 학습 경험이었습니다.

그래서 한국어를 가르칠 제작팀에 작가와 감독부터 넣었습니다. 작가, 한국어 학습 편집자, 드라마 리뷰어, 제작 감독, 영상·음향 리뷰어. 다섯 역할을 AI 에이전트에게 맡겼습니다. 역할만 보면 웬만한 소규모 제작사입니다. 출근도 없고 회의실 예약도 필요 없습니다. Codex의 메인 채팅에서 일을 나눠 주면 각자 맡은 결과를 가져옵니다.

그런데 어느 순간 가 하고 있는 일은 이랬습니다. 초대하지도 않은 친구에게 왜 오느냐고 묻는 대사를 고치고, 컷이 바뀌자 사라진 접시를 찾고, 바닥에 앉은 캐릭터의 입이 왜 움직이지 않는지 따지고 있었습니다. 그러다 새로 만든 연기보다 이전 버전이 낫다며 되돌려 달라고 했습니다.

인건비를 계산할 직원은 없었지만, 확인할 일은 아주 구체적으로 생겼습니다. 대본 속 친구의 초대 여부부터 접시 재고까지 제 업무가 됐습니다. 작가와 감독을 불렀는데, 저는 제작자와 시청자와 소품 담당을 오가고 있었습니다.

실제로 대본을 쓰고 영상을 고치면서, 이 제작팀에 무엇을 맡기고 무엇을 다시 가져와야 했는지 조금씩 배웠습니다. 컵 하나를 버릴지 말지 정하는 장면에도 생각보다 많은 손이 필요했습니다. 그 컵 이야기부터, 최종본을 이전 버전으로 되돌린 사연까지 풀어 보려 합니다.

제작팀은 있는데 방송국은 아직 없다

에듀라임 아카데미의 목표는 한국어 학습에 자꾸 돌아오고 싶게 만드는 것입니다. 드라마는 그 목표를 위해 고른 형식이었습니다. 인물들이 일상적인 사건을 겪는 동안에는 이야기를 끊지 않습니다. 드라마가 끝난 뒤에 실제 대사에서 고른 표현을 다시 듣고 따라 말합니다. 친구가 컵을 버리지 못하는 이유가 궁금해서 봤다가, 그 친구가 쓴 한국어를 내 입으로 말해 보는 흐름입니다.

짧은 홍보 영상도 함께 다루지만, 이 글에서는 아카데미의 드라마와 말하기 연습을 만든 경험에 집중합니다. 제작 단계에서 먼저 풀어야 했던 문제는 분명했습니다. 문법적으로 맞는 문장을 모은다고 다음 편이 궁금해지지는 않습니다.

「버리기 전에」의 실제 말하기 연습 화면. 드라마에서 들었던 질문을 다시 듣고 따라 말하는 구간이다.

이 목표에는 서로 다른 일이 한꺼번에 들어 있습니다. 인물이 다음에 무슨 행동을 할지 궁금해야 하고, 한국어 대화도 자연스러워야 합니다. 영어 자막은 원래 뜻을 따라야 하며, 컵을 들었다면 손이 컵을 통과하면 안 됩니다. 연습 구간에서는 시청자가 입을 열기도 전에 다음 문장으로 넘어가면 곤란합니다.

그래서 Codex 안에 다섯 전문 역할을 정의했습니다. ‘좋은 영상을 만들어 줘’라는 큰 요청을 각자 확인할 수 있는 일로 나눈 것입니다.

역할	맡긴 일
작가	이야기와 한국어 대본 작성, 수정 의견 통합
한국어 학습 편집자	대화의 자연스러움과 말투, 영어 자막, 연습 표현 검토
드라마 리뷰어	인물의 행동과 사건 전개, 계속 볼 이유 검토
제작 감독	제작 가능성 확인, 음성·구도·그림·영상 조립
영상·음향 리뷰어	실제 결과물의 연기·화면·자막·연습 구간 검토

이들을 조율하는 역할은 메인 채팅에 맡겼습니다. 저는 그 채팅에서 원하는 방향을 말하고 결과를 봅니다. 메인 채팅은 필요한 전문가를 호출하고, 정확히 어느 파일을 읽을지, 무엇을 고칠지, 어디까지 진행할지를 전달합니다. 전문가의 결과를 받아 다음 담당자에게 넘기고, 제가 선택한 버전도 기록합니다.

다섯은 역할의 수입니다. 항상 다섯 에이전트를 동시에 띄워 놓는다는 뜻은 아닙니다. 대본을 검토할 때 영상 리뷰어까지 부를 이유는 없고, 반대로 서로 다른 대본을 쓰게 할 때는 같은 작가 역할을 둘에게 나눠 맡긴 적도 있습니다. 실제로 한 다섯 편짜리 대본 작업에서는 작가 둘이 나누어 썼습니다.

프로젝트의 역할 정의 파일에는 역할 설명과 지침을 담아 두었습니다. 다만 파일에 ‘제작 감독’이라고 적어 두는 것과, 실행 중인 에이전트가 그 지침을 받아 일하는 것은 별개였습니다. 실제 호출 때 해당 역할과 이번 작업 범위를 전달해야 했습니다. 명함을 만들어 줬다고 업무 인수인계까지 끝나는 것은 아니었습니다.

첫 번째 업무는 한국어를 한국어답게 고치는 일이었다

초기 파일럿 대본에는 이런 대사가 있었습니다.

“네, 시간만 볼게요.”
“자리도 잠깐 봤어요. 그런데 제가 다 맡을 수는 없어요. 오늘은 손님으로 왔어요.”

각 문장을 따로 떼면 뜻은 읽힙니다. 하지만 장면 안에서 누가 왜 이런 말을 하는지 보니 대화가 어색했습니다. 저는 영어로 구상한 내용을 한국어로 옮긴 듯하다고 피드백했습니다. 실제 모델이 머릿속에서 어느 언어로 생각했는지는 알 수 없습니다. 확인할 수 있었던 것은 결과 대사와 앞선 기획 자료였고, 그 결과가 한국어 대화로 잘 작동하지 않았다는 점입니다.

이때 이미 내부 검토에서는 준비됐다는 판단이 나와 있었습니다. 한국어를 검토하는 역할까지 두었는데도 생긴 문제였습니다. 전문가를 추가하면 검토해야 할 일이 줄어들 것 같지만, 전문가가 무엇을 기준으로 통과시켰는지도 살펴봐야 했습니다.

수정은 어색한 단어 몇 개를 바꾸는 데서 끝내지 않았습니다. 작가가 한국어 장면과 대화를 먼저 쓰고, 학습 편집자가 영어 번역 없이 그 대화만 읽게 했습니다. 앞사람의 부탁에 제대로 답했는지, 이 관계에서 이런 말을 할 만한지, 인물이 실제로 필요한 정보를 묻고 있는지를 확인한 뒤 영어 자막과 연습 표현을 붙이도록 순서를 바꿨습니다. 나중에는 작가에게 주는 창작 지시와 수정 피드백도 한국어로 작성하도록 정리했습니다.

그렇다고 한국어 파일을 먼저 저장하면 자연스러운 대본이 되는 것은 아니었습니다. 뒤이어 나온 짧은 대화도 저는 돌려보냈습니다. 설명을 읽어야 상황이 이해됐고, 장면 자체가 충분히 흥미롭지 않았습니다. 한국어 문장을 고친 다음에는 드라마를 다시 고쳐야 했습니다. 제작팀의 첫 업무가 생각보다 길어졌습니다.

문법 검사로는 잡히지 않는 무단 방문

다음 대본 묶음의 「이쪽은 내가」에서도 비슷한 문제가 더 작고 선명하게 드러났습니다. 친구가 장비를 제안하는 대화 뒤에 “너도 와?”라는 말이 나왔습니다. 아직 집에 와 달라고 초대하지 않았는데, 친구가 방문하기로 한 것처럼 묻고 있었습니다.

“너도 와?”는 그 자체로 틀린 한국어가 아닙니다. 이미 누가 오기로 한 상황이라면 아주 자연스럽습니다. 이 대본에는 그 전제가 없었습니다. 문장만 보면 멀쩡한데, 친구 한 명이 대화의 빈틈으로 입장해 버린 셈입니다.

수정한 대사는 “응. 와서 좀 도와줘.”였습니다. 이러면 그 자리에서 방문과 도움을 요청합니다. 학습 편집자가 살펴야 할 대상도 더 분명해졌습니다. 존댓말과 반말, 번역의 정확성뿐 아니라 부탁, 초대, 동의가 어느 순서로 일어났는지까지 읽어야 했습니다.

드라마 리뷰어에게는 또 다른 질문이 남았습니다. 이 대본의 행동에는 원인과 결과가 있었고, 내부 검토도 통과했습니다. 그래도 저는 현실적이기는 한데 충분히 재미있거나 극적인지는 모르겠다고 했습니다. 가능한 일과 보고 싶은 일 사이에는 아직 거리가 있었습니다.

여기서 리뷰어를 한 명 더 부르면 정답이 나올 것 같지만, 그때의 기록만으로는 그런 결론을 내릴 수 없었습니다. 오히려 검토 결과를 읽는 방식을 고쳐야 했습니다. ‘구조상 큰 문제를 못 찾았다’는 말은 도움이 됩니다. 그것을 ‘시청자가 재미있어할 것이다’로 받아들이면, 아직 하지 않은 검증까지 끝낸 셈이 됩니다.

그래도 낡은 컵 하나는 제작할 이유가 됐다

같은 묶음에서 내가 제작하고 싶다고 고른 이야기는 「버리기 전에」였습니다. 수아가 이삿짐을 정리하고 민호가 돕습니다. 민호는 손잡이를 서툴게 붙인 컵을 보고 버려도 되는지 묻습니다. 수아는 안 쓸 거라면서도 가져가겠다고 합니다.

민호: “그 컵 좋아하면 내가 새로 사 줄게.”
수아: “새 컵 말고. 이거.”
민호: “왜?”
수아: “네가 붙여 줬잖아.”

「버리기 전에」 V5 영상의 한 장면. “네가 붙여 줬잖아”라는 대사에 컵을 남기는 이유가 담겨 있다.

그 컵은 민호가 깨뜨리고 민호가 붙인 컵이었습니다. 민호는 잘 붙인 줄 알았지만, 수아는 손잡이가 흔들려 다음 날부터 쓰지 않았습니다. 수리가 성공해서 남겨 둔 물건이 아니었던 것입니다.

이후 새집까지 버스로 한 시간쯤 걸린다는 이야기가 나오고, 민호는 지금처럼 자주 오기 어렵겠다고 말합니다. 수아가 컵을 포장하다 멈춥니다. 물건을 버릴지 말지 하던 장면이, 편하게 들르던 일상이 사라질까 걱정하는 장면으로 넘어갑니다. 두 사람은 막연히 계속 만나자고 끝내지 않고 다음 방문 날짜와 저녁 약속을 정합니다.

드라마 리뷰어도 개요 단계에서 이 이야기의 감정 흐름을 좋게 봤습니다. 그러면서 붙인 컵은 기념물로 남기고, 실제로 마실 멀쩡한 컵은 따로 두라는 수정 방향을 제시했습니다. 결말에는 이사 전 마지막 아침에 쓸 컵 하나를 남기는 행동이 들어갔습니다. 검토가 추상적인 칭찬을 넘어, 화면에서 보여 줄 선택을 구체화한 사례였습니다.

저도 이 이야기를 마음에 들어 했습니다. 다만 “너 이제 그냥 못 오잖아.”는 “너 이제 자주 못 오잖아.”로 바꾸자고 했습니다. 수아가 아쉬워하는 것은 방문 횟수가 줄어드는 일이었습니다. 그 뜻에 맞춰 민호의 다음 답도 “그럼 약속하고 가지.”로 고쳤고, 영어 자막과 연습 자료도 따라 바뀌었습니다.

이 작은 수정이 멀티에이전트 작업을 설명하기에 좋습니다. 사람이 의도를 짚고, 대본 담당자가 반영하고, 연결된 답변과 번역을 확인합니다. 각자 자기 문장 하나만 다듬으면 수정본 안에 서로 다른 뜻이 남습니다. 대본은 하나인데, 검토 의견은 여러 곳에서 들어오기 때문입니다.

이 이야기는 다른 후보보다 새로운 그림이 더 필요할 수 있었습니다. 컵을 받쳐 드는 손, 포장하는 자세, 상자와 서랍 같은 것들입니다. 그래도 저는 제작할 가치가 있다고 판단했습니다. 제작 감독의 역할은 필요한 작업을 드러내는 것이었고, 그 작업을 감수할 만큼 이 이야기가 좋은지는 제가 결정했습니다. 가지고 있는 그림만으로 대본을 고르면, 등장인물들이 매번 비슷한 자세로 비슷한 대화를 하게 될 터였습니다.

우리 제작팀에서는 대본을 동시에 고치지 않는다

이쯤 되면 역할을 나누는 것보다 수정 의견을 합치는 일이 더 중요해집니다. 작가가 대사를 고치는 동안 편집자가 이전 대사를 번역하고, 리뷰어가 더 오래된 파일을 읽으면 셋 다 성실히 일하고도 결과가 어긋날 수 있습니다.

그래서 대본에는 대사 ID를 붙였습니다. 앞서 고친 수아의 대사는 E05-S03-L009입니다. ‘후반부에 좀 어색한 말’ 대신 이 ID로 위치를 지정하면, 바로 다음 답변과 영어 자막까지 따라갈 수 있습니다. 파일 버전과 해시도 남겨서 어느 원고를 검토했는지 구분했습니다. 검토자가 좋다고 한 대본과 내가 열어 본 대본이 같아야 그 평가를 쓸 수 있습니다.

원고를 직접 고치는 담당자는 한 명으로 정했습니다. 학습 편집자는 수정안을 제시하고, 드라마 리뷰어는 문제와 근거를 돌려주며, 작가가 하나의 대본에 통합합니다. 서로 독립적인 검토는 같은 고정본을 놓고 병렬로 진행할 수 있습니다. 원고를 동시에 편집하는 일과 원고를 동시에 읽는 일은 다르게 취급했습니다.

작업 지시도 역할 이름만 보내지 않도록 했습니다. 아래는 특정 호출 기록을 그대로 옮긴 것이 아니라, 우리가 정한 전달 항목을 짧게 풀어 쓴 예시입니다.

대상: 이번에 고정한 한국어 대본과 정확한 버전
확정된 것: 선택한 인물 관계와 이야기의 방향
이번 일: 어색한 대화와 바로 이어지는 답변 검토
결과: 대사 ID별 문제와 수정 제안
범위: 검토만 수행, 대본 직접 수정이나 음성 생성은 하지 않음

승인한 내용과 아직 정하지 않은 내용을 구분하는 것도 중요했습니다. ‘이 이야기가 좋다’는 결정이 곧 ‘이 목소리가 좋다’는 결정은 아닙니다. 작가가 쓰고 리뷰어가 준비됐다고 해도, 그다음 유료 음성을 만들지까지 자동으로 결정하게 하지는 않았습니다. 일반적인 작업에서는 대본, 음성, 스토리보드, 필요한 그림, 완성 영상을 단계에 맞춰 검토했습니다.

반대로 모든 중간 파일마다 나를 호출하는 것도 원하지 않았습니다. 스토리보드와 필요한 그림 계획을 확인했다면, 그 범위의 제작과 내부 수정을 거쳐 완성 후보를 보여 달라고 했습니다. 수정 권한을 줘 놓고 눈 깜빡임 파일 하나가 나올 때마다 다시 결재할 생각으로 제작팀을 꾸린 것은 아니었습니다.

조율하는 메인 채팅에는 이런 양쪽 경계가 필요했습니다. 맡긴 범위 안에서는 진행하고, 새로운 선택이 필요하면 가져올 것. 같은 의견이 반복되는데 결과가 나아지지 않으면 에이전트 사이에서 대본을 계속 돌리지 말고, 무엇이 해결되지 않았는지 내게 보여 줄 것.

그림 창고에는 입이 있었고, 영상 속 배우는 말이 없었다

대본 다음에는 음성을 만들고, 구도와 그림을 준비하고, 영상을 조립합니다. 여기서도 역할을 나눠 두었다는 사실만으로 결과가 맞아떨어지지는 않았습니다.

「버리기 전에」의 한 영상 버전에서 저는 캐릭터가 왜 말하지도, 눈을 깜빡이지도 않는지 물었습니다. 입과 눈 상태를 가진 기존 캐릭터 그림은 있었습니다. 하지만 그것은 서 있는 자세용이었습니다. 실제 영상에는 새로 만든 바닥에 앉은 자세를 썼고, 그 그림에는 대응하는 표정 상태가 없었습니다. 머리 각도가 다른데 서 있는 얼굴을 그대로 끼워 넣을 수도 없었습니다.

재료가 있다는 보고와 화면에서 작동한다는 사실은 달랐습니다. 이후에는 실제로 쓰는 바닥 포즈에 맞는 입과 눈 상태를 만들고, 말하는 인물만 입을 열도록 수정했습니다. 제작 담당자는 영상을 만들고, 영상 리뷰어는 그 결과에 사용된 포즈가 실제로 말하고 깜빡이는지 확인해야 했습니다.

소품에서도 비슷한 일이 생겼습니다. 임시로 그린 컵과 상자, 서랍이 완성 후보에 남았는데, 내부에서는 이를 알려 둔 한계 정도로 처리했습니다. 제가 보기에는 장면에 꼭 필요한 소품이 아직 덜 만들어진 상태였습니다. 컵에 얽힌 기억이 이야기의 중심인데 컵이 임시 도형이면, 설명을 얼마나 정성껏 붙였는지는 별 도움이 되지 않습니다.

다른 카페 테스트에서는 컷이 바뀌자 접시 세 개가 두 개가 됐습니다. 치우는 장면은 없었습니다. 결국 세 개가 계속 남도록 고쳤습니다. 검토할 때 시작과 끝의 예쁜 정지 화면만 보지 말고, 이어지는 컷에서 물건이 어떻게 바뀌는지 봐야 했습니다. 저는 한국어 교육 콘텐츠를 만들고 있었지만, 그날의 수정 요청은 사라진 접시를 복구하는 일이었습니다.

제작팀의 업무 지침도 여기에 맞춰 바뀌었습니다. ‘그림 라이브러리에 기능이 있다’는 보고 대신 실제 영상에 나온 상태를 확인하고, 검토자가 듣거나 연속 재생으로 보지 못한 부분은 그대로 남기도록 했습니다. 파일이 정상적으로 열리는 것과, 연기가 자연스러운 것은 각각 확인해야 할 일이었습니다.

에이전트도 다섯 자리에 다 앉지는 못했다

현실적인 운영 문제도 있었습니다. 한 대본 묶음에서는 독립 학습 편집자를 실행하려 했지만, 실행 환경의 에이전트 수 제한 때문에 추가 호출이 되지 않았습니다. 메인 채팅이 그 검토를 대신했습니다.

이때 기록을 ‘학습 검토 완료’로만 남기면 다섯 역할이 모두 독립적으로 검토한 것처럼 보일 수 있습니다. 그래서 누가 실행됐고 누가 대신했는지 구분했습니다. 실제로 실행하지 못한 편집자에게 놓친 문제의 책임을 물을 수도 없었습니다. 조직도에는 다섯 칸이 있지만, 그날 작업 기록은 별도로 읽어야 했습니다.

실패 사례를 쌓는 방법도 조정했습니다. 매번 모든 에이전트에게 지금까지의 사고 목록을 통째로 읽히는 대신, 개별 사건은 해당 에피소드에 남기고 반복해서 쓸 원칙만 공통 지침에 반영하도록 했습니다. 다음 대본을 쓰는 데 지난 영상의 접시 수와 컵 위치까지 모두 외울 필요는 없습니다. 물건의 상태가 컷 사이에 이어져야 한다는 원칙과, 이번 장면에 필요한 기록이면 됩니다.

지침 파일을 고쳤다고 이미 일하는 에이전트가 새 내용을 자동으로 받았다고 생각하지도 않았습니다. 다음 작업을 맡길 때 바뀐 지침을 명시해서 전달했습니다. 이것은 모델을 새로 학습시키는 일이 아니라, 다음 작업의 지시와 확인 기준을 고치는 일이었습니다.

그 결과 더 빨라졌는지, 한 에이전트보다 저렴한지는 아직 일반화할 수 없습니다. 역할을 나누면 작성과 검토를 병행할 수 있지만, 전달하고 취합하고 다시 고치는 일도 생깁니다. 지금의 기록으로 말할 수 있는 것은 여러 대본을 만들고, 그중 제작할 이야기를 고르고, 수정 끝에 사람이 선택한 영상까지 얻었다는 것입니다. 에이전트 수만 세어 생산성을 설명하기에는 그 사이에 일이 많았습니다.

최종본 바로 다음에 최종본이 하나 더 생겼다

나중에 만든 「네 얼굴이 더 시끄러워」에서는 연기를 고친 새 버전보다 이전 버전이 더 좋았습니다. 저는 이전 것으로 마무리해 달라고 했습니다. 선택한 대사에는 “이제 뭐 튀어나오지?”라는 질문의 말맛이 남아 있었습니다.

「네 얼굴이 더 시끄러워」에서 선택한 V11의 실제 화면. 이 대사의 연기는 새 버전보다 이전 버전이 좋았다.

이럴 때 제작팀이 해야 할 일은 이전과 비슷하게 다시 만들어 보는 것이 아닙다. 제가 고른 이전 파일을 그대로 돌려놓는 것입니다. 기록에는 선택한 V11과 거절한 V12가 함께 남았고, 최종 파일은 V11과 바이트 단위로 같게 복원됐습니다. 이 복원에는 새 음성이나 이미지 생성이 필요하지 않았습니다.

처음에는 결과물을 만들어 줄 역할들을 나누었습니다. 실제로 운영하면서는 선택한 결과를 보존하는 책임까지 나눠야 했습니다. 제가 컵 위치를 바꿔 달라고 했을 때 이미 고른 연기가 달라지면 안 되고, 새 버전이 나왔다는 이유만으로 이전 선택이 무효가 되어서도 안 됐습니다.

에이전트가 가져오는 것은 대본과 그림, 검토 의견, 완성 후보였습니다. 저는 그중 무엇이 이 프로젝트에 맞는지 골랐습니다. 어떤 날은 대사가 부자연스럽다고 돌려보냈고, 어떤 날은 그림을 더 만들어서라도 이 이야기를 찍자고 했습니다. 그 과정에서 메인 채팅은 제작팀의 업무와 제 결정을 연결하는 자리가 됐습니다.

AI 다섯을 고용한 뒤 제 업무 목록에는 대본 승인, 연기 선택, 소품 확인이 들어왔습니다. 꽤 그럴듯한 제작자 업무입니다. 물론 실제로 보낸 메시지는 조금 더 소박했습니다. 마지막 요청을 한국어로 옮기면 이랬습니다.

“이전 버전이 더 좋았어. 그걸로 마무리해 줘.”

Joseph