Suggestions
Jaeseung S.
Data Scientist
Jaeseung S. is a data professional with experience in various roles at prominent companies in South Korea. He worked as a Data Scientist at Viva Republica from January 2017 to August 2019.1 After that, he transitioned to the role of Data Scientist / Data Team Leader at Toss Securities from August 2019 to March 2021.1 Currently, Jaeseung S. holds the position of Data Product Owner at Bungee.1 His previous work experience includes positions at Smilegate, 다음커뮤니케이션 (Daum Communications), and as a Data Engineer at NHN.
Highlights
AI에게 받아쓰기 하나만 제대로 시키는 것도 쉽지 않습니다. 이를 위해 많은 시행착오가 필요했고 철저하게 OpenAI API 에 우리의 데이터와 일하는 방식을 맞춰야만 했습니다.
번지에서 AI 로 미팅 받아 쓰고 요약하기 #2
첫번째 글 에서 말씀드린 것처럼 받아쓰기(STT) 성능 개선 문제로만 알았던 것이 사실은 업무 자동화에 관련된 것이었습니다. 그래서 우리팀이 일하는 과정을 더 깊이있게 살펴보았습니다.
매니저들이 고객사와의 미팅 중간에 메모하고, 미팅이 끝나면 콜라보(미팅 녹화 서비스)에서 제공하는 녹취록과 영상을 살펴보면서 고객사와의 미팅 내용을 정리하고 있었습니다. 보통 1~2시간은 걸리더라고요. 혹시 매니저분들이 바쁘거나 연달아 미팅이 잡힌다면 이 과정은 계속 뒤로 밀릴 수 밖에 없었습니다. 그리고 그런채로 며칠이 지나간다면… 불완전한 기억과 불완전한 녹취 데이터에 의존해서 불완전한 정보를 만들어 낼 수 밖에 없었습니다.
그래서 저희가 정한 첫번째 목표는 “괜찮은” 녹취록이 “제때” 만들어지는 것이었습니다. 사람이 받아 쓴 정도의 퀄리티로 미팅이 끝나자마자 녹취록이 만들어지면 엄청난 고통이 줄어드는 것이죠.
< 🤖 OpenAI API 사용하기 >
괜찮은 녹취록을 제때 만들기 위해서는 좋은 모델을 서비스하는 API 를 사용해야 했습니다. 그래서 찾은 것이 OpenAI 의 Whisper API 였습니다. 성능은 whisper large-v2 모델과 같고 API 로 제공해서 사용한 만큼 과금하니 저희에게 딱 맞았죠.
그래서 처음으로 100달러를 충전하고 API 를 써보기 시작했습니다.
- OpenAI 의 위대함을 경험하다
처음에는 번지팀 내부 미팅을 녹음한 15분 정도의 음성파일로 테스트를 시작했습니다. 테스트는 10분만에 끝났습니다. 결론은…. “미친듯이 퀄리티가 좋다. 사람보다 더 잘 받아쓰는 것 같다. 그냥 이거 쓰면 되겠다. 그리고 싸다…”
아! 딱 하나 요청한 것 있습니다. “반드시 한글로 표현해줘” 이 말을 프롬프트에 넣지 않으니 Whisper 가 너무 똑똑한 나머지 받아쓰기 한 한국말을 굳이 영어로 번역까지 해서 대답해 주더라고요.
- 25MB의 제한에 막히다
엄청난 퀄리티에 놀라서 진짜 미팅 녹음 파일로 테스트를 진행했습니다. 그런데 자꾸 실패가 나더라고요. 알고보니 Whisper API 는 25MB 까지의 입력만 처리한다고 합니다. 그래서 m4a 음성 파일을 mp3 로 변환해서 용량을 줄였습니다. 변환 작업을 위해 AWS 서버도 최소 사양에서 그 윗 급으로 올렸습니다.
- 미팅이 길어지니 헛소리를 하기 시작하다
10분 정도의 미팅을 처리할 때는 완벽하던 Whisper 가 15분을 넘어가니 자꾸 말을 빼먹고 헛소리를 하기 시작했습니다. ( 저도 정확히 그 시점은 모르겠네요. ) 아무리 프롬프트에 “헛소리 하지마” 라고 해도 바보가 된 것처럼 성능이 떨어졌습니다. 아예 미팅을 10분 단위로 잘라서 whisper API 에 요청하니 괜찮아졌습니다. 그래서 지금은 10분단위의 녹취록을 합쳐서 전체 녹취록을 만듭니다.
- 발화자를 구분하지 못한다
Whisper 는 받아쓰기는 잘하지만 누가 그 말을 했는지 구별하지 못합니다. 프롬프트에 아무리 발화자를 구별해 달라고 해도 못하길래 여기저기 찾아보니 whisper 는 발화자 구분을 못한다고 하더라고요. 여기서는 해결이 안되는 문제인 걸 깨닫고 다음 단계로 넘어갔습니다.
< 📹 Zoom 으로 이사하기 >
어쨌든 “괜찮은” 녹취록은 확보했으니 이제는 “제때” 만드는 것이 중요했습니다.
기존에 사용하던 콜라보 서비스는 API 로 영상을 다운 받는 것이 지원되지 않아서 늘 사람이 처리해야 했습니다. 하지만 Zoom 은 미팅과 관련된 원하는 모든 것을 API로 지원했습니다. 물론 비용이 비쌌지만 영철님이 과감하게 줌으로 이사를 결정해 주었습니다. 새로운 도구로 이전하는 것은 일하는 방식을 바꾸는 것인데 과감한 결정이었다고 생각합니다.
그리고 의도치 않게 줌으로 이사가니 Whisper 에서 해결 못한 발화자 분리도 가능해 졌습니다. 사실 줌에서도 받아쓰기와 요약을 지원합니다. 하지만 한국어는 퀄리티가 엉망입니다...
OpenAI, Zoom 등 여러 API 를 연동하면서 우리는 드디어 “괜찮은” 녹취록을 “제때” 확보할 수 있게 되었습니다. AI 가 우리의 업무에 제대로 들어오게 된 순간이었죠.
오늘도 글이 길어져서 여기까지…. ✂️
다음에는 ChatGPT 를 이용해서 이 받아쓰기 데이터로 어떻게 좋은 요약을 만들어 내는지 얘기해 볼 생각입니다. 사용했던 모델(GPT 3.5 vs GPT 4) 이나 프롬프트들이 어떤 다른 결과들을 만들어 냈는지도요.
위의 과정들은 번지에서 일하면서 겪은 과정들을 날 것 그대로 기록한 것입니다. 엄청난 AI 기술이나 아이디어가 있다고 생각하지는 않습니다. 하지만 제가 경험한 것들이 누군가에게는 도움이 되지 않을까 싶어서 계속해서 써볼 예정입니다.
하루가 멀다하고 AI와 관련된 엄청난 뉴스가 쏟아지고 있습니다. 이미 인간의 수준을 넘어섰다느니, 인간보다 더 그럴듯한 영상을 만들었다느니 하는 뉴스를 볼 때면 이제는 놀라움을 넘어서 두려운 감정마저 듭니다. 하지만 다시 내가 일하는 현실로 돌아오면 내가 하는 일 어느 하나도 AI에 의해서 확 바뀐 것은 없습니다. 분명 엄청난 기술이 나왔고 끊임없이 발전하는 것 같은데 말이죠.
앞으로 AI에 의해서 우리가 일하는 방식이 엄청나게 바뀔거라고 누구나 예상합니다. 하지만 진정으로 그 변화를 만드는 것은 AI 기술을 만드는 OpenAI 나 Google 같은 회사가 아니라 AI를 자신에 업무에 활용하는 우리같은 직장인들이 아닐까 생각합니다. 번지가 받아쓰기 하나 제대로 시키는데 이렇게 많은 시행착오를 겪은 것처럼 많은 분들이 이런 과정을 겪다보면 분명 우리의 업무에 AI는 깊숙이 들어와 있지 않을까 싶습니다.
이제는 개발자가 아니어도, 딥러닝을 몰라도 AI 를 쓸수 있는 시대가 되었습니다. 여러분들은 이런 시대에 어떤 준비를 하고 계신지 궁금합니다.
