자막 타이밍은 왜 어긋나는가

자막을 다 만들었는데 클립 후반부에서 전체가 0.5초쯤 빠른 걸 발견한 적이 있다면, 그것이 어긋남입니다. 자막 도구에 대한 가장 흔한 불만이고, 세상의 거의 모든 설명이 같은 지점에서 틀립니다. 증상을 버그로 이야기하는데, 실제로는 산수 문제입니다.

어긋남은 품질이 아니라 측정의 문제

자막 파일은 큐마다 하나의 주장을 합니다. 이 말은 이 시각과 저 시각 사이에 발화되었다는 주장입니다. 만들려면 발화의 시작과 끝을 재야 합니다.

측정을 어렵게 만드는 두 가지가 있습니다.

연속된 발화에는 원래 틈이 없습니다. 내레이션에서 문장 경계는 억양으로 표시될 뿐, 무음으로 표시되지 않습니다. 무음으로 나누는 인식기는 절 중간에 경계를 놓거나, 두 문장을 한 큐에 밀어 넣습니다.

화면에 띄우고 싶은 글자는 파일 안의 소리가 아닙니다. 사람은 2016을 “이천십육”으로, Mr.을 “미스터”로 읽고, 한 번도 소리 내 읽은 적 없는 이름도 읽습니다. 소리만 듣는 시스템은 철자를 추측할 수밖에 없고, 추측이 대본과 어긋날 때마다 글자가 타이밍에 대해 밀립니다.

큐 하나당 어긋남은 대개 작습니다. 파일을 망치는 것은 누적입니다. 12초마다 40밀리초씩 틀어지면 20분 영상 끝에서는 9초 지연이 됩니다.

재받아쓰기가 상황을 악화시키는 이유

기본 흐름은 이렇습니다. 음성 인식을 돌려 시각이 붙은 단어를 얻고, SRT로 정리하고, 사람이 글자를 고친다.

문제는 마지막 단계에 있습니다. 잘못 들은 Alignesert를 AlignSRT로 고칩니다. 더 긴 문자열이고, 줄 안에서 위치도 다릅니다. 플랫폼은 큐를 다시 줄바꿈합니다. 줄바꿈이 바뀌면 같은 표시 시간에 들어가는 글자 수가 달라지고, 그다음 큐는 예전 줄바꿈을 기준으로 짜여 있었는데 그 기준이 무너집니다. 3분 지점에서 한 단어를 고치면 3분의 경계가 움직이고, 그걸 마흔 번 하면 파일은 후반부에서 눈에 띄게 어긋납니다.

글자 수정과 타이밍 수정은 같은 편집 작업인데, 이 흐름은 둘을 별개의 단계로 취급합니다.

강제 정렬은 질문을 바꾼다

강제 정렬은 문제를 뒤집습니다. “어떤 말이 발화되었나”를 묻지 않습니다. 그건 이미 압니다. 대본이 손에 있으니까요. 묻는 것은 이것입니다. 이 정확한 텍스트와 이 오디오가 주어졌을 때, 각 단어는 어디에 있는가.

정렬기는 텍스트에서 음소 열을 만들고, 그 열에 가장 잘 맞는 경로를 오디오에서 찾습니다. 단어 순서는 대본으로 고정되어 있으니 추측할 철자가 없고, 나중에 고칠 글자도 없습니다. 화면에 나오는 글자는 쓴 그대로이고, 타이밍은 거기서 유도됩니다.

실무적 결과는 세 가지입니다.

• 인명·브랜드·전문 용어가 구조적으로 정확합니다. 그것들은 들린 것이 아니라 주어진 것이기 때문입니다.
• 줄바꿈을 다시 계산할 필요가 없습니다. 글자를 고쳐도 경계는 움직이지 않습니다. 글자는 입력이지 고칠 출력이 아니니까요.
• 불확실성이 국소적이고 보입니다. 좋은 정렬기는 줄별 신뢰도를 돌려주므로, 의심스러운 다섯 줄만 보면 되고 사백 줄을 표본 검사할 필요가 없습니다.

그래도 여전히 당신 탓인 유일한 경우

강제 정렬은 오디오와 대본이 같은 말을 한다고 전제합니다. 내레이션을 다시 녹음했거나, 편집에서 한 줄을 잘랐거나, 화자가 즉석에서 말을 바꿨다면, 정렬기는 오디오와 맞지 않는 대본을 화해시켜야 하고, 그 구간을 낮은 신뢰도로 두거나 명시적으로 표시합니다.

이것은 실제 제약이고, 업로드 전에 알아둘 가치가 있습니다. 정렬 정확도의 상한은 녹음이 텍스트에 얼마나 충실한지로 정해집니다. 하지 않는 일은 그럴듯한 단어를 조용히 지어내 빈 곳을 메우는 것입니다.

30초 만에 파일 점검하기

납품 전에 어긋남이 가장 먼저 드러나는 두 곳을 봅니다.

1. 가장 긴 연속 구간의 마지막 큐. 거기서 늦다면 무언가가 누적된 것입니다.
2. 고유명사가 들어간 줄. 이름이 쓴 대로 적혀 있으면 텍스트 기반 정렬입니다. 기계가 들은 대로 적혀 있으면 정렬 간판을 단 받아쓰기입니다.

이 사이트에서는 30분 정렬이 무료입니다. 데모가 아니라 실제 파일로 두 점검을 모두 돌리기에 충분합니다.