발음 평가 기술의 원리: AI는 어떻게 억양 문제를 짚어낼까

발음 평가는 단순히 “비슷하게 들리는가”를 판단하는 것이 아니라, 음향 특징 추출과 음소 단위 비교를 기반으로 하는 기술적 프로세스입니다. StudyBuddy에 문장을 말하면, 시스템은 먼저 연속된 음성 신호를 프레임 단위의 음향 특징, 즉 음높이, 에너지, 포먼트 등의 파라미터로 분해합니다. 이 단계는 이후 모든 분석의 기초가 됩니다. 다음으로 핵심이 되는 것은 “강제 정렬(forced alignment)” 과정입니다. 시스템은 사용자의 발음과 참조 발음 모델(일반적으로 대량의 원어민 음성 데이터를 학습하여 만들어짐)을 음소 단위로 하나씩 정렬하여, 사용자가 발화한 각 음소가 참조 발음의 어느 부분에 해당하는지를 파악합니다. 이 과정을 통해 “어떤 소리가 부정확한지”를 음절 단위까지 정확하게 짚어낼 수 있으며, 단순히 모호한 점수 하나만 제시하는 데 그치지 않습니다. 정렬이 끝나면 시스템은 음소, 단어, 문장의 세 단계로 나누어 점수를 매깁니다. 음소 단계에서는 포먼트 위치와 발음 길이를 비교하여 모음이 제대로 발음되었는지, 자음이 명확한지를 판단합니다. 예를 들어 영어의 자음군(consonant cluster)이나 모음 장단의 차이는 중국어 원어민 화자가 가장 자주 틀리면서도 스스로 알아차리기 어려운 부분입니다. 단어 단계에서는 강세 위치가 올바른지를 확인합니다. 문장 단계에서는 억양 곡선, 휴지(pause) 리듬, 말하기 속도를 종합적으로 평가하여 전반적인 유창성을 판단합니다. 표준중국어(普通話)와 같은 성조 언어의 경우, 시스템은 기본 주파수(피치) 변화 곡선을 별도로 비교하여 성조가 정확한지를 판단합니다. 이처럼 프레임 단위, 음소 단위로 이루어지는 정량적 비교는 사람의 귀로는 안정적으로 구분하기 어려운 미세한 오차, 특히 화자 본인조차 전혀 인지하지 못하는 체계적인 오류까지 포착할 수 있습니다. 사람의 청각은 쉽게 피로해지고 주관적인 예상에 영향을 받기 쉬운 반면, 기계의 판단 기준은 항상 일관됩니다. 다만 저희는 이 기술의 한계에 대해서도 분명히 말씀드리고 싶습니다. 평가 모델이 억양을 허용하는 범위에는 한계가 있어, 방언 억양이 강하거나 마이크의 음성 수집 품질이 좋지 않으면 정확도에 영향을 줄 수 있습니다. 또한 말하기 속에 담긴 자연스러운 감정의 기복이나 유머러스한 침묵 등 인간의 경험적 판단에 더 의존하는 부분은 현재 기술로는 아직 참고 자료 제공 수준에 머물러 있습니다. StudyBuddy에서는 매 평가 결과를 구체적인 음절 단위까지 분석하고 맞춤형 연습 방법을 제안하여, “무엇이 틀렸는지”를 “어떻게 고쳐야 하는지”로 바꿔드리고자 합니다.