Meta가 공개한 ASR의 기술원리

ASR(Omnilingual ASR) 기술의 주요 원리에 대해 설명해 드릴게요. 이 기술은 1,600개 이상의 언어를 인식하여 음성을 텍스트로 받아쓰는 것을 목표로 하며, 특히 데이터 자원이 부족한 저자원 언어(low-resource languages) 처리에 큰 강점을 가지고 있습니다.

🔑 주요 기술 원리

Meta의 옴니링구얼 ASR은 트랜스포머(Transformer) 기반의 인코더-디코더(Encoder–Decoder) 구조를 핵심 아키텍처로 채택하고 있으며, 다국어 처리를 위해 다음과 같은 혁신적인 기술들을 적용했습니다.

1. 언어 독립적인 음성 표현 학습 (Language-Independent Speech Representation)

• 원리: 음성의 언어적 특징과 관계없이 공통적이고 보편적인 음성 특징을 추출하는 인코더를 학습시킵니다.
• 효과: 이를 통해 모델은 특정 언어에 대한 제약에서 벗어나, 다양한 언어의 음성 데이터를 효율적으로 처리할 수 있게 됩니다. 이는 Meta의 기존 wav2vec 2.0과 같은 자기 지도 학습(Self-Supervised Learning) 기술을 기반으로 합니다.

2. 제로샷 인컨텍스트 러닝 (Zero-shot In-context Learning, Zero-shot ICL)

• 원리: 새로운 언어에 대해 별도의 추가 학습(Fine-tuning) 없이 몇 가지 음성-텍스트 쌍 예시 데이터만 제공해도, 모델이 스스로 패턴을 학습하여 해당 언어의 음성을 인식하고 텍스트로 변환할 수 있는 능력입니다.
• 효과: 이 기술을 통해 500개 이상의 미학습/저자원 언어에 대한 음성 인식 성능을 확보할 수 있었으며, 전체 지원 언어를 최대 5,400개까지 확장할 수 있는 잠재력을 제공합니다.

3. 유니버설 다국어 토크나이저 (Universal Multilingual Tokenizer)

• 원리: 여러 언어의 텍스트를 단일한 방식으로 표현하고 처리할 수 있는 통합된 토크나이저를 사용합니다.
• 효과: 모델이 하나의 시스템으로 여러 언어를 동시에 학습하고, 디코더가 추출된 음성 표현을 기반으로 언어에 맞는 텍스트 시퀀스를 생성할 수 있도록 돕습니다.

4. 다양한 모델 규모 (Scaling)

• 옴니링구얼 ASR은 3억(300M) 매개변수의 소형 모델부터 70억(7B) 매개변수의 대형 모델까지 다양한 규모로 구성되어 있습니다.
• 70억 매개변수 모델은 고성능 환경에서 높은 정확도를 제공하며, 소형 모델은 모바일이나 저전력 기기에서도 실시간 음성 전사가 가능하도록 설계되었습니다.

🎙️ 작동 단계 요약 (일반적인 ASR 흐름)

1. 음성 전처리: 입력된 음성 신호를 인간의 청각 특성을 모방한 **멜 스펙트로그램(Mel Spectrogram)**과 같은 특징 데이터로 변환합니다.
2. 인코더: 트랜스포머 인코더가 이 음성 특징 데이터에서 언어 불변적인(언어에 구애받지 않는) 음성 표현을 학습합니다.
3. 디코더: 디코더는 인코더의 결과를 받아 유니버설 토크나이저를 활용하여 최종 텍스트 시퀀스를 생성합니다.
이 기술은 특히 디지털 격차 해소와 소멸 위기에 놓인 지역 언어 보존에 기여할 것으로 기대를 모으고 있습니다.


음성의 특징만으로 의미나 문법을 직접적으로 알 수는 없지만, 문장 내에서 의미나 문법적 구조를 파악하고 해석하는 데 매우 중요한 역할을 합니다.
이러한 음성의 특징들을 통틀어 운율(Prosody)이라고 부릅니다.

🎶 운율(Prosody)과 언어적 역할

운율은 음성 자체의 물리적 특징들로 구성되며, 이는 텍스트에는 나타나지 않는 언어적, 비언어적 정보를 전달합니다. 주요 운율 요소와 그 역할은 다음과 같습니다.

1. 억양 (Intonation, 음도/Pitch)

• 특징: 목소리의 높낮이 변화입니다 (기본 주파수, \bm{F_0}).
• 역할:
• 문장 유형 구분: 끝을 올리면 (상승조) 보통 의문문으로 해석됩니다. ("밥 먹었어?" vs. "밥 먹었어.")
• 강조/초점 (Focus): 특정 단어의 음도를 높여 의미적 초점을 맞춥니다.
• 화자의 의도: 평서문이라도 특정한 억양은 놀람, 불만, 의심 등의 태도를 나타낼 수 있습니다.

2. 강세 (Stress, 강도/Intensity)

• 특징: 발화의 크기나 세기입니다.
• 역할:
• 단어의 의미 구분 (일부 언어): 영어의 경우 'present (선물)'과 'present (제시하다)'처럼 강세 위치에 따라 품사나 의미가 달라집니다.
• 구조적 강조: 문장에서 가장 중요한 정보나 대조되는 정보에 강세를 주어 청자의 주의를 집중시킵니다.

3. 길이/속도 (Duration, Speaking Rate & Pauses)

• 특징: 음절이나 단어를 발음하는 시간 길이, 그리고 **휴지(Pause)**의 위치와 길이입니다.
• 역할:
• 구문 경계 표시: 발화 중간의 휴지는 청자에게 문장의 구문(문법적) 경계를 알려주어 복잡하거나 모호한 문장의 구조를 명확하게 파악하도록 돕습니다.
• 의미 모호성 해소: 예를 들어, "나는 바보 같은 친구를 좋아한다"와 "나는 바보, 같은 친구를 좋아한다"는 휴지 위치에 따라 의미가 완전히 달라집니다.

따라서 음성 특징(운율)은 문법적 정보를 담고 있는 것은 아니지만, 문법적 구조를 해석하고 의미적 모호성을 해소하는 데 필수적인 보조 도구로 작용합니다.

Mel Spectrogram (멜 스펙트로그램)

Mel Spectrogram은 음성 신호를 인공지능 모델이 분석하기 쉽게 변환한 **시각적 특징 표현(Acoustic Feature Representation)**이며, 운율은 이 표현에 포함되어 있는 정보 중 하나입니다.
🖼️ Mel Spectrogram과 운율의 관계
1. Mel Spectrogram이란?
• 정의: 소리(음성)의 주파수(Frequency)와 에너지(Energy) 변화를 시간 축에 따라 시각화한 2차원 이미지 형태의 데이터입니다. 특히, 사람의 청각이 주파수를 인지하는 방식(멜 스케일, Mel Scale)을 모방하여 변환한 것입니다.
• 역할: ASR(자동 음성 인식)이나 TTS(음성 합성) 같은 음성 처리 모델의 가장 일반적인 입력값입니다.
2. 운율 정보는 어디에 포함되는가?
운율을 구성하는 세 가지 주요 요소는 Mel Spectrogram에 다음과 같이 시각적으로나 수치적으로 나타납니다.

Mel Spectrogram은 음성 신호의 모든 중요한 음향 특징을 응축한 표현이며, 이 응축된 특징 속에는 운율을 포함하여 음소(자음과 모음) 정보까지 담겨 있습니다. 따라서 ASR 모델은 Mel Spectrogram을 분석하여 운율 정보까지 암묵적으로 학습하고 활용할 수 있습니다.
요약하면, Mel Spectrogram은 운율을 포함하는 그릇(입력 특징)이며, 운율은 그 그릇 안에 담긴 언어적 특성(정보)입니다.