현재 asr 모델들의 경우 특정 목적, sampling rate, codec에 맞춰 훈련됨. 훈련된 데이터와 다른 조건의 데이터가 들어가게 되면 성능이 떨어짐. 이 논문에선 162,000h의 여러 도메인 데이터로 훈련시켜 도메인에 상관없이 잘 적용되도록 함. 또한, 데이터를 임의로 왜곡시켜 넣어 음원에 있을 수 있는 잡음, 코덱 차이, sampling rate 차이를 고려함. 이를 통해 훈련에 사용되지 않은 도메인의 데이터 10시간의 fine-tuning만으로 domain-specific 모델을 70배의 데이터로 scratch에서 훈련시킨 것보다 좋은 성능을 냄을 보였음.
이 논문에서 말하는 도메인이란 말뭉치간에 공통적인 특성이 존재하는 그룹을 의미함 ex) voice search, video-captioning, callcenter, etc.,
또한 sample rate, noise, codec 등으로도 도메인을 나눔.
mixed bandwidth training은 추가적인 sampling rate간의 복원 없이 학습이 가능함.
논문에서 사용하는 데이터인 162,000h의 데이터는 매 훈련 과정마다 simulated distortion을 더하기 때문에 같은 말뭉치를 같은 형태의 데이터로 훈련할 확률이 0에 가까우며 이는 162,000h x epoch의 데이터로 훈련하는 것과 같은 효과를 가짐.
multi-domain 데이터로 훈련되었으나 domain specific한 모델과 같은 일반화 성능을 보임.

Fig. 1: Block diagram for multidomain training.
fig1. 멀티도메인 train set 생성 다이어그램
말뭉치는 세 가지 simulation을 랜덤하게 적용하거나 아예 적용하지 않고 dataset queue에 추가됨.
simulation은 room simulation을 통한 noise simulation, sample rate 변경, lossy codec이 있음
noise configuration이란 오디오 성능을 정하는 요소들을 의미함.
ex) size of the room, reveberation time, position of the microphone, speech and noise sources, signal to noise ratio(SNR), etc.
각 말뭉치는 3백만개의 configuration 중에서 random sample
simulated room은 0~4개의 잡음을 포함하고, 말뭉치와 섞은 후 SNR이 0~30dB가 되도록 함.
reverberation time은 0~900ms, 마이크와의 거리는 1~10m
잡음들은 YouTube, cafeteria, and real-life noises에서 얻어진 것을 사용.