사람들이 다양한 언어로 대화하는 분주한 카페에 있다고 상상해 보세요. 그리고 당신은 모든 단어를 놓치지 않고 이해할 수 있습니다. Google의 Pixel Buds는 실시간 번역의 길을 열었지만, 워싱턴 대학교의 최신 혁신은 이 개념을 한 단계 더 발전시켰습니다. 그들의 새로운 AI 기반 헤드폰은 여러 발화자의 목소리를 동시에 번역할 수 있어 다국어 환경에서의 삶을 더 쉽게 만들어 줍니다.
이 혁신적인 기술은 Spatial Speech Translation이라고 불리며, 인간이 자연스럽게 소리를 인식하는 방식을 모방하는 바이노럴 헤드폰을 사용합니다. 바이노럴 오디오는 인간 귀의 거리로 배치된 두 개의 마이크를 사용하여 몰입감 있는 음향 경험을 만들어냅니다. 이 접근 방식은 소리를 포착하는 것뿐만 아니라 그 출처를 파악하는 데에도 도움을 주어, 실제 콘서트를 즐기는 듯한 자연스러운 음향 장면을 제공합니다.
샴 골라코타 교수의 지도 아래, 이 재능 있는 팀은 스마트워치를 위한 수중 GPS 제작에서부터 전자 기기와 상호작용하는 뇌 임플란트를 개발하기까지 혁신적인 프로젝트에서 실적을 쌓아왔습니다. 그들은 최근 번역 기술에서 큰 변화를 가져오고 있으며, 각 화자의 목소리의 표현 특성을 유지하면서 고품질의 실시간 오디오 번역을 제공하는 것을 목표로 하고 있습니다.
다중 화자 번역은 어떻게 작동할까요?
골라코타 교수는 이 기술이 각 화자의 목소리와 그것이 오는 방향을 처음으로 포착한다고 설명합니다. 이 시스템은 주변의 화자를 탐지하며 그들이 움직일 때에 따라 조정하는 레이더와 같습니다. 놀랍게도, 이 시스템은 오디오를 디바이스 내부에서 처리하여 번역을 위해 클라우드 서버에 의존하지 않고 사용자 개인 정보를 보호합니다.
헤드폰은 단순히 번역하는 것 이상으로, 방에서 화자가 이동할 때 오디오의 방향성과 강도를 실시간으로 조정합니다. 흥미롭게도, 애플이 AirPods을 위한 유사한 시스템을 개발 중이라는 보도가 있어, 고급 번역 기능에 대한 수요가 더욱 부각되고 있습니다.
이 기술의 테스트는 어떤가요?
UW 팀은 효과 측정을 위해 다양한 실내외 설정에서 AI 헤드폰을 엄격하게 테스트했습니다. 이 시스템은 단 2-4초 만에 번역된 오디오를 처리하고 생성할 수 있으며, 대부분의 참가자는 약 3-4초의 지연을 선호했습니다. 연구자들은 더 빠른 번역을 달성하기 위해 기술을 지속적으로 개선하고 있습니다.
현재 테스트는 스페인어, 독일어, 프랑스어 번역에 집중하고 있으며, 언어 옵션을 확장할 희망을 가지고 있습니다. 이 기술은 블라인드 소스 분리와 실시간 표현 번역과 같은 기술을 복합적으로 결합하여 일관된 흐름으로 만들어냅니다. 테스트 설정은 실시간 추론을 위해 애플의 M2 실리콘과 소니의 노이즈 캔슬링 WH-1000XM4 헤드폰을 활용했습니다.
신나는 것은, 이 개념 증명을 위한 코드가 누구나 활용할 수 있도록 공개되어 있어 혁신가와 탐구자들이 탐험할 수 있는 멋진 기회가 된다는 점입니다.
여행자에게 실시간 번역 기술의 이점은 무엇인가요? 이 기술은 여행자에게 지역 주민들과의 원활한 소통을 가능하게 하여, 외국 지역에서의 언어 장벽을 줄이는 데 매우 유용합니다.
이 AI 헤드폰은 시끄러운 환경에서도 번역할 수 있을까요? 네, 목소리를 분리하고 시끄러운 환경에서도 정확하게 번역할 수 있는 능력은 번역 기술의 중대한 발전을 의미합니다.
번역이 얼마나 빠르게 일어날 수 있나요? 이 시스템은 단 2-4초의 창 안에서 말을 번역된 오디오로 처리하여, 실시간 상호작용을 위한 효율성을 보여줍니다.
이 기술의 잠재적 응용 가능성은 놀라울 정도로 많으며, 여행 경험, 비즈니스 미팅 및 전 세계의 사회적 상호작용을 향상시킬 것을 약속합니다. 더 많은 기술 혁신에 관심이 있으신가요? Moyens I/O에서 최신 기술 및 기기에 대한 관련 콘텐츠를 탐색해 보세요.
우리의 활동을 지원해주세요 ❤️
이 글이 마음에 드셨다면, 앞으로도 좋은 콘텐츠를 계속 발행할 수 있도록 팁을 남겨주세요.
