영상에서 목소리를 살리고 배경 소리를 줄이려면, 소리의 종류를 찾는 일과 실제 음원을 나누는 일을 구별해야 합니다. 삼성전자의 이 AI 오디오 특허는 분류 결과를 편집 화면에 먼저 연결하고, 전체 분리가 끝나기 전에도 조절할 항목을 보여 주는 처리 흐름을 설명합니다. 제품 소개 영상을 다듬는 가상 판매자의 예시로 종류 탐지·화면 준비·분리된 오디오 조절이 어떻게 이어지는지 살펴보겠습니다.
소리 분류에 따른 화면 준비와 실제 음원 분리의 진행을 나누어 표현한 직접 제작 개념 그림입니다.
1. 영상 전체 음량을 내리면 설명도 작아집니다
작은 가전을 판매하는 담당자가 전시장에서 제품 소개 영상을 촬영했다고 생각해 보겠습니다. 제품을 설명하는 목소리와 주변 사람들의 말소리, 행사장의 배경음이 함께 녹음됐습니다. 영상을 다시 보니 설명보다 주변 소리가 더 신경 쓰입니다. 전체 음량을 내리면 주변 소리뿐 아니라 전달해야 할 설명도 작아집니다.
편집자가 원하는 것은 소리 전체를 한꺼번에 줄이는 일이 아닙니다. 남길 소리와 조절할 소리를 구별하고, 각각에 맞는 선택을 하는 일입니다. 이를 돕는 AI 편집 도구는 영상에 어떤 소리가 있는지 알아내는 처리와 섞인 오디오에서 소리를 나누는 처리를 함께 다룹니다.
여기에 편집 화면을 언제 보여 줄지도 중요합니다. 모든 소리의 분리와 저장을 끝낸 뒤에야 조절 항목을 보여 준다면, 사용자는 계산이 끝날 때까지 무엇을 바꿀 수 있는지 살피기 어렵습니다. 삼성전자의 이 특허는 소리의 분류 결과를 화면 준비에 먼저 활용하는 흐름을 제시합니다.
2. 소리의 종류를 찾는 일과 나누는 일
오디오 분류 는 입력에 어떤 종류의 소리가 들어 있는지 판단하는 처리입니다. 예를 들어 음성, 음악, 소음과 같은 종류를 찾습니다. 각 종류가 영상의 어느 구간에서 나타나는지에 관한 정보도 얻을 수 있습니다. 편집자에게는 어떤 조절 항목을 보여 줄지 결정하는 자료가 됩니다.
음원 분리 는 여러 소리가 섞인 입력에서 각 종류에 대응하는 오디오를 추정해 나누는 처리입니다. ‘설명하는 목소리가 있다’는 판단과, 다른 소리의 크기와 구별해 그 목소리의 음량을 조절할 수 있는 오디오를 만드는 일은 서로 다릅니다. 소리 이름을 화면에 표시했다고 해서 해당 소리가 이미 모두 분리된 것은 아닙니다.
특허는 이 두 기능을 오디오 분류 모듈과 오디오 분리 모듈로 구별합니다. 모듈 은 특정 기능을 맡는 처리 단위라고 이해하시면 됩니다. AI 모델을 기기에 저장해 실행하는 예에서도, 종류를 알아내는 결과와 실제 편집에 사용할 오디오 결과를 별도로 다룰 수 있습니다.
이렇게 역할을 나누면 화면을 만들기 위해 필요한 정보와 음량을 조절하기 위해 필요한 정보를 구별할 수 있습니다. 앞의 가상 영상에서 분류 결과는 ‘목소리와 배경 소리가 있는 장면’이라는 안내에 쓰이고, 분리 결과는 선택한 소리의 크기를 바꾸는 데 쓰입니다.
3. 분류 결과로 편집 화면을 먼저 준비합니다
사용자가 오디오 편집을 요청하면 기기는 분류 모듈을 이용해 지정된 종류의 소리가 있는지 판단합니다. 그 결과를 바탕으로 종류를 나타내는 버튼이나 아이콘 같은 편집 객체 를 화면에 표시합니다. 편집 객체는 사용자가 조절 대상을 고르는 화면 요소입니다.
목소리에 해당하는 항목과 다른 종류에 해당하는 항목을 보여 주면, 편집자는 어떤 소리를 중심으로 손볼지 살펴볼 수 있습니다. 소리가 검출된 구간을 시간축에 표시하는 예도 있습니다. 영상 전체를 여러 번 들어 보며 소리의 위치를 기억하는 일을 화면 정보로 도울 수 있는 구성입니다.
핵심은 분리 작업 전체가 끝나기 전에도 이런 항목을 보여 줄 수 있다는 점 입니다. 분류가 제공한 정보로 먼저 화면을 마련하고, 실제 오디오 분리는 별도의 처리로 이어집니다. 화면을 준비하는 시점이 모든 종류의 오디오 분리 완료 시점에 묶여 있지 않도록 역할을 나눈 것입니다.
이는 분리 처리를 전혀 시작하지 않은 상태에서만 화면을 보여 준다는 뜻은 아닙니다. 분리가 진행 중이거나 일부 결과가 준비된 상태도 생각할 수 있습니다. 사용자가 보는 항목과 내부 처리 결과가 어느 단계에 있는지를 구별하는 설계가 중요해집니다.
4. 분리된 오디오에 음량 선택을 적용합니다
편집자가 화면에서 목소리 항목이나 다른 소리 항목을 선택하면, 기기는 그 선택을 해당 종류의 오디오와 연결합니다. 이때 음량 조절의 대상은 오디오 분리 모듈을 이용해 적어도 일부 분리된 오디오 입니다. 소리의 종류를 탐지한 결과만으로 원본 속 원하는 소리 하나를 독립적으로 조절하는 것은 아닙니다.
가상 영상에서 판매자가 배경 소리에 해당하는 항목의 음량을 낮춘다고 해 보겠습니다. 조절할 수 있게 분리된 배경 오디오에 그 선택을 적용하고, 목소리에 해당하는 오디오는 다른 설정으로 다룹니다. 편집 대상, 사용자 입력, 실제 소리 데이터를 서로 연결해야 의도한 조절이 이뤄집니다.
화면에 나타난 항목과 적용된 음량의 관계도 보여 줄 수 있습니다. 예를 들어 선택한 항목에 시각적인 효과를 주어 현재 조절 상태를 표현하는 방식입니다. 편집자가 무엇을 골랐고 어떤 소리를 조절하고 있는지 알아보기 쉽게 만드는 데 쓰입니다.
이 흐름을 읽을 때에는 ‘화면을 보여 주는 시점’, ‘사용자가 대상을 선택하는 시점’, ‘대응하는 오디오를 분리해 조절하는 처리’를 나누어 보시면 좋습니다. 화면이 먼저 보이는 것과 모든 오디오가 준비되는 것은 서로 다른 사건입니다.
5. 검출한 종류와 실제 분리 결과를 연결합니다
분류 모듈이 구별하는 종류와 분리 모듈이 나눌 수 있는 종류는 같지 않을 수 있습니다. 분류에서는 여러 배경 소리의 존재를 알아내더라도, 분리 결과에서는 그 소리들이 하나의 묶음에 대응할 수 있습니다. ‘찾은 종류가 여러 개’라는 사실을 ‘모두 별도 음원으로 조절 가능하다’는 의미로 바꾸어 읽으면 안 됩니다.
특허에는 분류 결과와 분리 결과의 종류가 다를 때, 다른 소리나 잡음에 해당하는 항목을 통해 관련 오디오의 음량을 함께 제어하는 예가 나옵니다. 분류에서 따로 찾지 못했지만 분리 과정에서 나온 오디오를 이런 항목에 연결하는 구성도 설명합니다.
편집 도구의 입장에서는 화면 이름과 실제 조절 대상을 맞추는 문제입니다. 여러 배경 소리가 한 항목에 연결돼 있다면 그 항목을 움직일 때 어떤 소리들이 함께 바뀌는지도 고려해야 합니다. 종류를 알아내는 AI 결과를 사람이 이해할 수 있는 조작 방식으로 연결하는 단계가 필요합니다.
6. 가상 판매자의 제품 소개 영상 편집
앞의 판매자 예시를 하나의 흐름으로 정리해 보겠습니다. 먼저 제품 설명과 행사장 소리가 함께 들어 있는 영상을 편집 대상으로 고릅니다. 기기는 소리 종류를 분류하고 등장 구간 정보를 구합니다. 판매자는 준비된 화면에서 목소리와 배경 소리에 해당하는 항목을 살펴봅니다.
이 화면이 보일 때 모든 분리 작업이 끝났다고 가정하지 않습니다. 별도로 진행되는 분리 처리에서 해당 오디오가 적어도 일부 나뉘면, 선택한 항목과 연결해 음량을 조절합니다. 판매자는 설명하는 목소리를 남기면서 배경 소리의 크기를 바꾸는 편집을 생각할 수 있습니다.
이 예시에서 ‘목소리를 남긴다’는 말은 원하는 편집 방향을 나타냅니다. 실제 소리의 변화를 판단하려면 조절한 결과를 들어 보고, 설명이 전달되는지와 함께 바뀌는 배경 소리가 무엇인지 살펴봐야 합니다. 화면에서 선택한 이름과 귀로 들리는 결과를 연결해 보는 것이 편집 과정의 일부입니다.
제품 소개 영상을 다듬는 가상 판매자의 예시입니다. 분류 결과로 항목을 보여 주는 흐름과 분리된 부분에 음량 선택을 적용하는 흐름을 구별했으며, 실제 제품 화면이나 성능 측정 결과가 아닙니다.
7. 오디오 지우개와 AI 편집 서비스 설계
삼성전자는 갤럭시 S25에서 선보인 오디오 지우개를 설명하며, 영상의 음성·음악·바람 등 소리 종류를 탐지하고 분리해 조절하는 기능을 소개합니다. 공식 사용 안내에서도 소리 유형을 선택해 음량을 조절하고, 원래 소리와 비교한 뒤 편집 영상을 복사본으로 저장하는 사용 흐름을 볼 수 있습니다.
이런 AI 편집 서비스를 설계하는 개발팀은 모델의 계산 결과뿐 아니라 사용자가 다음 행동을 할 수 있는 시점도 살펴볼 수 있습니다. 어떤 정보가 나오면 화면을 만들 수 있는지, 음량 조절에는 어떤 오디오 결과가 필요한지, 화면 항목과 분리 결과의 종류가 다르면 어떻게 연결할지를 정리해 보세요.
처리 시간을 비교할 때에도 분류 완료, 편집 항목 표시, 선택한 오디오의 분리, 실제 조절 적용 시점을 나누면 무엇이 달라졌는지 설명하기 쉽습니다. 하나의 ‘편집 완료 시간’으로만 묶으면 화면 준비를 바꾼 효과와 음원 분리 계산을 바꾼 효과를 구별하기 어렵습니다.
삼성전자의 이 기술은 여러 AI 처리의 결과를 어떤 순서로 사용자에게 연결할지 생각하게 합니다. 기술의 차이를 정리할 때에는 입력과 출력의 이름뿐 아니라, 중간 결과를 활용하는 시점과 다음 처리로 넘기는 조건도 함께 살펴보시면 좋겠습니다.
분석 대상은 2026년 6월 25일 공개된 삼성전자 미국 출원 US20260178265A1입니다. 공개 출원에 대한 기술 해설이며 특허 등록 여부나 특정 제품의 청구항 실시를 단정하지 않습니다.