
차 안에서 손을 내려다보는 승객은 책을 읽고 있을 수도, 휴대전화를 보고 있을 수도 있습니다. 현대모비스의 미국 특허 US12233843B2는 카메라 영상에서 자세와 시선, 손에 든 물건 같은 단서를 따로 읽고, 그 특징을 모아 승객의 상태와 실내 장치의 동작을 정하는 방법을 설명합니다. 가상의 독서 장면을 따라가며 AI가 화면을 어떻게 나누어 보고, 판단을 조명과 창의 조절로 어떻게 이어 가는지 살펴보겠습니다.
실내 영상에서 얻은 여러 단서를 모아 승객의 상태를 판단하고 실내 장치에 전달하는 흐름을 그린 개념도입니다.
1. 손을 내려다보는 승객은 무엇을 하고 있을까요?
햇볕이 들어오는 차 안에서 동승자가 책을 펼쳤다고 생각해 보겠습니다. 창에서 들어오는 빛은 눈부시고, 책을 읽는 자리에는 조명이 필요할 수 있습니다. 같은 승객이 책을 내려놓고 휴대전화를 꺼내도 얼굴이 향하는 방향은 크게 달라지지 않을 수 있습니다. 카메라가 고개가 숙여졌다는 사실만 알아냈다면 두 상황을 어떻게 구분할 수 있을까요?
이때 필요한 정보는 영상의 여러 곳에 흩어져 있습니다. 얼굴과 눈 주변에서는 시선의 방향을, 몸에서는 앉은 모습이나 자세를, 손 주변에서는 어떤 물건을 쥐고 있는지를 살필 수 있습니다. 책과 휴대전화는 그 크기와 모양이 다르지만, 손에 가려지거나 비스듬히 놓인 각도에서는 일부만 보일 수도 있습니다. 서로 다른 위치에서 얻은 단서를 어떻게 함께 읽느냐가 상태 판단에 영향을 줍니다.
현대모비스가 출원한 US12233843B2는 2025년 2월 25일 미국에서 등록됐습니다. 명세서는 자율주행 차량 안에서 승객의 모습을 살피고, 독서나 휴식처럼 미리 정해 둔 상태에 해당할 때 실내 환경을 바꾸는 방법을 설명합니다. 이 글에서는 운전석이 아닌 동승자의 독서 장면을 예로 들어, 영상에서 얻은 단서가 실제 장치의 동작까지 이어지는 과정을 살펴봅니다.
2. 실내 영상에서 판단할 부분을 따로 잘라 봅니다
차량 카메라가 보내는 영상은 시간이 지나면서 이어지는 여러 장의 화면으로 볼 수 있습니다. 그중 한 장을 프레임이라고 합니다. 특허의 그림 3에서 처리 장치는 먼저 프레임 안에서 상태 판단에 쓸 대상을 찾습니다. 얼굴이나 관절의 일부, 시선과 관련된 영역, 승객이 가지고 있는 물건 등이 예입니다. 화면 속 승객이 여러 명이면 승객별로 이런 정보를 얻는 경우도 설명합니다.
찾은 대상이 있는 부분을 각각 잘라 내는 것을 크롭이라고 합니다. 책을 든 주변이라면 책의 모양과 손의 위치가 보이는 부분을, 시선을 살필 때에는 그 판단에 도움이 되는 부분을 나누어 다루는 식입니다. 한 카메라에서 얻은 화면이라도 영역마다 확인하려는 내용이 다릅니다.
이렇게 나눈 여러 부분 영상에 딥러닝 처리와 물체 인식을 적용할 수 있습니다. 특허에 예로 든 합성곱 신경망은 이미지에서 물체의 모양이나 배치처럼 판단에 도움이 되는 패턴을 수치로 표현하는 데 쓰입니다. 잘라 낸 영역별로 얻은 정보는 기능이 다릅니다. 손 주변에서 책을 알아봤더라도, 승객이 책을 든 채 다른 곳을 보고 있을 수 있기 때문입니다.
3. 각 부분의 특징을 모아 승객의 상태를 판단합니다
특징 벡터는 이미지에서 알아낸 단서를 모델이 함께 계산할 수 있도록 배열한 숫자 묶음입니다. 예를 들어 손 주변의 영상에서 얻은 숫자 묶음은 어떤 물건이 보이는지 구분하는 데 쓰이고, 얼굴이나 자세 영역에서 얻은 묶음은 시선이나 앉은 모양을 가늠하는 데 쓰일 수 있습니다. 그림 3은 이렇게 각 영역에서 나온 특징 벡터를 조합해, 승객의 상태가 미리 정해 둔 분류 중 하나에 해당하는지를 판단합니다.
책을 알아봤다는 결과 하나로 독서 상태가 확정되는 흐름은 아닙니다. 손에 책이 있고, 그쪽으로 시선이 향하며, 앉아 있는 자세라는 단서가 함께 있으면 독서 상태를 설명할 근거가 늘어납니다. 손에 든 물건이 스마트폰으로 인식됐다면 비슷한 시선과 자세에서도 다른 상태를 판단할 수 있습니다. 이는 책을 들었다는 사실과 책을 읽고 있다는 행동을 구분하는 문제입니다.
명세서는 독서, 스마트폰 사용, 수면, 업무 회의 등 여러 상태를 예로 듭니다. 어느 상태인지 분명하지 않을 때 사용할 분류도 제안합니다. 승객이 여럿인 예에서는 먼저 각 사람의 상태를 판단하고, 여러 사람이 함께 회의 중인지처럼 공통 행동에 해당하는지 추가로 살핍니다. 개인별 판단과 공통 상황을 다루는 판단은 조절할 장치나 범위가 달라질 수 있는 경우에 쓰입니다.
4. 가상의 독서 장면에서 조명과 창을 조절하는 예
가상의 차량 동승석에서 승객이 책을 펼치고 읽는다고 해 보겠습니다. 특허의 그림 5처럼 첫 장면에서 앉은 몸, 손이 있는 쪽으로 향한 시선, 책을 쥔 행동과 책이라는 물건을 구분해 볼 수 있습니다. 각각의 특징을 종합해 독서 상태로 분류하면, 처리 장치는 그 상태에 대응하는 실내 조절을 요청할 수 있습니다.

동승자의 자세와 시선, 손에 든 책을 살펴 독서 상태를 판단하고 조명과 창을 조절하는 가상 예시입니다.
이 실시예에서는 책을 보기 쉽도록 실내 조명을 밝게 조정하고, 외부의 빛으로 눈이 부시지 않도록 빛 투과율을 바꿀 수 있는 창이나 선루프를 조절하는 예를 듭니다. 조명이 실내에 더하는 빛과 창이 들여보내는 빛은 서로 다른 조절 대상입니다. 같은 독서 판단에서도 좌석을 이완 자세로 바꾸는 방식을 함께 예시하지만, 그림에서는 조명과 창의 동작에 집중했습니다.
이 흐름을 설계할 때에는 ‘독서로 분류한다’와 ‘어떤 설정을 어떤 좌석에 적용한다’를 따로 적어 두면 이해하기 쉽습니다. 첫째는 영상의 단서를 해석한 결과입니다. 둘째는 차량 제어기가 그 결과를 활용하는 방식입니다. 조명 외에도 명세서는 공조, 시트, 음향 등 다양한 장치를 상태에 따라 조절할 수 있는 대상으로 제시합니다.
5. 현대모비스가 공개한 실내 모니터링과 조명 기술
현대모비스는 2025년 1월 실내 모니터링 시스템, 즉 ICM을 공개했습니다. 회사 자료에 따르면 차량 내부의 카메라와 분석 소프트웨어로 운전석과 뒷좌석의 자세, 행동 등을 살피고, 주의가 필요한 상황에서 소리나 화면으로 경고할 수 있게 설계했습니다. 여기서는 실내 영상으로 어떤 상황이 발생했는지 읽어 경고에 활용하는 데 초점이 있습니다.
회사에서 같은 달 소개한 사람 중심 실내 조명 기술은 조명 제어에 초점을 둡니다. 현대모비스는 CES 2025에서 소개한 이 기술에 실내 카메라와 운전자의 뇌파를 측정하는 장치를 활용하며, 운전자의 상태나 주변 환경에 맞춰 조명 시나리오를 바꿀 수 있다고 설명했습니다.
실내 모니터링과 조명 기술은 모두 차량 내부에서 얻은 정보를 활용하지만, 이용자가 경험하는 결과는 각각 다릅니다. 경고는 상황을 사람에게 전달하는 출력이고, 조명 제어는 실내의 물리적 환경을 바꾸는 출력입니다. 특허의 그림 5는 영상으로 파악한 승객의 행동을 실내 환경 조절에 사용하는 경우를 보여 주므로, 실내 인식과 장치 동작 사이를 어떻게 설계할 수 있는지 구체적으로 살펴볼 수 있습니다.
6. 개발팀이 남겨 두면 좋은 영상과 제어의 비교 기록
비슷한 기능을 설계한다면 먼저 어떤 상태를 구분해야 하는지 정해 보세요. 예를 들어 편안히 앉아 책을 든 경우와 실제로 글을 읽는 경우를 각각 준비한 뒤, 손에 든 물건만 보고 판단했을 때와 시선 및 자세를 함께 반영했을 때를 비교할 수 있습니다. 야간이나 역광, 책의 일부가 손에 가린 상황에서도 같은 단서를 얻을 수 있는지 보면 어떤 영상 조건에서 판단이 어려워지는지 구체적으로 기록할 수 있습니다.
다음으로 상태 판단 결과를 언제 차량 장치에 전달할지 정리해 보세요. 여러 프레임에서 판단이 달라질 때 장치를 어떻게 동작시킬지, 동승자 두 사람이 서로 다른 행동을 할 때 어느 구역의 설정을 바꿀지 등은 실제 구현에서 따로 다룹니다. 조명이 자주 바뀌지 않아야 하는 상황이라면 판단이 맞았는지와 별개로, 장치가 얼마나 자주 동작했는지도 시험 항목이 될 수 있습니다.
특허 검토를 준비할 때도 이런 기록이 도움이 됩니다. 카메라에서 어떤 부분을 잘라 어떤 단서를 얻는지, 그 정보가 상태 분류에 어떻게 반영되는지, 분류 결과가 좌석별 조명이나 공조의 설정으로 어떻게 전달되는지를 이어서 설명해 보세요. 같은 차량 영상으로 서로 다른 설계를 비교한 결과가 있다면, 팀이 개발한 처리 방식이 어느 상황에서 차이를 만드는지도 구체적으로 설명할 수 있습니다.
독서 장면은 특허 설명을 위한 예시입니다. 제품 발표만으로 특정 청구항의 실시를 확인한 것은 아닙니다.
소크라 AI 맞춤 학습 특허|같은 문제를 틀려도 다음 문제가 달라지는 이유
FrugalGPT 논문 쉽게 읽기|답변 점수로 AI 모델 호출 비용을 조절하는 원리
영상 기반 상태 인식과 차량 제어 기술을 정리하려면 아이피렉스의 AI 프로젝트와 상담 준비 자료를 살펴보세요.
