차량 ODD 확장을 통한 자율주행 3단계 이상을 달성하기 위해서는 주간 카메라, 레이다 등 전통적으로 사용되고 있는 기존 센서 데이터만으로는 부족하다. 특히 야간 및 악천후 상황 등이 포함된 ODD 조건 하에 안전한 주행을 위해서는 자율주행시스템 성능 향상이 필요하며 이를 위해서 제3의 센서로 기존 센서가 커버할 수 없는 데이터 획득이 반드시 필요하다. 그렇다면 이러한 조건에서도 주변을 잘 인지할 수 있는 제3의 센서는 무엇일까?

본 고에서는 신규 전장 센서로 악천후 조건에서도 주변상황을 잘 인지할 수 있는 차량용 나이트 비전 시스템의 필요성과 기술동향을 소개하고자 한다​.

현재 모빌리티 시장에서는 주간카메라, 레이다, 음파 센서 등 전통적으로 사용되고 있는 기존 센서 외 신규 센서에 대한 수요가 점점 증가하고 있다. 이것은 자율주행 시장의 급격한 성장과 미국 및 EU 등 주요 선진국 들이 규제를 통해 차량 사고를 0으로 줄이려는 시도 때문이라고 생각된다. 본문에서 소개하고자 하는 신규 센서는 8~14㎛ 원적외선 에너지를 감지할 수 있는 센서로 1970년대 말 미국에서부터 관련된 연구가 시작되어 지금까지 발전되어온 나이트비전 시스템(Night Vision System, NVS) 이다. 최근 NVS가 전장 산업에서 신규 센서로 주목받는 이유는 앞에서 언급한 자율주행 3단계 이상 달성을 위해 그리고 주행 시야가 확보되지 않은 환경에서 보행자/탑승자 등의 치명적 사고 방지에 가장 적합한 센서이기 때문이다. 참고로 차량 전용 NVS에는 근적외선(Near Infrared, 약 700~1,000㎚, 때로는 가시광선 일부 영역 포함) NVS도 있지만 본 고에서는 최근 고급 차량에서 대부분 사용되고 있는 원적외선 NVS에 대해서만 언급하고자 한다.

차량용 나이트 비전 필요성

차량의 자율 주행은 다음과 같이 ① Sensing, ② Fusion, ③ Localization, ④ Path Finder, ⑤ Control 5 단계로 구분할 수 있으며, 자율주행 기술이 고도화 되기 위해서는 언급한 모든 단계의 리던던시(Redundancy) 확보가 매우 중요하다. 그 중 첫번째 단계인 센싱 단계에서의 리던던시 확보 중요성은 굳이 언급할 필요가 없을 정도로 중요하며, 차량 ODD 확장의 첫 출발점이다. 그 이유는 센서들의 센싱능력은 이상적인 날씨 뿐만 아니라 악천후 날씨에서도 주변 인지를 지속적으로 해야하기 때문이다. 나이트비전 시스템은 미세먼지, 안개, 눈, 비 등 다양한 악천후 상황에서도 주변환경을 잘 인식하고, 물체를 인지할 수 있는 센서이다. 이것은 나이트 비전이 장파장 적외선 대역의 에너지를 사용하기 때문인데 <그림 1>, <그림 2>, <그림 3>의 각각 가시거리 별 MODTRAN 시뮬레이션결과를 보면 그 이유를 직관적으로 알 수 있다. 시뮬레이션 조건은 중위도 지역, 여름, Slant Path 1㎞이다. 가시거리가 10㎞ 조건에서는 가시광선(Visible), 중적외선(MWIR), 원적외선(LWIR) 대역 등 14㎛ 이하 모든 전자기파 파장 대역 대부분의 에너지 대기투과율이 높다는 것을 알 수 있다. 하지만 가시거리가 2㎞ 이하부터는 가시광선​ 대역 뿐 아니라 약 1~2㎛ 사이를 주로 사용하는 레이저 파장대역에서도 에너지 투과가 급격히 저하되는 사실을 알 수 있다. 물론 제한된 가시거리 환경에서 단지 에너지 투과율만으로 탐지/인지 거리가 결정되지는 않는다. 하지만 원적외선 대역 에너지가 악천후 날씨에도 먼 거리까지 도달한다는 것은 사실이며 이러한 이유로 나이트비전이 그러한 환경에서

어떤 다른 센서보다 더 멀리 물체를 센싱할 수 있다는 것도 사실이다. 

따라서 1㎛ 내외의 파장 에너지를 사용하는 주간카메라, 라이다만 장착된 차량은 센싱 리던던시를 확보해야 악천후 상황에서도 안전한 주행을 할 수 있다. 즉, ODD 확장을 위해 8 ~ 14㎛ 원적외선 대역 기반 나이트비전 차량 장착은 필수라고 말할 수 있다.

가시거리가 제한된 악천후 상황이외에도 나이트비전은 보행자/자전거 탑승자 사고 및 동물 로드킬을 크게 줄일 수 있는 센서이다. 요즘 자동차 산업이 가장 발달한 북미나 유럽에서는 이런 사고가 빈번하여 이것을 줄이기 위해 판매차량에 대해 부가적인 센서 장착을 제도적으로 의무화 할 정도로 사회적, 정치적인 이슈가 되고 있다. 대표적인 것이 유럽의 GSR(General Safety Regulation)이다. 그렇다면 왜 나이트비전시스템이 보행자/자전거 탑승자 사고 및 동물 등의 로드킬을 줄일 수 있다고 말할 수 있을까? 그 이유는 주행 중 생물체를 먼 거리에서 미리 탐지하여 주행 차량이 미리 대처할 수 있는 시간을 줄 수 있기 때문이다. 특히 야간에는 나이트비전의 탐지/인지 거리가 차량 상향 등의 범위를 넘어서기 때문에 대부분의 사고가 야간에 일어나는 점을 감안하면 사고예방에 매우 효과적인 센서이다.

이와 같이 나이트비전이 먼 거리를 탐지할 수 있는 이유는 슈테판-볼츠만 법칙, 빈의 변위법칙 등 복사 에너지와 관련된 물리법칙에서 찾을 수 있다. 슈테판-볼츠만의 법칙에 의하면 물체의 복사 에너지 크기는 물체가 보유하고 있는 온도(T)의 4승, 방사율(ε)에 비례한다. 보행자 및 동물 등 살아 있는 생물체는 36 ~ 40℃ 사이

의 온도에 상응하는 복사에너지를 지속적으로 방출하고 있다는 점을 상기해보자. 이것은 주변 대비 상당히 높은 에너지라 할 수 있으며 물체와 그 주변의 온도 차이를 인식하는 나이트비전이 먼 거리에서도 쉽게 생물체를 인지하고 사고를 예방할 수 있는 주된 근거가 된다. 특히 나이트비전시스템에 일반적으로 장착되는 적외선 검출기의 등가잡음온도차(NETD, Noise Equivalent Temperature Difference)가 평균적으로 50mK(0.05℃) 이하 임을 감안하면 야간 뿐 아니라 시야 확보가 매우 어려운 심한 악천 후 상황에서도 보행자 및 동물 탐지가 매우 탁월하다는 사실을 확인할 수 있다. 게다가 빈의 변위 법칙에 의해 물체의 온도에 따라 최대 방사되는 복사 에너지 파장이 결정되는데 230~350K 내외의 우리가 생활하는 공간에 있는 물체 복사 에너지 최대 방출 영역은 원적외선 파장 대역인 8~14㎛라는 점이다<그림 5>.

차량용 나이트 비전 기술동향

타 센서의 발전방향 발자취와 비슷하게 나이트비전도 시간이 지나면서 성능은 향상되고 소형·경량화되는 추세이다. 게다가 가격도 완성차 업체에서 합리적으로 구매할 수 있는 수준으로 빠르게 절감되고 있다. 본 기술동향 부분에서는 차량용 나이트비전의 핵심 구성품인 검출기, 신호처리의 발전동향에 대해서 간략히 기술하고자 한다.

●나이트 비전 검출기

•검출기 타입 및 제질

최근 차량용 나이트비전시스템에 탑재되는 적외선 검출기는 MEMS 기술로 만들어진 열형 타입(Thermal Detector)의 비냉각형 마이크로 볼로미터(Uncooled Micro bolometer) 검출기이다. 하지만 최초의 차량용 나이트비전에 사용된 검출기는 BST(Barium Strontium Titanate) 재질의 Ferroelectric 검출기를 적용한 제품이다. Raytheon에서 만든 이 제품은 2000년 GM Cadillac Deville 차량에 적용이 되어 출시 되었다. 이후 BST 검출기의 큰 단점인 주기적인 Chopper 구동으로 인한 잦은 고장 위험성으로 볼로미터(α-Si or VOx) 타입 검출기가 장착된 제품으로 완전히 바뀌었다.

•검출기 픽셀(Pixel) 크기 및 화소수

검출기 픽셀 크기는 광학계와 연동되어 제품의 크기와 타겟의 탐지/인지 거리에 가장 큰 영향을 미치는 요소 중 하나이다. 차량용에 장착된 볼로미터 검출기 픽셀 크기는 NETD 50~70mK 기준 35㎛, 25㎛, 17㎛, 12㎛ 순서로 발전하였으 며, 현재 2023년 기준 대부분 양산차량에 장착된 검출기 픽셀 크기는 17㎛, QVGA이다. 12㎛ 픽셀 크기의 VGA 검출기가 탑재된 나이트비전은 2020년 해외 제조사에서 첫 출시되었고 국내에서는 한화시스템이 2022년 9월에 첫 출시하였다. 12㎛ VGA 검출기가 탑재된 제품은 2024~2025년 이후 양산 차량의 주력품이 될 것으로 예측이 된다.

아직은 예측하기는 힘들지만 2030년을 전후하여 원적외선 회절 한계를 극복할 수 있는 최소 픽셀 크기인 8~8.5㎛ HD급의 검출기가 탑재된 나이트비전이 출시될 것으로 전망된다.

•H/W, S/W 신호처리

차량용 나이트비전과 기타 산업용 열화상카메라 대부분은 핵심 프로세서로 FPGA를 반드시 사용해 왔다. 그 이유는 적외선 검출기의 각각 픽셀에 대한 실시간 불균일보정처리와 Defect 보상, 대조비 처리 등 기타 적외선 영상 신호의 실시간 처리가 필요했기 때문이다. 하지만 차량용 분야에서는 GPU 및 가속기가 탑재된 H/W 발전에 힘입어 코드 수정 및 기능안전(Function Safety) 구현에 용이한 Edge Processor가 주력으로 사용될 것으로 예상이 된다. 특히 나이트비전은 ASIL-B 등급으로 분류가 예상되므로 기능안전 구현이 의무화되는 상황이다. 따라서 나이트비전의 신뢰성 확보와 ASIL-B 등급 만족을 위해 HDL 코드 구현보다 칩 내부 H/W로 구현이 되어 있는 기능안전 로직을 반드시 활용하여야 한다​.

​자율주행 센서로서 나이트비전 역할과 미래전망

지난 2023년 1월 Mercedes Benz는 미국 네바다 주에 자율주행 레벨 3 조건을 만족하는 Drive Pilot 기술이 탑재된 벤츠 S-Class 및 EQS 세단을 2023년 하반기 출시한다고 발표하였다. 네바다주는 자율주행 3레벨 기술을 도입하는 미국 최초 주정부가 되었으며 Mercedes Benz는 자사 자율주행 기술이 네바다주 규제가 담긴 법(Nevada Chapter 482A for Autonomous Vehicle)을 준수한다고도 발표하였다. 또한 출시 차량은 주어진 ODD 조건 하 운행 중 테트리스 등 간단한 게임을 할 수 있다고 홍보도 하였다. 다만 차량의 ODD 조건이 상당히 제한적일 것으로 추정이 된다. 시야가 확보된 상황에서 정체된 고속도로 주행이어야 하고 이에 따른 속도도 시속 40mph 이하여야 하고, 뚜렷한 차선 표시, 운행 중 터널 및 공사구간 등도 없어야 한다. 즉 시야가 제한되는 날씨, 역광 등이 우려되는 시나리오, 공사 인부 등 보행

자가 없어야 조건부 자율주행 운행이 가능하다는 의미이다. 

이러한 제한된 조건은 센싱단계에서 나이트비전 센서로 상당부분 해결이 가능할 것으로 보여진다. 결론적으로 차량용 나이트비전은 자율주행 레벨 3단계의 ODD 확장을 통해 4단계 이상 진입을 위한 필수적인 센서이며 자율주행 기술이 성숙함에 따라 폭발적인 수요가 기대될 수 있는 센서이다. 이를 반증하듯 글로벌 대다수 OEM(GM, Ford, 스텔란티스 등 미국 Top3, 폭스바겐, BMW, 다임러 등 독일 선진 3사 포함 대략 10개가 넘는 OEMs)은 옵션으로 대략 50개가 넘는 차량 모델에 나이트비전을 장착하여 현재 판매하고 있다. 또한 각 제조사의 자율주행기술에 나이트비전 센서 데이터도 활용하여 안전한 차량 개발도 동시에 시도하고 있다. 앞으로 자율주행 및 안전에 대한 이슈와 함께 미래에는 차량용 나이트비전은 필수센서 중 하나가 될 것이다.

※차량용 나이트비전과 일반 열화상카메라의 차이

열화상카메라는 주간카메라와 비교하여 기술적 난이도가​ 높고 그 동안 군이라는 특수한 분야에서 주로 사용되어 이를 설계/제조할 수 있는 회사는 매우 소수였다. 이러한 소수의 열화상카메라 제조사도 전장용 나이트비전을 만들기는 매우 어려운데 그 이유는 다음과 같다. 

첫째 차량운행의 가혹한 환경에 대한 내구성이 검증 되어야 한다. 이를 위해서는 전장분야에서 기 검증된 AEC-Q100 부품 선정이 설계의 첫 시작이 되어야 한다. 

둘째 차량운행을 위한 일반적인 요구 성능 외 ISO26262를 준수한 기능 안전도 함께 구현되어야 한다. 셋째, 보행자/동물 탐지 등을 위한 센싱장비로서 수백 만대 양산품에 대한 균일한 성능을 보증해야 한다. 이를 위해서는 탐지 알고리즘과 연동된 주행에 적합한 FOM 측정이 반드시 필요하다. 넷째 품질 확보를 위해 전장산업에서 요구하는 IATF 16949 인증된 시설에서만 양산 되어야 한다. 즉, 차량용 나이트비전을 설계/제작을 위해서는 열화상카메라에 대한 설계능력과 전장 산업에 대한 이해도가 동시에 필요하다. 이러한 역량을 갖춘 곳은 국내에서 한화시스템이 유일하며 세계적으로도 일부 소수 회사에 불과하다​.

글 / 임재현 (한화시스템즈)

출처 / 오토저널 2023년 4월호 ​​