보행자, 사이클리스트 등이 혼재하는 복잡한 도시환경에서 열화상 카메라는 중요하다. 가시광선 카메라와 열화상 카메라 모두 패시브로 데이터를 수집하기 때문에 경쟁하는 활성 라이더 또는 레이더 시스템 간의 간섭으로 인해 발생할 수 있는 정보 격차를 해소할 수 있으며, 라이더의 충실도 감소를 보완할 수 있다. 포사이트의 쿼드사이트는 열화상 카메라 2대와 가시광 카메라 2대, 총 4대의 카메라 데이터를 결합해 열화상 거리인지를 추가해 리던던시를 확보한다. 

글 | 한상민 기자_han@autoelectronics.co.kr




열화상과 가시광 카메라, 즉 RGB가 융합돼 자율주행 센서의 인식 개선을 위한 포괄적인 단일 영상을 생성할 수 있다면 어떨까? 이것은 고속도로와 같은 자동차 전용도로 이상의 자율주행을 염두에 둔 것이다. 이는 포사이트(Foresight)의 멀티 스펙트럼 비전 솔루션인 쿼드사이트(QuadSight)로 가능해진다. 

쿼드사이트 시스템은 플리어(FLIR)의 열화상(thermal imaging) 카메라 2대와 RGB 가시광 카메라 2대, 총 4대의 카메라 데이터를 결합한 획기적인 스테레오 비전 시스템이다. 4개 카메라 모두 초당 30프레임으로 동기화되고 실행되면서 공통의 좌표축으로 보정하는 특허출원 기술을 특징으로 RGB와 열화상 카메라 이미지 간 정확한 픽셀 융합을 제공한다.


열감지 패시브 센서      

완전 자율주행차를 향한 개발, 테스트는 전 세계 각지, 많은 도시와 주, 자치단체들과 함께 이뤄지고 있다. 자율주행 택시가 공공도로에서 승객을 태울 수 있게 됐고 자율주행 트럭이 상품을 집 앞까지 배송하는 시험이 진행되고 있다. 물론 이런 테스트는 흥미롭고 경이롭지만, 실제를 말하자면, 여전히 제한된 상황, 특정 환경에서 이뤄지고 있다. 언제 어디서나 이용할 수 있는 진짜 자율주행은 여전히 커다란 기술적 과제로 남아있는 상황이다. 자율주행으로의 전개는 이제 막 공공도로에서 테스트 범위나 숫자 면에서 확대되고 있을 뿐이다. 

예를 들어, 지도가 없는 지역, 차선이 없는 곳, 흔하지 않은 인프라와 환경적 특징을 포함하는 지역은 여전히 자율주행차 개발자와 엔지니어들에게 중대한 과제를 주고 있다. 비포장도로를 비롯한 제약없는 모든 환경에서 작동할 수 있는 시스템을 구축해야만 한다. 자율주행차는 주야, 상상할 수 있는 모든 기상조건에 대응하면서 단순히 추측하는 것이 아니라 정확한 결정을 내릴 수 있어야만 한다.

이런 기술적 성과를 달성하기 위해서는, 자율주행차는 카메라, 레이더, 라이더, 초음파 및 열화상을 포함하는 다양한 센서를 활용하고, 효율적인 도로 인프라, GPS 및 V2X(Vehicle to Everything) 센서와 함께 모든 차량 내외부의 데이터에 액세스해야 할 것이다. 포사이트와 같은 업체에서는, 특히 센서 중 열화상 센서를 통해 다른 센서가 실패할 수 있는 날씨, 조명 조건에서 차량이 여전히 앞을 볼 수 있도록 하는 것이 중요하게 생각한다. 

열화상 카메라는 장파적외선(LWIR) 복사 또는 열에너지로 알려진, 다른 센서와 비교해 완전히 다른 파장의 에너지를 감지하고 측정한다. 전자기 스펙트럼의 이 부분은 지구의 모든 것에 의해 복사, 흡수 또는 반사된다. 따라서 열화상 카메라는 낮, 완전한 어둠 또는 눈부신 태양광선에서도 똑같이 열을 감지한다. 또 연기나 짙은 안개와 같은 악천후에서도 카메라보다 훨씬 더 잘 작동한다. 

무엇보다 중요한 것은 열화상 카메라가, 특히 신체 열을 감지하는데 능하다는 것이다. 혼잡한 도시환경이나 어두운 교외도로에서 보행자 등 생명체를 확실히 구별한다. 게다가 LWIR 열화상은 패시브 기술이다. 라이더와 달리 어수선한 환경(제한된 영역의 다중 라이더 시스템 간섭 포함) 및 주어진 대상의 픽셀 수를 줄일 수 있는 악천후 조건의 영향을 받을 수 있는 물체 감지에 대한 신호를 송수신하지 않는다. 



무엇보다 중요한 것은 열화상 카메라가, 특히 신체 열을 감지하는데 능하다는 것이다. 혼잡한 도시환경이나 어두운 교외도로에서 보행자 등 생명체를 확실히 구별한다. 게다가 LWIR 열화상은 패시브 기술이다.



스테레오 비전의 동작 

열화상 카메라를 스테레오로 사용하면 주변 환경에 대한 3차원 인식을 생성할 수 있고 완벽하지 않은 라이더에 대한 보완 및 리던던시 시스템 역할도 할 수 있다. 즉, 열화상을 통해 차량 주변 물체의 거리와 형태를 결정할 수 있을 뿐만 아니라, 각 물체의 열복사를 측정해 감지된 물체가 생물인지를 확인하고 특성화할 수 있다. 사람, 사슴 등은 가장 치고 싶지 않은 객체다.

열화상 스테레오 비전은 두 개 또는 그 이상의 뷰포인트로부터, 열광선의 삼각측량을 기반으로 한다는 점에서 인간의 시각, 기존 스테레오 카메라 시스템과 유사하게 작동해 주어진 장면에서 다른 물체까지의 거리를 계산하는 거리인지를 제공한다. 
이것은 카메라 스테레오들 사이의 해당 픽셀을 찾고 이미지 처리 알고리즘을 통해 거리측정을 삼각측량함으로써 달성된다. 열화상 스테레오 비전은 모든 조명 및 기상 조건에서 3D 인식을 가능하게 한다.

열화상 스테레오 카메라는 이미 시장에서 개발되고 있어 무인 및 자율 항공기, 보트, 육상 차량에 유용한 도구로 사용될 수 있다. 
포사이트의 자율주행 차량 비전 시스템인 쿼드사이트는 스테레오 열화상 및 RGB 카메라로,  자동 긴급제동(AEB)과 같은 현존하는 ADAS에서부터 레벨 4 및 레벨 5 자율주행 시스템에 이르기까지 각 레벨을 더욱 안전하게 만드는 데 유용하다. 쿼드사이트 시스템은 모든 조명 조건에서 도로에 있는 모든 유형의 물체를 감지하면 속도를 늦추도록 차량에 지시할 수 있을 뿐만 아니라, 잠재적으로 차량의 라이더 및 레이더 시스템과 함께 리던던시 거리 데이터를 제공해 차량이 최대한의 데이터를 활용할 수 있도록 한다. 

특히, 보행자, 사이클리스트 등이 혼재하는 복잡한 도시환경에서 이 솔루션은 중요하다. 가시광선 카메라와 열화상 카메라 모두 수동적으로 데이터를 수집하기 때문에 경쟁하는 활성 라이더 또는 레이더 시스템 간의 간섭으로 인해 발생할 수 있는 정보 격차를 해소할 수 있으며, 라이더의 충실도 감소를 보완할 수 있다. 



열화상 스테레오 비전은 두 개 또는 그 이상의 뷰포인트로부터, 열광선의 삼각측량을 기반으로 한다는 점에서 인간의 시각, 기존 스테레오 카메라 시스템과 유사하게 작동해 주어진 장면에서 다른 물체까지의 거리를 계산하는 거리인지를 제공한다. 

AEM_Automotive Electronics Magazine