오늘날 자동차는 차내에서 복수의 영상 정보를 처리하고 있다. 카 내비게이션이나 디지털TV, DVD 등이 그 대표적인 예다. 특히, 최근에는 운전석에서 사각 지대인 우측방과 후방의 상황을 모니터로 확인할 수 있도록 주변 감시용 카메라를 장착하는 사례도 늘고 있다. 차세대 자동차에서는 DVD와 카 내비게이션 영상을 뒷자석에서도 즐길 수 있도록 뒷자석의 모니터에 콘텐츠 영상을 전송하는 리어시트 엔터테인먼트와 차량 주위에 장착한 여러 개의 감시 카메라 영상을 운전석 모니터에 전송하는 멀티 카메라 시스템 등 보다 많은 영상을 처리하는 장치가 표준 장착될 것으로 예상된다.
과거처럼 영상을 아날로그 신호를 이용하여 다채널로 보내는 경우 영상이 늘 때마다 1개씩 신호 케이블을 깔아야 한다. 따라서 채널이 많아질수록 배선이 복잡해진다(그림 1(a)). 다채널의 영상을 간단하게 전송하려면, 하나의 차량용 LAN을 이용해서 디지털 다중 전송하는 방법이 적합하다(그림 1(b)).
현재 가장 넓은 대역의 차량용 LAN 규격은 IDB(ITS Data Bus)-1394이다. 그러나 IDB-1394(공칭 400Mbps, 실효 320Mbps)를 이용하더라도 그 자체는 카메라 영상 1~2채널 분의 대역밖에 되지 않아 카 내비게이션 영상을 보내기에는 충분하지 않다[VGA(640×480화소)급 카메라 147Mbps, DVD 165Mbps, 카 내비게이션 415Mbps]. 이에 따라 차량용 LAN에 영상 압축 기술을 도입해야 한다는 요구가 커지고 있다.

기술요건과 과제

차량용 영상 압축 기술을 개발함에 있어서, 차량용 LAN으로는 IDB-1394를 이용하여 QVGA(320×240화소)급 카메라 수 대, DVD와 카 내비게이션 영상을 다중 전송할 수 있도록 압축률은 1/3로 일정하게 했다. 이 개발환경을 전제로 개발요건 및 과제로서 3가지 사항을 설정했다.
첫째는 각 단말기에 칩이 1개씩 필요하므로 회로 규모를 작게 하고 저비용으로 실장할 수 있어야 한다는 것이다. 이를 위해서는 LAN 컨트롤러 칩에 내장할 수 있는 회로 규모로 하되 외장 프레임 메모리를 없애야 했다. 두 번째는 실시간으로 주변을 감시하기 위해 압축·복원에 소요되는 처리시간이 짧아야 한다는 것이다. 이를 위해서는 1프레임의 편차가 발생하지 않도록 해야 하며 전송지연 속도를 30ms 이하로 제어해야 했다. 세 번째는 뒷자석 모니터로 DVD, 카 내비게이션을 고화질로 재현할 수 있어야 한다는 것이다. 이를 위해서는 문자 및 도형(카 내비게이션)과 자연화(카메라 영상, DVD) 모두 차량용으로 충분한 수준의 고화질을 충족시켜야 했다.

영상 압축 방식의 전체 구성

개발에 즈음하여 압축 방식을 선택했다. 선택하는 방식에 따라서 압축률, 회로 규모, 최대 지연시간이 결정된다. 일반적으로 영상 압축은 처리 화면 단위가 작을수록 큰 압축률을 얻을 수 있다.
MPEG-2에서는 압축률이 1/20 이하, 8×8의 블록 단위로 처리하는 JPEG에서는 1/10 정도로 압축한다. 그러나 처리 단위가 크면 회로 규모와 소요 메모리가 커질 뿐만 아니라 처리시간만큼 지연되기 쉽다. 따라서 LAN 컨트롤러 칩은 원칩화가 가능한 회로 규모에 실시간 주변 감시가 가능한 저지연성을 필요로 하기 때문에, 후지쯔는 1화소 단위로 처리하는 예측부호화(Predictive Coding) 방식을 채용했다. 예측부호화 방식에서는 화상의 각 화소값이 주변 화소에 가까운 값이 되는 연속성이 있는 것을 이용한다. 압축 대상 화소의 값을 주변 화소를 통해 예측하고, 예측치와 실제 값의 편차를 부호화한다. 예측에 필요한 주변 화소를 유지하기 위해서는 1라인(주사선) 분의 메모리만 있으면 되기 때문에 회로 규모를 쉽게 줄일 수 있다. 또 1화소 단위로 부호화하고 복원함으로써 지연을 막을 수 있다. 회로의 경량화, 처리의 저지연화가 가능한 반면 압축률에 마진을 취하기 어려우며, 특히 복잡한 이미지에서 압축률을 일정하게 유지하고자 하면 화질에 열화가 발생하기 쉽다. 그래서 자연화, 선화 모두에서 고화질을 유지할 수 있는 새롭게 개발한 기술을 설명한다.
 

개발 기술

개발 기술 SmartCODEC에서는 회로에 입력된 화소 정보의 순서대로 라인 방향(주사선 방향)으로 다음에 입력되는 화소 정보를 예측하여 양자화, 부호화 처리를 실행한다. 양자화 처리에서는 예측이 벗어난 값을 없애고 필요한 계조 수를 압축한다. 부호화 처리에서는 출현율이 높은 화소 정보일수록 짧은 부호를 할당함으로써 통계적으로 압축한다. 화질에 영향을 미치는 예측기·양자화기에서 자연화, 선문자화(선과 문자로 된 이미지)의 화질을 개선할 수 있는 기술을 새로이 개발했다(그림 2).

고성능 예측기 개발
예측부호화 방식에서는 예측이 들어맞을수록 압축 효율이 높아져 화질을 개선할 수 있다. 그러나 DVD에서 사용하는 비월주사(인터레이스) 화상에서는 라인을 한 칸씩 뛰어넘어(비월) 화상 데이터가 입력된다. 이 경우 거리가 먼 2라인 전의 화소를 참조하게 되므로 기존의 예측기는 예측 정보 및 압축 효율이 떨어졌다.
예측 정도를 향상시키기 위해 비월한 라인의 화소 정보를 가상적인 보간 처리로 구하고, 이 결과를 예측에 이용한다. 표준적인 평가화상집으로 이용하고 있는 ITE 화상 중에서 주변 화소 간 값의 불연속이 비교적 크며 예측이 어려운 화상 8종류의 PSNR(Peak Signal to Noise Ratio)를 평가했다. PSNR은 압축 전 화상과 복원 후 화상의 일치 정도를 나타내는 지표로서, 수치가 높을수록 두 화상이 잘 일치하는 것을 나타내며 35dB 이상이면 일반 사람들 눈으로는 별 차이를 알 수 없다고 한다.
기존의 예측기와 비교해 후지쯔가 개발한 예측기는 Y 성분에서 35.5dB에서 35.8dB로 0.3dB 향상, U 성분에서 39.1dB에서 39.9dB로 0.8dB 향상, V 성분에서 40.1dB에서 40.9dB로 0.8dB 향상된 것을 확인할 수 있었다. 이 기술에 의해 예측이 어긋나는 것을 어느 정도 줄여 압축 효율이 높아짐으로써 화질이 개선되었다.

양자화기의 적응 제어
후지쯔가 개발한 방식에서는 라인 방향으로 예측, 양자화를 수행하기 때문에 라인별로 다른 예측, 양자화가 이루어진다. 그 결과 양자화 오차가 라인 간에서 눈에 띄는 경우가 있다. 이것은 특히 내비게이션 화상에서 현저하며 내비게이션 화상 중에서 도트 단위로 표현되어 있는 지명과 도로와 같은 문자선은 계조 차가 매우 커서 예측 정도를 악화시키는 요인이었다. 양자화 처리에서는 계조를 없앰으로써 정보량을 절감하는데, 이때 압축률이 1/3로 일정해지도록 정보량을 조정해야 한다. 양자화 오차가 라인 방향으로 반복되면 압축하기 이전의 화상 중에는 존재하지 않던 선이 주사방향으로 늘어 열화 현상으로 나타난다.
이 현상을 억제하기 위해 같은 양자화의 반복이 검출된 경우 즉석에서 면밀하게 양자화를 수행하는 기술을 개발했다. 예를 들면 라인 간에서 같은 레벨 차가 연속해서 출현하는 경우는 양자화 오차가 전반되었거나 아니면 정말로 단차가 출현했거나 둘 중 하나다. 사실상 단차가 계속 출현할 확률은 거의 없기 때문에 양자화를 계속해도 문제는 없다. 그래서 라인 간에서 같은 레벨 차가 출현하는 횟수를 세어서 횟수가 일정 임계를 넘어서면 즉석에서 세부적인 양자화로 전환하는 장치를 개발하여 도입했다. 양자화기의 적용 제어가 있는 경우와 없는 경우에 얻어진 복원 후의 화상을 관찰해 보면, 적응 제어가 없는 경우 라인 방향으로 양자화 오차가 전반되는 것이 눈에 띈다. 이에 반해 적응 제어가 있는 경우에는 양자화 오차의 전반이 확실하게 제어되었음을 알 수 있었다.

기술의 성능

후지쯔는 회로 규모를 줄이고 지연현상을 억제할 수 있는 예측부호화 방식을 채용하여 차량용으로 필요한 요건을 충족시킬 수 있는 라인 메모리의 고화질 유지 기술을 개발했다. 이 영상 압축 기술로 IDB-1394 네트워크 상에서 광대역이 필요한 내비게이션 화상(800×480, RGB4:4:4, 프로그레시브, 60fps)을 전송할 수 있게 되었다. 기술의 성능을 정리하면 아래와 같다.

(1) 회로 규모(경량성)
IDB-1394 LAN 컨트롤러 칩에 내장하여 원칩화가 가능한 규모. 외장 프레임 메모리는 필요 없음.
(2) 낮은 지연
압축해서 IDB-1394 네트워크 전송하고, 복원까지 2~3ms 이내.
(3) 고화질
자연화(카메라 영상, DVD) 및 선문자화(내비게이션 화상) 모두 고화질.

후지쯔연구소는 개발한 압축 기술을 향후 IDB-1394 LAN 컨트롤러 칩에 내장하여 칩 형태로 판매할 예정이다.