비전 센서만으로 자율주행 절대! 결코! 실현되지 않는다!

“지난 몇 년 동안 저와 함께 한 컨퍼런스 주최 측에 진심으로 감사드립니다. 이제 본론으로 들어가죠. 우리는 자율주행 단계에 도달했을까요?’ 짧은 대답은 ‘아니요’, ‘아직’입니다. 그러니 그냥 바로 바에 가셔도 됩니다(웃음). 하지만 왜 그런지 설명해드리겠습니다.
먼저, 제가 미 해군 전투기 조종사였다는 얘기를 들으셨을 겁니다. 맞습니다. 저는 F-18 전투기를 몰았고, 항공모함에서 이착륙도 해봤습니다. 
이 경험이 오늘 우리가 이야기하려는 주제와 어떤 관련이 있을까요? 제가 해군에서 전투기를 조종했던 3년 동안, 자율 시스템의 잘못된 설계 때문에 평균적으로 매달 한 명이 목숨을 잃는 장면을 목격했습니다. 항공 분야에서는 오랜 시간 동안 이런 시행착오를 겪으며 개선을 거듭했습니다. 하지만 안타깝게도 이런 교훈이 교통 분야에서는 아직 충분히 반영되지 않았습니다. 




그 뒤 저는 박사 학위를 취득했고, 드론 연구에 많은 시간을 쏟았습니다. 그리고 10년 정도 후 자동차 분야로 넘어왔습니다. 사진은 2013년 웨이모의 지원을 받아 진행한 연구 당시의 모습입니다. 당시에는 구글 X가 처음으로 자율주행차 문제를 본격적으로 들여다보기 시작하던 시점이었죠. 동시에 저는 미국 정부를 위해 원격 조종 시스템 연구도 병행했습니다. 프레데터(Predator), 리퍼(Reaper), 미 육군 섀도우(Shadow) 드론의 원격 운용을 다뤘습니다.
여러분은 ‘그래서 그게 뭐가 중요한가?’라고 생각하실 수 있습니다. 제가 말씀드리고 싶은 요지는 원격 조종 분야에서 우리가 이미 많은 교훈을 얻었음에도 교통 분야에서는 여전히 그 교훈이 제대로 적용되지 않고 있다는 사실입니다. 
하지만 이제 긍정적인 이야기로 넘어가 보겠습니다.
자율주행차 개발은 정말 놀라운 진전을 이뤄왔습니다. 제가 처음 구글 X와 함께 일하기 시작한 것이 2013년이었는데, 그때는 아직 초기 단계라 수많은 어려움이 있었습니다. 그리고 12년이 지난 시점에서 웨이모는 이미 여러 도시에서 운영되고 있습니다. Zoox(죽스)는 다인승 셔틀을 개발했고, 최근 라스베이거스에서 상업 운영을 시작했습니다. 사실, 다인승 셔틀은 수익성을 확보하는 데 필요한 규모의 경제를 실현할 수 있을지도 모릅니다. 
다시 말해 자율주행차는 이제 현실이 되었고, 미국에서는 실제로 운영할 수 있으며 돈을 벌 수도 있습니다. 다만 ‘돈을 번다’는 것과 ‘이익을 남긴다’는 것은 다릅니다. 이 차이에 대해서는 다시 말씀드리겠습니다. 우선, 여기까지 오기까지 헌신해 온 모든 기업에 큰 박수를 보냅니다.
자율주행 연구와 개발은 정말 놀라운 성과를 거두었습니다. 군사 영역에서 시작되었다면 지금만큼의 진보는 결코 이룰 수 없었을 겁니다. 민간 분야에서 훨씬 더 빠르게 발전해 왔다는 점은 분명합니다. 하지만 동시에 여전히 큰 도전과제가 남아 있습니다. 


 
첫 번째 과제는 치명적일 수 있는 문제입니다. 여러분은 듣고 싶지 않을 수도 있지만 저는 있는 그대로 말씀드리려 합니다. 여기 계신 모든 분이 아마 chatGPT 같은 LLM(Large Language Model)을 써보셨을 겁니다. LLM에서 나타나는 ‘환각(hallucination)’ 현상은 사실 환각이 아니라 통계적 추론 오류입니다. 그런데 자율주행차는 정말 환각을 합니다. 
아래 사진은 테슬라 사고의 한 장면인데, 테슬라가 완전 자율주행차가 아님에도 불구하고 이 사고는 환각의 위험을 잘 보여줍니다. 몇 해 전 추수감사절, 샌프란시스코 베이 브리지 터널을 달리던 테슬라 차량이 앞에 ‘존재하지 않는 무언가’를 본 겁니다. 시속 65마일(약 105 km/h)에서 몇 초 만에 정지해 버렸고, 뒤따르던 차량 8대가 연쇄 추돌했습니다. 다행히 사망자는 없었지만, 이와 유사한 충돌로 실제로 목숨을 잃은 사람들도 있습니다. 현재도 미 고속도로교통안전국(NHTSA)은 이른바 이 ‘팬텀 브레이킹’ 문제로 테슬라를 조사하고 있습니다. 이는 컴퓨터 비전 시스템의 환각, 즉 기계가 존재하지 않는 대상을 인식하는 오류입니다. 머신러닝에서도, 엔드투엔드(end-to-end, E2E) 학습에서도 나타납니다.
사실 우리는 아직 이 문제를 어떻게 해결해야 할지 전혀 알지 못합니다. 저 역시 컴퓨터 비전을 연구하는 학자로서 말씀드리지만, 이 현상은 여전히 미스터리로 남아 있으며 풀리지 않았기 때문에 계속 사고가 발생하는 것입니다. 테슬라, 웨이모, Zoox를 비롯해 제가 미국 고속도로교통안전국에서 근무하면서 조사했던 모든 기업의 사고에서 이런 문제를 확인했습니다. 셔틀, 승용차, 트럭 가릴 것 없이 컴퓨터 비전이 사용되는 곳이라면 어디서든 이런 문제가 나타납니다. 그리고 이 환각 문제를 해결하지 못한다면 우리는 결코 자율주행의 대규모 상용화를 실현하지 못할 것입니다.




굉장히 충격적인 사례를 말씀드리겠습니다. 2023년 캘리포니아에서 발생한 크루즈(Cruise) 사고인데, 바로 이 사고 때문에 크루즈가 운영을 중단했습니다. 
사고의 경위는 이렇습니다. 야간에 자율주행차 한 대가 인간 운전 차량의 오른쪽 뒤쪽에 위치했는데, 한 보행자가 무단횡단을 하다가 인간 운전 차량에 치였습니다. 그 충격으로 보행자가 튕겨 나가 자율주행차의 진로에 들어가 버린 겁니다. 크루즈 차량은 긴급제동을 완벽히 수행했습니다. 그러나 치인 여성이 차량 밑으로 들어가자 시스템은 더 이상 ‘사람이 관련된 상황’이 아니라고 인식합니다. 여기서 중요한 점은 자동차의 AI든, 생성형 AI든, LLM이든 무엇을 이야기하든 상관없이 뉴럴넷(Neural Networks)은 아무것도 알지 못한다는 사실입니다. 이해하지 못하고, 생각하지 못하며, 상상하지 못하고, 불확실성 속에서 추론하지도 못합니다. 저는 누가 뭐라고 해도 그것이 ‘사고하는 에이전트’가 아니라는 점을 분명히 말씀드리고 싶습니다! 그 결과 크루즈는 여성이 차량 밑에 깔려 있는 상태에서 오른쪽으로 이동했습니다. 화면 속에 그녀의 발이 보입니다. 참혹한 사고였습니다. 


어떤 이들은 이 사건을 ‘엣지 케이스(edge case)’라고 말하고 싶어 합니다. 분명히 말씀드리지만, 이것은 결코 엣지 케이스가 아닙니다. 샌프란시스코에서 무단횡단은 흔한 일이고 누구나 충분히 상상할 수 있는 상황입니다. 게다가 이 사고는 또 다른 심각한 문제를 드러냈습니다. 차량은 충돌 9초 전 이미 보행자를 감지했음에도 오히려 가속을 선택했다는 사실입니다. 다시 강조하자면, 이 차들은 생각하지 못하고! 상상하지 못하며! 이해하지 못합니다. 엔드투엔드 학습이 모든 문제를 해결할 수 있다고 하지만, 이 문제는 풀지 못합니다. 게다가 문제를 더 악화시킬지조차 확실하지 않습니다! 아직은 새로운 접근 방식이기에 기존 머신러닝보다 나쁘다는 증거도 없지만, 더 낫다는 증거도 없습니다. 기존 머신러닝과 룰 기반 AI를 결합했을 때의 효과를 뛰어넘는다는 증거 역시 없습니다.
또 하나의 큰 문제는 원격 관제센터의 설계였습니다. 당시 원격 조작자들은 3초의 지연을 겪고 있었습니다. 이것만으로도 심각했지만, 더 나쁜 것은 크루즈가 비용 절감을 이유로 긴급 상황에서 누르는 ‘빅 레드 버튼(Big Red Button)’을 제거했다는 사실입니다. 즉, 원격 관제센터가 본래 갖추어야 할 안전 설계를 하지 않았던 겁니다. 이는 매우 잘못된 결정이었고 앞으로도 큰 위험 요인이 될 수밖에 없습니다.


 
또 다른 문제로 넘어가 보겠습니다. 바로 고속도로 주행입니다. 놀랍게도 아직 누구도 이것을 해내지 못했습니다. 트럭도 못 하고, 웨이모도 못 합니다. 현재 미국에서 어떤 자율주행차 회사도 고속도로 자율주행을 일관되게, 그리고 안전하게 수행하지 못하고 있습니다. 물론 멋진 시연을 보여줄 수는 있습니다. 하지만 실제로 고속도로 주행에서 안전한 운행이 이뤄지고 있다는 증거는 아직 없습니다. 그 이유 중 큰 부분은 앞서 말씀드린 ‘환각’ 문제입니다.
마지막으로 한 가지 더 말씀드리겠습니다. 저는 지금 유럽에 있어서 이렇게 말할 수 있다는 점이 다행입니다. 여기서는 총 맞을 걱정을 하지 않아도 되니까요. 제가 테슬라에 전해줄 소식이 있습니다. 사실 그들은 이미 메르세데스-벤츠로부터 수없이 들었을 겁니다. 비전 센서 만으로 하는 자율주행차는 절대로! 절대로! 결코! 결코! 결코! 실현되지 않을 것입니다. 저는 로보틱스 교수입니다. 여기서만큼은 제 안전을 걱정하지 않고 이런 말을 할 수 있어 기쁩니다. 하지만 다시 한번 말씀드리겠습니다. 그런 일은 절대로 일어나지 않습니다! 
우리는 대학에서 학생들에게 이렇게 가르칩니다. "세상을 안전하게 이동하기 위해서는 단일 센서만으로는 불가능하다!" 이것은 로보틱스 101에서 가르치는 기초 중의 기초입니다. 그렇다면 어떻게 그것이 실제 세계에서 확장 가능하다고 생각할 수 있겠습니까? 결코, 불가능합니다!




다시 원격 운용으로 돌아가 보겠습니다. 현재 세계에는 두 가지 형태의 원격 운용이 존재합니다. 웨이모가 하는 것이 바로 원격 지원(remote assist)입니다. 이것은 원격 조작(tele-operation)이 아닙니다. 원격 지원에서는 자율주행차가 교차로에 접근했을 때 상황을 이해하지 못하면 원격지에 있는 인간에게 도움을 요청합니다. 그러면 인간이 차량에 ‘예, 앞으로 가도 됩니다’, ‘좌회전이 아니라 우회전을 하세요’ 같은 지시를 내려주는 방식입니다.
분명히 말씀드리지만 진정한 의미의 ‘자율주행차’라는 것은 존재하지 않습니다. 지금 이 자리에 계신 분 중에도 이미 하고 계신 분들이 있을 겁니다. 모든 자율주행차 회사는 ‘인간 보조자(human babysitter)’가 필요합니다. 예외는 없습니다. 완전한 자율주행차는 존재하지 않습니다. 모든 회사가 어느 정도의 인간 개입이 필요합니다. 그래서 우리는 원격 조작(tele-driving)보다 원격 지원(remote assist)이 낫다고 생각합니다. 특히 시속 30km 이상에서는 원격 지원이 더 안전합니다. 그러나 그렇다 하더라도 우리는 원격 조작자(remote operator)의 시간 지연으로 인해 발생한 사고를 확인했습니다. 웨이모는 원격 조작자들을 미국 밖, 필리핀으로 이전했습니다. 왜 그렇게 했는지는 나중에 바에서 이야기해도 좋을 것 같습니다. 하지만 제가 확실히 말씀드릴 수 있는 것은 제가 오랜 시간 원격 운용을 연구해 왔다는 점입니다. 원격 조작자를 지구 반대편에 배치한다고 해서 좋은 결과가 나올 리 없습니다. 비록 이것이 원격 조작(tele-operation)이 아니라 하더라도 시간 지연은 신호 해석과 전달에 문제를 일으키게 됩니다. 실제로 웨이모 차량은 캘리포니아의 한 교차로에서 원격 조작자의 신호 지연으로 인해 측면 충돌 사고를 당했습니다.
우리는 이제 솔직해져야 합니다. 인정해야 합니다. 절대로 ‘우리는 자율주행차 회사다’라고 말해서는 안 됩니다. 솔직히 말해 그들은 기껏해야 ‘인간 보조자에 의존하는 자율주행차 회사(human babysitter self-driving car company)’일 뿐입니다.




안전 모델에 관해 설명하겠습니다. 보이는 것은 오래된 항공 안전 모델로, ‘스위스 치즈 모델(Swiss Cheese Model)’이라고 부릅니다. 원래는 사람들이 사고를 이해하기 위해 고안한 개념으로, 인간이 가장 근접한 지점에서 불안전한 행동(unsafe act)을 했을 때, 예를 들어 항공기 추락 사고처럼 손실이 발생한다고 가정했습니다. 하지만 연구자들은 시간이 지나면서 모든 사고가 여러 겹의 조건이 겹쳐 발생한다는 사실을 깨달았습니다. 예컨대 조종사가 전날 충분히 잠을 자지 못했다든지, 감독자가 제대로 된 훈련을 제공하지 않았다든지, 항공사가 재정난에 시달리고 있었다든지 하는 요인들 말입니다. 이 모든 요인이 층층이 쌓여 있고, 그 속 구멍들이 나란히 겹쳐질 때 사고가 발생한다는 것이죠. 저는 이 모델을 AI에 맞게 재구성해 보았습니다. 왜냐하면, 여기서도 결국 최종 손실은 동일하기 때문입니다. 하지만 항공에서의 ‘불안전한 행동(unsafe act)’ 대신, AI 시대의 가장 큰 문제는 ‘불안전한 테스트(unsafe testing)’입니다. 왜 그렇게 말할 수 있냐고요? 제가 직접 경험했기 때문입니다.
만약 여러분이 최근 소식을 놓쳤다면, 지난 7~8월 미국에서 테슬라가 거액의 배상 판결을 받은 사실을 모르실 수 있습니다. 총 2억 4,300만 달러(약 3,400억 원), 그중 일부는 징벌적 손해배상으로 부과되었습니다. 이유는 잘못된 AI 기술로 사람이 사망했기 때문입니다. 저는 이 사건의 수석 전문가로 참여했기 때문에 분명히 말씀드릴 수 있습니다. 테슬라는 충분한 테스트를 하지 않았습니다. 정말로, 비용 절감을 위해 절차를 건너뛴 것입니다.
사실 이런 일은 테슬라만의 문제가 아닙니다. 항공사든, 운송회사든, 시장에 제품을 빨리 내놓기 위해 누구나 코너를 돌고 싶어 합니다. 그래서 충분한 테스트를 하지 않고, 필요한 AI 유지보수도 소홀히 하게 됩니다. 신경망을 실제 운행될 도로 환경에 맞게 훈련시키지 않는 경우도 많습니다. 기업은 신경망을 재훈련하는 것을 꺼리는데, 엔드투엔드 학습은 비용이 매우 비싸기 때문입니다. 하지만 분명히 말씀드립니다. 그 과정을 생략한다면, 2억 4,000만 달러라는 막대한 비용을 치를 수 있습니다.
불충분한 AI 설계 역시 문제입니다. 대표적인 것이 ‘비전 만으로 하는 자율주행’인데, 이는 끔찍한 발상입니다! 마지막으로 불충분한 AI 감독 역시 심각한 문제입니다. 여기 계신 분들이 직접 그런 주장을 하지 않았겠지만, 기술이 모든 상황에서 항상 작동할 것이라고 떠들고 다니는 것은 결코 용납할 수 없습니다!

물론 제가 오늘 많은 문제점을 나열했기 때문에 다소 부정적으로 들릴 수도 있습니다. 하지만 저는 로보틱스 연구자이며, 이 기술에 전적으로 투자하고 있습니다. 자율주행차에도 충분히 적용할 수 있는 분야가 있습니다. 제가 가장 좋아하는 사례는 로보틱 셔틀입니다. 하지만 우리는 반드시 이런 여러 층위의 안전 문제를 심각하게 다뤄야 합니다. 기업은 이를 평가할 수 있는 체계를 갖춰야 하며, 가장 중요한 것은 함께 협력해야 한다는 점입니다.
미국은 극도로 경쟁적인 시장입니다. 기업들은 서로 협력하지 않으려 하고 규제 당국과도 협력하지 않으려 합니다. 이러한 태도는 올바른 길이 아닙니다. 앞으로 나아가는 길은 우리가 한 팀이라는 사실을 인정하고 더 많은 결과를 공유하며, 특히 ‘환각’ 문제와 같은 난제를 함께 해결해 나가는 것입니다. 그래야만 실제로 안전한 시스템을 더 빨리 시장에 내놓을 수 있습니다.

---

  자율주행의 시행착오를 불러온 가장 큰 기술적·운영적 과제는? 자율주행 트럭과 승용차 간 차이는? 
Missy        트럭과 승용차 자율주행 시스템의 본질적 차이는 없다. 차이는 결과의 심각성에 있다. 트럭이 제동을 잃고 접히는 사고(jackknife)가 일어나는 순간은 반드시 올 것이고, 그 결과는 수많은 사상자를 낳을 수 있다. 그것이 언제 일어나느냐에 따라 업계 전체가 무너질 수도 있다. 더 위험한 환경에서 서비스하려면 그에 상응하는 위험 완화 조치를 반드시 마련해야 한다. 하지만 지금까지 고속도로에서 안정적으로 운영 가능한 트럭 자율주행 사례는 본 적 없다. 승용차도 마찬가지다. 고속도로 주행에서 일관된 안전성을 확보하지 못하고 있다. 신경망의 ‘환각’ 문제를 반드시 멈춰야 한다. 

차량의 복잡한 데이터를 클라우드에서 분산처리하는 것이 바람직할까, 아니면 완전 로컬에서 해야 할까?
Missy        매우 중요한 질문이다. 안전이 중요한 기능은 결코 클라우드로 처리할 수 없다. 즉각 반응할 수 있어야 하기 때문이다. 지금까지 어떤 환경에서도 그 요구를 충족할 만한 통신 지연 수준을 본 적 없다. 이론적으로 10밀리초(ms) 미만의 지연이 보장돼야 하지만, 이를 안정적으로 구현한 사례는 아직 없다. 물론 언젠가는 가능할 수 있겠지만 아직 그런 증거를 보지 못했다.

희귀하거나 비정형적인 주행 상황을 이해하는 데 있어 AI의 가장 큰 한계는?
Missy        반복해서 말하지만, AI는 생각하지 않는다. 상상도, 알지도 못한다. 생성형 AI로 안전성을 검증하려는 시도는 절대 하지 말아야 한다. 신경망 기반 AI는 본질적으로 통계적 평균 회귀(regression to the mean) 방식으로 작동한다. 즉, 가장 흔하고 빈도가 높은 사건을 중심으로 학습할 뿐 엣지 케이스를 다루도록 설계되지 않았다. 아무리 보간(interpolation)을 해도 경계 상황에서 제대로 추론할 수 없다. 이런 부분에서 인간과 기계의 협력이 필요하다. 결국, 사람의 역할은 계속 필요하다.

AEM(오토모티브일렉트로닉스매거진)

---