생체신호는 인지부하를 평가하기 유용한 방법 중 하나다. 대구경북과학기술원(DGIST)은 운전수행도와 생체신호와의 조합이 인지부하를 측정하는데 효과적으로 사용될 수 있다는 것을 입증했다. 인지부하가 높은 경우 운전자 시선이 전방에 고정돼 주변 상황 인지를 위한 시선 분포가 좁아진다는 결과를 토대로 운전 패턴, 생체신호, 시선거동 데이터를 이용해 SVM(Support Vector Machine)을 학습시키고 교차타당성 검증을 통해 높은 예측 정확도를 입증했다.
생체신호 이용한 인지부하
운전부주의는 운전수행 능력과 상황인식 능력을 저하시키기 때문에 심각한 안전 문제를 초래할 수 있다. 교통사고 통계에 따르면, 사고 원인의 25%에서 78%가 운전부주의로 인한 것으로 알려져 있다.

이러한 운전부주의는 피로와 졸음 상태와 같이 운전부하가 매우 낮은 상황과 운전 중 다수의 일을 동시에 처리해야 하는 높은 운전부하 상태와 관련이 있다. 특히, 커넥티드 카와 같이 정보량이 높은 상황에서는 운전자의 상태를 모니터링하고 가용능력을 고려해 정보를 전달하는 적응형 자동차 인터페이스(HMI) 설계가 필요하다.


운전부하는 운전이라는 주 과업과 그 외의 이차과업이 운전자의 리소스를 활용하고자 경쟁하는 과정으로, 크게 시각적 부하와 인지적 부하로 나눌 수 있다. 시각적 부하는 시선을 관찰함으로써 명확하게 측정 가능한 반면, 인지적인 부하는 직접적으로 측정하기 어렵다.

하지만, 다양한 연구가 운전 패턴, 생체신호, 시선 거동 등을 이용해 인지부하를 측정하고자 시도됐다. 이러한 방법 중 운전 패턴은 상대적으로 적은 비용으로 차량 주행정보를 측정함으로써 인지부하를 측정할 수 있다는 장점이 있지만, 인지부하의 미세한 변화까지 측정하지는 못하는 한계가 있다.

반면, 생체신호는 인지부하를 평가하기에 유용한 방법으로 제시되고 있으며, MIT 연구진들의 경우 심박수와 피부전도도가 인지부하와 비례해 증가한다는 사실을 밝혀내기도 했다. 또한 대구경북과학기술원(DGIST) 연구진도 운전수행도와 생체신호와의 조합이 인지부하를 측정하는데 효과적으로 사용될 수 있다는 것을 입증했다.

최근의 연구에서는 인지부하가 높은 경우 운전자의 시선이 전방에 고정돼, 주변 상황을 인지하기 위한 시선 분포가 좁아지게 된다는 결과가 도출되고 있다. 이러한 연구결과를 토대로, 본 연구에서는 운전 패턴, 생체신호, 시선거동 데이터를 이용해 SVM(Support Vector Machine)을 학습시키고 교차타당성 검증을 통해 높은 예측 정확도를 입증했다.

지능형 학습 알고리즘
운전 중 인지부하를 예측하기 위해 다양한 학습 알고리즘들이 적용되고 있으며, 최근에는 통계적 학습이론을 토대로 개발된 SVM이 다수의 연구에 이용되고 있다. 그림 1은 2차원 공간에서 SVM의 기본 원리를 보여 준다. 함수 Φ를 이용해 입력공간(Input Space)을 특징공간(Feature Space)으로 변환하는 과정을 나타내고 있다.

이러한 특징공간에서 SVM은 두 집단을 구분할 수 있는 최대 마진을 같은 초평면(hyperplane, 기하학 용어로 평면의 개념을 다른 차원으로 확장시킨 것)을 구성하게 된다. 또한, 특징공간에서 학습 데이터들이 선형으로 분리되지 않을 때는 페널티 파라미터 C를 이용해 학습 오차를 설정할 수 있다.

예를 들어, C가 매우 작은 양의 값을 가질 경우, 많은 양의 데이터가 잘못 분류되게 될 것이고, 반대로 C가 매우 크다면 학습 데이터에 대한 과대적합(Over-fitting)이 나타나게 돼 일반화 능력이 떨어지게 된다. 즉, SVM에서는 페널티 파라미터를 적절히 설정함으로써 과대적합 문제를 회피하면서 학습오차를 최소화할 수 있기 때문에, 학습오차만을 최소화시키는 기존의 학습 알고리즘보다 강인한 모델을 생성할 수 있다.
실험 방법 및 절차 실험 참가자
본 연구를 위해 다음과 같은 기준을 만족하는 실험 참가자들을 선정했다.
1) 25세에서 35세 사이 또는 60세에서 69세 사이의 연령대에 속하고,
2) 주2회 이상 직접 운전을 하고 있으며,
3) 운전에 영향을 미칠 수 있는 질환이 없고 관련 의약품을 복용하지 않으며,
4) 간이 인지검사(Mini Mental Status Exam)에서 27점 이상의 점수를 받은 참가자들
전체 참가자 수는 30명으로, 25~35세 참가자 15명(M=27.9, SD=3.13)과 60~ 69세 참가자 15명(M=63.2, SD=1.74)의 남성들이다.
운전 중 인지부하 부가 방법
모의주행 실험 중 인지적 부하를 부가하기 위해, 음성으로 제시되는 숫자를 기억해 대답하는 N-back 과업을 이용했다. 본 실험에서는 3가지 난이도의 인지부하를 부가하기 위해 숫자를 듣고 바로 말하는 0-back, 그리고 두 숫자 전에 제시된 숫자를 말하는 2-back을 이용했다.

N-back에서 제시되는 숫자로 0~9사이의 정수를 사용했으나, 4번은 발음상의 혼돈을 피하기 위해 사용하지 않았다. N-back 과업은 각 난이도별로 30초 동안 10개의 숫자를 들려주는 과정을 4회 반복함으로써 인지부하가 2분간 지속되도록 설계했다. 각각의 숫자는 약 2.1초 주기로 제시되었으며, 각 나이도별 N-back을 수행한 이후에 인지능력이 회복될 수 있도록 3회의 N-back 구간 사이에 2분의 휴식시간 2회를 포함했다.

모의 주행 실험 환경 
인지부하 난이도가 운전자의 운전에 미치는 영향을 알아보기 위한 실험은 그림 2와 같은 모의 주행장치에서 실시했다. 모의 주행장치는 DLP 프로젝터, 스크린, 제어용 PC와 현대 제네시스의 차량 내부를 재현한 시뮬레이터 차량으로 구성됐으며, 소프트웨어는 시스템 테크놀러지(System Technology) 사의 STISIM DriveTM를 사용했다.

도로와 차량 영상은 2.5×2.5 m 크기의 스크린에 30 Hz주기, 1024×768 해상도로 표시되도록 설정했다. 운전 시뮬레이터는 주행거리와 속도, 조향각, 엑셀 및 브레이크 페달 사용량 등을 실시간으로 저장했으며, 생체신호와 시선의 움직임에 관련된 자료도 MEDAC System/3와 FaceLAB을 이용해 획득했다. 또한, 참가자들이 시간적 압박을 느끼면서 모의주행에 참여하도록 유도하기 위해, 스크린에 표시된 룸미러 옆에 별도의 디스플레이 장치를 설치해 경과 시간과 남은 거리에 관한 정보를 제공했다.

실험 절차
실험절차는 그림 2와 같이, 모의주행 실험을 중심으로 주행 전 단계와 주행 후 단계로 구성했다. 실험 전 단계는 서명 및 설명(Consent and Overview), 생체신호 센서 부착(Physiological Sensor Attachment), 사전설문(Survey), 시선 측정장치 세팅(Gaze Tracker Set-up) 및 모의주행 훈련(Driving Simulator Training), 그리고 기준 생체신호 측정(Physiological Baseline)으로 진행했다.

본 실험 단계에서는 N-Back 훈련(N-Back Task Training) 및 기준 N-back 수행능력 검사(N-back Task Baseline), 모의주행 실험(Driving & N-back Experiment)으로 구성했다. 모의주행 시나리오는 맑은 날씨상황에서 약 37 km의 고속도로 구간을 약 20~25분간 주행하는 것이며, 운전 중 2분간 N-Back을 수행하는 구간이 3차례 포함됐다. 3단계의 N-Back 난이도는 임의의 순서로 결정됐으며, N-Back을 수행한 후 2분간 운전만 수행하도록 구성했다.

또한, 피험자의 참여도를 높이기 위해, 20대의 경우 실험보상금 30,000원 중 20,000원을 실험비용으로 10,000원을 인센티브 비용으로 나눠 지급하는 것으로 설명했으며, 60대의 경우 실험비용 50,000원 중 40,000원을 실험비용으로 10,000원을 인센티브 비용으로 설명했다. 즉, 인센티브 금액이 사고횟수, 도착 지연시간, N-back 수행에 따른 오답 수에 따라 차감되도록 설계해, 피험자가 실제 운전상황의 스트레스와 유사한 심리적 불안감을 느끼도록 유도했다.
인지부하 상황의 정의
인지부하 상황은 운전만 수행하고 부차적인 인지부하가 없는 상황과 3단계의 N-Back 난이도가 부가된 세 가지 상황을 포함해 총 4단계로 분류했다. 0-Back 상황은 비교적 스트레스를 적게 받는 낮은 등급의 인지부하 상황을 묘사하고, 1-Back은 2개의 숫자를 동시에 기억하고 있어야 하는 한 단계 높은 인지부하 상황을 나타내며, 2-Back은 가장 높은 단계의 인지부하 상황을 설정한 것이다.

본 연구에서는 네 가지의 등급으로 분류된 인지부하 상황 중, 운전만 수행하는 일반운전 상황과 가장 높은 인지부하를 받는 2-Back 상황만을 고려했다. 즉, 일반운전 상황은 아무런 인지부하가 가해지지 않는 조건, 인지부하 상황은 가장 높은 난이도인 2-Back을 운전 중에 수행하는 상황으로 정의했다.
입력 변수 선정
SVM 모델에서 운전자의 인지부하를 추정하기 위해, 총 6가지의 입력변수를 사용했다. 이러한 입력변수에는 차선위치 변화율(Standard Deviation of Lane Position, SDLP), 조향 반전율(Steering Reversal Rate, SRR), 심박수(Heart Rate, HR), 피부전도도(Skin Conductance Level, SCL), 수평 시선분포(Standard Deviation of Horizontal Gaze, SDHG), 그리고 수직 시선분포(Standard Deviation of Vertical Gaze, SDVG)가 포함됐다.

차선위치 변화율은 차선 내의 차량 위치 데이터에 고역 필터(0.1 Hz)를 적용한 후 차선변경 구간을 제거한 데이터를 이용해 연산했으며, 조향 반전율은 저역 필터(2 Hz)를 적용한 후 0.1도 이상의 조향 반전이 발생한 경우만을 사용했다. 또한, 심박수는 R-피크 감지 알고리즘을 이용해 계산된 심박주기(Inter-Beat Interval, IBI)를 변환해 사용했으며, SCL은 건식 전극을 중지에 부착해 측정했다. 수평 및 수직 시선분포는 필터 처리된 시선 데이터의 표준 편차값으로 사용했다.
학습 모델과 교차 검증
SVM 학습을 위한 입력값은 일반운전(No distraction)과 인지적 주의분산 운전(Cognitive distraction)에 관한 데이터를 10초 간격으로 평균을 취한 후, z-스코어 정규화 함수를 이용해 생성했다. SVM 모델을 구축하기 위한 커널 함수로는 방사 기저함수(Radial Basis Function)가 사용됐다.
 
K(χ    i , χ   j) = e-γ| χ   i - χ   j| 2
여기서, χi와 χj는 데이터 값을 나타내고, γ 는 미리 정의된 양의 파라미터를 의미한다. SVM 모델에서는 커널함수의 γ값과 페널티 파라미터 C를 조작함으로써 비선형 및 선형 매핑을 구현할 수 있다. 본 연구에서 360개의 학습 데이터를 추출해, SVM 모델 학습 및 중첩 교차검증에 사용했다. 중첩 교차검증은 그림 4와 같은 절차로 진행됐으며, SVM 모델의 성능은 아래에 제시된 정확도(Accuracy), 민감도(Sensitivity), 특이도(Specificity)라는 세 가지의 관점에 대해 평가됐다.

여기서, TP는 True Positive, TN은 True Negative, FP는 False Positive, FN은 False Negative이며, 정의는 표 1과 같다.


결과와 논의     
SVM의 성능은 표 2와 같이 입력변수의 조합에 따라 58.9%에서 89.0%의 정확도를 나타냈다. 단일 입력변수 중에서는 심박수가 운전자의 인지부하를 80.0%의 정확도로 판별할 수 있었다. 이는 다수의 연구에서 심박수가 인지부하를 예측하기 위한 유용한 지표임을 입증한 결과를 뒷받침해주는 사례로 볼 수 있다.

다음으로, 수직 시선분포가 76.7%의 정확도를 나타냈다. 그러나, 수직 시선분포의 정확도는 수평 시선분포와 큰 차이가 나타나지 않았으며, 이전 연구결과와 일치되지 않는 면이 있었다. 즉, MIT 연구진은 인지부하에 대한 유의한 효과가 수직 시선분포에서는 나타나지 않으나, 수평 시선분포에서는 나타났다고 보고한 바 있다.


이러한 차이는 운전 시뮬레이터 환경의 영향을 받았을 것으로 추정된다. 본 실험에 사용된 운전 시뮬레이터에는 주행 화면의 룸미러 옆에 시간과 거리정보를 제공하는 추가적인 디스플레이 장치를 배치했다. 이로 인해 룸미러 위치까지 올려다보는 횟수가 증가해 수직 시선분포에 변화가 발생했을 것이다. 또한, 본 연구에 사용된 시뮬레이터에는 사이드 미러가 표현되지 않았기 때문에, 수평 시선의 분산은 감소했을 것이다.

다중 입력변수 조합 중에서 최고의 성능을 나타낸 조합은 생체신호, 시선, SDLP로 구성돼 있었다. 즉, 표 3에 제시된 바와 같이 89.0%의 정확도, 86.4%의 민감도, 그리고 91.7%의 특이도를 나타냈다. 일반적으로 볼 때, 생체신호가 포함된 입력변수 조합은 적어도 82.6% 이상의 정확도을 나타냈다. 특히 심박수는 정확도와 특이도를 증가시키는데 중요한 역할을 했다. 또한, 본 연구에서 제안한 SVM 모델에서 모든 입력을 포함하는 조합은 정확도(88.8%)와 특이도(90.0%)에 있어서 최적화되지 못했다(표 3 참조).

결론
본 연구에서는 운전수행도, 생체신호, 시선 거동을 이용해 운전자의 인지부하를 판별하는 알고리즘을 제시했다. 운전수행도 변수로는 SDLP와 SRR, 생체신호 변수는 HR과 SCL, 시선 거동 변수로는 SDHG와 SDVH가 인지적 주의분산을 판별하기 위한 변수로 고려됐다.

학습 및 검증을 위한 데이터 획득을 위해, 30명의 참가자들을 모집해 운전 시뮬레이터에서 고속도로 주행실험을 실시하면서 인지적 주의분산을 유도했다. 이러한 데이터를 이용해 운전자의 인지부하를 판별하는 SVM 알고리즘을 구현했다. 중첩 교차검증 절차를 통해, 최적화된 SVM 모델을 구성하고, 성능을 평가했다.

그 결과, SDLP, HR, SCL, SDVG, SDHG를 입력변수로 사용한 SVM 모델에서 인지적 주의분산을 89.0%의 정확도로 분류할 수 있음을 확인했다. 그러나, 본 연구는 직선로로 구성된 단순한 형태의 고속도로와 상대적으로 균일한 주변 교통 시나리오 상에서 모의주행 데이터를 수집했다는 제한사항이 존재하기 때문에, 실제 도로상에서 수집된 다양한 조건의 데이터를 이용해 결과의 일반성에 관한 검증을 수행해야 할 필요가 있음을 밝힌다.

AEM_Automotive Electronics Magazine