R&D최종보고서
| 과제고유번호 | 201818CTAP-C132686-02 | |||||
|---|---|---|---|---|---|---|
| 연구사업명 | 국토교통기술촉진연구사업 | |||||
| 연구과제명 | 자동차 사고 예방을 위한 멀티모달 학습 기반의 운전자 상태 인식 시스템 개발 | |||||
| 총 연구기간 | 2017-06-30 ~ 2018-12-31 | |||||
| 연구책임자 | 이규철 | |||||
| 당해년도 참여 연구원수 |
6명 | 총 연구기간 참여 연구원수 |
10명 | |||
| 당해년도 연구비 |
정부 : 160,000,000 원 기업 : 0 원 계 : 160,000,000 원 |
총연구비 | 정부 : 240,000,000 원 기업 : 0 원 계 : 240,000,000 원 |
|||
| 연구기관명 | 충남대학교 | |||||
| 등록 발간번호 | - | |||||
| ISBN | - | |||||
| 주요 내용 |
(운전자의 심장질환과 졸음을 정확하게 인식하는 연구개발의 필요) 심장질환은 심장의 전기적 문제로 발생하는 심장정지(cardiac arrest)의 경우 4분 안에 심폐소생술이 이루어져야하기 때문에 우선적으로 V2V 서비스를 통해 주변 차량에 구조를 요청해야 하며, 혈액순환 문제로 발생하는 심장마비(heart attack)의 경우 1시간 안에 수술이 이루어져야하기 때문에, eCall 서비스 호출을 통해 구급요원들이 운전자를 신속히 응급센터로의 이송해야 함. 졸음 경보 시스템은 화물차 기사와 같이 차량을 정차하지 않고자 하는 운전자들이 주로 사용하고 있으며, 잘못된 경보가 반복되면 운전자로 하여금 잘못된 경계 수준을 설정하도록 하여(경고장치 작동에 둔감해짐) 결과적으로 사고예방에 도움을 주기 어려움. 따라서, 미래 자동차는 운전자의 상태를 정확하게 인식하는 기술개발이 선수되어야만 ADAS 및 eCall 서비스와 연계되어 실질적인 사고예방에 기여할 수 있음. 심장질환과 졸음은 자동차 사고를 유발하는 대표적인 운전자 상태이기에 아래와 같은 연구개발이 필요함 - eCall 서비스 연계를 위한 운전자의 심장질환 질환 상태 인식 - ADAS 연계를 위한 운전자의 3가지 졸음 상태 인식 [최종목표] 미래자동차는 운전자의 상태를 정확하게 인식하는 연구개발이 선수되어야 eCall 및 ADAS와 연계되어 실질적인 자동차 사고 예방에 기여할 수 있음. 본 연구개발은 심장질환과 졸음이라는 의도치 않은 사고를 유발하는 운전자 상태를 멀티모달 학습 기반으로 정확하게 인식하는 시스템 개발을 목표로 함. 연구개발의 최종결과물은 크게 다양한 운전자 데이터를 종합 수집하는 멀티모달 인터페이스 장치 개발과 기계학습 분야에 새롭게 개념이 정립된 멀티모달 학습을 통해 정확하게 운전자의 상태를 인식하는 시스템을 개발하는 것으로 설정함 [연구내용 및 범위] * ECG, PPG, 이미지 데이터 수집·저장: 방대한 규모의 기계학습용 데이터를 수집하고 일관된 형태로 저장한 데이터베이스 구축 ECG, PPG, 운전자 이미지 데이터 세트는 PhysioNet(www.physionet.org), UCI Machine Learning Repository( https://archive.ics.uci.edu/ml/datasets.html) 등의 학술 목적의 기계학습을 위한 데이터 저장소를 통해 수백 명의 데이터를 수집할 수 있음. 본 연구개발은 대규모 기계학습용 데이터를 수집하고 일관된 형태로 저장하여 추후 학습에 용이하도록 데이터베이스를 구축함 * 멀티모달 인터페이스(Multimodal Interface) 개발: 운전자의 생체정보를 자동차 전자장치의 표준화된 규격으로 수집할 수 있는 인터페이스 개발 멀티모달 인터페이스는 2차 연도에 진행되는 멀티모달 학습(Multimodal Learning)을 위한 통합 데이터 입력기로, ECG, PPG, 압력, 이미지 등 이질적인 데이터를 일관된 인터페이스로 수집하기 위해 개발함. 이 인터페이스는 자동차 전자장치 표준 규격인 CAN(Controller Area Network)을 준수하도록 개발함 * 운전자 데이터의 실시간 전달 및 신뢰성 보장: 국방과학 실시간 표준 미들웨어를 기반으로 수집된 데이터의 실시간 및 신뢰성 보장 기법 오픈소스 프로젝트로 진행되는 OpenDDS를 기반으로 상호운용 및 통신이 이루어지는 연구개발 임. 운전자 1인으로 부터 수집되는 ECG, 얼굴 이미지 등의 상태 판별 데이터는 빅 데이터가 아니기에 현재의 컴퓨팅 성능 및 DDS를 기반으로 300ms 이하의 처리시간을 보장할 수 있으며, ADAS의 제어권 이양 권장 시간이 5s임을 감안 하더라도 5s 이내에 운전자의 상태를 판별하는데 부족함이 없음 * ECG/PPG 상호 보완(ECG/PPG Mutual Supplementation): 진동, 가속 등으로 발생하는 ECG 데이터의 노이즈와 누락을 개선하기 위한 상호 보완 알고리즘 고안 본 연구개발은 진동, 가속등이 빈번하게 발생하는 자동차 운행 환경에서 노이즈와 누락이 발생하는 ECG 데이터를 PPG를 이용해 노이즈를 개선하고 누락값을 예측하여 기입하는 ECG/PPG 상호 보환 모듈을 개발함 * 멀티모달 학습(Multimodal Learning)을 통한 6가지 운전자 상태 분류: 멀티모달 딥 러닝을 통해 정상, 심장정지, 심장마비, 졸음이 밀려옴, 얕은 잠, 깊은 잠의 6가지 운전자 상태를 정확하게 분류하는 시스템 개발 여러 모달리티를 이용하여 심층적인 기계학습을 수행하는 멀티모달 학습 방식을 이용해 운전자의 ECG, 얼굴 이미지, 운전대 압력을 학습하여 아래와 같은 6가지 운전자 상태를 분류하는 시스템을 개발 - 정상(Normal): 심장활동에 이상이 없으며 운전자는 정상적으로 주행 중인 상태 - 심장정지(Cardiac arrest): 심장이 멈추어 운전자는 의식이 없는 상태 - 심장마비(Heart attack): 심장의 혈관이 막히거나 터져 운전자는 의식이 없거나 있어도 고통으로 인해 정상적인 주행이 불가능한 상태 - 졸음이 밀려옴(Transition form awake to sleep): 심박수가 평소보다 낮아졌으며 운전자는 간헐적으로 의식이 없는 상태 - 얕은 잠(Light sleep): 심박수가 평소보다 낮아졌으며 운전자는 의식이 없는 상태 - 깊은 잠(Deep sleep): 심박수가 평소보다 낮아졌으며 운전자는 의식이 없는 상태로 일정 시간 지속된 상태 * 운전자 상태 분류 속도 개선: GPU 기반의 병렬 처리를 통하여 운전자 상태 인식 시스템의 성능을 향상 상태 분류 속도 개선을 위해 GPU를 이용한 병렬처리를 통해 위에서 제시한 멀티모달 학습의 성능을 향상시키고, 데이터 처리 속도를 가속화 함 |
|||||
| 색인어 | 한글 | 운전자 상태인식 | 멀티모달 학습 | 자동사 사고예방 | 실시간 및 신뢰성 | 병렬 처리 |
| 영문 | Driver state recognition | Multimodal Learning | Automobile accident prevention | Real-time and Reliability | Parallel Processing | |
| 최종보고서 | 최종보고서 보완본(충남대 이규철).pdf | |||||