주메뉴 바로가기 본문바로가기
전체메뉴닫기
과제현황 목록

과제기본정보

복합현실(Mixed Reality)기술을 활용한 4D 항공교통 관제/관리 체계 선행연구2년차

사업개요
사업개요에 대한 사업명, 분류코드(기술분류), 과제명, 주관연구기관, 총괄연구 책임자(성명, 소속, 전화번호), 총 연구기간, 당해연도 연구기간 정보제공
사업명 국토교통기술촉진연구사업 과제번호 19CTAP-C142966-02
국가과학표준분류 1순위 건설 교통 | 항공교통기술 | 항행시스템 기술 적용분야 교통/정보통신/기타 기반시설
2순위 None | None | None 실용화대상여부 실용화
3순위 None | None | None 과제유형 기초
과제명 복합현실(Mixed Reality)기술을 활용한 4D 항공교통 관제/관리 체계 선행연구
주관연구기관 세종대학교산학협력단
총괄연구 책임자 성명 이종원
소속 - 직위 -
기관 대표번호 - FAX -
총 연구기간 2018-04-17 ~ 2019-12-31
당해연도 연구기간 2019-01-01 ~ 2019-12-31

(단위:원)

년도별 정부출연금, 기업부담금, 계 정보제공
년도 정부출연금 기업부담금
현금 현물 소계
2차년도 220,000,000 0 0 0 220,000,000
과제기본정보의 연구개발개요, 최종목표, 연구내용 및 범위 정보제공
연구개발개요 미래의 항공교통관제(ATC: Air Traffic Control) 시나리오는 교통량의 단순 증가만이 아니라 관제 요원들 간 새로운 형태의 협업과 조정을 내포한다. IT 기술은 전체 항공교통관리(ATM: Air Traffic Management)를 운용하는 다수의 요원들에게 지금보다 더 많은 정보들을 제공하게 될 것이다. 인간공학에서 제시하듯 과도한 양의 데이터는 새로운 형태의 업무 배분을 의미하며 새로운 협업 전략을 기대한다. 즉, 미래의 항공교통은 기존 ATC/M의 패러다임 변화를 요구한다. 미래의 항공교통은 지금보다 훨씬 복잡해질 것이고 실시간 ATC 업무의 하중도 한층 가중될 것이다. 또한 교통의 유동성과 보안성을 향상시키기 위한 ATM도 분석해야할 데이터의 종류와 양이 보다 증가할 것이다.
미래의 항공교통을 대비하기 위하여 근래에 이르러 다양하고 복잡한 운항 데이터들을 관제사에게 효과적으로 제시하기 위한 연구와 개발이 항공 선진국들을 중심으로 활발히 진행되고 있고, 가상현실(VR: Virtual Reality)이나 복합현실(Mixed Reality)과 같은 새로운 해법을 제시하기 위한 노력이 시도되고 있다. European Commission DG-Aeronautics and Space는 AD4 프로젝트를 통해 인간공학적으로 미래의 ATC/M에서 VR 기술이 어떻게 기여할 수 있는가를 2005년 이후 상당기간 연구하였다. 최근에는 마이크로소프트가 현재 개발 중인 HoloLens를 이용한 복합현실 기술의 ATC/M 접목이 눈에 띄는데 증강현실(AR: Augmented Reality) 전문업체인 헝가리의 360world는 CLAIRITY HoloTower와 CLAIRITY Smart Binocular 시제를 최근 선보인 바 있다.
이러한 툴들은 마이크로소프트의 MR 기술을 활용하여 기존에 사용 중인 툴들의 작업흐름을 크게 개선시키기 위한 목적으로 설계되었다. 항공교통관제사는 3D 가상모니터들을 see-through 형태의 HoloLens를 통해 보게 되며, 이러한 모니터들은 맞춤화가 가능하고 사용자인 관제사들의 손짓이나 음성지시에 의해 상호반응을 할 수 있다. 홀로그래프 형태의 가상 모니터들에는 날씨, 지도, 현재의 교통정보 등과 같은 주요 정보들이 전시될 수 있으며, 공항활주로에 안개가 낀 경우 안개가 없는 투명한 시각정보 모드와 같이 다양한 모드로의 전환도 가능하다. 한편, UI/UX 전문업체인 IdentityMine은 Holoflight라는 HoloLens 응용 S/W 베타버전을 발표하였는데 홀로그래픽 지구 위에 비행데이터를 시각적으로 렌더링 하여 특정 지역을 줌인 하여 확대할 경우 저장된 데이터를 기반으로 항공기들이 비행하는 궤적을 애니메이션 할 수 있으며 향후에는 실시간 데이터들도 처리할 수 있도록 발전시킬 계획이다.
MR 기술을 ATC/M 환경에 접목하고자 하는 당 과제제안은 다음과 같은 이유로 시의성과 시급성을 찾는다. MR 기술은 국내의 경우 게임과 교육훈련 분야에 편중되어 응용연구개발이 추진되어 왔다. 하지만, 실 장비의 운용환경에서 도우미 기능을 하는 MR 기술은 보다 고급 기술이라 할 수 있으며, 그 잠재적 시장 규모는 민수와 군수를 통해 보면 게임이나 교육훈련 시장 못지않게 큰 것으로 예상된다. 별도의 인위적 공간이 아닌 장비의 실제 운용환경에서 정확한 위치와 자세를 식별하여 적절하게 가상 정보를 실시간으로 see-through 실사 영상에 합성하는 것은 기술적으로 보다 난해하다고 할 것이다. 복잡한 장비의 운용만이 아니라 다양하고 복잡한 정보의 실시간 합성이 필요한 모든 영역에서 MR 기술이 활용될 수 있다면 그 시장의 범위와 규모는 상당하리라 예측하는 것은 당연하다 할 것이다. 즉, 국가적 차원에서 4차 산업의 주역 중 하나인 MR 기술을 보다 균형 있게 발전시키기 위해 ATC/M과 같은 복합적인 업무환경에서 이 기술을 적용해 보는 시도는 관련 기술발전 차원에서 큰 의미를 갖는다. ATC/M 측면에서도 실제 운용환경에서 관제사에게 보다 효율적으로 복합정보를 제공하는 것이 당 연구제안의 궁극적 목표인데 관련 연구들이 미국과 유럽에서 경쟁적으로 시도되고 있고, 핵심 도구인 마이크로소프트의 HoloLens가 이제 막 시판을 시작하는 현 시점에서 몇 년 늦게 관련 연구에 진입하게 되는 셈이긴 하나 이제라도 그 가능성을 탐구하는 연구는 대한민국의 IT 잠재력으로 볼 때 선진국들에 앞서 새로운 ATC/M 체계 시장을 선도하는 기회를 제공할 것이다.
최종목표 당 연구 제안은 미래 항공교통관제 및 관리(ATC/M: Air Traffic Control/Management)에서 제공될 다양한 정보들을 관제사에게 효과적으로 전달하기 위한 사용자 인터페이스에 대한 연구이며, 복합현실(MR: Mixed-Reality) 기술과 비행궤적 시뮬레이션을 활용한 4D ATC/M 체계의 구현가능성에 대한 검증을 목표로 한다. 따라서 최종목표는 'ATC 관제사들에 대한 실시간 관제 지원과 ATM 전문가들의 항공기 비행궤적 분석을 위한 미래형 타워관제체계 개념의 제시와 시범시제 개발'이다. 세부목표는 다음과 같다.
- 웨어러블 환경 지원 MR 가시화
- 관제사의 관제 판단 지원을 위하여 유?무인 항공기 비행궤적의 실시간 및 고속(real-time/fast-time) 4D 시뮬레이션 엔진 개발
- MR 기반 관제체계 개념설계 검증을 위한 시범시제 개발
연구내용 및 범위 당 연구에서는 ATC/M 운영자 요구도 조사와 분석을 통하여 이를 충족하기 위한 MR 기반 차세대 관제체계의 목표성능(성능 요구도)을 결정하며, Eurocontrol의 항공기 성능 데이터인 BADA(Base of Aircraft Data)를 기반 하는 유?무인기 비행궤적 통합 시뮬레이션 엔진을 개발하여 과거는 물론 실시간과 미래의 항공기 비행궤적에 대한 예측 시뮬레이션 기능을 첨부함으로써 관제사의 직관적 관제 판단을 유도하는 MR 기반의 관제정보 사용자 인터페이스를 설계하고 시현한다. 본 제안은 ‘복합현실, 비행궤적 시뮬레이션 엔진, 항공교통관제 및 관리’ 영역을 다루는 연구이다. 각 영역에서 국내에서는 응용연구단계가 진행 중이나, 항공 선진국에서는 이미 기술융합에 적용하고 있다. 해당 분야의 국내 기술융합 결과는 전무하고, 해외도 아직 베타버전에 머무르고 있다. 결론적으로 국내의 기존 연구개발과제와의 중복성은 없다고 할 수 있으며, 해외의 유관 연구들이 과거 또는 현재의 운항데이터들을 기반으로 하는 관제사의 UI/UX 연구에 초점을 맞추고 있다면 본 제안은 항공기의 성능데이터를 활용하여 미래의 비행궤적을 예측하는 기능을 추가함으로써 차세대 ATC/M 연구의 본질에 보다 깊이 다가선다는 점이 차별화라 하겠다. 연구의 핵심 성과물을 정리하면 다음과 같다.

1. 웨어러블 환경 지원 MR 가시화
홀로렌즈 기반 MR 인터액티브 환경 구현, 실사와 가상 이미지 간의 정합 오차 평균 1.5 픽셀 미만으로 구현, 관제사의 입력 신호에서 홀로그래프 렌더링까지 전달지연 시간 0.1초 이내를 목표로 연구를 수행한다.
- HoloLens SDK 분석
- 오브젝트 위치/자세 정보 및 시점 처리 알고리즘 분석
- 지형지물 DB 형식 분석
- 음성통신 형식 분석
- Unity 엔진을 활용한 MR기반 시뮬레이션 환경 개발
- 웨어러블 환경 UI/UX 설계
- 입력신호 처리 드라이버 개발

2. 항공기 비행궤적 4D 시뮬레이션 엔진
국내 1개 공항 대상으로 공역 유.무인기 비행궤적을 시간과 함께 시뮬레이션 가능한 4D 시뮬레이션 기술확보를 목표로 연구를 수행한다.
- 자체 개발 BADA 기반 유?무인기 통합 시뮬레이션 엔진의 MR 기반 ATC/M 체계 성능요구도 충족여부 분석
- 추가 개발요소 식별
- 추가 S/W 컴포넌트 개발
- MR 기반 ATC/M 체계와의 인터페이스 개발

3. MR 기반 관제체계 시범시제
공항 관제탑의 공역레이더, 지상레이더 등 운항정보와 ADS-B 등의 비행정보를 홀로렌즈를 통해 가시화하고, 4D 시뮬레이션 엔진을 사용하여 관제 결정에 따른 비행궤적을 예측을 목표로 한다.
- VR/MR 적용 ATC/M 관련 선행연구 사례조사 및 분석
- 마이크로소프트의 HoloLens를 활용한 MR 연구사례 조사 및 분석
- 관제탑 관제정보(날씨, 운항정보, 지형지물, 항법통신 자료 등) 조사 및 분석
- 대상 공항 및 관제구역 선정
- 해당 관제 레이더들의 출력신호 내용 및 형식 조사 및 분석
- MR 기반 ATC/M 체계 형상 결정
- 날씨, 운항정보(AIP) 등의 관제정보 DB 구축
- DTED를 이용한 지형.지물 DB 구축
- 관제사 UI 설계 및 개발
- Unity 기반 ATC/M 시뮬레이터 개발
- S/W 컴포넌트 설계 및 개발
- S/W 및 H/W 컴포넌트 통합
- Flightradar24 데이터를 이용한 시험평가
- 관제사들을 대상으로 한 시범시제 운용시험 및 평가
건설기술연구개발사업 주요내용
건설기술연구개발사업 주요내용의 구분, 연구개발목표, 연구개발 내용 및 방법 정보제공
구분 연구개발목표 연구개발 내용 및 방법
2차년도 실시간 관제지원을 위한 ATC/M 시뮬레이터 상세설계

MR기반 ATC/M 시범시제 개발 및 시험평가
항공우주공학과 : 비행궤적 상세화 및 시스템
소프트웨어공학과 : 다양한 UI/UX 개발 및 시스템 통합

- 비행궤적 시뮬레이터의 연동을 위한 인터페이스 개발
- S/W, H/W 컴포넌트 통합 및 시범시제 구축
- 실시간성 부여
- 실시간 항공기 데이터인 Flightradar24를 적용하여 시험평가
- 최종 운용시험 및 - 시제 개발 방안
? 제주국제공항과 기타 시설물을 중심으로 STAR 차트와 APCH 차트에 해당하는 항법정보 데이터
베이스 작업
? 실제 관제 보조용 툴과 훈련용 툴을 병행하여 개발
? 정상상황에 대하여 이착륙 등의 움직임이 더욱 직관적으로 표시되게 개발
? 비정상상황에 대하여 관제사가 더욱 효율적으로 상황을 인지할 수 있는 UI/UX 개발
? 가상의 비정상 시나리오를 생성하여 관제사 훈련용으로 활용
- Low glide path
- Delayed arrival
- Emergency landing
- Loitering
? 보간(interpolation) 기술을 활용, 이산적인 항적 정보를 연속적으로 보이게 하여 관제사에게 더욱
현실적인 화면정보 제공
- 실시간성
? 미국의 경우 비행체 측위 DB의 실시간 열람은 가능하나 제어는 불가
? 우리나라의 경우 본 과제에서 활용하는 Flightradar24와 같은 웹사이트에서만 약간의 delay를 갖
는 실시간 데이터에 접근 가능
? 접근이 가능한 범위 내에서 실시간성 확보 예정
연구성과 기술적 기대성과 - 4차 산업혁명의 화두인 MR 기술에서 타 국가와 비교우위 기술력 확보
- 기존 게임, 교육훈련에 사용되는 기술 대비 고차원의 MR 기술 확보
- MR/AR 환경 3차원 제스처 기반 인터랙션 기술개발을 통해 UX 설계 가이드라인을 제시할
수 있을 것으로 기대되며, MR 환경 이외의 다른 분야에서도 활용 가능할 것으로 예상됨.
- 소프트웨어 테스팅 지표 개발을 통한 Mixed Reality 기반 Quality assurance 평가 지표 제
사회 경제적 파급효과 - 국가공역에서의 운항안전성 개선
- 공항 주변의 대기오염, 소음 등 환경문제 절감
- 공항 활주로 운영 효율성을 극대화함으로써 운용성 개선
- 고부가가치인 소프트웨어의 수출로 유지보수에 관한 부가적인 경제적 가치 확보
- 2010년 기준 전 세계 43,982개 공항 대상 439,820억 원으로 추산
- 관제사 양성을 위한 교육훈련체계로 활용 가능
- 신규 공항 설계 시 시뮬레이션 기반 설계로 설계비용 절감
- 항공 선진국보다 진보된 기술 도입으로 선진국과 대등한 수준에서 협력관계 설정함으로써 국가 이미지 제고
활용방안 당 연구의 최종성과물은 “BADA 기반 항공기 비행궤적 4D 시뮬레이션 엔진이 포함된 MR 기반 관제체계 시범시제”로 정리된다. 이는 다음과 같은 용도로 즉시 활용될 수 있을 것이다.

- ATC/M 연구에서 직관적 판단에 도움을 주는 UI (User Interface)로 사용
- 새로운 관제절차, 공항, 활주로 등의 설계 시 가상시험 툴로 사용
- 공항 주변의 대기오염, 소음 등의 환경문제 연구 시 가상시험 툴로 사용

또한, 추가적인 응용연구와 시제품 개발 과정 등을 거칠 경우 “차세대 관제체계 개발”에서도 구미 각국과 협력하며 선도적 역할을 할 수 있는 기회를 제공할 것이다. IoT(Internet of Things) 네트워크와 Cloud Computing 기술과 당 연구의 최종성과물이 결합될 경우 관제사는 공간적으로 자유로워질 수 있음은 물론 새로운 차원의 관제개념에 대한 시도도 가능해질 수 있을 것이다.
핵심어
핵심어의 구분, 핵심어, 핵심어1~핵심어5 정보제공
핵심어 핵심어1 핵심어2 핵심어3 핵심어4 핵심어5
국문 항공교통관제 및 관리 복합현실 비행궤적 항공기 성능데이터 사용자인터페이스
영문 ATC/M Mixed Reality Flight Trajectory BADA (Base of Aircraft Data) User Interface
최종보고서
최종보고서 파일 다운로드 제공
최종보고서 복합현실(Mixed Reality)기술을 활용한 4D 항공교통 관제관리 체계 선행연구_세종대학교.pdf   다운로드
  • 담당부서해당 사업실
  • 담당자과제 담당자
  • 연락처 사업별 담당부서 보기