주메뉴 바로가기 본문바로가기
전제메뉴닫기
과제현황 목록

과제기본정보

자율협력주행용 LDM Layer4 정보 생성을 위한 AI카메라의 고도화 및 연동 기술1년차

사업개요
사업개요에 대한 사업명, 분류코드(기술분류), 과제명, 주관연구기관, 총괄연구 책임자(성명, 소속, 전화번호), 총 연구기간, 당해연도 연구기간 정보제공
사업명 국토교통기술사업화지원 과제번호 21TBIP-C161419-01
국가과학표준분류 1순위 원자력 | None | None 적용분야 교통/정보통신/기타 기반시설
2순위 농림·수산 | None | None 실용화대상여부 실용화
3순위 농림·수산 | None | None 과제유형 개발
과제명 자율협력주행용 LDM Layer4 정보 생성을 위한 AI카메라의 고도화 및 연동 기술
주관연구기관 위드로봇(주)
총괄연구 책임자 성명 김도윤
소속 위드로봇(주) 직위 대표이사
전화번호 02-6950-0855 FAX 02-6950-0855
총 연구기간 2021-04-01 ~ 2023-12-31
당해연도 연구기간 2021-04-01 ~ 2021-12-31

(단위:원)

년도별 정부출연금, 기업부담금, 계 정보제공
년도 정부출연금 기업부담금
현금 현물 소계
1차년도 340,000,000 16,200,000 145,800,000 162,000,000 502,000,000
과제기본정보의 연구개발개요, 최종목표, 연구내용 및 범위 정보제공
연구개발개요 1. 기술 개요
○ 도로 상에 움직이는 이동체의 위치 정보, 진행 방향 등 부가적인 정보를 현장에서 바로 계산할 수 있는 저지연, 저전력 AI 카메라를 양산할 수 있는 수준으로 개발
○ 다수의 카메라를 연동하여 이동체 아이디(ID)의 핸드오버 방식을 통해 검출 범위를 확장하는 기술 개발
○ 자율주행차의 기능적 한계를 극복하기 위해 LDM layer4에 해당 정보를 전달하는 표준화 인터페이스 구현
○ 자율차 뿐만 아니라 교차로, 횡단보도 등에서 필요한 각종 교통정보를 생성할 수 있는 인프라 장치로 활용 가능하며, 기타 위치 기반 서비스의 센서로 다각도로 활용 가능

2. 사업화 개요
○ Level4 자율차 시대에 필요한 LDM의 layer4에 정보를 제공할 수 있는 edge형 AI 카메라
○ 현장에서 정보를 처리하기에 센터방식에 비해 저지연시간, 임베디드 보드로 구현되어 있기에 고가의 GPU 방식에 비해 저가격, 저전력 시스템 구현
○ '도심도로 자율협력주행 안전-인프로 연구' 연구에서 산출물을 기반으로 표준화 작업 중
○ 실제 환경에서 성능을 검증하기 위한 데모 사이트를 다수 확보(2020년 3곳 설치 완료, 2021년 2곳 추가 설치 예정)
○ 다수의 RoadGaze를 관리하는 RoadGazeMon 프로그램 구현 완료
○ 도로 상 이동체의 위치 정보를 10Hz 주기로 검출하기에 교차로, 횡단보도 등에서 필요한 각종 교통정보를 생성할 수 있는 기초 데이터를 제공하는 국가시범도시 스마트모빌리티 서비스에 인프라 장치로 활용 가능하며, 기타 위치 기반 서비스의 센서로 다각도로 활용 가능

3. 대상 기술의 현재 기술 수준
○ 주관기관 위드로봇(주)는 ”도심도로 자율협력주행 안전-인프로 연구” 과제의 2세부 공동연구기관으로 참여하여 도로 상에 위치한 이동체의 위치를 도로 현장에서 바로 계산할 수 있는 임베디드 보드 Chameleon7을 개발 완료
○ Chameleon7에 8M급 CMOS 이미지 센서와 줌 렌즈 제어기를 결합하여 옥외 방수형 케이스에 넣은 RoadGaze 시작품을 제작 완료
○ 제작된 시제품의 옥외 동작 성능을 확인하기 위해 경기도 시흥 한국자동차안전공단에 위치한 K-city에 총 8대 설치 (2020년 7월 설치, 2021년 2월 기준 현재 동작 중)
○ A전자 자율차-인프라 협력 연구용으로 A전자 평택 공장 2개소에 총 5대 설치 (2020년 11월 설치, 2021년 2월 기준 현재 동작 중)
○ B통신사에서 스마트모빌리티 연구용으로 마곡 사옥에 서버 버전으로 총 3대 설치(2020년 설치, 2021년 2월 기준 현재 동작 중)
○ 화성시 새솔동에 “도심도로 자율협력주행 안전-인프로 연구” 과제의 산출물 현장 검증용으로 5개 교차로에 총 26대를 2021년 3월에 설치 예정
최종목표 1. 최종 목표
○ 도로 상에 움직이는 이동체의 위치 정보, 진행 방향 등 부가적인 정보를 현장에서 바로 계산할 수 있는 저지연, 저전력 AI 카메라를 양산할 수 있는 수준으로 개발
○ 2D 영상에서 이동체를 3D 육면체 방식으로 검출하는 DNN 방식 검출기 개발 및 관련 DB 확보
○ 다수의 카메라를 연동하여 이동체 아이디(ID)의 핸드오버 방식을 통해 검출 범위를 확장하는 기술 개발
○ 자율차 뿐만 아니라 교차로, 횡단보도 등에서 필요한 각종 교통정보를 생성할 수 있는 인프라 장치로 활용 가능하며, 기타 위치 기반 서비스의 센서로 다각도로 활용 가능한 플랫폼 개발

2. 최종 목표 설정 근거
○ 선행 연구를 통해 확보한 DNN 실시간 처리 임베디드 보드를 양산형으로 재설계하여 상품화 진행
- 옥외에서 동작하는 시스템이므로 동작 온도의 신뢰성이 가장 중요함
- 현재 옥외용으로 판매하고 있는 시스템과 동급의 성능을 확보
- 관련하여 KC, FCC, CE 인증 진행
○ 차량의 위치 정밀도를 평균 50cm 이내로 확보하는 기술 개발
- 현재 2D 박스형태로 물체를 검출하여 박스의 중심 또는 하단의 중심을 물체의 위치로 계산함
- 카메라와 객체의 위치에 따라 2D 박스 형태의 검출은 위치 오차를 발생시키는 근본적인 원인이 됨
- 선행 연구를 통해 확보한 카메라 캘리브레이션 기술을 활용하여 3D 육면체 방식으로 객체 검출
- 이를 통해 차로폭 A타입(3.5m)의 15% 이내인 50cm 이내로 차량의 위치 정밀도를 확보
- 또한 50cm는 LDM layer1의 정밀 지도에서 보장하는 오차 한계이기도 함
○ 객체가 카메라 영역을 빠져나가 다른 카메라 영역으로 진입할 때 객체 아이디를 유지하는 핸드오버
- 카메라 1대가 담당할 수 있는 영역은 광학계 설계로 결정이 됨. 통상적으로 반경 30m 수준
- 더 넓은 영역에서 이동체를 검출하기 위해서는 다수의 카메라를 사용하되, 객체가 이동하는 특징을 가지고 있으므로, 한 영역에서 다른 영역으로 이동시 객체 아이디를 유지하는 핸드오버 기술 필요
- 선행 연구를 통해 프로그램 구조상 일부 기능은 카메라에서, 나머지 기능은 로컬 LDM에서 처리하는 것이 하드웨어 구조상 최적임을 파악하고, 이를 구현하는 것이 목표
- 이 기술이 완성되면 교차로에 한정되어 있던 이동체 검출 기능을 연결로로 확장할 수 있으며, 공간의 제약을 해소하게 됨
○ 현장의 교통서비스 요구를 수용할 수 있는 수정 및 가공이 가능한 플랫폼 구현
- 현장에 설치된 AI 카메라는 1차적으론 자율주행차와 인프라간의 자율협력주행을 위해 LDM layer4 정보를 생성하는데 사용되지만, 지자체에서는 보다 복합적인 기능을 해 주길 원함
- 그 예로 스마트시티 국가시범도시에서는 스마트교차로 및 스마트횡단보도 서비스 기능을 RoadGaze로 처리할 수 있는지 문의를 다수 받음
- 현장에서 계산된 이동체 위치 정보와 추적을 통해 확보한 궤적을 이용하여 2차 가공을 하면 교통량, 회전교통량, 속도 및 밀도를 계산할 수 있으므로, 2단계에서는 이러한 정보를 제공할 수 있는 플랫폼을 구현
연구내용 및 범위 [전체 연구 내용]
○ LDM의 layer4는 동적특성이 가장 중요하므로 도로 현장에서 바로 연산을 통해 차량에 전달할 수 있는 임베디드 보드의 개발이 필요함. 옥외 설치 특성을 고려하여 동작 온도 및 인증을 받아 과제 종료시 TRL9단계로 바로 양산하여 현장에 적용할 수 있는 저지연, 저전력 AI 카메라 개발을 진행함
○ 2D 영상에서 이동체를 2D 박스 형태로 검출하면, 카메라와 객체간의 배치 관계에 따라 물체의 정확한 평면상의 위치를 계산하기 어려움. 이를 해결하기 위해 2D 영상에서 물체를 3D 육면체로 레이블링하고, 이를 학습하여 물체의 위치 정밀도를 0.5m 이내로 확보할 수 있는 물체 검출기를 개발. 학습을 위해 3D 육면체 레이블링 도구 개발과 함께 10만장의 DB 확보도 같이 진행 됨
○ 한 대의 카메라가 담당할 수 있는 영역은 설치 높이 및 광학계에 따라 달라지며, 대략 반경 25m ~ 50m 수준이 됨. 넓은 영역의 검지가 필요할 경우 여러 대의 카메라가 설치되는데, 한 쪽의 영역에서 검지된 객체 정보가 다른 쪽 영역으로 이동할 때 유지되는 것이 다양한 교통 서비스를 만들어내는데 매우 중요함. 이를 핸드오버기술이라 정의하고, 개발을 진행함. 이를 위해 이동체의 특징을 추출하는 별도의 DNN 설계와 함께 데이터를 인근 RoadGaze에 전달하고, 이를 이용하여 교통 서비스를 제공하는 플랫폼 구현이 순차적으로 진행됨.

[단계별 연구 내용]
1. 1단계
- 이기종 코어별 발열 측정 및 thermal engine 작성
- 발열이 심한 부품의 방열 대책 설계
- OS 포팅, BSP 적용, ISP 수정 및 SNPE 최신 버전 적용
- 옥외용 케이스 통합 및 현장 실험
- KC, FCC, CE 인증 진행
- 다수의 RoadGaze 데이터를 로컬 LDM에서 연동하여 데이터를 관리하는 핸드오버 기술 개발
- 3D 레이블링 기술 개발
- DNN 기반 3D 물체 검출기 개발
- DNN 기반 다수 카메라 연동을 위한 이동체의 외양 특징 추출 DNN 개발
2. 2단계
- 교통 서비스 제공을 위한 플랫폼 구현
- 기본 모듈 개발(차로별 교통량, 접근로별 회전 교통량, 점유율)
- 다중 카메라 관리 프로그램 RoadGazeMon 개발
- 1단계 구현한 알고리즘의 양자화 및 프루닝을 통한 최적화 수행
- 물체 검출기 및 외양 특징 추출기 학습을 위한 하이퍼파라미터 최적화 수행
- 물체 검출 성능, 위치 추정 정밀도 평가
- 학습 데이터 보완 및 손실 함수 수정을 통한 성능 개선
- 다수 카메라 사이의 핸드오버 성능 평가
건설기술연구개발사업 주요내용
건설기술연구개발사업 주요내용의 구분, 연구개발목표, 연구개발 내용 및 방법 정보제공
구분 연구개발목표 연구개발 내용 및 방법
1차년도 [1단계 목표]

1. 주관연구기관(위드로봇):양산을 고려한 RoadGaze 설계 및 제작

2. 공동연구기관(세종대학교): 위치 정밀도 향상을 위한 3차원 물체 검출기 개발
1. 주관연구기관(위드로봇)
가. 기존 RoadGaze 시작품 대비 생산 원가 30% 이상 절감한 하드웨어 설계
- 사용 빈도가 낮은 부품을 제거하고, 디바이스를 재배치하여 PCB의 층수를 낮춤
- 레이저 비아(via) 사용률을 줄여 PCB 불량률 감소
- 선행 연구로 파악한 발열이 심한 부품을 전면에 배치하여 방열 대책이 용이하도록 설계
나. OS 포팅, BSP 적용, ISP 작업 및 SNPE 테스트
- 1년에 한 번씩 업데이트 되는 최신 OS를 개발된 보드에 적용
- 관련된 BSP를 적용하고, 보드에 알맞게 수정 작업, 디바이스 트리 작성
- 이미지 센서 부분의 인터페이스인 ISP를 새로운 보드에 맞게 수정
- DNN을 담당하는 SNPE를 최신 버전으로 적용
- 이기종 코어간에 데이터 전달 구조 결정 및 프로세스 배분
- GPU 가속을 이용한 영상 전처리 함수 구현
다. 옥외 설치를 대비한 방열, 방수 설계
- 옥외에 설치가 가능한 케이스에 전체 시스템 통합
- 현장 테스트 및 코어별 온도 측정
- 코어별 클록을 조절하는 thermal engine 스크립트 작성으로 고온에 시스템 파손 방지

2. 공동연구기관(세종대학교)
가. 3D labeling 기술 개발
- 3D 물체 검출을 위해서는 3D 육면체 형태의 label이 필요
- 2D 영상에서 3D 육면체 형태의 물체 label을 획득하는 방법 개발
- 카메라 설치 상황을 고려한 효율적인 label 획득 방법 개발
나. DNN 기반 3D 물체 검출기 개발
- 물체의 정확한 위치를 지도에 표시하기 위해서는 3D 물체 검출기가 필요
- 기존의 2D 형태가 아닌 물체의 위치, 방향, 크기를 정확히 추정하는 3D 물체 검출기 개발
- 3D 물체 검출을 위한 DNN 구조를 개발하고 이를 효과적으로 학습하는 기술 개발
연구성과 기술적 기대성과 ○ 인프라 정보를 자율차에서 활용함으로써 level4를 넘어 level4+ 시대를 준비
- Level4 자율차량은 차량의 제어권이 차량으로 이전됨에 따라, 차량의 센서 한계를 인프라의 도움을 받아 극복해야 함
- 이를 위해 개발된 당 과제의 산출물은 차량과 인프라의 협력주행 뿐만 아니라 부가 서비스를 만들 수 있는 발판을 제공하여 Level4+ 시대를 준비할 수 있게 함
○ 모든 도로로 확장 가능한 이동체 검출 시스템 확보
- 동적 정보를 LDM에 전달할 수단이 없어 기존 연구는 주로 정적인 정보(layer1)을 구축하는데 머물러 있었음. 당 과제로 개발된 카메라를 활용하여 layer4 정보를 포함한 LDM을 활용하여 LDM 기술 수준을 높일 수 있을 것으로 기대됨
사회 경제적 파급효과 ○ 9,600억 원/년의 도심 교통사고비용 절감효과 기대: 교통사고 예방을 위하여 ‘안전속도 5030’ 확대 시행 등 정책 지원이 이뤄지고 있으나, 현재 전체 교통사고의 81.7%가 도심부에서 발생하고 있으며, 운전자(또는 자율주행차 센서)가 이동체(보행자, 이륜차, 자전거 등)를 인지하지 못해 발생한 사고가 대다수를 차지함. 당 과제 산출물 RoadGaze에서 취득한 정보를 자율협력주행차 및 일반차를 포함한 모든 차량에게 사각지대 없이 이동체 정보 및 현시 정보를 실시간으로 제공 가능하며, 이를 통해 도심부 교통사고가 5%만 감소한다면 2017년 교통사고 비용 기준 연간 9,600억원의 교통사고비용 절감효과를 가져올 것으로 기대됨
○ 인공지능 기반 분석 알고리즘을 통해 수집된 동적정보를 활용하여 인공지능 기반 빅데이터를 생성하여, 상황에 맞춤형 메시지를 제공하고 이를 통해 교통사고 및 돌발 상황을 신속하게 처리함에 따라 2차 사고 예방 및 혼잡에 따른 사회적 비용을 절감시킬 것으로 기대됨
○ 사고 및 상충회피 예방을 위한 정보 등 교통 분야 외에 낙하물/위험물 인지/재난 등의 상황에 인지 알고리즘을 적용할 수 있어 다양한 분야에서 활용 가능하며, 공공적 이익을 높일 수 있음
활용방안 ○ 자율주행 Level4 차량에 LDM layer4 정보를 전달하는 센서로 활용
- 자율주행 level4 차량은 혼잡 및 돌발 상황에 대해 유연한 대처 능력이 필요함
- 자율주행 차량에 설치된 센서만으로 인지할 수 있는 능력의 한계를 극복할 방법이 필요
- 클라우드 기반의 인지 기술은 그 구성상 지연을 필연적으로 발생시키기 때문에 현장에서 데이터를 수집하고, 인지하여 주변 차량에 전파하는 시스템을 구축해야 함
- 당 과제에서 개발한 인공지능 AI 카메라는 이러한 요구 사항을 충족시킴과 동시에 검지 영역을 핸드오버 기술로 극복하는 시스템임
○ 스마트시티에서 필요한 스마트 교차로, 스마트 횡단보도용 센서로 활용
- 도로상에 존재하는 이동체의 위치, 속도 정보를 계산하기에, 교통서비스를 만드는데 필요한 기초 데이터를 확보한 셈임. 데이터의 2차 가공을 통해 스마트시티 사업에서 필요로하는 교통서비스를 제공할 수 있으며, 당 과제에서는 이러한 개개의 서비스를 모듈화하여 필요에 따라 조합을 할 수 있도록 구성함
- 기존 링크 단위로 제공되는 교통정보 제공 체계에서 차로별 및 세부 구간별 정보를 생성할 수 있는 데이터 제공
- 이동체의 데이터를 누적하여 빅데이터를 활용한 신규 서비스 제공도 기대할 수 있음
○ 국토교통부 전략분의 3단계(2025년 ~ 2027년) 테스트베드 및 실도로 실증에서 인프라 상황을 전달하는 센서로 활용
핵심어
핵심어의 구분, 핵심어, 핵심어1~핵심어5 정보제공
핵심어 핵심어1 핵심어2 핵심어3 핵심어4 핵심어5
국문 로컬 동적 지도 레이어4 인공지능 카메라 엣지 컴퓨팅 딥뉴럴네트워크 핸드오버
영문 LDM layer4 AI Camera Edge computing DNN Handover
최종보고서
최종보고서 파일 다운로드 제공
최종보고서
  • 담당부서해당 사업실
  • 담당자과제 담당자
  • 연락처 -