주메뉴 바로가기 본문바로가기
전제메뉴닫기
과제현황 목록

과제기본정보

재생 스마트폰 기반 영상처리 및 인공지능을 이용한 저비용 교좌장치 유지관리 기술 개발2년차

사업개요
사업개요에 대한 사업명, 분류코드(기술분류), 과제명, 주관연구기관, 총괄연구 책임자(성명, 소속, 전화번호), 총 연구기간, 당해연도 연구기간 정보제공
사업명 국토교통기술촉진연구사업 과제번호 22CTAP-C163726-02
국가과학표준분류 1순위 원자력 | 핵자료 기술 | None 적용분야 건설업
2순위 None | None | None 실용화대상여부 비실용화
3순위 None | None | None 과제유형 기초
과제명 재생 스마트폰 기반 영상처리 및 인공지능을 이용한 저비용 교좌장치 유지관리 기술 개발
주관연구기관 서울시립대학교산학협력단
총괄연구 책임자 성명 조수진
소속 서울시립대학교 직위 부교수
전화번호 02-6490-6114 FAX 02-6490-5141
총 연구기간 2021-04-01 ~ 2022-12-31
당해연도 연구기간 2022-01-01 ~ 2022-12-31

(단위:원)

년도별 정부출연금, 기업부담금, 계 정보제공
년도 정부출연금 기업부담금
현금 현물 소계
2차년도 210,000,000 0 0 0 210,000,000
과제기본정보의 연구개발개요, 최종목표, 연구내용 및 범위 정보제공
연구개발개요 가. 연구개발의 목표
○ 과제명 : 재생 스마트폰 기반 영상처리 및 딥러닝을 이용한 저비용 교좌장치 유지관리 기술 개발
- 핵심기술1: 딥러닝과 영상처리를 이용한 교좌 외관손상 (4종) 탐지 기술
- 핵심기술2: 영상처리를 이용한 변위 (200mm 수준, 0.1mm 오차) 및 온도 계측 기술
- 핵심기술3: 재생 스마트폰 기반 교좌장치 모니터링 소프트웨어 및 시스템
- 핵심기술4: 교좌장치 통합 모니터링(유지관리) 기술
가. 핵심기술(CTE) 별 개요 :
○ CTE 1: 딥러닝과 영상처리를 이용한 교좌 외관손상 (4종) 탐지 기술
- 재생 스마트폰에 탑재된 경량 딥러닝 모델을 이용하여 외관 손상을 탐지하고 추가적인 영상처리 기술을 이용하여 탐지된 손상의 물량을 정량화함
- 균열, 파손, 부식 등 육안점검으로 확인 가능한 손상들은 교좌 평가기준의 필수적인 요소
- 본 연구에서는 1) 문헌 조사 및 현장 실무자 인터뷰를 통하여 교좌의 발생하는 손상들을 구분하는 외관적 특징을 정의하고, 2) 조사된 기준에 따라 교좌 손상 학습데이터 수집 및 라벨링을 수행하며, 3) 스마트폰에서 구동 가능한 경량화된 딥러닝 모델을 교좌 외관 손상에 대하여 학습시키고 4) 최종적으로 현장에서 사용가능한 스마트폰 앱 형태로 학습된 딥러닝 모델을 보급하여 실제 받침에서 손상탐지를 수행할 수 있는 기술을 개발
- 개발된 영상탐지 딥러닝 모델은 CTE 4의 교좌 유지관리 기술 개발에 활용
○ CTE 2: 영상처리를 이용한 변위 (200mm 수준, 0.1mm 오차) 및 온도 계측 기술
- 재생 스마트폰에 탑재된 영상처리 기반 변위 계측 알고리즘을 이용하여 교좌의 변위를 계측하고, 재생 스마트폰에 온도센서를 결합하여 교좌의 변위 및 온도를 계측하는 기술을 개발
- 교좌 상/하부에 부착된 마커를 재생 스마트폰을 이용하여 실시간 촬영하고, 촬영된 영상에 나타난 마커의 이동량을 교좌의 변위로 환산
- 스마트폰에 간편하게 결합이 가능한 센서를 사용하여 교좌 및 교량 주변의 온도를 계측
- 계측된 변위와 온도 데이터는 CTE 4에서 통계적 분석 혹은 머신러닝(Machine Learning) 기법을 이용하여 교좌의 이상변위를 탐지하는데 활용
○ CTE 3: 재생 스마트폰 기반 교좌장치 모니터링 소프트웨어 및 시스템
- 교좌 손상탐지 딥러닝 모델과 변위 계측 알고리즘이 탑재된 재생 스마트폰을 교량 환경에 설치하기 위한 하드웨어와, 이를 원격으로 운용할 수 있는 Edge 앱 및 서버 구축
- 개발된 재생 스마트폰을 교량 환경에 설치하고 장기 운용하기 위하여 재생 스마트폰을 외부 환경으로부터 보호하는 동시에 안정적으로 거치할 수 있는 장비 개발 필요
- 또한 원격으로 장비를 운용하기 위하여 재생 스마트폰에 설치할 Edge 앱의 개발이 필요하며, 재생 스마트폰으로 계측되고 수집된 데이터를 저장하기 위한 중앙 서버 설치 수행
- 구축된 교좌장치 모니터링 소프트웨어 및 시스템을 이용하여 정기적으로 교좌의 외관 손상 정보를 수집하고, 중장기 변위-온도 데이터를 수집하여 교좌 종합 안전진단에 활용
최종목표 재생 스마트폰 기반 영상처리 및 딥러닝을 이용한 저비용 교좌장치 유지관리 기술 개발
○ 핵심기술 1: 딥러닝과 영상처리를 이용한 교좌 외관손상 탐지 기술
- 탐지 대상 교좌 외관손상 선정 및 학습 데이터 구축
- 스마트폰에서 사용 가능한 고성능·경량화 딥러닝 모델 개발- 실내 실험 기반 시스템 성능 검증
○ 핵심기술 2: 영상처리를 이용한 변위 및 온도 계측 기술
- 변위 및 온도를 측정에 활용 가능한 재생 스마트폰 모델 결정
- 영상처리 기술을 이용한 교좌장치의 대변위(200mm 이상) 계측 알고리즘 개발
- 온도 계측을 위한 하드웨어 선정 혹은 개발
○ 핵심기술 3: 재생 스마트폰 기반 교좌장치 모니터링 소프트웨어 및 시스템
- 재생 스마트폰을 보호용 패키징 장비 개발
- 교량 부착용 재생 스마트폰 거치대
- 변위, 온도 계측 및 외관손상 탐지 앱 개발
- 시스템 제어를 위한 관리자 앱 개발
- 데이터 수집 및 관리를 위한 서버 구축
○ 핵심기술 4: 교좌장치 모니터링(유지관리) 기술
- 교좌장치 이상상태 문헌 분석 및 전문가 인터뷰
- 교좌장치 이상거동 모사 수치모델 개발
- 변위 기반 이상상태 판정 기준 개발
- 외관손상과 이상변위를 고려한 교좌장치 유지관리 방안 제시
연구내용 및 범위 ○ CTE 1: 딥러닝과 영상처리를 이용한 교좌 외관손상 (4종) 탐지 기술
- 재생 스마트폰에 탑재된 경량 딥러닝 모델을 이용하여 외관 손상을 탐지하고 추가적인 영상처리 기술을 이용하여 탐지된 손상의 물량을 정량화함
- 균열, 파손, 부식 등 육안점검으로 확인 가능한 손상들은 교좌 평가기준의 필수적인 요소
- 본 연구에서는 1) 문헌 조사 및 현장 실무자 인터뷰를 통하여 교좌의 발생하는 손상들을 구분하는 외관적 특징을 정의하고, 2) 조사된 기준에 따라 교좌 손상 학습데이터 수집 및 라벨링을 수행하며, 3) 스마트폰에서 구동 가능한 경량화된 딥러닝 모델을 교좌 외관 손상에 대하여 학습시키고 4) 최종적으로 현장에서 사용가능한 스마트폰 앱 형태로 학습된 딥러닝 모델을 보급하여 실제 받침에서 손상탐지를 수행할 수 있는 기술을 개발
- 개발된 영상탐지 딥러닝 모델은 CTE 4의 교좌 유지관리 기술 개발에 활용
○ CTE 2: 영상처리를 이용한 변위 (200mm 수준, 0.1mm 오차) 및 온도 계측 기술
- 재생 스마트폰에 탑재된 영상처리 기반 변위 계측 알고리즘을 이용하여 교좌의 변위를 계측하고, 재생 스마트폰에 온도센서를 결합하여 교좌의 변위 및 온도를 계측하는 기술을 개발
- 교좌 상/하부에 부착된 마커를 재생 스마트폰을 이용하여 실시간 촬영하고, 촬영된 영상에 나타난 마커의 이동량을 교좌의 변위로 환산
- 스마트폰에 간편하게 결합이 가능한 센서를 사용하여 교좌 및 교량 주변의 온도를 계측
- 계측된 변위와 온도 데이터는 CTE 4에서 통계적 분석 혹은 머신러닝(Machine Learning) 기법을 이용하여 교좌의 이상변위를 탐지하는데 활용
○ CTE 3: 재생 스마트폰 기반 교좌장치 모니터링 소프트웨어 및 시스템
- 교좌 손상탐지 딥러닝 모델과 변위 계측 알고리즘이 탑재된 재생 스마트폰을 교량 환경에 설치하기 위한 하드웨어와, 이를 원격으로 운용할 수 있는 Edge 앱 및 서버 구축
- 개발된 재생 스마트폰을 교량 환경에 설치하고 장기 운용하기 위하여 재생 스마트폰을 외부 환경으로부터 보호하는 동시에 안정적으로 거치할 수 있는 장비 개발 필요
- 또한 원격으로 장비를 운용하기 위하여 재생 스마트폰에 설치할 Edge 앱의 개발이 필요하며, 재생 스마트폰으로 계측되고 수집된 데이터를 저장하기 위한 중앙 서버 설치 수행
- 구축된 교좌장치 모니터링 소프트웨어 및 시스템을 이용하여 정기적으로 교좌의 외관 손상 정보를 수집하고, 중장기 변위-온도 데이터를 수집하여 교좌 종합 안전진단에 활용
○ CTE 4 : 교좌장치 통합 모니터링(유지관리) 기술
- 탐지된 교좌 손상정보와 중장기 계측된 교좌 변위 및 온도 데이터를 이용하여 교좌의 상태를 종합적으로 판단할 수 있는 유지관리 기술 개발
- 교좌 손상, 주변 환경 변화, 활하중 등의 다양한 원인으로 인해 교좌의 이상변위가 발생
- 본 연구에서는 1) 세부내용 2에서 측정한 온도-변위 데이터로부터 APCA(Adoptive Principal Component Analysis) S. Y. Kung and K. I. Diamantaras, "A neural network learning algorithm for adaptive principal component extraction (APEX)," International Conference on Acoustics, Speech, and Signal Processing, Albuquerque, NM, USA, 1990, pp. 861-864 vol.2
, LSTM(Long-Short Term Memory model) Gers, F.A.; Schmidhuber, J.; Cummins, F.: 'Learning to forget: continual prediction with LSTM', IET Conference Proceedings, 1999, p. 850-855
등의 머신러닝 및 수치해석 알고리즘으로 교좌장치의 이상상태를 탐지 2) 세부내용 1로부터의 외관손상 점검결과와 교좌장치 이상상태 탐지 결과를 종합하여 교좌장치의 유지관리 방안을 개발
- 교좌장치의 거동에 대한 문헌 조사 및 데이터 분석을 통해, 교좌장치의 지점 조건, 구조물 내에서의 위치, 유형 등을 고려하여 온도-변위 상관관계 기반 교좌장치의 이상상태에 대해 명확한 기준 제시할 계획임
- 교좌장치의 이상거동을 모사한 시뮬레이션 수치모델을 개발하여 이상상태 탐지 알고리즘의 학습 데이터로의 활용 및 알고리즘 검증
- 전체 구조물에 대한 영향을 고려하여 외관손상과 장기계측 변위 기반 이상상태 점검항목들에 가중치를 설정하여 점검결과의 위험도를 산정한 뒤, 정밀안전진단 및 복구자원 투입 등의 유지관리 방안을 제시
건설기술연구개발사업 주요내용
건설기술연구개발사업 주요내용의 구분, 연구개발목표, 연구개발 내용 및 방법 정보제공
구분 연구개발목표 연구개발 내용 및 방법
2차년도 실교량에 적용 가능한 교좌 모니터링 시스템 요소기술 개발 ○ 핵심기술 3: 재생 스마트폰 기반 교좌장치 모니터링 소프트웨어 및 시스템
- 외부 환경으로부터 재생 스마트폰을 보호하기 위한 패키징 장비
- 교량에 안정적으로 재생 스마트폰을 설치하기 위한 거치대
- 변위, 온도 계측 및 외관손상 탐지용 Edge 앱 개발
○ 핵심기술 4: 교좌장치 모니터링(유지관리) 기술
- 교좌장치 이상상태에 대한 문헌 분석 및 전문가 인터뷰 분석
- 교좌장치 이상거동 모사를 위한 수치모델 개발
- 머신러닝 및 수치해석을 통한 변위 기반 이상상태 판정 기준 개발
- 외관손상과 이상변위를 고려한 교좌장치 유지관리 방안 제시
- 교량 모형 제작 및 실내실험을 통한 교좌상태 판정 기준 고도화
연구성과 기술적 기대성과 - 중장기 변위-온도 계측 데이터와 손상 탐지 결과에 근거한 교좌 이상상태 판정
- 재생 스마트폰 기반 저비용 사용자 친화적 교좌 모니터링 IoT 센서 네트워크 구축
사회 경제적 파급효과 가. 기술적 측면
- 기존의 교좌장치 상태평가 기술은 기술자의 주기적인 육안점검에 의존하여 교좌장치의 정밀한 상태평가가 어려웠으나, 본 연구에서 제안한 기술은 영상처리 및 APCA 알고리즘 기반의 상태평가 기술이 융합되어 교좌장치의 정확한 상태평가가 가능함
- 기존에는 교좌장치의 상태평가를 위한 기준이 부재하여 교좌장치의 응답거동 계측 데이터를 획득하고도 정밀한 상태평가가 이루어지기 어려운 실정이었으나, 본 연구에서 제안한 기술은 수치해석 및 실험 데이터를 기반으로 개발된 상태판정 기준을 바탕으로 신뢰도 높은 유지/관리가 가능함
- 본 연구에서 제안한 기술은 국내의 주요 사회기반시설물 중 하나인 교량의 효율적인 유지/관리를 위해 필요한 기술로써 교좌장치의 체계적 상태평가 기준을 정립하는데 기여도가 높은 기술임
가. 경제적ㆍ산업적 측면
- 본 연구에서 제안한 기술은 향후 교량의 안전성 확보를 위해 필요한 기술로써, 효율적이고 체계적인 사회기반시설물의 유지/관리를 통해 안전사회구축에 필요한 비용을 획기적으로 절감할 수 있음
- 본 연구에서 제안한 교좌장치의 상태판정 기준의 개발은 미비한 실정으로 교량의 정밀한 유지/관리를 위해 국내외 시장에서 점차 수요가 증가할 것이며, 이에 정부의 지원을 통한 기본 기술개발로 지적재산권을 확보하고 나아가 실용화를 위한 기업의 참여를 유도하여 국가 경쟁력을 강화할 수 있음

나. 사회적 측면
- 본 연구에서 개발하고자 하는 교좌장치 상태 평가 시스템은 국내 교량의 교좌장치에 적용하여 효율적인 상태 평가가 가능해지며, 내구성평가를 바탕으로 한 체계적인 유지/보수를 바탕으로 교량의 붕괴위험을 감소하고 안전한 사회를 이룩할 수 있음
- 교좌장치의 손상은 교량 전체의 거동특성을 변화시키고 주 부재들의 변형 및 파괴 등의 손상으로 이어질 수 있으므로, 유지/관리 측면에서 각별한 주의가 필요함
- 따라서 교좌장치의 체계적인 유지/관리를 통한 안전성 확보와 교좌장치의 이상거동 시 신속한 복구 및 대응은 국민의 안전성 및 편익 증대, 나아가 국가 경쟁력 강화와 직결되므로 사회적 측면에서 교좌장치의 상태 평가는 매우 중요함
활용방안 1) 연구개발성과의 활용방안
○ 안전진단 기술 수요처
- 본 과제의 수요는 먼저 시설물을 유지관리 기관과 안전진단 업체에서 발생할 것으로 예상됨
- 본 기술은 서울시설공단의 협조를 얻어 현장에서 추가적인 실험을 수행한 뒤, 그 결과를 바탕으로 건설회사 또는 안전진단 전문업체에 기술이전을 수행함으로서 실제 안전 사회 구축에 활용 가능하도록 지속적으로 개발할 예정임
- 또한 기술 개발을 진행함에 따라 안전점검 기준 관련 기관과 안전진단 전문업체의 평가 설문조사를 통해 본 기술의 실용성을 검증하고 발전시킬 예정임
- 추후 시스템의 실용화가 완료될 경우, 다수의 노후교량이 있는 미국, 일본, 유럽 등의 선진국들의 교량 관리주체 역시 큰 수요처가 될 것임
○ 스마트한 유지관리를 위한 교좌 센싱 데이터 공유
- 본 과제의 주요 성과인 딥러닝 모델을 이용한 교좌 외관 손상 탐지 기술과 교좌 변위 및 온도 데이터 계측 기술은 BIM 및 클라우드 시스템과 연동하여 데이터의 수요가 있는 기관들에게 신속하게 공유될 수 있음
- 클라우드에 업로드된 교좌 손상 탐지 결과는 BIM 시스템과 연동되어 사용자에게 직관적인 형태로 가시화 될 수 있으며, 이를 통하여 교량 유지관리 담당자가 직관적으로 교량의 상태를 파악 가능
- 또한 교좌의 변위 및 온도 데이터를 이용하여 교좌의 거동이 교량의 미치는 영향을 상세하게 파악할 수 있는 학술적인 연구의 기초 자료로 적극 활용될 수 있음
○ 확장 가능한 교량 유지관리 플랫폼
- 본 과제는 대중적으로 널리 사용되는 스마트폰을 시스템에 적극 활용하기 때문에 개발된 어플리케이션의 간단한 유지보수를 통하여 교량 유지관리에 필요한 다른 물리량 계측으로 확장 될 수 있음
- 추후 개발되는 스마트폰 센싱 기반 유지관리 신기술을 본 과제에서 개발된 어플리케이션과 연동하여, 신기술의 간편한 현장 실험을 지원할 수 있음
핵심어
핵심어의 구분, 핵심어, 핵심어1~핵심어5 정보제공
핵심어 핵심어1 핵심어2 핵심어3 핵심어4 핵심어5
국문 재생 스마트폰 교좌장치 딥러닝 변위 계측 교좌 모니터링
영문 Reusable Smartphone Bridge Bearing Deep Learning Displacement Measurement Bridge Bearing Monitoring
최종보고서
최종보고서 파일 다운로드 제공
최종보고서
* 파일을 선택하였을때 다운로드가 불가한 경우, 인터넷 익스플로러(IE)에서 다운로드 가능합니다.
  • 담당부서지식정보실
  • 담당자김경희
  • 연락처 031-389-6528