연구개발개요 |
가. 연구개발의 목표 ○ 과제명 : 재생 스마트폰 기반 영상처리 및 딥러닝을 이용한 저비용 교좌장치 유지관리 기술 개발 - 핵심기술1: 딥러닝과 영상처리를 이용한 교좌 외관손상 (4종) 탐지 기술- 핵심기술2: 영상처리를 이용한 변위 (200mm 수준, 0.1mm 오차) 및 온도 계측 기술 - 핵심기술3: 재생 스마트폰 기반 교좌장치 모니터링 소프트웨어 및 시스템 - 핵심기술4: 교좌장치 통합 모니터링(유지관리) 기술 가. 핵심기술(CTE) 별 개요 : ○ CTE 1: 딥러닝과 영상처리를 이용한 교좌 외관손상 (4종) 탐지 기술- 재생 스마트폰에 탑재된 경량 딥러닝 모델을 이용하여 외관 손상을 탐지하고 추가적인 영상처리 기술을 이용하여 탐지된 손상의 물량을 정량화함 - 균열, 파손, 부식 등 육안점검으로 확인 가능한 손상들은 교좌 평가기준의 필수적인 요소- 본 연구에서는 1) 문헌 조사 및 현장 실무자 인터뷰를 통하여 교좌의 발생하는 손상들을 구분하는 외관적 특징을 정의하고, 2) 조사된 기준에 따라 교좌 손상 학습데이터 수집 및 라벨링을 수행하며, 3) 스마트폰에서 구동 가능한 경량화된 딥러닝 모델을 교좌 외관 손상에 대하여 학습시키고 4) 최종적으로 현장에서 사용가능한 스마트폰 앱 형태로 학습된 딥러닝 모델을 보급하여 실제 받침에서 손상탐지를 수행할 수 있는 기술을 개발- 개발된 영상탐지 딥러닝 모델은 CTE 4의 교좌 유지관리 기술 개발에 활용 ○ CTE 2: 영상처리를 이용한 변위 (200mm 수준, 0.1mm 오차) 및 온도 계측 기술 - 재생 스마트폰에 탑재된 영상처리 기반 변위 계측 알고리즘을 이용하여 교좌의 변위를 계측하고, 재생 스마트폰에 온도센서를 결합하여 교좌의 변위 및 온도를 계측하는 기술을 개발- 교좌 상/하부에 부착된 마커를 재생 스마트폰을 이용하여 실시간 촬영하고, 촬영된 영상에 나타난 마커의 이동량을 교좌의 변위로 환산- 스마트폰에 간편하게 결합이 가능한 센서를 사용하여 교좌 및 교량 주변의 온도를 계측- 계측된 변위와 온도 데이터는 CTE 4에서 통계적 분석 혹은 머신러닝(Machine Learning) 기법을 이용하여 교좌의 이상변위를 탐지하는데 활용○ CTE 3: 재생 스마트폰 기반 교좌장치 모니터링 소프트웨어 및 시스템 - 교좌 손상탐지 딥러닝 모델과 변위 계측 알고리즘이 탑재된 재생 스마트폰을 교량 환경에 설치하기 위한 하드웨어와, 이를 원격으로 운용할 수 있는 Edge 앱 및 서버 구축 - 개발된 재생 스마트폰을 교량 환경에 설치하고 장기 운용하기 위하여 재생 스마트폰을 외부 환경으로부터 보호하는 동시에 안정적으로 거치할 수 있는 장비 개발 필요 - 또한 원격으로 장비를 운용하기 위하여 재생 스마트폰에 설치할 Edge 앱의 개발이 필요하며, 재생 스마트폰으로 계측되고 수집된 데이터를 저장하기 위한 중앙 서버 설치 수행- 구축된 교좌장치 모니터링 소프트웨어 및 시스템을 이용하여 정기적으로 교좌의 외관 손상 정보를 수집하고, 중장기 변위-온도 데이터를 수집하여 교좌 종합 안전진단에 활용
|
연구내용 및 범위 |
○ CTE 1: 딥러닝과 영상처리를 이용한 교좌 외관손상 (4종) 탐지 기술- 재생 스마트폰에 탑재된 경량 딥러닝 모델을 이용하여 외관 손상을 탐지하고 추가적인 영상처리 기술을 이용하여 탐지된 손상의 물량을 정량화함 - 균열, 파손, 부식 등 육안점검으로 확인 가능한 손상들은 교좌 평가기준의 필수적인 요소- 본 연구에서는 1) 문헌 조사 및 현장 실무자 인터뷰를 통하여 교좌의 발생하는 손상들을 구분하는 외관적 특징을 정의하고, 2) 조사된 기준에 따라 교좌 손상 학습데이터 수집 및 라벨링을 수행하며, 3) 스마트폰에서 구동 가능한 경량화된 딥러닝 모델을 교좌 외관 손상에 대하여 학습시키고 4) 최종적으로 현장에서 사용가능한 스마트폰 앱 형태로 학습된 딥러닝 모델을 보급하여 실제 받침에서 손상탐지를 수행할 수 있는 기술을 개발- 개발된 영상탐지 딥러닝 모델은 CTE 4의 교좌 유지관리 기술 개발에 활용 ○ CTE 2: 영상처리를 이용한 변위 (200mm 수준, 0.1mm 오차) 및 온도 계측 기술 - 재생 스마트폰에 탑재된 영상처리 기반 변위 계측 알고리즘을 이용하여 교좌의 변위를 계측하고, 재생 스마트폰에 온도센서를 결합하여 교좌의 변위 및 온도를 계측하는 기술을 개발- 교좌 상/하부에 부착된 마커를 재생 스마트폰을 이용하여 실시간 촬영하고, 촬영된 영상에 나타난 마커의 이동량을 교좌의 변위로 환산- 스마트폰에 간편하게 결합이 가능한 센서를 사용하여 교좌 및 교량 주변의 온도를 계측- 계측된 변위와 온도 데이터는 CTE 4에서 통계적 분석 혹은 머신러닝(Machine Learning) 기법을 이용하여 교좌의 이상변위를 탐지하는데 활용○ CTE 3: 재생 스마트폰 기반 교좌장치 모니터링 소프트웨어 및 시스템 - 교좌 손상탐지 딥러닝 모델과 변위 계측 알고리즘이 탑재된 재생 스마트폰을 교량 환경에 설치하기 위한 하드웨어와, 이를 원격으로 운용할 수 있는 Edge 앱 및 서버 구축 - 개발된 재생 스마트폰을 교량 환경에 설치하고 장기 운용하기 위하여 재생 스마트폰을 외부 환경으로부터 보호하는 동시에 안정적으로 거치할 수 있는 장비 개발 필요 - 또한 원격으로 장비를 운용하기 위하여 재생 스마트폰에 설치할 Edge 앱의 개발이 필요하며, 재생 스마트폰으로 계측되고 수집된 데이터를 저장하기 위한 중앙 서버 설치 수행- 구축된 교좌장치 모니터링 소프트웨어 및 시스템을 이용하여 정기적으로 교좌의 외관 손상 정보를 수집하고, 중장기 변위-온도 데이터를 수집하여 교좌 종합 안전진단에 활용○ CTE 4 : 교좌장치 통합 모니터링(유지관리) 기술 - 탐지된 교좌 손상정보와 중장기 계측된 교좌 변위 및 온도 데이터를 이용하여 교좌의 상태를 종합적으로 판단할 수 있는 유지관리 기술 개발 - 교좌 손상, 주변 환경 변화, 활하중 등의 다양한 원인으로 인해 교좌의 이상변위가 발생 - 본 연구에서는 1) 세부내용 2에서 측정한 온도-변위 데이터로부터 APCA(Adoptive Principal Component Analysis) S. Y. Kung and K. I. Diamantaras, "A neural network learning algorithm for adaptive principal component extraction (APEX)," International Conference on Acoustics, Speech, and Signal Processing, Albuquerque, NM, USA, 1990, pp. 861-864 vol.2, LSTM(Long-Short Term Memory model) Gers, F.A.; Schmidhuber, J.; Cummins, F.: 'Learning to forget: continual prediction with LSTM', IET Conference Proceedings, 1999, p. 850-855 등의 머신러닝 및 수치해석 알고리즘으로 교좌장치의 이상상태를 탐지 2) 세부내용 1로부터의 외관손상 점검결과와 교좌장치 이상상태 탐지 결과를 종합하여 교좌장치의 유지관리 방안을 개발- 교좌장치의 거동에 대한 문헌 조사 및 데이터 분석을 통해, 교좌장치의 지점 조건, 구조물 내에서의 위치, 유형 등을 고려하여 온도-변위 상관관계 기반 교좌장치의 이상상태에 대해 명확한 기준 제시할 계획임- 교좌장치의 이상거동을 모사한 시뮬레이션 수치모델을 개발하여 이상상태 탐지 알고리즘의 학습 데이터로의 활용 및 알고리즘 검증- 전체 구조물에 대한 영향을 고려하여 외관손상과 장기계측 변위 기반 이상상태 점검항목들에 가중치를 설정하여 점검결과의 위험도를 산정한 뒤, 정밀안전진단 및 복구자원 투입 등의 유지관리 방안을 제시
|