주메뉴 바로가기 본문바로가기
전체메뉴닫기
과제현황 목록

과제기본정보

지능형 장소기반 관광 서비스 제공을 위한 합성곱 신경망을 활용한 (Convolutional Neural Network, CNN) 이미지 분류 모형 개발2년차

사업개요
사업개요에 대한 사업명, 분류코드(기술분류), 과제명, 주관연구기관, 총괄연구 책임자(성명, 소속, 전화번호), 총 연구기간, 당해연도 연구기간 정보제공
사업명 국토교통기술촉진연구사업 과제번호 20CTAP-C151886-02
국가과학표준분류 1순위 지리/지역/관광 | 지적/지리정보 | 지도학/지리정보시스템 적용분야 교통/정보통신/기타 기반시설
2순위 지리/지역/관광 | 관광 | 관광콘텐츠/정보 실용화대상여부 비실용화
3순위 지리/지역/관광 | 인문지리 | 관광지리 과제유형 기초
과제명 지능형 장소기반 관광 서비스 제공을 위한 합성곱 신경망을 활용한 (Convolutional Neural Network, CNN) 이미지 분류 모형 개발
주관연구기관 이화여자대학교 산학협력단
총괄연구 책임자 성명 강영옥
소속 이화여자대학교 산학협력단 직위 교수
기관 대표번호 3277-3747 FAX 3277-6060
총 연구기간 2019-04-15 ~ 2020-12-31
당해연도 연구기간 2020-01-01 ~ 2020-12-31

(단위:원)

년도별 정부출연금, 기업부담금, 계 정보제공
년도 정부출연금 기업부담금
현금 현물 소계
2차년도 200,000,000 0 0 0 200,000,000
과제기본정보의 연구개발개요, 최종목표, 연구내용 및 범위 정보제공
연구개발개요 ㅇ 소셜 미디어 데이터의 중요성
- 최근 모바일 기기의 보편화로 소셜 네트워크 서비스의 사용이 일상화되고, 이와 관련된 방대한 양의 데이터가 생산되고 있음. SNS 사용자는 어디서든 사진을 쉽게 찍어 올릴 수 있게 되어 사용자의 활동, 의견 등을 다양한 형태로 표출하는 것이 가능해졌음.
- 이러한 SNS 데이터는 사용자가 게시한 텍스트나 사진 뿐 아니라 사용자의 위치 정보 또한 제공되어 양질의 데이터가 양산되는 추세임.
- SNS 데이터는 특정 이슈에 대한 여론 분석 및 흐름파악 등에 적극적으로 활용되고 있으며, 이 뿐만 아니라 행정?마케팅?홍보 등 다양한 분야에서 이를 활용하려는 노력이 증가하는 추세임.
ㅇ 관광 분야에서 소셜 미디어 데이터의 중요성
- 관광 산업은 다양한 서비스 산업과 연계되어 연쇄효과를 내기 때문에 고용 창출 효과 및 경제적 부가가치가 높은 산업임. 이러한 관광 산업의 경쟁력 확보를 위해 관광지 및 관광객에 대한 다각적인 분석을 통해 관광객의 선호 및 특성을 파악하고, 이를 바탕으로 한 관광지 운영 및 관리가 필수적이지만 관광객의 행동 패턴이나 수용에 대한 자료를 부족한 실정임.
- 이러한 점에서 SNS 데이터는 그 활용성이 매우 크다고 할 수 있음. 관광객들이 생성한 UGC (User ? Generated Contents)는 새로운 관광지를 발굴하거나 관광콘텐츠를 보강하는 등 관광 정책의 보완에 도움을 주는 기초자료로 활용될 수 있음.

ㅇ CNN을 활용한 딥러닝 기반 이미지 데이터 마이닝 기술의 발전
- 최근에는 이미지 데이터의 양이 증가하고 훈련 알고리즘이 향상되면서 딥러닝 기반 인공신경망을 활용한 이미지 데이터 마이닝 기법이 의학·환경·정보·과학·컴퓨터그래픽 등 여러 분야에 적용되고 있음. 2015년 구글(Google) 브레인팀에서 오픈소스 기계학습 라이브러리 Tensorflow를 개발하였고, 이를 통해 이미지 분석의 가능성이 확장됨.
- 기계학습이 가능한 인공신경망 중 하나인 합성곱 신경망은 이미지 식별 및 분류에 있어 높은 성능을 보이고 있기 때문에 대부분의 사진 데이터 마이닝 연구에서 주로 활용되고 있는 추세임.
- 다양한 이미지 정보를 보유하고 있는 ImageNet에서는 매년 이미지 인식의 에러율이 낮은 모델을 선정하여 수상하고 있는데, 대표적 수상 경험이 있는 모델로는 LeNet-5, AlexNet, GoogleNet, ResNet 등의 구조로 만든 모델이 있음. 특히 구글에서 개발한 GoogleNet 구조의 Inception v3 모델은 소스코드가 널리 공개되어 있으며 높은 정확도 때문에 여러 연구에서 활용되고 있음.

ㅇ 사진을 포함하는 SNS 데이터의 딥러닝을 활용한 마이닝 필요
- 관광영역에서 SNS 데이터의 분석은 필수적 요소이지만 기존에는 SNS 데이터를 게시하는 위치나 거주자 위치, SNS에 게시된 텍스트의 분석이 주를 이루었음. 그러나 최근 관광객들은 본인이 경험한 바를 사진을 찍어서 남기고 이를 공유하는 문화가 널리 확산되어 있음.
- 대한민국을 방문한 관광객들이 소셜 미디어에 게시한 사진을 분류할 때 기존 모델을 그대로 활용하면 사진들이 제대로 분류되지 못한다는 문제가 있음. 이는 기존에 외국에서 개발된 이미지분류 모델의 학습 데이터 셋이 관광 활동 후 생성된 사진을 분류하기 위해 적합한 학습 데이터 셋이 아니며, 한국 관광요소의 특성을 포함하고 있지 않기 때문임. 따라서 소셜 미디어에 게시된 대한민국에서 이루어진 관광 활동 관련 사진을 분석할 수 있도록 새로운 훈련 데이터 셋을 생성하고 기존 CNN 모델을 재훈련 및 변형해야 할 필요성이 있음.
최종목표 본 연구개발의 목표는 지능형 장소기반 관광서비스 제공을 위한 합성곱 신경망(Convolutional Neural Network, CNN)을 활용한 이미지 분류모형을 개발하는 것임
- 사진공유 SNS 중 하나인 플리커(Flickr)에 지난 6년간 대한민국을 방문하는 관광객들이 게시한 사진을 기반으로 관광서비스를 위한 이미지 분류체계를 개발하고,
- Inception v3 모델의 재훈련 및 변형을 통해 관광분야에 적합한 CNN을 활용한 이미지 분류모형을 개발하고자 함
연구내용 및 범위 ㅇ 관광분야 이미지 분류체계 개발
- 본 연구에서는 관광객이 SNS에 게시한 사진을 합성곱신경망(CNN) 딥러닝 기술을 활용하여 관광분야에 맞는 카테고리로 분류하고자 함
- 이를 위해서는 관광목적에 맞는 이미지 카테고리의 개발이 필요함. 관광목적에 맞는 이미지 카테고리 개발에는 한국을 방문한 관광객이 SNS에 게시한 사진(기간 : 2013-2018, 약 20만 여장이 될 것으로 추측됨), 우리나라 한국관광공사 등에서 조사한 외래 관광객 실태조사의 분석내용, 그리고 관광분야 전문가들의 의견, 기존 이미지 데이터 셋의 분류 카테고리(ImegeNet, COCO, Caltech101, 256, CIFAR 101, Food 101 등) 등을 참조하여 관광목적에 부합한 이미지 카테고리를 개발함

ㅇ 딥러닝 기반 이미지 분류 모형 개발
- 본 연구에서 사용할 이미지 분류 모델은 구글에서 개발한 Inception V3모델임. Inception v3 모델을 사용하여 관광객이 게시한 사진을 입력하면 분류결과는 ImagNet에서 분류한 27개 상위카테고리, 1000개의 하위 카테고리로 분류됨. 이는 관광목적에 활용하기 부적합하며, 방한 관광객의 관광활동 특성을 정확하게 분석하지 못하고, 오류를 야기하기도 함
- 앞선 관광분야에 맞는 이미지 분류 카테고리별로 분류하도록 하기 위해서는 Inception v3모델의 재훈련이 필요함. 재훈련을 위해서는 앞선 분류 카테고리별로 훈련 데이터 셋(이미지 자료)을 확보하고, 재훈련을 시키도록 함.
- 훈련 데이터 셋은 1차적으로는 방한 관광객이 플리커에 게시한 사진을 7:3으로 구분한 후 7에 해당되는 분량의 사진을 training dataset으로 활용하도록 하며, 카테고리별로 플리커 사진이 부족할 경우는 개방된 이미지 데이터 셋, 구글, 다음, 네이버 등에서 사진을 추가로 확보하도록 함
- 훈련 데이터 셋을 확보한 이후 Inception v3모델을 재훈련한 후, 재훈련된 모델의 정확도는 test dataset으로 평가하며, 분류정확도는 95% 이상이 도출될 수 있도록 함
- 이미지의 훈련과정에서 관광객이 게시한 플리커 사진 각각에는 관광 분야에 적합한 카테고리 명칭이 부여되어야 하며, 이를 토대로 데이터의 훈련, 정확도의 평가 등이 이루어지고, 1차적으로 분류정확도가 낮게 나오는 카테고리에 대해서는 추가적인 학습을 위한 이미지의 확보, 추가 훈련 등이 필요함
- 산출물들의 효과적인 활용과 활용가능성을 이해하기 쉽도록 이미지 기반 웹사이트를 설계하고 프로토타입을 개발함
건설기술연구개발사업 주요내용
건설기술연구개발사업 주요내용의 구분, 연구개발목표, 연구개발 내용 및 방법 정보제공
구분 연구개발목표 연구개발 내용 및 방법
2차년도 국내 방문 관광객들이 게시한 SNS 사진을 기반으로 관광 분야 이미지 분류체계 개발 - 사진공유 SNS인 플리커에 지난 6년간 대한민국을 방문한 관광객이 게시한 사진을 수집
- 플리커 사용자의 거주지를 추정하여 관광객이 게시한 사진을 구분
- 관광객이 게시한 사진을 딥러닝 기반 이미지 분류모델인 Inception v3모델을 활용하여 이미지를 분류하고 정확도를 평가
- Inception v3모델 적용 시 한국관광의 특성을 반영하지 못하고, 잘못된 분류를 만들게 되므로, 관광분야 문헌분석, 전문가 의견수렴, 기존 이미지 DB등을 참고하여 관광서비스를 위한 이미지 분류체계를 개발
연구성과 기술적 기대성과 - 기술적 측면: 관광영역에 AI기술을 융합·활용하는 계기를 만들 수 있음. 본 연구를 통해 관광분야에도 빅데이터, 공간정보, AI기술이 접목된 영역으로 고도화할 수 있을 것으로 기대됨. 본 연구에서 개발한 Inception v3모델의 재훈련 및 이와 관련된 소스코드 공개는 다양한 영역에서 AI기술을 쉽게 응용하고, 활용할 수 있는 계기를 만들 것으로 기대됨
사회 경제적 파급효과 - 경제·산업적 측면: 중앙정부차원에서 관광정책 수립을 위해 수행해왔던 설문조사를 일정부분은 SNS 데이터로 대체하면서 관광객의 선호도 및 관광활동 분석에 소요되는 시간과 비용을 줄일 수 있을 것으로 기대됨
- 사회문화적 측면: 관광영역에서 SNS 데이터를 보다 구체적이고 효율적으로 활용할 수 있는 방안을 제시함으로써 지능형 장소기반 관광서비스의 가능성을 확대함
활용방안 - 중앙정부차원에서 관광객 선호 및 특성에 기반한 관광정책 수립 및 관광마케팅에 활용
- 지방자치단체 차원에서 관광객의 선호에 기반한 관광 상품 개발에 활용
- 관광분야 인공지능 기술을 접목한 비즈니스 모델로 활용
핵심어
핵심어의 구분, 핵심어, 핵심어1~핵심어5 정보제공
핵심어 핵심어1 핵심어2 핵심어3 핵심어4 핵심어5
국문 합성곱 신경망 지능형 관광서비스 GeoAI SNS 데이터 관광 이미지 분류
영문 Convolutional Neural Network - - - -
최종보고서
최종보고서 파일 다운로드 제공
최종보고서 최종보고서_ver20210317.pdf   다운로드
  • 담당부서해당 사업실
  • 담당자과제 담당자
  • 연락처 사업별 담당부서 보기