딥러닝 모델에서 이미지 객체를 탐지하고, 세그먼테이션하는 기법은 인공지능 전문가 그룹에 의해 큰 성과를 얻었고, 대부분의 경우 이러한 모델을 바탕으로 어플리케이션을 개발하는 것이 추세가 되었다. 이런 이유로, 초창기 이미지넷과 같은 대회는 딥러닝 모델 자체를 개발하는 데 촛점을 두었지만, 현재는 기존에 개발된 딥러닝 모델을 이용해 응용 목적 달성도를 경쟁하는 방식이 대부분이 되었다.
아직 몇몇 특수한 분야(3차원 포인트 클라우드 스캔 분야 등)에서는 품질과 성능이 원하는 수준까지 얻지 못하고 있지만, 이 부분도 GPU와 같은 하드웨어가 발전하고 있으므로 몇년내에 좋은 딥러닝 모델이 나오리라 생각한다.
이 글에서는 실내 객체 탐지를 위해 딥러닝 모델을 사용한 사례를 간략히 나열한다. 실내는 많은 작은 객체들이 오버랩되어 있는 특징이 있다. 그래서, 실내에 있는 모든 객체를 탐지하는 것 보다는 테이블과 같은 주요 객체를 탐지하는 사례가 대부분이다. 아울러, 배경이 되는 바닥과 벽체같은 부분은 세그먼테이션 기법을 사용하거나, 알고리즘 기반 탐색 기법을 사용하는 것이 더 유리하다.
실내 객체 탐지 딥러닝 모델 사례 실내 객체 탐지를 위해서는 의자, 테이블, 벽, 천정, 바닥과 같은 이미지 영역을 라벨링하고, 학습을 시켜야 한다. 만약, 응용 대상의 데이터 특성이 특수하지 않다면, 기존 개발된 실내 객체 탐지용 딥러닝 모델을 사용해도 무방할 것이다.
실내 객체 탐지 딥러닝 모델 사례 실내 객체 탐지를 위해서는 의자, 테이블, 벽, 천정, 바닥과 같은 이미지 영역을 라벨링하고, 학습을 시켜야 한다. 만약, 응용 대상의 데이터 특성이 특수하지 않다면, 기존 개발된 실내 객체 탐지용 딥러닝 모델을 사용해도 무방할 것이다.
아래는 오픈소스로 직접 사용할 수 있는 실내 객체탐지를 위한 딥러닝 모델 사용 사례이다.
- Deep learning based Indoor scenes recognition: opened, closed door etc
- Indoor Recognition: door, stairs
- Indoor places classification: indoor place using Inception-v3
- Edge Detection using Deep Learning for indoor 3D reconstruction: 3D reconstruction in LSUN classification challenge
- 3D reconstruction R&D list
- Indoor 3D Reconstruction with a Plane-Aware Network
- Fast and Flexible Indoor Scene Synthesis via Deep Convolutional Generative Models
- RetinaNet: Custom Object Detection training with 5 lines of code
- Largest multi-label image database; ResNet-101 model; 80.73% top-1 acc on ImageNet
3차원 실내 모델 생성 사례
학습 데이터셋 개발
실내에서 어느 정도 수준과 종류로 객체를 탐색할지 결정한 후에 학습 데이터셋을 개발해야 한다. 개발하기 전에 이미 공개된 데이터셋이 있다면 이를 사용하는 것이 좋다.
학습용 데이터는 구글 이미지나 다음 링크에서 확보할 수 있다. 이외 이미지 학습은 직접 구축해야 한다.
알고리즘 기반 실내 객체 탐색 및 생성
딥러닝은 아니지만, 계산 기하학적 알고리즘을 이용해 객체 탐지를 수행한 연구는 다음과 같다. 만약, 3차원 점군이나 깊이맵(depth map)정보가 있다면 벽이나 바닥은 알고리즘 기반으로 객체를 얻는 것이 편할 때가 많다.
- Automatic Indoor as-Built Building Information Models Generation by Using Low-Cost RGB-D Sensors
- Indoor Point Cloud Processing - Deep learning for semantic segmentation of indoor point clouds
- Automatic reconstruction of parametric building models from indoor point clouds
- 3D scene generation
딥러닝 모델 성능 비교
대부분의 사례는 기존에 잘 개발된 딥러닝 모델을 백본으로 사용한다. 어느 모델을 사용할지는 응용 목적에 따라 결정해야 한다. 다음 링크에서 각 모델 활용 시 비교 분석 자료를 참고할 수 있다.
레퍼런스
댓글 없음:
댓글 쓰기