이 글은 드론, 로버 등에서 촬영한 2차원 이미지에서 3차원 모델인 point cloud를 생성하는 SFM기반 OpenMVG 을 간략히 다루어 본다. 이 기술은 이미 Pix4D, ContextCapture등 상업용 프로그램에서 널리 사용되고 있다. 이 프로그램들은 촬영된 2차원 이미지들에서 3차원 포인트 클라우드(점군)을 자동 생성한다.
SFM기반 3차원 모델 생성(OpenMVG)
SFM은 Structure From Motion의 약자로, 2차원으로 촬영한 이미지의 모션정보를 이용해, 촬영된 이미지의 카메라 위치와 방향을 역추적한 후, 이미지들과 카메라들의 관계를 구조화하는 알고리즘이다.
SFM을 이용해, 각 촬영 이미지의 고유한 특징점(feature point)를 얻고, 각 촬영 장면마다 특징점들과의 관계를 서로 매칭하고 계산해 카메라의 위치를 얻을 수 있다.
SFM을 사용하는 무료 프로그램 중 하나는 VisualSFM이다. 앞서 언급한 기능을 지원한다. 이 글에서는 직접 API(Application Program Interface)수준에서 프로그램을 만들고, 알고리즘을 리비전할 수 있는 OpenMVG를 사용해 본다. 참고로, 이와 유사한 Mapillary에서 개발된 OpenSFM도 있으나, 복잡한 디펜던시를 고려해 이 글에서는 언급하지 않는다. OpenSFM을 사용하려면 Docker 방식으로 이용하길 권장한다.
OpenSFM
OpenMVG 빌드 및 테스트를 위해 다음 링크를 방문해 관련 명령을 그대로 따라한다. 참고로, 개발 환경은 우분투 18.04에서 진행하였다.
각 단위 테스트는 SFM, SIFT (Scale Invariant Feature Transform) 등 예제를 포함한 API 호출 및 프로그램 실행 성공 결과를 보여준다.
참고로, OpenMVG는 다음 명령을 이용해 도커에서 실행할 수도 있다.
git clone --recursive https://github.com/openMVG/openMVG.git
docker build . -t openmvg
docker run -it openmvg /bin/sh
이 글은 LiDAR 스캐너 대형 로버 마운트 프레임 제작 과정을 다룬다. 프레임 제작 노력을 줄이기 위해 프로파일을 사용하기로 한다.
프로파일
추신 - 연말 과제 평가가 시작되어 1주일마다 평가와 자료제출이다. 연구자 담당 평균 과제 갯수가 4개 그 이상이다. 연구 일 안하는 사람들 동기부여한다고 PBS 각종 제도도입하더니 오히려 연구질은 계속 떨어지고 행정만 늘어난다. 일 벌이는 연구자만 손해인 구조. 행정 때문에 추석 이후에 연구 몰입할 수가 없다. 연구 행정 간소화 기대했다가 우리나라는 진짜 바뀌지 않는 다는 것을 알기까지 불과 1년도 걸리지 않았다.
앞서 모바일 스캔을 위한 스캔 백팩을 만들어 SLAM을 수행했었다. 이 스캔 팩백에는 임베디드 보드, 배터리, 스캐너 연결 보드 등이 들어 있어 이동시 편했다.
테스트 결과 다음과 같은 문제점이 있었다.
센서를 오래동안 들고 있을 만큼 가볍지 않음
화면을 보면서 SLAM 하기 힘듬
현재 공간 맵핑 진행 상태를 알기 힘듬
기타, 백팩에 든 보드와 배터리의 고정 문제 등
이런 문제를 고려해, 다음과 같이 좀 더 안정적인 스캔 백팩을 간단히 제작해 보았다.
스캔 백팩 개발 결과 다음과 같은 장점이 있었다.
센서를 손에 들고 다니는 것 보다 훨씬 편하다.
모니터를 다른 한손으로 보며 작업 과정을 관찰할 수 있었다.
1차 백팩에 비해 무게 중심을 잡는 밸트를 추가해 안전성있게 이동이 가능하다.
사용하는 배터리 성능이 좋아 몇 시간 이상 사용 가능하였다.
프레임이 안정적이고 수평을 맞추기 용이하여 SLAM 결과가 좋아진다.
개선점은 다음과 같다.
센서로 인해 무게중심이 높아 아직 급하게 이동하면 백팩이 뒤집힐까 조심스럽다.
임베디드 보드 패키징에 문제가 있다. 전선 등이 정리되어 있지 않아 급한 이동 시 문제가 될 수 있다.
처음 스캔 배낭을 맬때 높은 무게중심으로 인해 넘어질 수도 있다.
스캔 마운트가 폴대와 붙어 있어, 다른 장치 마운트 시 불편하다.
배터리 등 소모성 장비 장착, 탈착이 불편하다.
기타, 등산 배낭을 사용해 스타일이 그리 좋지 않다.
부록: 스캔 백팩 전시 기록
스캔 백팩 성능 및 사람들 피드백도 확인해 볼 요량으로 2019 메이커페어 서울에 전시해 보기로 함. 2019년 5월 샌프란시스코 메이커페어까지 아이들이 만든 작품만 쭉 전시했었기 때문에, 10월 메이커페어는 부스를 두개로 분리해 한쪽은 내 전공분야 관련 작업을 전시하기로 하였음. 컨셉은 다음 그림과 같이 해외 스캔 백팩과 비교해서 가성비 좋게 직접 만들 수 있음을 이야기하기로 함.
다음과 같이 부스 반을 짤라 한쪽편에 작업을 설치하고 전시함.
작품 특징 상 어른들, 주로 테크니션들이 관심을 많이 주고, 질문도 많이 함. 직접 만드는 방법에 관심이 많아 설명하였고, 정확도, 거리, 사용할 때 얼마나 가치가 있는 지 등에 대해 집중 질문. 해외 외국인들도 많이 보고 질문했는 데, 주로 대학원생 컴공, 전공, 기계과, 미디어아트 교환 학생들이었음.
교수, 교사 및 강사분들도 많았고, 메이커페어 특징 상 특이한 경력의 사람들도 많았음. 시간이 많지 않아 방문한 분들과 이런 저런 이야기를 못나눈 것이 아쉬움.
다음과 같이 스크립트를 작성한다.
cd /etc/init.d/
sudo gedit auto_bat.sh
다음과 같이 파일 편집한다. 여기서 &는 병렬 프로세스 실행 옵션이다. &&를 붙이면 앞의 명령이 제대로 실행된 후 조건에 따라 후속 실행된다.
#!/bin/bash
PATH=/usr/local/bin
sleep 3
time &
sleep 3
date &
파일을 저장한 후 다음 명령으로 부팅시 실행될 스크립트를 등록한다. 프로세스 <우선순위>는 생략가능하며, 99 이하 값을 준다.
cd /etc/init.d/
sudo chmod +x auto_bat.sh
sudo update-rc.d auto_bat.sh defaults <우선순위>
reboot
서비스 중인 상황을 다음 명령으로 확인한다.
initctl list
service --status-all
만약 제거하고자 한다면 다음처럼 하면 된다.
cd /etc/init.d/
sudo update-rc.d -f <script file name> remove
이전에 개발한 SLAM장비를 직접 들고 스캔할 목적으로 스캔 백팩을 만들었으나 무거워 가지고 다니며 스캔하기 힘들다. 이런 이유로, 연구용 야외 공간정보 맵핑 및 탐색이 가능한 간단한 로버를 만들 계획이다. 공간맵핑용 장비는 앞서 개발한 벨로다인 LiDAR 기반 SLAM 장치, 로봇 암 등을 활용한다. 이를 마운트하려면 최소한 1,794 g (VLP16 830 g + TX2 144 g + 배터리 310 g x 2 + 기타 200 g) 페이로드가 필요하다. 일반 장난감 수준의 장비로는 움직이지도 않기 때문에, 별도 로버를 제작하기로 하였다.
이 글에서 소개하는 로버는 최소 5 kg 이상의 페이로드를 지원하며, 야외 울퉁불퉁한 환경에서 공간정보 스캔을 할 수 있는 고정밀 센서 장치를 마운트 할 수 있다.
로버 임무
이 로버는 3차원 공간정보 스캔을 위한 탐색용 중량 로버(Exploration heavy weight rover for scanning 3D geo-information. 3D geo scan rover)이다. 프레임 상단에 벨로다인 VLP-16 및 RGBD 센서가 마운트될 수 있어야 하며, 통신 거리 100-200미터 범위에서 로버를 조정할 수 있어야 한다.
로버 예
참고로, 로버를 개발할 때는 다음과 같은 사항을 고려해야 성공할 수 있다.
로버의 페이로드(운반무게) 결정. 페이로드 고려한 모터, 모터드라이버 및 배터리 필요
로버의 운영환경 결정. 만약, 습기가 있는 곳이라면 방수가 되는 패키징 필요. 야외라면 울퉁불퉁한 지면을 다닐 수 있는 큰 바퀴와 내구성있는 바디 프레임 필요
로버의 목적에 따른 센서 결정. 수색용이면 카메라, 적외선, LiDAR센서 및 이를 처리할 수 있는 임베디드 컴퓨터 필요. 물체취득이 필요하면 그립퍼, 로봇암등이 필요함
프레임 결정. 로버 목적에 따라 센서나 장비를 쉽게 마운트 할 수 있어야 함
로봇 통신 방법 결정. 유선인지 무선인지 결정 필요. 무선이면 몇 미터 거리 범위까지 통신 가능한지에 따라 통신장치 개발해야 함. 예를 들어 200미터 정도 거리 통신이 필요하다면 2.4GHz 송수신기를 사용해야 함
로버 파워
스펙 상으로 15kg 정도 페이로드를 지원하는 HEAVY 6WD rover 개발을 고려해 모터와 모터드라이버는 다음과 같이 결정한다.
BTS7960은 43A 모터 구동까지 가능하므로, 큰 힘이 필요한 상황에서 사용할 수 있다(예. #1, #2). 다음과 같이 배터리 팩 연결 단자를 남땜하고 모터드라이버와 연결한다. 참고로, 여기서는 지금 가지고 있는 전선을 이용했지만, 안전성을 고려해 30A 전류를 허용할 수 있는 직경을 가진 전선을 사용하는 것이 좋다(부록:AWG 참고).
프레임
프레임은 가공업체에 맡겨 제작하거나 모터만 부착된 로봇 로버 프레임(#)을 구매해 사용한다. 센서를 마운트하기 편하게 HOLE이 있어야 한다. 다만, 범용 프레임은 빠르게 개발할 수 있는 장점은 있으나, 특수목적 및 환경에서 사용할 때는 별도 개발이 필요하다.
여기서 사용할 프레임은 링크와 유사하다. 다만, 자체가 낮고, 가공이 쉬우며, 배터리나 모터 드라이버를 내부에 장착할 수 있는 프레임으로 결정하였다. 프레임 크기는 425 x 300 mm 이며, 바퀴를 제외하면 380 x 120 mm 이다.
센서
센서는 LiDAR와 RGBD를 지원한다. 이 결과로 고정밀 포인트 클라우드와 이미지를 획득할 수 있다. 사용 센서는 다음과 같다.
회로
회로는 다음과 같이 연결한다. 회로는 FS-R9B 수신기 CH2, CH3에서 DRIVE, STEER 신호를 각각 받아, 모터드라이버에 모터 구동신호를 전달한다. 배터리와 BTS7960은 2개를 사용해 모터에 전류를 충분히 공급한다. 참고로, L298N과 같이 2A미만 모터드라이버를 사용하면, 프레임 자체 자중도 견디기 어려울 것이다.
D22 - FS-R9B.CH2
D24 - FS-R9B.CH3
5V - FS-R9B.VCC
GND - FS-R9B.GND
D2 - RIGHT MOTOR BTS7960 RPWM
D3 - RIGHT MOTOR BTS7960 LPWM
D4 - RIGHT MOTOR BTS7960 L_EN
D5 - RIGHT MOTOR BTS7960 R_EN
D6 - LEFT MOTOR BTS7960 RPWM
D7 - LEFT MOTOR BTS7960 LPWM
D8 - LEFT MOTOR BTS7960 L_EN
D9 - LEFT MOTOR BTS7960 R_EN
VCC - BTS7960 VCC
GND - BTS6960 GND
11.1V BAT GND - BTS7960.GND
11.1V BAT VCC - BTS7960.VCC
RIGHT MOTOR BTS7960.M1 - RIGHT MOTOR +
RIGHT MOTOR BTS7960.M2 - RIGHT MOTOR -
LEFT MOTOR BTS7960.M1 - LEFT MOTOR +
LEFT MOTOR BTS7960.M2 - LEFT MOTOR -
회로 연결 과정
코딩
코딩은 다음과 같다(github 링크). 소스코드는 필드테스트 후에 다음과 같은 몇 가지 수정이 있었다.
로버 전후좌우 이동 이외에도 후진 방식 추가
송신기 전원 껴져 있는 경우, 최대속도 주행 오류 있어, 신호 없을 경우 멈춤기능 추가
특정 모터 드라이버 구동 코드 및 반복된 소스코드 함수화
모터 드라이버 회로 선 연결 착오로 핀 번호 수정
참고로, 아래 소스코드 사용할 경우, 수신기에서 얻은 채널별 디지털 신호의 범위는 테스트하여 구해야 하며, 이를 map, constrain 함수를 이용해 캘리브레이션해야 한다.
로버와 배터리를 연결하고, 송신기를 켠 후, 시리얼모니터를 확인하면, 다음과 같은 제어 신호 데이터를 확인할 수 있다.
송신기로 제어하면, 로버가 정상적으로 제어되는 것을 확인할 수 있다.
필드 테스트
로버 성능은 어떻게 되는 지, 어느 정도 중량을 견디는 지 등을 확인하고, 이슈가 있는 지 확인하기 위해 필드 테스트를 한다. 중량 테스트를 위해, 다음과 같이 로버 등의 하중을 측정한다.
로버 자중 = 4.0 kg
배터리 2개 + 에나멜 통 2개 중량 = 4.8 kg
큰 에나멜 통 1개 중량 - 2.8 kg
작은 에나멜 통 1개 = 1.1 kg
배터리 한개 501 g
로버 위 에나멜 통 2개 + 배터리 3개 = 5.3 kg
에나멜 통 1개 + 배터리 3개 = 2.7 kg
다양한 조건과 환경을 고려해 다음과 같이, 로버 테스트를 해 보았다.
1차 동작제어 및 주행속도 테스트 (자중 4 kg)
2차 중량 테스트 (하중 3.8 kg)
3차 장애물 테스트 (다양한 크기의 장애물 + 하중 2.8 kg)
4차 장애물 테스트 (다양한 크기의 장애물 + 하중 2.8 kg)
5차 중량 테스트 (하중 2.7 kg)
6차 중량+자유곡선 이동 테스트 (하중 2.7 kg)
7차 사면 등판테스트 (자중 4.0 kg)
테스트 해 본 결과 2.6kg 정도는 충분히 로버 프레임이 지지하며, 5kg은 로버의 서스펜션이 바닥에 닿는 문제를 제외하고는 큰 문제 없이 구동되었다. 서스펜션을 조정하면 5kg 페이로드도 가능하다. 경사 등판은 표면이 거친 경우, 40도 각도도 주행 가능하며, 무게중심이 낮다면 그 이상 각도도 등판 가능하다. 주먹만한 크기의 자갈길이나 작은 바위 위에서도 주행이 가능해 보인다.
마무리
앞의 개발 결과로 RF 제어가 되는 중량 센서 장치가 마운트될 수 있는 로버를 만들었다. 앞으로 로버 위에 개발된 LiDAR 및 RGBD 스캔 장치를 마운트하여, 공간정보 맵핑에 사용하려 한다. 여기에 비전, ROS, 딥러닝 등을 붙이면 장애물을 피해가며 지정된 구간을 스캔할 수 있는 장비를 개발할 수 있다.
부록: AWG 전선 규격표
AWG는 미국에서 만든 전산 사용 지침으로, 직경에 따라 저항 및 허용전류를 확인해 적절한 전선을 사용할 수 있도록 만든 가이드라인이다. 허용전류가 높은 데, 적은 직경의 전선을 사용하면, Joule 열이 발생하고, 전선 피복이 녹아 벗겨져 합선이나 화재가 발생할 수 있다. AWG는 이를 방지한다.
LOG 참고 Boot Info Script 8f991e4 + Boot-Repair extra info [Boot-Info 25oct2017] => No known boot loader is installed in the MBR of /dev/sda. => Grub2 (v2.00) is installed in the MBR of /dev/sdb and looks at sector 1 of the same hard drive for core.img. core.img is at this location and looks for (,msdos6)/grub. It also embeds following components: modules --------------------------------------------------------------------------- fshelp ext2 part_msdos biosdisk --------------------------------------------------------------------------- => Syslinux MBR (5.00 and higher) is installed in the MBR of /dev/sdc. sdb1: __________________________________________________________________________ File system: ntfs Boot sector type: Windows 8/2012: NTFS Boot sector info: No errors found in the Boot Parameter Block. Operating System: Boot files: sdb2: __________________________________________________________________________ File system: Extended Partition Boot sector type: Unknown Boot sector info: sdb5: __________________________________________________________________________ File system: swap Boot sector type: - Boot sector info: sdb6: __________________________________________________________________________ File system: ext4 Boot sector type: - Boot sector info: Operating System: Boot files: /grub/grub.cfg /grub/i386-pc/core.img sdb7: __________________________________________________________________________ File system: ext4 Boot sector type: - Boot sector info: Operating System: Ubuntu 18.04.1 LTS Boot files: /boot/grub/grub.cfg /etc/fstab /boot/grub/i386-pc/core.img sdc1: __________________________________________________________________________ File system: vfat Boot sector type: SYSLINUX 6.03 Boot sector info: Syslinux looks at sector 32776 of /dev/sdc1 for its second stage. The integrity check of Syslinux failed. No errors found in the Boot Parameter Block. Operating System: Boot files: /boot/grub/grub.cfg /syslinux.cfg /EFI/BOOT/grubx64.efi /ldlinux.sys
