Daddy Makers

2021년 1월 26일 화요일

오픈소스 기반 무인 배송 로봇 Kiwibot 시스템 소개 및 구조 분석

이 글은 오픈소스 기반 무인 배송 로봇 Kiwibot에 대한 시스템 소개 및 구조를 간략히 다룬다. 이 배송 로봇의 초창기 개발 관련 소스코드가 있어, 구조를 간단히 분석하고 나눔한다.

머리말

Kiwibot은 배달 로봇으로 무인 자율로 물건을 배송한다.

이 로봇은 캘리포니아 버클리 대학에서 시작된 무인자율 로버 기반 딜리버리(delivery) 서비스 스타트업 Kiwi Campus(2016년 설립)에서 오픈소스 프로젝트로 진행되었었다. 2017년 버클리 캘리포니아 대학교에서 시작된 이 회사는 버클리 도시 일부, 팔로 알토 스탠포드 대학교 캠퍼스, 산호세 등에서 서비스를 제공한다.

키위 스타트업은 세 가지 종류 로봇을 사용한다. 로봇은 레스토랑에서 준비된 주문을 수집하고, 주문을 분류하여 배달 지점까지 가져가며, 물건을 운반하는 로버 "키위봇"으로 구성하고 있다. 이 서비스는 주문 후 평균 27분 납품이 가능하다고 한다.

현재 키위봇은 20개의 대학 캠퍼스와 도시에서 운영되고 있으며, 2018년 5월 기준 100,000건 이상의 주문을 처리했다. 이 회사 CEO인 Felipe Chávez는 2018년 11월 MIT 기업가상을 수상했다.

이 중 이 글은 키위봇을 소개한다.

키위봇 시스템 모듈 분석

키위봇은 탐색 및 회피를 위한 6개의 카메라를 장착하고 있고, 여기서 얻은 이미지 데이터를 딥러닝 및 머신러닝을 이용해, 속도 조절, 장애물 회피 등의 동작을 한다. 초기에는 거친 보도블럭 등으로 인해 기구부에서 문제가 있었고, GPS 음역 지역에서 수동 조작 등의 이슈가 있었다고 보고되었다.

코드를 확인해 보면, ROS(ROBOT OPERATING SYSTEM), NVIDIA TK2, 카메라 이미지 및 딥러닝 기반 비전 기술을 사용한 것을 알 수 있다.

전체적으로 보면, 하드웨어는 NVIDIA TK, 6개 카메라 센서, GPS, ODOMETRY, 통신 모듈을 사용해 데이터를 얻고, 소프트웨어는 ROS기반위에 이미지를 처리하고, 목적지 네비게이션, 속도 및 장애물 처리, 예외사항 알림 등의 구현을 하고 있다. 외부는 거친 보도블럭을 고려한 휠 구조, 물건을 담을 수 있는 컨테이너, HCI기반 메시지를 전달하는 디스플레이를 가진다.

키위봇은 크게 다음과 같은 패키지를 가진다.

kiwi_image_pipeline: ROS 이미지 파이프라인을 이용해, 카메라로 부터 데이터를 처리
multicamera_stitching: 다중 카메라로 부터 이미지 스티칭(stitching) 처리
kiwi_navigation_stack, kiwi_navigation_tools: ROS 주행 탐색 스택. 로봇 이동 경로 정보 생성. 효율적 경로 탐색을 위해 cost map 구현되어 있음.
rtabmap_ros: RGBD SLAM 기반 지도 생성 모듈. ROS기반 RTABMAP으로 구현됨.
maplab: open visual inertial mapping 프레임웍. 비쥴얼 관성 맵핑 및 위치 정보 계산 프레임웍.
socketio-server, websocketpp: 서버와 로버 간 통신 처리 부분.
kiwibot_dsdl: 키위봇 UAVCAN DSDL 정의 부분
기타: 텐서플로우 딥러닝 처리 모듈, Scikit 라이브러리, robot_localization 등

소프트웨어 구성 모듈을 확인해 보면, 개별 모듈은 대부분 오픈소스에서 가져왔다. 다만, 키위봇을 동작시키기 위해, 목적에 맞게 각 모듈에서 처리하는 정보를 다른 모듈로 연결하고, 경로 계산 등 실제 현장에서 사용될 때 이슈에 대응하기 위한 최적화 코드들이 추가되어있으며, 키위봇 모니터링 및 조작을 위한 통신부가 구현되어 있음을 알 수 있다.

ROS 기반 이미지 파이프라인

maplab 기반 주행괘적 및 지역화 처리

소스 모듈을 보면, 초창기 기술 개발에 MYNT EYE 센서 등 여러 장치를 테스트해보았다는 것을 확인할 수 있다.

소스에서 경로 탐색 및 맵 생성 부분은 로버 개발 시 핵심이 되는 부분이다. 다음은 navigation 패키지를 구성하는 핵심 모듈들이다.

소스 코드 중 많은 부분은 2010-2020년 사이에 개발된 것들로 대부분 BSD, MIT 라이센스를 가지고 있다. 2017년도 부터 테스트를 시작한 것으로 보아, 그때까지는 이런 모듈들을 대부분 완성하고, 이후에는 주행 테스트를 통해 데이터를 취득하고, 테스트를 통한 주행 모델 등을 최적화하는 데 집중한 것으로 보인다. 안전성을 높이는 노력은 약 2년 정도 진행된 것으로 보인다.

각 패키지에 대한 상세한 코드는 아래 github에서 확인할 수 있다.

github.com/kiwicampus

마무리

몇년전 버클리 대학 캠퍼스에서 보았던 배달 로봇 시작품이 이제는 큰 스타트업이 되어, 많은 곳에서 실제 사용되고 있다고 하니, 발전 속도가 정말 빠른것 같다. 그 사이 테스트도 하고, 배터리 화재 관련 문제있어 관련 조치도 있었고, 많은 일을 해낸것 같다.

실제 사용될 수 있는 기술을 개발한다는 것은 현장에서 실제 운용하며 이렇게 많은 시간, 노력, 시행착오가 필요한 것이다. 이 회사는 오픈소스를 잘 활용하였고, 실 사용 데이터를 얻어 모델을 최적화하기 위해, 전략적으로 회사를 운영하였다. 이런 업체들이 모여 개방적인 실리콘밸리 생태계를 이루고 있는 것이 인상적이다.

Kiwibot 설립자 및 직원

레퍼런스

추신. 회사 행정에서 좀 떨어지니, 기술, 소스 코드 좀 더 파 볼 수 있었다. 연구할 시간도 좀 많아진듯해 다행. 그나저나, 연구하라고 세금으로 만든 연구소가 사실 과제펀드 관리행정이 주업무, 오히려 연구하기 참 힘든 환경이니 아이러니하다. 선택의 문제이긴 하나, 이런 환경에서는 기술 개발 포기하고 그냥 아웃소싱하는 것이 더 이익이고 합리적이게 된다.

2021년 1월 23일 토요일

저가 IoT 장치 개발을 위한 통합 임베디드 모듈 TTGO WiFi Bluetooth ESP32 개발 방법 및 사용기

이 글은 그 동안 리뷰 미루어 두었던, 통합 무선 모듈 TTGO WiFi Bluetooth ESP32 개발 방법 및 사용기를 간단히 나눔한다.

이 모듈은 GPIO16, WiFi, Bluetooth, OLED, 충전식 배터리 장치를 모두 포함하고도 겨우 10달러 아래에 구입할 수 있는 ESP32 칩 기반 소형 임베디드 컴퓨터이다. 18650 소형 배터리를 지원하며, 프로그래밍은 아두이노 IDE에서 코딩할 수 있다. 이런 기능을 통해, 손쉽게 저가의 IoT 장치를 개발할 수 있다.

다음 영상은 이 모듈을 이용해 개발한 사례를 보여준다.

개발 사례(TTGO WiFi & Bluetooth Battery ESP32 0.96 inch OLED development tool)

날씨 측정을 위한 웨더스테이션 개발 사례

ESP32 보드

TTGO ESP32에 사용된 메인칩인 ESP32는 Wi-Fi, Bluetooth가 통합된 칩 마이크로 컨트롤러이며, 저가형 저전력 시스템이다. 참고로, TTGO는 www.lilygo.cn 브랜드이며, 중국 심천의 보드 회로 메이커이다. ESP32 시리즈는 Tensilica Xtensa LX6 마이크로 프로세서를 사용해 내장 안테나 스위치, RF, 필터 및 전력 관리 모듈을 포함하고 있다. ESP32는 상하이에 본사를 둔 중국 회사인 Espressif Systems가 개발했으며 TSMC에서 40nm 공정을 사용하여 제조된다. 이 칩은 ESP8266 마이크로 컨트롤러의 후속 제품이다.

IoT 칩 개발사 ESPRESSIF

ESP32 칩 기반 보드는 주변에 어떤 모듈을 추가했느냐에 따라 다음 그림과 같이 다양한 변종이 존재한다. TTGO WiFi Bluetooth ESP32 모듈은 ESP32 칩 기반 모듈 중 무선 통신 및 OLED 기능을 가지고 있다.

ESP32 development board

ESP32 모듈의 GPIO 레이아웃 구조는 다음과 같다.

ESP32 OLED Layout

모듈 스펙

이 모듈은 다음과 같은 형태로 디자인되어 있다. 앞면은 OLED, WiFi, GPIO등이 보이고, 뒤면은 18650배터리를 장착할 수 있도록 되어 있다.

ESP32 보드와 18650 배터리

이 모듈의 자세한 스펙은 다음과 같다.

Micro USB 입력
Integrated 18650 충전 지원
SDA OLED, SCL은 D1 pin, D2 pin과 연결됨
인터럽트 / pwm / I2C 지원
Integrated OLED 지원
Input voltage range: 5-12V. Charge current: 500 mA

다음은 18650 배터리 사용 시 주의사항이다.

If the battery is in the wrong direction, the charging chip will be destroyed.

When you burn a program. Please disconnect the battery and check that the switch is in position.

아두이노 IDE 설정 및 사용 방법

다음 순서로 아두이노 IDE를 설정한다. 우선, 개발보드를 추가해야 하고, 그 다음 라이브러리를 추가해 예제를 실행해 본다.

1. 모듈과 컴퓨터를 USB 케이블로 연결한다. 그리고, FILE > 환경 설정 메뉴에서 다음 링크를 추가한다.

https://dl.espressif.com/dl/package_esp32_index.json

2. 아두이노 IDE에서 Tools > Board > Boards Manager 메뉴를 선택하고 ESP32 를 검색한 후보드를 설치한다.

BOARD IN ESP32 BY Espressif

3. 다음과 같이 WEMOS LOLIN32 보드를 선택한다. 그리고, 연결된 COM 포트를 선택한다.

4. 아두이노 IDE에서 FILE > EXAMPLE > ESP32 메뉴의 BLUETOOTH 예제를 선택한다.

5. 아두이노 IDE에서 UPLOAD 버튼을 클릭한다. 이때, 보드의 BOOT BUTTON을 누르고 있어야 한다. 모듈의 PORT 0 과 GND를 서로 연결해도 동일하게 동작한다. 만약, 버튼을 누르지 않으면, 다음과 같은 에러가 발생하고, 코드가 모듈로 업로드되지 않는다.

ESP32 Timed out 문제

코드 업로드 장면(Boot 버튼 푸시 후 코드 업로드되면 EN버튼 푸시할 것)

이 문제에 대한 좀 더 상세한 내용은 다음 링크를 참조한다.

타임아웃 해결방법([SOLVED] Failed to connect to ESP32: Timed out waiting for packet header)

6. 코드가 다 업로드되면, BOOT 버튼를 놓고, 모듈의 EN 버튼을 클릭한다. 그럼, 코드가 동작할 것이다.

7. 아두이노 IDE의 시리얼 모니터 메뉴를 선택하면, 예제 코드에서 출력되는 내용을 확인할 수 있다. 다음과 같이 모듈에서 획득한 BLUETOOTH 스캔 결과를 데이터로 볼 수 있을 것이다.

동작 결과

다른 ESP32 모듈 예제는 FILE > EXAMPLE > ESP32 메뉴에서 실행해 본다.

OLED 디스플레이 예제

내장된 디스플레이에 그림을 출력해 본다. 디스플레이 칩은 SSD1306이다. 사용을 위해 다음과 같이 라이브러리를 추가한다.

그리고, 새파일을 만든 후, 다음 소스코드를 복사해 붙여 넣는다.

/*********

Rui Santos

Complete project details at https://randomnerdtutorials.com

*********/

#include <Wire.h>

#include <Adafruit_GFX.h>

#include <Adafruit_SSD1306.h>

#define SCREEN_WIDTH 128

#define SCREEN_HEIGHT 64

Adafruit_SSD1306 display(SCREEN_WIDTH, SCREEN_HEIGHT, &Wire, -1);

static const uint8_t image_data_Saraarray[1024] = {

0xff, 0xff, 0xff, 0xff, 0xff, 0xff, 0xfe, 0x00, 0x00, 0x00, 0x1f, 0xff, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0xff, 0xf8, 0x00, 0x00, 0x00, 0x0f, 0xff, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0xff, 0xf8, 0x00, 0x00, 0x00, 0x07, 0xff, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0xff, 0xf0, 0x00, 0x00, 0x00, 0x07, 0xff, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0xff, 0xe0, 0x00, 0x00, 0x00, 0x03, 0xff, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0xff, 0xc0, 0x00, 0x00, 0x00, 0x01, 0xff, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0xff, 0x80, 0x00, 0x00, 0x00, 0x01, 0xff, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0xff, 0x80, 0x00, 0x00, 0x00, 0x00, 0xff, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0xff, 0x00, 0x00, 0x00, 0x00, 0x00, 0x7f, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0xfe, 0x00, 0x00, 0x00, 0x00, 0x00, 0x3f, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0xfc, 0x00, 0x00, 0x00, 0x00, 0x00, 0x3f, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0xfc, 0x00, 0x00, 0x00, 0x00, 0x00, 0x1f, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0xfc, 0x00, 0x00, 0x00, 0x0a, 0x00, 0x1f, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0xfc, 0x00, 0x00, 0x14, 0x9e, 0x00, 0x1f, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0xfc, 0x00, 0x00, 0x36, 0x3f, 0x00, 0x1f, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0xfc, 0x00, 0x00, 0x6d, 0xff, 0x00, 0x1f, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0xfc, 0x00, 0x00, 0xfb, 0xff, 0x80, 0x1f, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0xfc, 0x00, 0x03, 0xd7, 0xff, 0x80, 0x0f, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0xf8, 0x00, 0x07, 0xef, 0xff, 0x80, 0x07, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0xf8, 0x00, 0x0f, 0xdf, 0xff, 0x90, 0x07, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0xf8, 0x00, 0x0f, 0xbf, 0xff, 0xd0, 0x07, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0xf0, 0x00, 0x1d, 0x7f, 0xff, 0xd0, 0x07, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0xf0, 0x01, 0x1b, 0xff, 0xff, 0xc0, 0x07, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0xf0, 0x02, 0xa7, 0xff, 0xff, 0xc0, 0x07, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0xe0, 0x00, 0x03, 0xff, 0xc0, 0x00, 0x07, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0xe0, 0x00, 0x00, 0xff, 0x80, 0x00, 0x0b, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0xc0, 0x03, 0xff, 0xff, 0xff, 0xf0, 0x0f, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0x80, 0x07, 0xff, 0xff, 0xff, 0xf0, 0x0f, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0x00, 0x0f, 0x07, 0xff, 0xf8, 0xf8, 0x03, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0x00, 0x0e, 0x01, 0xff, 0xc0, 0x38, 0x07, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xff, 0x00, 0x1c, 0x46, 0xff, 0xb1, 0x18, 0x07, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xfe, 0x00, 0x3f, 0x97, 0xff, 0xc0, 0x7a, 0x07, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xfe, 0x00, 0x3f, 0xff, 0xff, 0xff, 0xfe, 0x03, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xfe, 0x01, 0x3f, 0xff, 0xff, 0xff, 0xfe, 0x01, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xfe, 0x01, 0xbf, 0xff, 0xff, 0xff, 0xfe, 0x81, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xfc, 0x00, 0xbf, 0xff, 0xff, 0xff, 0xfc, 0x81, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xfc, 0x00, 0xff, 0xff, 0xfe, 0xff, 0xfd, 0x83, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xf8, 0x00, 0xbf, 0xff, 0xfe, 0xff, 0xfd, 0x01, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xf8, 0x00, 0x7f, 0xff, 0xff, 0xff, 0xff, 0x01, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xf0, 0x00, 0x7f, 0xff, 0xff, 0xff, 0xfb, 0x03, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xe0, 0x00, 0x3f, 0xff, 0xdc, 0xff, 0xfa, 0x03, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xd8, 0x00, 0x1f, 0xff, 0xff, 0xff, 0xf8, 0x03, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xd0, 0x00, 0x1f, 0xff, 0xff, 0xff, 0xf8, 0x01, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0x90, 0x00, 0x1f, 0xff, 0xff, 0xff, 0xf8, 0x02, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xb0, 0x00, 0x0f, 0xf5, 0xff, 0xd7, 0xf8, 0x01, 0xff, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xb0, 0x00, 0x0f, 0xff, 0xff, 0xff, 0xf8, 0x00, 0x5f, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xa0, 0x00, 0x0f, 0xfb, 0xff, 0xff, 0xf0, 0x00, 0x3f, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0x80, 0x00, 0x0f, 0xfd, 0xff, 0xdf, 0xf0, 0x00, 0x3f, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0x80, 0x00, 0x07, 0xff, 0xff, 0xbf, 0xf0, 0x00, 0x0f, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0x80, 0x00, 0x07, 0xff, 0xff, 0xff, 0xe0, 0x00, 0x87, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0x80, 0x00, 0x03, 0xff, 0xff, 0xff, 0xc0, 0x00, 0x43, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0x60, 0x00, 0x01, 0xff, 0xff, 0xff, 0xc0, 0x00, 0x73, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xfe, 0xe0, 0x00, 0x00, 0xff, 0xff, 0xff, 0x80, 0x00, 0x7b, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xfd, 0xe0, 0x00, 0x00, 0x7f, 0xff, 0xfe, 0x00, 0x00, 0x33, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xfd, 0xe0, 0x00, 0x00, 0x3f, 0xff, 0xf8, 0x00, 0x00, 0x27, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0xe0, 0x00, 0x00, 0x0f, 0xff, 0xf0, 0x00, 0x00, 0x0f, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0x60, 0x00, 0x00, 0x67, 0xff, 0xe0, 0x00, 0x00, 0x1b, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xfd, 0x40, 0x00, 0x00, 0xf3, 0xff, 0xc4, 0x00, 0x00, 0x0b, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xfe, 0x80, 0x00, 0x00, 0xfc, 0xff, 0x8c, 0x00, 0x00, 0x03, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xfe, 0x00, 0x00, 0x00, 0x7f, 0x3c, 0x3c, 0x00, 0x00, 0x07, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0x00, 0x00, 0x00, 0x3f, 0xc0, 0x7c, 0x00, 0x00, 0x03, 0xff, 0xff, 0xff,

0xff, 0xff, 0xff, 0xff, 0x00, 0x00, 0x00, 0x1f, 0xff, 0xfc, 0x00, 0x00, 0x03, 0xff, 0xff, 0xff

};

void setup() {

Serial.begin(115200);

// Start I2C Communication SDA = 5 and SCL = 4 on Wemos Lolin32 ESP32 with built-in SSD1306 OLED

Wire.begin(5, 4);

if(!display.begin(SSD1306_SWITCHCAPVCC, 0x3C, false, false)) {

Serial.println(F("SSD1306 allocation failed"));

for(;;);

}

delay(2000); // Pause for 2 seconds

// Clear the buffer.

display.clearDisplay();

// Draw bitmap on the screen

display.drawBitmap(0, 0, image_data_Saraarray, 128, 64, 1);

display.display();

}

void loop() {

}

앞서 했던 것처럼, TTGO ESP32보드에 코드를 업로드한다. 그럼, 다음과 같이 OLED에 출력된 그래픽을 확인할 수 있다.

기타 예제는 다음 github를 참고한다.

File Library

충전 및 사용

TTGO 모듈은 충전기가 내장되어 있다. 18650 배터리 (2600mAh)를 테스트해본 결과, OLED LCD를 계속 동작시킨 상태에서 2일정도를 사용할 수 있었다.

마무리

이 글은 TTGO WiFi Bluetooth ESP32 개발 방법 및 사용기를 간단히 정리해 보았다. 이 모듈은 센서, OLED 디스플레이, WiFi, Bluetooth 등이 모두 통합되어 있어, 관련 기능이 필요할 때 매우 편리하게 개발할 수 있다. 가격도 몇 달러밖에 되지 않아, 사용에 부담이 없다. 다만, 개발 시 자료가 부족하고, 응용 사례가 많지 않은 것이 단점이다. 잘 활용한다면, 저렴한 가격에 괜찬은 IoT 장치를 개발할 수 있을 것이다.

레퍼런스

TTGO WiFi Bluetooth Battery Module 18650 ESP32 0.96 inch OLED Development Tools
TTGO ESP32 OLED DEVELOPMENT TOOL
TTGO Weather station
PlatformIO.org and getting started
ThingPlus OLED SSD1306
ESP32 OLED SSD1306
A fatal error occurred: Timed out waiting for packet content - problem after writing to SPIFFS memory of ESP32

Getting Started with the ESP32 Development Board

IOT Project – Using an ESP32 device to monitor a web service

2021년 1월 20일 수요일

Arduino Nano 33 Sense보드와 TinyML 기반 딥러닝 처리 방법 및 사용기

이 글은 Arduino Nano 33 Sense보드와 TinyML 기반 딥러닝 활용 방법에 대한 글이다.

이 아두이노 마이크로 컨트롤러는 20달러로 저가 단일칩 독립형 컴퓨터이다. 웨어러블, 드론, 3D 프린터, 장난감, 스마트 플러그, 전기 스쿠터, 세탁기와 같은 장치에 내장된 컴퓨터이다. 이러한 장치를 인터넷으로 연결하면, 사물 인터넷이된다.

아두이노 커뮤니티는 TensorFlow Lite Micro를 새롭게 개발된 Arduino Nano 33 BLE Sense 보드에 도입했다. 이를 사용하면, 다양한 딥러닝 기계학습 어플리케이션을 손가락만한 아두이노 임베디드 보드에서 실행할 수 있다.

아두이노에 사용하는 보드는 64MHz에서 실행되는 Arm Cortex-M4 마이크로 컨트롤러가 있으며 1MB 플래시 메모리와 256KB RAM이 있다. Arduino Nano 33 BLE Sense 보드는 손가락 크기보다 작다. 이 글은 아두이노 나노 33 센스 보드를 이용한 딥러닝 처리 방법을 간단히 이야기한다.

아두이노와 TinyML

기계 학습에는 신경망 모델을 마이크로 컨트롤러와 같은 메모리 제약있는 장치에서 실행할 때 사용할 수 있는 기술이 있다. 핵심 단계 중 하나는 부동 소수점을 8 비트 정수로 변환해 양자화하는 것이다. 이를 통해 딥러닝 계산을 더 빠르게 실행할 수 있다. 이런 임베디드 컴퓨터에서 기계학습(ML. Machine Learning) 처리하는 방법 중 하나가 TinyML이다. TinyML은 텐서플로우로 학습된 모델을 경량화해, 메모리 크기가 작은 아두이노 같은 소형 임베디드 컴퓨터에서 실행할 수 있도록 도와준다.

TinyML은 떠오르는 분야이다. 수십억 개의 마이크로 컨트롤러가 모든 종류의 장소에서 다양한 센서와 결합되어, 창의적이고 가치있는 TinyML 애플리케이션을 만들 수 있다. 아래 링크를 방문하면, TinyML 커뮤니티 글, 기술, 내용 및 예제를 확인할 수 있다.

TinyML community

Arduino Nano 33 BLE 기능

이 글을 따라하기 위해 다음과 같은 재료가 필요하다.

Arduino 나노 33 BLE 임베디드 컴퓨터 보드
마이크로 USB 케이블

프로그래밍하려면 Arduino Web Editor를 사용하거나 Arduino IDE를 설치해야 한다.

Arduino Nano 33 BLE Sense에는 다양한 온보드 센서가 있다.

음성 – 디지털 마이크
모션 – 9축 IMU (가속도계, 자이로 스코프, 자력계)
환경 – 온도, 습도 및 압력
빛 – 밝기, 색상 및 물체 근접

아울러, Bluetooth LE 연결이 있으므로 노트북, 모바일 앱 또는 기타 BLE 주변 장치로 데이터를 보낼 수 있다.

보드 설명 영상

보드 레이아웃

딥러닝 예제 실행하기

이 글 예제는 원래 TensorFlow 블로그에 Sandeep Mistry, Dominic Pajak에 의해 작성되었음을 밝힌다. 이 개발자들은 음성인식, 모션 동작 인식, 카메라 비전 사람 인식 예제를 워크샵했다.

micro_speech : Yes, No 음성 인식
magic_wand: 동작 인식
person_detection: 사람 인식

딥러닝 음성 인식

첫번째 예제는 간단한 음성 명령 인식 신경망 모델을 아두이노에 업로드할 것이다. 이를 위해, 먼저 아두이노 IDE를 실행하고, 다음과 같이 Arduino Nano 33 BLE 보드와 라이브러리를 설치한다.

아두이노IDE의 도구>보드 매니저 메뉴를 실행해 다음과 같이 BLE 보드를 검색하고 설치한다.

Arduino Nano 33 BLE 보드 설치

보드를 설치한 후, Arduino 보드를 노트북과 연결한다. 그리고, IDE에서 보드와 COM 포트를 선택한다.

USB 포트 연결

Arduino Nano 33 BLE 보드 및 포트 선택

이제, 스케치>라이브러리 매니저 메뉴를 선택해, Arduino Tensorflow Lite 를 검색해 라이브러리를 설치한다.

라이브러리 설치 후 파일>예제 메뉴에 Arduino Tensorflow 예제 중 micro_speech 예제를 선택하고, 업로드 한다. 아마, 소스를 컴파일하고 보드에 업로드하는 데 시간이 몇분 걸릴것이다.

업로드 중 모습

업로드 성공 모습

이제 툴>시리얼 모니터 메뉴를 실행한다. 그리고, 아두이노 보드를 입에 가까이 대고, Yes, No 단어를 말해보자. 그럼, 다음과 같이 음성을 인식해 Yes, No 텍스트를 출력해 준다.

음성 딥러닝 모델 실행 모습

동작 제스쳐 인식

이 예제 실행을 위해, Arduino_LSM9DS1 라이브러리를 검색해 설치한다. 파일>예제>Arduino_TensorflowLite 예제에서 magic_wand 를 선택한다. 소스코드가 열리면, 다음과 같이 업로드한다.

성공적으로 업로드되었다면, 다음과 같이, 나노 보드를 흔들어보자. 그럼, 제스쳐에 따라, O, W와 같은 형태가 시리얼 모니터에 출력될 것이다.

제스쳐 인식 결과

제스쳐 실행 예시

사람 인식

이 예제는 ArduCam 카메라가 준비되어야 한다.

ArduCam (구매)

카메라와 보드간 회로는 다음과 같이 연결한다.

회로 연결 모습(참고)

사람 인식 예제 실행을 위해, 파일>예제>Arduino_TensorflowLite>person_detection을 선택한다. 앞에서 한것처럼, 메뉴에서 업로드 버튼을 클릭한다. 그럼, 사람 인식 딥러닝 모델이 보드에서 실행되어, 다음과 같이 사람을 인식할 수 있다.

person detection 실행 결과

Nano 33과 배터리 연결하는 방법은 다음 자료를 참고하길 바란다.

Nano 33 using Battery

결론

이 글은 아두이노 나노 33 센스를 통해 TinyML을 간단히 사용해보고, 그 잠재력을 확인해 보았다. 실제 사용해 보면 알겠지만, 아직은 속도나 정확도가 그리 만족스럽지는 못하다. 다만, 손가락 크기의 보드에서 딥러닝 모델을 처리하고, 처리 데이터 결과를 클라우드 플랫폼에 전달할 수 있는 가능성이 많은 상상을 하게 만든다.

TinyML은 응용목적에 따라 모델을 적절히 최적화한다면, 좀 더 나은 성능을 기대할 수 있을 것이다. 앞으로, 임베디드 보드를 이용한 딥러닝 처리는 더욱 보편화될 것이라 생각한다. 이 글을 통해, 관련 기술 개발 및 응용에 조금이나마 도움이 되었으면 한다.

레퍼런스

2020년 12월 5일 토요일

무료 ERD 모델링 도구 소개

이 글은 데이터베이스 모델링에 많이 사용되는 ERD 모델링 도구 중 무료 소프트웨어 소개 링크를 소개한다.

Free database diagram design tool

ERD는 가끔 데이터베이스나 구조 모델링할 때, 엔티티간 관계를 설계하기 위해 사용한다. 최근에는 오픈소스 및 웹 기반 실행 도구도 많이 있어, 이를 이용하면, 무료로 ERD 디자인 할 수 있다.

ERD 디자인 예

ERD 모델링 도구 예

2020년 11월 7일 토요일

간단한 카티아(Catia) 사용 방법

이 글은 간단한 카티아(Catia) 사용 방법을 보여주는 레퍼런스를 기록한다.

카티아 사용 방법

카티아 단면 디자인 예

2020년 11월 5일 목요일

아두이노 기반 FS-IA10B RF 수신기 채널 신호 처리 및 PWM 출력 방법

이 글은 아두이노 기반 FS-IA10B RF 수신기 채널 신호 PWM(Pulse Width Modulation) 출력 방법을 간단히 정리한 것이다.

수신기에서 들어오는 PWM신호를 오실로스코프로 확인하면 다음과 같다.

이 PWM 진폭변조 신호는 진폭에 따라 수신기와 연결된 서보모터나 ESC(Electronic Speed Controller)와 연결된 모터를 제어하는 진폭 데이터를 포함하고 있다. 수신기의 각 채널은 진폭 데이터를 송신기에서 전달받아 모터에 전달함으로서 모터의 속도나 회전각도를 제어할 수 있다.

문제는 각종 센서나 ROS(ROBOT OPERATING SYSTEM)에서 처리한 정보에 근거해 PWM을 강제로 수정, 로봇 등을 제어해야할 때이다. 이 경우, 수신기와 아두이노 같은 임베디드 보드 GPIO를 연결해 PWM데이터를 얻어, 이를 수정한 후 PWM데이터로 출력해야 한다.

수신기 제작 업체에서 제공하는 IBUS 등 라이브러리가 있으나, 여기서는 가장 코딩하기 쉬운 방법을 이용해 처리한다.

다음과 같이 코딩하고, 각 채널을 수신과 아두이노의 해당 핀에 연결하여 테스트해본다.

// title: MSR_RF2

// developed by: KTW

// date: 2020.11.5

#include <Servo.h>

#define CH1 2

#define CH2 3

#define CH3 4

#define CH4 5

#define CH5 6

Servo ESC1; // create servo object to control the ESC

Servo ESC2;

Servo ESC3;

Servo ESC4;

// Read the number of a given channel and convert to the range provided.

// If the channel is off, return the default value

int readChannel(int channelInput, int minLimit, int maxLimit, int defaultValue){

int ch = pulseIn(channelInput, HIGH, 30000);

if (ch < 100) return defaultValue;

return map(ch, 1000, 2000, minLimit, maxLimit);

}

// Red the channel and return a boolean value

bool redSwitch(byte channelInput, bool defaultValue){

int intDefaultValue = (defaultValue)? 100: 0;

int ch = readChannel(channelInput, 0, 100, intDefaultValue);

return (ch > 50);

}

void setup(){

Serial.begin(115200);

pinMode(CH1, INPUT);

pinMode(CH2, INPUT);

pinMode(CH3, INPUT);

pinMode(CH4, INPUT);

pinMode(CH5, INPUT);

ESC1.attach(8,1000,2000); // (pin, min pulse width, max pulse width in microseconds)

ESC2.attach(9,1000,2000);

ESC3.attach(10,1000,2000);

ESC4.attach(11,1000,2000);

}

int ch1Value, ch2Value, ch3Value, ch4Value;

bool ch5Value;

void loop() {

ch1Value = readChannel(CH1, 0, 180, 0);

ch2Value = readChannel(CH2, 0, 180, 0);

ch3Value = readChannel(CH3, 0, 180, 0);

ch4Value = readChannel(CH4, 0, 180, 0);

ch5Value = redSwitch(CH5, false);

Serial.print("Ch1: ");

Serial.print(ch1Value);

Serial.print(" Ch2: ");

Serial.print(ch2Value);

Serial.print(" Ch3: ");

Serial.print(ch3Value);

Serial.print(" Ch4: ");

Serial.print(ch4Value);

Serial.print(" Ch5: ");

Serial.println(ch5Value);

ESC1.write(ch1Value);

ESC2.write(ch2Value);

ESC3.write(ch3Value);

ESC4.write(ch4Value);

delay(500);

}

이제, 오실로스코프 두개 프로브에 각각 수신기 채널, 아두이노 출력 핀을 연결한다. 아두이노 수직 채널 입력 전압을 2V로 조정하고, 수평은 1.0 ms로 설정한다. 그리고, TRIGGER AUTO 버튼으로 시그널 수평을 고정한다. 그럼, 다음과 같이 입력후 처리된 PWM 진폭이 각각 일치하는 것을 확인할 수 있다.