Daddy Makers: 라이다와 카메라 데이터 퓨전 기술을 이용한 3D 객체 인식, 거리, 위치 자동 추출 기술 개발 방법

2022년 5월 3일 화요일

라이다와 카메라 데이터 퓨전 기술을 이용한 3D 객체 인식, 거리, 위치 자동 추출 기술 개발 방법

이 글은 라이다와 카메라 데이터 퓨전 기술을 이용한 3차원 객체 인식, 거리, 위치 자동 추출 기술 개발 방법에 대한 소개이다.

각자 발전된 라이다와 카메라 데이터 처리 기술은 각각의 장단점을 혼합해 사용된다. 데이터 퓨전 기술을 통해, 카메라 이미지에서는 정밀한 객체 세그먼트 정보를 얻고, 퓨전된 라이다로부터, 정확한 객체 거리 및 위치를 추출할 수 있다. 이를 잘 이용하면, 실내외 객체의 종류, 거리, 위치, 크기를 정확히 얻을 수 있다.

이 글은 특성이 서로 다른 각 데이터의 혼합(fusion) 및 중첩(superposition) 기술을 간략히 정리한다.

Fusion using camera and LiDAR

머리말

센서 퓨전 분야는 라이다와 카메라 센서 같이 이기종 센서의 장점만을 취해, 퓨전된 데이터셋을 얻을려는 시도에서 무인 자율차 등 다양한 분야에서 시도되었다.

센서 퓨전을 통해, 라이다에서는 정확한 거리나 위치, 카메라에서는 풍부한 객체 세그먼트 정보를 얻을 수 있다. 그러므로, 센서 퓨전은 각 데이터를 하나의 좌표계로 정렬하는 것이 목적이 된다.

센서 퓨전 결과

본문

이 글은 자율차 개발 시 사용되고 있는 센서 퓨전 연구 사례(링크)를 기반으로 설명한다. 이 연구 사례는 센서 퓨전 연구를 위해, 기존 무인자율차 데이터 학습용 KTTI 데이터셋을 사용한다.

우선, 다음과 같이, 벨로다인 라이다, 카메라를 장착한 차량(로버 등 마운팅 대상은 관계 없다)이 있다고 가정한다.

모든 센서에서 얻은 값은 특정 센서 기준으로 데이터를 변환해야 한다. 이 경우, 카메라를 기준으로 다른 센서들의 데이터를 변환한다. 그러므로, 이를 변환하기 위한, 각 센서의 캘리브레이션(조정) 파라메터가 필요하다. 이 파라메터는 기준 센서 중심으로 데이터 변환 시 사용된다.

Calibration for superposition 예시(라이다, 스테레오 카메라 경우)

카메라의 경우, 다음과 같이 2차원 이미지와 3차원 이미지 간에 캘리브레이션 파라메터 관계가 존재한다. 수식을 간단히 설명하면, 이 행렬은 3차원 데이터를 2차원 픽셀 좌표계로 변환한다. 행렬들은 광학적 카메라 렌즈 관련 파라메터(intrinsic properties. 스케일 관련), 외부적 카메라 속성(extrinsic properties. 위치, 회전 행렬) 행렬로 조합되어 있다.

이는 일반적으로 우리가 3차원 게임을 할때 나타나는 3차원 객체들을 2차원 픽셀 좌표계로 맵핑된 스크린을 보는 방식과 개념상 동일한 좌표변환행렬이다. 이 부분에 대한 자세한 내용은 컴퓨터 그래픽스 좌표변환행렬을 참고하라.

u,v = P x Coordinate Transformation Matrix [4x4]

좌표변환행렬을 구성하는 파라메터는 다음과 같은 체커보드를 이용한 캘리브레이션 파라메터 추출 알고리즘을 통해 쉽게 얻을 수 있다.

파라메터 획득 후, 아래 공식으로 카메라 이미지 공간으로 다른 센서 값들을 맵핑한다.

Y(2D) = P x R0 x R|t x X (3D)

여기서,

Y: 2차원 포인트(픽셀)
P: [3x4]행렬. Intrinsic calibration matrix
R0: [3x3]행렬. stereo rectification matrix
R|t = 벨로다인 데이터공간에서 카메라공간 데이터변환 행렬: [3x4]
X: [3x1]행렬. 3차원 포인트

일단, P는 카메라 제조사에서 pre-calibration되므로, 수행할 필요가 없다.

R0는 스테레오 카메라에만 해당한다. 모노 카메라를 사용하므로 필요가 없다.

R|t는 실험을 통해, 획득해야 한다. 앞의 라이다와 카메라 위치일 때, 동일 장면을 스캔한다. 스캔된 두 장면의 세개 이상의 포인트를 얻는다.