Processing + Kinect + Syphon을 사용한 VPT 프로젝션 맵핑

Processing + Kinect + Syphon을 사용한 VPT 프로젝션 맵핑을 위해서는, 다음 프로그램 및 라이브러리가 필요하다.

• Processing 2.2
• OpenNI 1.96 for Processing
• Syphon library for Processing (Processing에서 Add library 메뉴에 Syphon 를 검색해 바로 설치할 수 있다)

이를 이용하면, 키넥트를 통해, Processing에서 취득한 3D 포인트 클라우드 데이터를 Syphon을 통해, VPT 7에 출력할 수 있다. 아두이노와 연계한다면, 인터렉티브한 프로젝션 맵핑이 가능하다.

다음은 이와 관련된 소스 코드이다. 

import codeanticode.syphon.*;

import SimpleOpenNI.*;

PGraphics canvas;

SyphonServer server;

SimpleOpenNI context;

float        zoomF =0.3f;

float        rotX = radians(180);  // by default rotate the hole scene 180deg around the x-axis, 

                                   // the data from openni comes upside down

float        rotY = radians(0);

void setup()

{

  size(640, 480,P3D);

  canvas = createGraphics(640, 480, P3D);

  server = new SyphonServer(this, "Processing Syphon by mac");

  context = new SimpleOpenNI(this);

  if(context.isInit() == false)

  {

     println("Can't init SimpleOpenNI, maybe the camera is not connected!"); 

     exit();

     return;  

  }

  

  // disable mirror

  context.setMirror(false);

  // enable depthMap generation 

  context.enableDepth();

  canvas.stroke(255,255,255);

  canvas.smooth();

  canvas.perspective(radians(45),

              float(width)/float(height),

              10,150000);

}

void draw()

{

  // update the cam

  context.update();

  canvas.beginDraw();

  

  canvas.background(0,0,0);

  canvas.translate(width/2, height/2, 0);

  canvas.rotateX(rotX);

  canvas.rotateY(rotY);

  canvas.scale(zoomF);

  int[]   depthMap = context.depthMap();

  int     steps   = 3;  // to speed up the drawing, draw every third point

  int     index;

  PVector realWorldPoint;

  canvas.translate(0,0,-1000);  // set the rotation center of the scene 1000 infront of the camera

  canvas.stroke(255);

  PVector[] realWorldMap = context.depthMapRealWorld();

  

  // draw pointcloud

  canvas.beginShape(POINTS);

  for(int y=0;y < context.depthHeight();y+=steps)

  {

    for(int x=0;x < context.depthWidth();x+=steps)

    {

      index = x + y * context.depthWidth();

      if(depthMap[index] > 0)

      { 

        // draw the projected point

//        realWorldPoint = context.depthMapRealWorld()[index];

        realWorldPoint = realWorldMap[index];

        canvas.vertex(realWorldPoint.x,realWorldPoint.y,realWorldPoint.z);  // make realworld z negative, in the 3d drawing coordsystem +z points in the direction of the eye

      }

      //println("x: " + x + " y: " + y);

    }

  } 

  canvas.endShape();

  

  // draw the kinect cam

  // context.drawCamFrustum();

  

  

  canvas.endDraw();

  image(canvas, 0, 0);

  server.sendImage(canvas);

}

void keyPressed()

{

  switch(key)

  {

  case ' ':

    context.setMirror(!context.mirror());

    break;

  }

  switch(keyCode)

  {

  case LEFT:

    rotY += 0.1f;

    break;

  case RIGHT:

    // zoom out

    rotY -= 0.1f;

    break;

  case UP:

    if(keyEvent.isShiftDown())

      zoomF += 0.02f;

    else

      rotX += 0.1f;

    break;

  case DOWN:

    if(keyEvent.isShiftDown())

    {

      zoomF -= 0.02f;

      if(zoomF < 0.01)

        zoomF = 0.01;

    }

    else

      rotX -= 0.1f;

    break;

  }

}