이 글은 인공지능 기반 미디어아트 워크샵에 필요한 유명한 생성AI 도구들을 소개합니다. 요즘 인공지능, 특히, 딥러닝 기술술을 이용한 생성AI등 유용한 프로그램이 많아지고 있습니다. 이 중에 무료로 편리하게 사용할 수 있는 도구들을 중심으로 관련 자료, 튜토리얼을 소개합니다.
생성 AI 도구
지금은 이미지, 텍스트, 음성, 영상 등을 프롬프트만 입력해 인공지능이 생성해준다. 시간과 노력이 있으면, 요즘 혼자서 웬만한 SF영화는 만들 수 있다. 생성 AI 동작 개념에 대해 궁금하다면, 아래 링크 참고바란다(단, 몰라도 사용에 큰 문제는 없다).
Stable Diffusion 와 ControlNet
스테이블 디퓨전은 원하는 이미지를 프롬프트로 잘 조정해 원하는 이미지를 얻는 딥러닝 기술이다. 컨트롤넷은 스테이블 디퓨전에 스타일을 편리하게 조정할 수 있도록 한 기술이다. 이 도구는 생성 AI 핵심 기술로 사용된다. 실제로는 보통 ComfyUI같은 편리하게 만든 프로그램을 이용한다.
- Stable Diffusion 다운로드: github.com/CompVis/stable-diffusion
- ControlNet 다운로드: github.com/lllyasviel/ControlNet
- Stable Diffusion Python Library: pypi.org/project/stable-diffusion-sdkit
ComfyUI
앞의 생성 AI 기술을 편리하게 사용할 수 있는 UI를 제공한 도구이다. 초딩도 사용할 수 있을 만큼 간단하게 만들어져 있다.
ChatGPT & Dall-E
전세계 광풍을 불러온 챗GPT는 입력한 프롬프트에 사람처럼 대답하고, 검색하고, 요약하고, 글을 써준다. ChatGPT4는 멀티모달(텍스트 + 소리 + 이미지 등)을 제공하여, 더욱 막강해질 예정이다(변호사, 의사 시험 통과함. 구글 주가 하락 원인). 트랜스포머란 딥러닝 기술로 만들었다(원천기술은 구글에서 만들었는 데 아이러니하다). Dall-E는 이미지 생성 AI이다. 얘네들이 제공하는 API(Application Program Interface) 사용해, 로봇을 제어하면, 영화 AI 비스므리한 로봇을 만들수도 있다. GPT 이용해 개발하려면 OpenAI 사이트 가입 후 기능 호출 API 키를 얻어야 한다.
편리한 공짜 AI 미디어아트 개발 도구
프로세싱
미디어아트에서 프로세싱을 모르면 간첩일 정도로 유명하다. 자바 언어 기반으로, 매우 다양한 라이브러리와 디버깅 가능한 편집기를 지원한다. 아두이노(arduino) 임베디드 보드와 특히 호환성이 좋아, 유저 인터렉티브 키네틱 아트에 자주 사용된다. 딥러닝 라이브러리 지원도 빠르게 이뤄지고 있다.
- 다운로드: processing.org/download
- 딥러닝 비전 라이브러리: github.com/cansik/deep-vision-processing
아두이노
마찬가지로, 미디어아트 분야에서 아두이노를 모르면 간첩이다. 임베디드 보드로, 센서 및 엑추에이터와 연결할 수 있는 GPIO 포트를 지원하여, 간단한 환경 모니터링 장치부터, 로봇까지 다양한 것들을 만들 수 있다. 개발은 C기반이다. 인스트럭터블 등 튜토리얼 웹사이트가 넘쳐나, 개발하기 편리하다. 현재, IoT, 딥러닝에 신경쓰고 있으며, ARDUINO NANO 33 SENSE 등에 TENSORRT와 같은 학습모델, 다양한 IoT예제를 사용할 수 있다.
파이썬 개발 도구
딥러닝 개발 시 필수인 파이썬 언어는 PIP란 패키지 설치 프로그램을 제공해 강력한 라이브러리 확장성을 지원한다.
- 다운로드: www.python.org/downloads
Visual studio code
개발 업계 표준이 되다시피한 통합개발환경이다. 파이썬 등 대부분의 개발방법을 지원한다. 편리한 디버깅, 편집기, 수많은 애드인 등 기능이 매우 강력하다.
- 다운로드: code.visualstudio.com
Colab
구글에서 일부 무료로 제공하는 딥러닝 개발용 서버이다. 현존하는 유명한 딥러닝 모델을 오픈소스 예제로 무료 제공한다. 접속해 데이터를 업로드하여, 모델을 학습하고, 학습된 모델파일을 다운로드 할 수 있는 등 사용방법은 무궁무진하다.
Github
세계 모든 오픈소스 프로젝트가 모이는 곳이다. 국내에서 자체 개발되었다고 주장하는 프로그램?을 잠깐 뜯어보면, Github에서 가져온 것들이 쏟어져 나올만큼, 개발에서 큰 영향력을 가진다. 보통, 키워드 검색해, 소스를 다운로드하고, 빌드한다. 사용을 위해서는 개발에 대한 기초 개념은 있어야 한다.
- 링크: github.com
소스 코드의 바다 github.com
유용한 딥러닝 도구
파이토치(PyTorch), 케라스(Keras)
파이토치(PyTorch), 케라스(Keras)는 세계 모든 딥러닝 연구자가 제일 먼저 사용하는 딥러닝 도구이다. 설치하면, 다양한 예제, 강력한 라이브러리, 개발 도구가 함께 주어진다. 해당 도구를 사용하려면, 딥러닝과 파이썬에 대한 기본 개념은 이해하고 있어야 한다. NVIDIA CUDA와 함께 설치하는 일이 쥐약이다.
손바닥만한 컴퓨터로 딥러닝 이용한 미디어아트 연출에 유용하다.
딥러닝 분야의 최종승자라 불리는 NVIDIA는 강력한 병렬처리를 지원하는 CUDA 인프라를 바탕으로 각자 입맛에 맞는 임베디드 보드(AI EDGE) 인 NVIDIA JETSON NANO(제일 싼), NVIDIA XAVIER NX(중간 비싼), NVIDIA TX2, NVIDIA XAVIER(비싼), NVIDIA ORIN(열라 비싼) 등을 제공한다(2023.4 현재까지도, 딥러닝 R&D과제 폭팔로 원래 가격의 5배 이상 가격에 구입할 수 있다. 품귀현상. 떼돈 벌고 있음).
해당 보드를 사면, 최신 딥러닝 코드, 예제와 편리한 개발 도구 등은 무료로 딸려온다.
게임엔진
미디어아트에서 게임엔진이 사용된지는 오래되었다. 이젠 앞의 인공지능 도구들이 붙어 나온다.
유니티
얼마전 ChatGPT를 연결한 유니티 프로젝트가 떳다. 프롬프트 이용해, 3차원 월드를 자동으로 만들어준다(자동 코딩해줌).
- 유니티+챗GPT 링크: github.com/GraesonB/ChatGPT-Wrapper-For-Unity
언리얼
언리얼 언급안하면, 섭할 사람 많을 듯.. 세계에서 가장 성능, 가성비 좋은 엔진이다. 실제 사람처럼 묘사하는 가상모델링기술을 제공하는 데, 이와 챗GPT가 연결되면, 경쟁력 없는 아이돌, 아나운서 같은 직종이 없어질 것 같기도 하다. 미래엔 가상휴먼이 연기, 노래, 방송 다 해치울 듯(엔터업계에선 이미 진행 중. 이젠 시나리오가 중요).
괜찬은 유료 생성 AI 도구는?
돈 주면서 사용하는 도구로는 Midjourney(특정 횟수 지나면 돈내라고 함), Runway ML(생성 AI 분야 최고 강자), NightCafe, Kaiver, Stablecog(일부 무료), Shutterstock 등이 있다. 이외에, 이미지 화질 개선 Upscale media, 목소리 생성 Prime Voice AI, 비디오 생성 D-ID,
발렌시아가 스타일 헤리포터 영상에서 사용한 일부 도구는 돈내고 사용한 것이다(서비스 호출 횟수만큼 결재하면 되는거라 비싸게 만든것 같진 않음). 유료인 만큼, 좋은 품질, 풍부한 자료 소스, 편리한 사용성이 빛난다.
비디오 생성 AI D-ID
마무리
지금은 춘추전국시대 같은 생성 AI 도구들을 정리해 보았다. 조만간 통일되어, Adobe 같은 업체들이 이 업계를 천하통일하리라 생각된다. 지금은 공짜로 할 수 있는 것이 많아, 시간과 노력만 있다면, 재미있는 것 만들며 놀 수 있다.
유용한 레퍼런스 및 튜토리얼
시간이 있다면, 아래 링크도 살펴보면 작품 제작에 큰 도움이 된다.
- Facebook, Make a Video
- Advanced AI Explainability for computer vision. Support for CNNs, Vision Transformers, Classification, Object detection, Segmentation, Image similarity and more. (github.com)
- Tutorial how to show CNN feature
- Tutorial how to visualize feature map of CNN
- CNN Explainer (poloclub.github.io) (explain)
- Pytorch implementation of convolutional neural network visualization techniques (github.com)
- A Simple pytorch implementation of GradCAM and GradCAM++ (github.com)
- Feature Visualization (distill.pub)
- Neural network 3D visualization framework, build interactive and intuitive model in browsers, support pre-trained deep learning models from TensorFlow, Keras, TensorFlow.js (github.com)
- Learning Convolutional Neural Networks with Interactive Visualization. (github.com)
- Rezmason/matrix: matrix (web-based green code rain, made with love) (github.com)
- Emotion Detection
학습 모델 다운로드
스테이블 디퓨전은 다양한 학습 데이터를 이용해 만든 모델을 사용할 수 있다. 다음 링크에서 다운로드 할 수 있다.
2023.5.1 - A.DAT 전시 예정 대비 워크샵용 자료로 정리함
댓글 없음:
댓글 쓰기