Stable Point Aware 3D 사용기

이 글은 Stable Point Aware 3D 사용기를 공유한다.

• Stable Point-Aware 3D - a Hugging Face Space by stabilityai

LLM 기반 BIM 지식 모델 학습 데이터셋 자동 생성 및 LLM 파인튜닝 도구 소개

이 글은 LLM(대형언어모델) 기반 BIM(Building Information Modeling) 지식 모델을 개발하기 위한 BIM 학습 데이터셋 생성 및 LLM 파인튜닝 도구를 소개한다. 

ChatGPT와 같이 일반적인 지식만 학습한 LLM은 환각현상이 심할 수 있으며, 온라인으로 연결된 LLM을 사용해야해 보안문제도 있을 수 있다. 이 글은 이런 문제를 해결하기 위한 도구를 소개한다. 

로컬 LLM 기반 BIM 모델 개발을 위해서는 BIM 데이터셋을 개발해야 하며, LLM(대규모 언어 모델)을 파인튜닝해야 한다. 이 글은 이를 위한 두 개의 프로그램을 소개하고, 각각의 기능과 사용 방법을 설명한다. 소스코드는 다음 github 링크를 참고한다.

• BIM AutoGen Dataset와 LLM 파인튜닝도구: https://github.com/mac999/BIM_LLM

BIM 지식 LLM 모델 학습 프로세스 및 결과

본 프로그램의 동작 방식의 상세한 설명은 레퍼런스를 참고하길 바란다. 이 레퍼런스에는 LLM 파인튜닝, RAG 등의 한계점을 함께 설명하고 있다.   

프로그램 소개

BIM AutoGen Dataset

BIM AutoGen Dataset은 PDF 문서로부터 LLM 파인튜닝을 위한 QA(질문-답변) 데이터셋을 자동으로 생성하는 도구이다. 이 도구는 OpenAI API를 활용해 텍스트를 분석하고, 질문과 답변을 JSON 형식으로 구조화하며, 답변의 모호성을 평가하여 데이터 품질을 높인다.

• PDF 파일에서 QA 데이터셋을 자동으로 생성한다.
• 생성된 데이터셋은 JSON 형식으로 저장되며, LLM 파인튜닝에 적합하다.

LLM Fine-Tuning with PEFT

LLM Fine-Tuning with PEFT는 PEFT(파라미터 효율적 파인튜닝) 기술을 활용해 BIM 도메인에 특화된 LLM(SLM)을 8GB GPU에서도 효율적으로 파인튜닝할 수 있게 한다.  이 도구는 Hugging Face와 W&B(Weights & Biases)와 같은 툴과 통합되어 모델 성능 모니터링 및 결과 공유가 가능하다.

• LLM(Llama-3-8B 등)을 PEFT 기술로 경량화하여 파인튜닝한다.
• 8GB GPU에서도 실행 가능하며, 저비용 환경에서도 모델 학습을 지원한다.
• Hugging Face와 W&B 통합으로 학습 상태를 실시간으로 추적하고 공유할 수 있다.

사용방법

BIM AutoGen Dataset

1. 필수 라이브러리 설치:

   pip install os json PyPDF2 argparse re camelot fitz pdfminer.six openai tqdm

2. PDF 파일 준비:

   - `input` 폴더에 처리할 PDF 문서를 추가한다.

3. 다음 명령어를 사용해 스크립트를 실행한다:

   python BIM_autogen_dataset.py --input ./input --output ./output

4. 결과:

   - 생성된 QA 데이터셋은 `output` 폴더에 JSON 형식으로 저장된다.

LLM Fine-Tuning with PEFT

1. 필수 라이브러리 설치:

   pip install pandas torch wandb transformers huggingface_hub trl datasets peft PyPDF2 camelot-py pymupdf pdfminer.six openai tqdm

2. API Key 설정:

   - Hugging Face API Key: Hugging Face 계정을 통해 API 키를 발급받는다.

   - Weights & Biases API Key: W&B 계정을 통해 API 키를 발급받는다.

3. 데이터셋 준비:

   - BIM AutoGen Dataset으로 생성된 QA JSON 파일을 `dataset` 폴더에 저장한다.

4. 다음 명령어를 사용해 스크립트를 실행한다:

   python BIM_LLM_finetuning.py

5. 결과:

   - 파인튜닝된 모델은 `output_finetuning_model` 디렉토리에 저장된다.

   - 학습 로그는 `finetuning.log` 파일에 저장된다.

마무리

이 글은 BIM AutoGen Dataset과 LLM Fine-Tuning with PEFT를 통해 BIM 도메인에서 머신러닝 및 LLM 활용을 간소화하고자 하는 목적을 담고 있다. 모든 코드는 MIT 라이선스 하에 제공된다. 이 도구는 일반화된 프로세스로 개발되어 있으므로, BIM 이외 다른 분야에도 사용자화하여 활용할 수 있다.

레퍼런스

이 레퍼런스에는 LLM 파인튜닝, RAG 등의 한계점을 함께 설명하고 있다. 실제 해보면 알겠지만, 모든 문제를 해결하는 만병 통치약은 없다. 특정 영역에서 효과적인 솔류션도, 다른 영역에는 효과가 없는 경우가 많다는 것을 고려하고, 이러한 기술을 활용할 필요가 있다. LLM 생성모델에 대한 좀 더 깊은 이해가 필요하다면 이 블로그의 '스테이블 디퓨전', '트랜스포머스' 관련글을 참고하길 바란다. 

1. 생성형 AI 기반 BIM 전문가 시스템 개발해 보기 - 캐드앤그래픽스
2. BIM 기반 LLM 모델 개발을 위한 학습 데이터 처리와 파인튜닝 프로세스 개발
3. Earthwork Network Architecture (ENA): Research for Earthwork Quantity Estimation Method Improvement with Large Language Model

최근 SLM(Small Language Model) 모델 성능 테스트 사용기

이 글은 최근 SLM(Small Language Model) 모델 성능 테스트 사용기를 간략히 정리한 것이다.

테스트를 위해, ollama를 설치한 후, 터미널에서 다음 명령을 입력해 각각 적합한 SLM 모델을 다운로드 받는다.

ollama run gemma2

SLM 실행 모습

정보 생성 결과 예시

사용한 SLM 모델 중 유명한 gemma-2, llama-3, phi4를 테스트해보았다. 

• gemma-2: 실행 속도가 매우 빠르다. 맥락에 따른 정보 생성 성능이 뛰어나다.
• llama-3: 실행 속도는 중간이다. 생성 품질은 뛰어나다.
• phi4: 실행 속도는 중상이다. 생성 품질도 뛰어나다.

다만, 이런 SLM은 4K 이내 프롬프트 크기 입력 등의 한계가 있다. 

레퍼런스

• Introducing Phi-3: Redefining what's possible with SLMs | Microsoft Azure Blog
• Complete Guide to Running Ollama’s Large Language Model (LLM) Locally — Part 1 | by Gen. David L. | Medium
• I Ran 9 Popular LLMs on Raspberry Pi 5; Here's What I Found
• How to Install Microsoft Phi-4 Locally?
• What makes Microsoft's Phi-3-Mini AI model worth paying attention to - CO/AI
• Microsoft Phi-4: A Small LLM in Complex Reasoning, Outperforming Qwen 2.5–14B and Performance Overview | by Md Monsur ali | Dec, 2024 | Level Up Coding
• Introducing Phi-4: Microsoft’s Newest Small Language Model Specializing in Complex Reasoning : r/LocalLLaMA

Gradio 와 LangChain 을 이용한 간단한 챗봇 개발하기

이 글은 Gradio 와 LangChain 을 이용한 챗봇 예제이다.

터미널에서 다음 라이브러리를 설치한다.

pip install gradio langchain

다음을 코딩하고 실행한다. 

from langchain.chat_models import ChatOpenAI

from langchain.schema import AIMessage, HumanMessage, SystemMessage

import os

import gradio as gr

os.environ["OPENAI_API_KEY"] = "<input your openai key"  # API 키 설정

llm = ChatOpenAI(temperature=1.0, model='gpt-4o-mini')  

# LLM 응답 처리

def response(message, history, additional_input_info):

    history_langchain_format = []

    history_langchain_format.append(SystemMessage(content= additional_input_info))

    for human, ai in history:

            history_langchain_format.append(HumanMessage(content=human))

            history_langchain_format.append(AIMessage(content=ai))

    history_langchain_format.append(HumanMessage(content=message))

    gpt_response = llm(history_langchain_format)

    return gpt_response.content

# 인터페이스 생성

gr.ChatInterface(

    fn=response,   # LLM 응답처리 콜백함수 설정

    textbox=gr.Textbox(placeholder="Talk", container=False, scale=7),

    chatbot=gr.Chatbot(height=1000),

    title="ChatBot",

    description="I'm a chatbot that can chat with you. I'm lovely chatbot.",

    theme="soft",

    examples=[["Hi"], ["I'm good"], ["What's your name?"]],

    retry_btn="resend",

    undo_btn="delete❌",

    clear_btn="delete all💫",

    additional_inputs=[

        gr.Textbox("", label="Input System Prompt", placeholder="I'm chatbot.")

    ]

).launch()

성공한 결과는 다음과 같다. 

레퍼런스

• Quickstart
• Gradio | 🦜️🔗 LangChain

LangChain 작동 메커니즘 분석기

이 글은 LangChain(랭체인) 작동 메커니즘을 분석한 것이다. 

랭체인은 제한된 LLM 입력 프롬프트 크기 한계 내에서 LLM의 추론 기능을 잘 활용하기 위해 개발된 라이브러리이다. LLM 환각 현상 등을 개선하기 위해 RAG 기법을 적극 개발하고 있는데, 이로인해, 다음과 같이 다양한 벤더사의 LLM, vector database, chunking 등을 지원해야 했다. 그러므로, 객체지향적으로 설계되어 추상화 레이어가 매우 깊고 복잡한 면이 있다.

다음은 주요 핵심 기능의 동작 방식을 설명한다.

도구(Tools)
LangChain에서 도구는 에이전트가 자연어 처리 이상의 작업을 수행할 수 있도록 제공되는 기능이나 API이다. 이 코드는 이를 명확히 정의하고 에이전트가 사용할 수 있도록 등록하고 있다.

코드에서의 예시:
functions = {
    "getWeather": {
        "name": "getWeather",
        "description": "Realtime info about the weather.",
        "parameters": CITY_PARAM,
        "function": partial(get_request, "/api/weather")
    },
    "getPopulation": {
        "name": "getPopulation",
        "description": "Realtime info about the population.",
        "parameters": CITY_PARAM,
        "function": partial(get_request, "/api/population")
    },
}
이름(name): 각 도구를 고유하게 식별할 수 있는 이름이다.
설명(description): 도구가 수행하는 작업을 설명한다.
매개변수(parameters): 도구가 받는 입력의 JSON 스키마를 정의한다.
함수(function): 도구가 실제로 실행할 작업이다. 여기서는 partial을 사용해 API 엔드포인트를 바인딩하였다.
LangChain과의 대응: LangChain에서 Tool 클래스 또는 tool 데코레이터로 도구를 정의하며, 위 코드와 유사한 방식으로 도구를 등록한다.

메모리(Memory)
메모리는 에이전트가 대화의 문맥을 유지하도록 돕는다. 제공된 코드에서는 messages 리스트가 이러한 역할을 한다.
코드에서의 예시:
messages = []
messages.append({"role": "system", "content": "You are an AI assistant with multiple tools..."})
messages 리스트는 대화 이력을 저장하며, 시스템 프롬프트, 사용자 입력, 모델 응답을 순차적으로 기록한다.
LangChain과의 대응: LangChain에서는 ConversationBufferMemory, ConversationSummaryMemory와 같은 메모리 모듈을 사용해 대화 이력을 관리한다.

에이전트 루프(Agent Loop)
에이전트 루프는 모델의 응답을 처리하고, 필요한 경우 도구를 호출하며, 사용자가 원하는 결과를 도출할 때까지 반복한다.
코드에서의 예시:
iter = 0
while iter < MAX_ITERATIONS:
    response = openai.ChatCompletion.create(...)
    if message.get("function_call"):
        function_name = message["function_call"]["name"]
        results = call_function(function_name, function_input)
        messages.append({"role": "function", "name": function_name, "content": results})
        iter += 1
    else:
        return message['content']

모델이 도구 호출 여부를 판단하며, 호출한 결과를 메시지 이력에 추가한 후 루프를 반복한다.
LangChain과의 대응: LangChain의 AgentExecutor는 에이전트의 도구 호출 및 반복 작업을 자동으로 관리한다.

확장된 구성 요소
동적 도구 호출
도구를 동적으로 호출하기 위해 도구 이름과 매개변수를 사용하여 실행하는 로직이 포함되어 있다.
코드에서의 예시:
def call_function(name, params):
    f = functions[name]
    return f['function'](json.loads(params))
도구 이름과 입력 데이터를 기반으로 적절한 함수를 실행한다.
LangChain과의 대응: LangChain은 등록된 도구의 run 메서드를 사용해 자동으로 호출하며, 이를 에이전트 실행 플로우에 통합한다.

반복적 추론
에이전트는 도구 결과를 기반으로 추가적인 작업을 수행하며, 원하는 결과를 얻기 위해 여러 차례 도구를 호출한다.
코드에서의 예시:
while 루프에서 반복적으로 도구를 호출하거나 모델의 응답을 처리한다.
LangChain과의 대응: LangChain은 이러한 작업을 지원하는 에이전트 프레임워크를 제공하며, react 기반 에이전트가 이러한 반복적 추론을 처리한다.

LangChain의 주요 기능과 비교
a. 도구 통합
제공된 코드에서 functions와 get_functions_for_model은 LangChain의 도구 등록 및 사양 정의와 유사하다.
b. 메모리 관리
대화 이력을 messages 리스트로 관리하는 방식은 LangChain의 메모리 모듈과 직접 대응된다.
c. 에이전트 루프
제공된 코드의 루프는 LangChain의 AgentExecutor와 구조적으로 유사하며, 사용자 정의 작업과 도구 호출을 통합한다.
d. 프롬프트 설계
시스템 메시지와 도구 사양이 포함된 구조는 LangChain의 프롬프트 엔지니어링 방식과 맞닿아 있다.

마무리
앞의 설명은 랭체인 도구 통합, 메모리 관리, 에이전트 루프의 구현 방식을 보여준다. LangChain은 이와 같은 구조를 확장 가능하고 재사용 가능한 방식으로 제공하며, 코드 작성과 관리의 복잡성을 줄이는 데 도움을 준다. LangChain을 사용하면 이러한 구성 요소를 더 간결하게 관리할 수 있으며, 다양한 에이전트 유형과 도구를 손쉽게 통합할 수 있다. 다만, 매우 복잡한 추상화와 불명확한 에이전트의 동작 메커니즘 등은 개선이 필요해 보인다. 최근 랭체인보다 간략화된 RAG 라이브러리가 오픈되고 있어, 프로젝트 목적에 따라 이를 고려해 볼 필요도 있다.

레퍼런스

• Why you don’t need LangChain for building a RAG bot | Artificial Intelligence in Plain English
• Unexpected value passed to LangChain Tool argument - Stack Overflow
• Challenges in Tool Selection for Multi-Tool Agents with Langchain : r/LangChain
• Langchain is pointless : r/LangChain
• Is anyone actually using Langchain in production? : r/LangChain

Polygonjs 기반 인터랙티브 3D 앱 만들기

요즘 디지털 환경에서 인터랙티브 3D 경험은 다양한 산업에서 필수 요소가 되고 있다. 과학 시각화, 제품 쇼케이스, 비디오 게임, 디지털 트윈, 설정 도구(Configurators), 그리고 예술 작품까지, 3D 콘텐츠는 어디에서나 볼 수 있으며 그 활용 범위는 점점 넓어지고 있다.

그러나 이러한 몰입형 경험을 만드는 일은 쉽지 않다. 3D 디자인과 웹 기술 모두에 대한 전문 지식이 필요하며, 단순히 기능적으로 만드는 것조차 어려울 수 있다. 여기에 더해 텍스처 아티스트, 모델러, 리거, 애니메이터, 룩데브(look dev), 쉐이더 개발자 등 3D 분야의 다양한 전문성을 요구하기 때문에 작업은 금세 복잡해질 수밖에 없다.

머리말

Polygonjs는 이러한 과정을 단순화하고 쉽게 만들어주는 도구이다. Polygonjs는 다음과 같은 특징으로 웹용 3D 제작을 지원한다.

• 사용하기 쉬움: 누구나 쉽게 접근할 수 있는 직관적인 도구이다.
• 확장 가능: 특정 요구 사항과 워크플로에 맞게 확장할 수 있다.
• 강력함: 아름답고 성능이 뛰어난 3D 경험을 만들 수 있다.

Polygonjs는 복잡함을 줄이고 창의성에 집중할 수 있도록 돕는다. 이제 Polygonjs를 사용하여 더 간단하고 빠르게, 그리고 멋진 3D 경험을 만들어 본다.

Modeling/CAD_basics

설치 방법

다음 명령을 실행해 본다. 

npm create polygonjs@latest

npm add polygonjs-editor

npm run polygon

사용 방법

사용 방법은 다음과 같다.

영상을 보면 알겠지만, 비쥬얼 프로그래밍 방식으로, 노드로 구성되어 있어, 작업이 직관적이

고 편리하다. 

레퍼런스

• Polygonjs: WebGL Design & Animation Tool
• polygonjs: node-based WebGL design tool
• Polygonjs - node-based WebGL design tool
• Simple yet powerful CAD (Computer Aided Design) library, written with Python.

벡터데이터베이스 기반 간단한 PDF, Web 기반 검색 전문 에이전트 만들기

이 글은 벡터데이터베이스 기반 간단한 PDF, Web 기반 검색 전문 에이전트 만드는 방법을 정리한 것이다. 이 글은 LangChain을 사용한다. lanchain은 급속히 버전과 함수가 개선되고 있어 API가 자주 변경되는 경향이 있다(Deprecated error). 이런 이유로, 현지 시점에서 관련 에이전트를 만드는 주요 코드를 남긴다. 

에이전트 예시(Build Ask Data app - Streamlit)

에이전트 예시(Local_RAG_Agents_Intel_cpu)

LangChain 설명 및 사용법은 앞의 블로그 내용(검색)을 참고한다. 다음 같은 순서로 LLM이 사용된다는 것만 이해하고 있으면 코드 사용에 큰 어려움은 없을 것이다. 

사용자 입력 > 컨텐츠 검색 입력 > 에이전트 도구에서 데이터 입력 > 과거 메모리 내용 입력 > 프롬프트 생성 > LLM 전달 > 추론 내용 출력

설치 

파이썬, 아나콘다가 준비되어 있다는 가정에서, 라이브러리 설치는 다음과 같다. 

pip install --upgrade openai langchain-openai langchain langchain-experimental

이 글은 OpenAI API Key, Tavily API Key를 신청해 가지고 있다고 가정한다. 실행 시 로그나 성능을 확인하고자 한다면, Langsmith에 가입한다. 각 API는 해당 웹사이트에서 가입하여 얻을 수 있다. 각 사이트에서 생성한 API키는 .env 파일을 생성해 다음과 같이 입력해 놓는다.

OPENAI_API_KEY=<OpenAI API Key>

LANGCHAIN_TRACING_V2=false

LANGCHAIN_ENDPOINT=https://api.smith.langchain.com

LANGCHAIN_API_KEY=<Langsmith API Key>

LANGCHAIN_PROJECT=AGENT TUTORIAL

코딩

다음과 같이 코딩한다. 우선 필요한 라이브러리를 임포트한다.

import os, getpass

from openai import OpenAI  

from dotenv import load_dotenv

from langchain_community.tools.tavily_search import TavilySearchResults

from langchain.text_splitter import RecursiveCharacterTextSplitter

from langchain_community.vectorstores import FAISS

from langchain_openai import OpenAIEmbeddings

from langchain.agents import create_openai_functions_agent

from langchain_community.document_loaders import PyPDFLoader

from langchain.tools.retriever import create_retriever_tool

from langchain.agents import AgentExecutor

from langchain_openai import ChatOpenAI

from langchain import hub

os.environ["TAVILY_API_KEY"] = "input your key"

os.environ["LANGCHAIN_PROJECT"] = "AGENT TUTORIAL"

load_dotenv()

client = OpenAI(api_key="input your key")

# Travily의 웹 검색 객체 획득

web_search = TavilySearchResults(k=5) 

# PDF 데이터를 벡터DB에 청크로 저장하고, 문서 검색 객체를 획득

loader = PyPDFLoader("./202212_LiDAR.pdf")  # 적절한 PDF 입력

text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=100)

split_docs = loader.load_and_split(text_splitter)

embeddings = OpenAIEmbeddings(api_key=os.environ["OPENAI_API_KEY"])

vector = FAISS.from_documents(split_docs, embeddings)

vectordb_retriever = vector.as_retriever()

output = vectordb_retriever.get_relevant_documents(

    "PCL(Point Cloud Library) 라이브러리에 대해 설명해줘"

)[0]

print(output)  # PCL 검색 예시

pdf_retriever_tool = create_retriever_tool(

    vectordb_retriever,

    name="pdf_search",

    description="2023년 12월 PCL(Point Cloud Library) 정보를 PDF 문서에서 검색합니다. '2023년 12월 라이다 포인트 클라우드 처리 기술' 과 관련된 질문은 이 도구를 사용해야 합니다!",

) # 문서 검색 객체

# 에이전트 도구들 설정

tools = [web_search, pdf_retriever_tool]

# LLM 객체 설정

llm = ChatOpenAI(model="gpt-4-turbo-preview", temperature=0)

# 프롬프트 설정

prompt = hub.pull("hwchase17/openai-functions-agent")

print(prompt.messages)

# LLM 함수 호출 에이전트 설정

agent = create_openai_functions_agent(llm, tools, prompt)

agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True)

# 전문가 에이전트 질문 수행

response = agent_executor.invoke(

    {

        "input": "2010년부터 PCL 라이브러리 기술에 대한 대한 내용을 PDF 문서에서 알려줘"

    }

)

print(f'답변: {response["output"]}')

우선 PDF에서 검색하라고 에이전트에게 명령했으므로, tools에 등록된 pdf vector database를 검색하는 tool을 실행한다. 다음은 이 결과의 예이다. 

> Finished chain.

답변: PCL(Point Cloud Library)은 BSD 라이선스로 개발되어 상업 및 연구 목적에 서 무료로 사용할 수 있습니다. 이 라이브러리는 크로스 플랫폼 개발을 지원하여 리눅스, 맥, 윈도우, 안드로이드 등 다양한 운영 체제에서 사용할 수 있습니다. PCL은 잘 모듈화되어 있어 배포가 용이하며, ROS(Robot Operating System), PDAL 등 유명한 오픈소스 프로젝트에서 직접 사용됩니다....

이제, web 검색 도구를 실행해 관련 내용을 추론하고, 기존 추론된 내용은 메모리를 이용해 같이 이용해 보도록 한다. 다음 코드를 입력해 본다. 

from langchain_community.chat_message_histories import ChatMessageHistory

from langchain_core.runnables.history import RunnableWithMessageHistory

message_history = ChatMessageHistory()  # 메모리 사용

agent_with_chat_history = RunnableWithMessageHistory(

    agent_executor,

    lambda session_id: message_history,

    input_messages_key="input",

    history_messages_key="chat_history",

)

response = agent_with_chat_history.invoke(

    {

        "input": "2024년부터 PCL에 대한 새로운 내용을 인터넷 웹 문서에서 알려줘"

    },

    config={"configurable": {"session_id": "MyTestSessionID"}},

)

print(f"답변: {response['output']}")

이 코드를 실행하면, 다음과 같이 travily web search 도구를 이용해, 인터넷에서 해당 질문에 대한 검색을 수행하여, 결과를 LLM이 추론한다.

추론 결과는 다음과 같다.

> Finished chain.

답변: 2024년에 대한 Point Cloud Library (PCL)의 새로운 업데이트와 관련된 정보는 다음과 같습니다:

- **GitHub Pull Requests**: 2024년에는 PCL 개발에 몇 가지 주목할 만한 기여가 있었습니다. 예를 들어, 2024년 2월 10일에 larshg에 의해 열린 [#5958 (https://github.com/PointCloudLibrary/pcl/pulls)는 기능을 두 개의 라이브러리로 분할하 

는 작업에 대한 초안입니다. 또한, 2024년 1월 15일에 larshg에 의해 열린 [#5932 (https://github.com/PointCloudLibrary/pcl/pulls)는 관련된 또 다른 기여입니다.

- **공식 문서 및 웹사이트**: PCL은 대규모 오픈 프로젝트로, 포인트 클라우드 처리를 위한 다양한 최신 알고리즘을 포함하고 있습니다. 이러한 알고리즘에는 노이즈 데이터에서 이상치를 필터링하는 것과 같은 작업을 위한 필터링, 특징 추정, 표면 재구성, 등록, 모델 피팅 및 세분화가 포함됩니다. [공식 문서](http://pointclouds.org/documentation/index.html)와 [공식 웹사이트](https://pointclouds.org/)에서는 PCL에 대한 자세한 정보와 리소스를 제공합니다.

결론

langchain의 tool 에이전트 기능을 이용하면, 파일 벡터 검색, 웹 검색, 계산, 추론, 텍스트 및 차트 생성 등과 같은 기능을 쉽게 개발할 수 있다.

참고로, langchain과 연동되는 langsmith 사이트를 방문하면, 다음과 같이 얼마나 토큰을 사용했는 지 확인할 수 있다. 

LangSmith 로그 결과

레퍼런스

• LangSmith
• langchain-ai/langchain: 🦜🔗 Build context-aware reasoning applications
• langchain/cookbook/generative_agents_interactive_simulacra_of_human_behavior.ipynb at master · langchain-ai/langchain
• langchain/cookbook/llm_symbolic_math.ipynb at master · langchain-ai/langchai
• teddylee777/langchain-kr: LangChain Document, Cookbook, tutorial
• LangChain tutorial #5: Build an Ask the Data app - Show the Community! - Streamlit

부록

LCEL 문법

사용자 정의 체인을 위한 LCEL은 기본으로 Runnable 에서 파생되어 처리된다. 이는 다음 표준적인 인터페이스를 지원한다.

• stream: 응답 청크를 스트리밍
• invoke: 입력에 대한 체인을 실행 호출
• batch: 입력 목록에 대해 체인들을 실행 호출
• astream: 비동기적으로 응답 청크를 스트리밍
• ainvoke: invoke의 비동기 버전

LCEL는 유닉스 파이프라인처럼 입력 | 처리 | 실행 | 출력 형태로 유연한 LLM 오케스트레이션을 지원한다.

from langchain_openai import ChatOpenAI

from langchain_core.prompts import PromptTemplate

from langchain_core.output_parsers import StrOutputParser

model = ChatOpenAI()

prompt = PromptTemplate.from_template("Explain about {topic} as one paragraph.")

chain = prompt | model | StrOutputParser()

다음 코드를 이용해 체인 그래프의 구조를 확인할 수 있다.

chain.get_graph().nodes

chain.get_graph().edges

chain.get_graph().print_ascii()

각 체인은 이터레이션(iteration)을 이용해 각 단계를 개별 관찰, 실행, 제어할 수 있도록 한다.

Runnable

runnable을 사용하면, 프롬프트 실행 중 동적으로 입력 단계에 참여할 수 있다. 이는 프롬프트에 데이터를 전달할 수 있다.

from langchain_core.prompts import PromptTemplate

from langchain_openai import ChatOpenAI

from langchain_core.runnables import RunnablePassthrough # RunnablePassthrough().invoke({"num": 10})

from langchain_core.runnables import RunnableLambda, RunnablePassthrough

prompt = PromptTemplate.from_template(

    "List top {n} famous people which have birthday {today}."

)

llm = ChatOpenAI(temperature=0, model_name="gpt-4o")

chain = (

    {"today": RunnableLambda(get_today), "n": RunnablePassthrough()}

    | prompt

    | llm

    | StrOutputParser()

)

print(chain.invoke({'n': 3}))

사용자 정의 람다를 지원하는 RunnableLambda, 입력에 따른 동적 라우팅 RunnableBranch, 병렬 처리 RunnableParall, 이전 내용 기억을 하는 RunnableWithMessageHistory 등이 있다. 

@chain을 사용하면, 알아서 RunnableLambda로 주어진 함수를 래핑한다.

@chain

def custom_chain(text):

    chain1 = prompt1 | ChatOpenAI(model="gpt-4o-mini") | StrOutputParser()

    output1 = chain1.invoke({"topic": text})

    chain2 = prompt2 | ChatOpenAI(model="gpt-4o-mini") | StrOutputParser()

    return chain2.invoke({"sentence": output1})

PydanticOutputParser

LLM 출력을 기계처리 가능한 구조화된 형태로 변환하는 파서이다. 다음은 그 예이다. 

class EmailSummary(BaseModel):

    person: str = Field(description="person who send email")

    email: str = Field(description="email address of sender")

    subject: str = Field(description="email title")

    summary: str = Field(description="email's summerized text")

    date: str = Field(description="meeting date and time in email")

parser = PydanticOutputParser(pydantic_object=EmailSummary)

print(parser.get_format_instructions())

이와 유사한, StructuredOutputParser, JsonOutputParser, PandasDataFrameOutputParser 등이 있다.

OutputFixingParser

출력 파싱 시 발생하는 오류를 자동으로 수정한다. 

LLM 모델 종류

lanchain이 지원하는 주요 LLM 모델은 openai, anthropic claude, cohere aya, facebook llama, microsoft phi, google gemini (ChatGoogleGenerativeAI), GPT4All 등이 있다. 이 중 몇몇 모델은 멀티모달을 지원한다.

gemini = ChatGoogleGenerativeAI(model="gemini-1.5-pro-latest")

system_prompt = (

    "You're writer. From given image, write short novel."

)

user_prompt = "Write short novel from the follow image."

multimodal_gemini = MultiModal(

    llm, system_prompt=system_prompt, user_prompt=user_prompt

)

IMAGE_URL = "house.jpg"

answer = multimodal_gemini.stream(IMAGE_URL)

Caching

이미 얻은 답변을 캐쉬처리 하여, LLM API 호출을 줄여주고, 실행 속도를 높여준다. InMemoryCache, SQLiteCache 등이 있다.

체인 직렬화

앞서 정의한 LLM 체인을 직렬화(langchain_core.load)하면, 개별로 파일 저장해, 필요 시 동적으로 로딩하여 사용할 수 있다. 

LLM 모델 로컬 실행

LLM 모델을 로컬 PC에서도 실행할 수 있다. 이 경우, 허깅페이스, Ollama를 이용한다. 

llm = HuggingFacePipeline.from_model_id(

    model_id="beomi/llama-2-ko-7b",  

    task="text-generation",  

    pipeline_kwargs={"max_new_tokens": 512},

)

llm = ChatOllama(model="EEVE-Korean-10.8B:latest")

문서 로더

LangChain은 매우 다양한 문서 종류를 지원한다. PDF, CSV, Excel, Word, Web, JSON, Arxiv 등을 지원한다.

문서 청크 분할 및 요약

문서를 LLM에 입력 가능하도록 청크로 분할하는 CharacterTextSplitter(/n 기준 분할), 재귀적 문서 분할, 토큰 제한 분할, 의미론적 분할, 코드 분할, HTML 분할, JSON 분할(RecursiveJsonSplitter) 등이 있다. 

문서를 요약하는 방법은 전체 문서 요약하는 Stuff, 분할 요약하는 Map reduce, 분할 요약 후 정리하는 Map refine 및 chain of density, clustering map refine 방법 등이 있다. 

임베딩 모델

문서의 청크를 검색 가능한 벡터 형태의 임베딩 벡터로 변환하는 모델을 말한다. 보통, OpenAIEmbedding, CacheBackedEmbeddings, HuggingFace Embeddings, OllamaEmbeddings, GPT4All 등이 사용된다. 

벡터 데이터베이스와 검색기

보통, Chroma, Vectordatabase, FAISS, Pinecone 등이 사용된다. 여기서 원하는 임베딩 벡터를 검색해 문서를 리턴하는 방법은 vectorstore 기반 similarity search, MMR, ContextualCompressionRetriever(압축 검색), ContextualCompressionRetriever(컨테텍스트 압축), LongContextReorder(긴 문맥 기록), ParentDocumentRetriever(계층적 문서 검색), MultiQueryRetriever(다중 질의 후 검색), SelfQueryRetriever 등이 있다.

이와 더불어, 재순위(Reranker)를 이용해, 원하는 답을 검색할 때까지 우선순위를 조정할 수 있다. Cross Encoder Reranker, Cohere reranker, Jina Reranker, FlashRank reranker 등이 있다.

메모리

채팅과 같이 앞의 입출력에 대한 맥락을 기억해야 할 때 사용한다. RunnableWithMessageHistory 등이 있다.

Fallback 오류 방지

만약 체인 실행 중 여러 이유로 에러가 발생할 경우, 다시 재 시도하는 방법이 폴백이다. with_fallbacks 함수를 사용한다.

도구와 에이전트

앞서 언급한 도구나 사전 정의된 에이전트를 이용하면, 멀티 에이전트를 만들 수 있다. 도구들 중에서는 파일관리 도구, 이미지 생성 도구, 보고서 작성 도구 등이 있다.

랭체인 무료 제공 도구 예

예를 들어, agent_toolkits에는 langchain 커뮤니티 생태계에서 업로드한 다양한 에이전트가 있다. 이 중에 엑셀 분석 에이전트, SQL agent인 create_sql_agent 등은 많이 사용된다.

랭체인 커뮤니티 제공 에이전트 예

이런 에이전트는 BaseToolkit, BaseTool, RunnableSerializable를 기본 클래스로 파생되어 개발할 수 있다. 이 클래스의 아키텍처는 컴포짓(Composite) 디자인 패턴으로 다음과 같다.

도구를 정의할 때 앞의 @chain 처럼 @tool 데코레이터를 사용할 수도 있다. description은 어떤 도구를 LLM이 선택할 지를 체인에서 결정하는 힌트로 동작한다. 예는 다음과 같다.

import re

import requests

from bs4 import BeautifulSoup

from langchain.agents import tool

@tool

def get_word_length(word: str) -> int:

    """Returns the length of a word."""

    return len(word)

@tool

def add_function(a: float, b: float) -> float:

    """Adds two numbers together."""

    return a + b

@tool

def naver_news_crawl(news_url: str) -> str:

    """Crawls a naver.com news article and returns the body content."""

    response = requests.get(news_url)

    if response.status_code == 200:

        soup = BeautifulSoup(response.text, "html.parser")

        title = soup.find("h2", id="title_area").get_text()

        content = soup.find("div", id="contents").get_text()

        cleaned_title = re.sub(r"\n{2,}", "\n", title)

        cleaned_content = re.sub(r"\n{2,}", "\n", content)

    else:

        print(f"HTTP fail code: {response.status_code}")

    return f"{cleaned_title}\n{cleaned_content}"

tools = [get_word_length, add_function, naver_news_crawl]

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="gpt-4o-mini", temperature=0)

llm_with_tools = llm.bind_tools(tools)

LLM 평가

생성 결과에 대한 평가 방법은 자동 계산이 가능한 BLEU, ROUGE, METEOR, SemScore, 수동 평가, 작업 기반 평가, LLM 기반 평가 등이 있다. 평가용 라이브러리는 RAGAS, LangSmith, W&B 등이 있다.

평가를 위해, 테스트 데이터셋을 from ragas.testset.generator import TestsetGenerator 를 통해 자동 생성할 수 있다. 다만, 토큰 비용이 과대해 질 수 있는 문제가 발생할 수 있다. 이 경우, 오픈소스 LLM 모델을 사용할 수 있다.