2024년 6월 24일 월요일

2024년 오픈소스 대형언어모델 소개

›
이 글은 2024년 오픈소스 대형언어모델을 간략히 소개한다. LLM은 자연어 처리를 위해 개발되었지만, 현재는 멀티모달리티 모델로 발전하고 있다. 다양한 LLM 모델과 자연어 처리 BERT  BERT 는 Google이 2018년에 도입한 LLM 제품군...
2024년 6월 22일 토요일

GPU 거지 딥러닝 서버 만들기

›
이 글은 GPU 거지?를 위한 딥러닝 서버 구축 방법을 간략히 알아본다.  ASUS ESC4000 G4 2U 8Bays Dual 2nd Gen Scalable Processor Rackmount GPU Server | eBay  ( Products |...
2024년 6월 21일 금요일

Weights & Biases로 딥러닝 모델 개발 프로세스 기록, 분석, 가시화 및 모델 튜닝하기

›
딥러닝 모델들을 개발하다 보면, 수많은 종류의 데이터셋, 하이퍼모델 파라메터 튜닝 등으로 인해 관리해야 할 자료들이 매우 복잡해진다는 것을 알게 된다. Weights & Biases (W&B) 회사는 이름 그대로 완벽한 모델 학습을 위해...
2024년 6월 20일 목요일

도메인 모델 성능개선을 위한 Lora, LLAMA3 기반 LLM 만들기

›
이 글은 Lora 기반 LLAMA3 모델 파인튜닝하는 방법을 간략히 보여준다. 이를 통해, 특정 도메인의 LLM 모델 생성 정확도를 향상시킬 수 있다. 머리말 LLAMA3는 메타가 개발한 LLM 제품이다. 모델은 15조 개의 토큰으로 구성된 광범위한 ...
2024년 6월 19일 수요일

NLP의 핵심. 토큰, 임베딩 모델 파인튜닝

›
이 글은 LLM NLP처리의 핵심인 토큰, 임베딩 모델 파인튜닝에 대한 내용을 간략히 다룬다. 여기서 토큰은 문장을 구성하는 단어로 가정하면 이해하기 쉽다. 토큰과 임베딩은 입력 시퀀스에 대한 출력을 학습, 예측할 때 훈련의 전제가 되는 LLM의 기본...
2024년 6월 16일 일요일

LLM 의 통계적 패턴 예측성과 한계에 대한 연구

›
요즘 AI 연구자들이 LLM에 대한 잠재력을 연구하고 있는 분위기가 있는 데, 마침 Google, DeepMind 연구팀으로 부터 관련된 논문이 나왔다. 이 연구는 LLM을 AGI와 같은 Multi function AI로 사용할 수 있는 지에 대한 근...