- Generation type Rolling : Input과 Output을 포함하여 결과값을 생성함 One-time : 생성 결과를 에디터 영역에 바로 추가하지 않고 미리보기 상태로 표시함. 생성된 결과를 적용하려면 '적용' 버튼을 누릅니다. Multiple : 동일한 입력값으로 다수의 결과를 생성함 Example : Input에 쓰일 예제를 생성함 - 샘플 형식 클로바 스튜디오 내 샘플 예시 플레이그라운드(웹 기반) 내에서 데이터 생성을 위한 예시로 여러 종류의 데이터 형태를 만들 수 있는 예시가 존재 그러나, 클로바 스튜디오의 API를 통해 진행하는 것이 아닌 위와 같이 설명 등을 직접 넣어 데이터를 생성함 면접질문 생성의 예로보녀 생성되는 데이터는 설명에 대한 면접질문을 생성하는 것으로 "질문 :..

Polyglot inference code 12.8b-4bit 사용법_2306xx EleutherAI의 Polyglot-ko-12.8b 모델을 Google Colab에서 테스트 진행 Polyglot 모델은 "상업적 이용" 가능함 현재 무료버전에서 4-bit로 축소한 모델은 이용가능하나, 5.8b 이상의 모델에선 Out of memory 현상이 있었음. 또한, 디스크 할당량이 100GB여서 디스크할당량을 초과하는 이슈를 보였음. 그리고 상용으로 가용가능한 모델인 polyglot-ko-12.8b를 테스트해보고자 함. Finetune 진행을 위해서는 모든 데이터를 재학습해야하는 번거로움이 존재함. GPTNeoX기반의 Polyglot-ko모델은 모두 Full finetune만 진행 Huggingface PEFT..

GPTNeo, KoAlpaca, Polyglot 한국어 모델 관련 이슈 및 세부스펙 정리 LoRA 모델 학습 *LoRA : Low-Rank Adaptation of Large Language Models 고정된 weights를 갖는 pretrained model에 학습 가능한 rank decomposition 행렬을 삽입한 것으로 중간 중간 학습 가능한 파라미터를 삽입했다는 점에서 어댑터와 비슷하지만 구조적으로 조금 다르다고 할 수 있음. 적은 양의 파라미터로 모델을 튜닝하는 방법론이기 때문에 적은수의 GPU로 빠른 튜닝 가능 LoRA는 GPT-3와 같은 거대 모델을 fine-tuning하면 엄청난 양의 parameter들을 다 재학습 시켜야하고 이는 계산량도 많고 시간도 많이 걸리는 작업이기 때문에 각..