Transformer 기술 조사 - 논문 : Attention is All You Need(Ashish Vaswan, Noam Shazeer,Niki Parmar, ... 2017) - Transformer은 2017년 구글에서 발표한 상기 논문에서 나온 모델로 seq2seq 구조인 인코더-디코더를 따르면서도, 논문의 이름과 동일하게 Attention 만으로 구현된 모델임. 본 모델은 RNN, CNN 등 을 전혀 사용하지 않고 인코더-디코더 구조를 설계하였음에도 RNN 보다 우수한 성능을 보임 - 기존에 사용되었던 seq2seq 구조는 인코더-디코더 구조로 구성되어 있으며, seq2seq 모델에서는 인코더가 입력 시퀀스를 하나의 벡터로 압축을 하여 디코더에서 벡터를 출력 시퀀스로 만들어주었다. 이러한 구..

- Generation type Rolling : Input과 Output을 포함하여 결과값을 생성함 One-time : 생성 결과를 에디터 영역에 바로 추가하지 않고 미리보기 상태로 표시함. 생성된 결과를 적용하려면 '적용' 버튼을 누릅니다. Multiple : 동일한 입력값으로 다수의 결과를 생성함 Example : Input에 쓰일 예제를 생성함 - 샘플 형식 클로바 스튜디오 내 샘플 예시 플레이그라운드(웹 기반) 내에서 데이터 생성을 위한 예시로 여러 종류의 데이터 형태를 만들 수 있는 예시가 존재 그러나, 클로바 스튜디오의 API를 통해 진행하는 것이 아닌 위와 같이 설명 등을 직접 넣어 데이터를 생성함 면접질문 생성의 예로보녀 생성되는 데이터는 설명에 대한 면접질문을 생성하는 것으로 "질문 :..

Polyglot inference code 12.8b-4bit 사용법_2306xx EleutherAI의 Polyglot-ko-12.8b 모델을 Google Colab에서 테스트 진행 Polyglot 모델은 "상업적 이용" 가능함 현재 무료버전에서 4-bit로 축소한 모델은 이용가능하나, 5.8b 이상의 모델에선 Out of memory 현상이 있었음. 또한, 디스크 할당량이 100GB여서 디스크할당량을 초과하는 이슈를 보였음. 그리고 상용으로 가용가능한 모델인 polyglot-ko-12.8b를 테스트해보고자 함. Finetune 진행을 위해서는 모든 데이터를 재학습해야하는 번거로움이 존재함. GPTNeoX기반의 Polyglot-ko모델은 모두 Full finetune만 진행 Huggingface PEFT..

GPTNeo, KoAlpaca, Polyglot 한국어 모델 관련 이슈 및 세부스펙 정리 LoRA 모델 학습 *LoRA : Low-Rank Adaptation of Large Language Models 고정된 weights를 갖는 pretrained model에 학습 가능한 rank decomposition 행렬을 삽입한 것으로 중간 중간 학습 가능한 파라미터를 삽입했다는 점에서 어댑터와 비슷하지만 구조적으로 조금 다르다고 할 수 있음. 적은 양의 파라미터로 모델을 튜닝하는 방법론이기 때문에 적은수의 GPU로 빠른 튜닝 가능 LoRA는 GPT-3와 같은 거대 모델을 fine-tuning하면 엄청난 양의 parameter들을 다 재학습 시켜야하고 이는 계산량도 많고 시간도 많이 걸리는 작업이기 때문에 각..