GPTNeo, KoAlpaca, Polyglot 한국어 모델 관련 이슈 및 세부스펙 정리 LoRA 모델 학습 *LoRA : Low-Rank Adaptation of Large Language Models 고정된 weights를 갖는 pretrained model에 학습 가능한 rank decomposition 행렬을 삽입한 것으로 중간 중간 학습 가능한 파라미터를 삽입했다는 점에서 어댑터와 비슷하지만 구조적으로 조금 다르다고 할 수 있음. 적은 양의 파라미터로 모델을 튜닝하는 방법론이기 때문에 적은수의 GPU로 빠른 튜닝 가능 LoRA는 GPT-3와 같은 거대 모델을 fine-tuning하면 엄청난 양의 parameter들을 다 재학습 시켜야하고 이는 계산량도 많고 시간도 많이 걸리는 작업이기 때문에 각..