Polyglot finetuning 12.6b-8bit TestPolyglot finetuning 방법엔 여러가지가 존재Koalphaca, OSLO를 이용한 예제 등Finetuning를 진행할 시 대부분의 학습된 모델들이 깃헙에 같이 업로드 되어 있는finetune.py 를 이용하여 진행 Transfer learning 와 Fine Tuning 차이점전이학습(Transfer learning)데이터의 수가 많지 않거나 데이터를 확보하는데 많은 비용이 드는 경우 사용학습된 신경망의 일부 능력을 유사하거나 전혀 새로운 분야에서 사용되는 신경망의 학습에 이용하는 방법학습된 신경망을 pretrained model이라 부르며, 이 모델을 가지고 적용하려는 상황에 맞게 모델의 가중치를 약간씩 변화하여 사용CNN을 이..

Transformer 기술 조사 - 논문 : Attention is All You Need(Ashish Vaswan, Noam Shazeer,Niki Parmar, ... 2017) - Transformer은 2017년 구글에서 발표한 상기 논문에서 나온 모델로 seq2seq 구조인 인코더-디코더를 따르면서도, 논문의 이름과 동일하게 Attention 만으로 구현된 모델임. 본 모델은 RNN, CNN 등 을 전혀 사용하지 않고 인코더-디코더 구조를 설계하였음에도 RNN 보다 우수한 성능을 보임 - 기존에 사용되었던 seq2seq 구조는 인코더-디코더 구조로 구성되어 있으며, seq2seq 모델에서는 인코더가 입력 시퀀스를 하나의 벡터로 압축을 하여 디코더에서 벡터를 출력 시퀀스로 만들어주었다. 이러한 구..

- Generation type Rolling : Input과 Output을 포함하여 결과값을 생성함 One-time : 생성 결과를 에디터 영역에 바로 추가하지 않고 미리보기 상태로 표시함. 생성된 결과를 적용하려면 '적용' 버튼을 누릅니다. Multiple : 동일한 입력값으로 다수의 결과를 생성함 Example : Input에 쓰일 예제를 생성함 - 샘플 형식 클로바 스튜디오 내 샘플 예시 플레이그라운드(웹 기반) 내에서 데이터 생성을 위한 예시로 여러 종류의 데이터 형태를 만들 수 있는 예시가 존재 그러나, 클로바 스튜디오의 API를 통해 진행하는 것이 아닌 위와 같이 설명 등을 직접 넣어 데이터를 생성함 면접질문 생성의 예로보녀 생성되는 데이터는 설명에 대한 면접질문을 생성하는 것으로 "질문 :..

Polyglot inference code 12.8b-4bit 사용법_2306xx EleutherAI의 Polyglot-ko-12.8b 모델을 Google Colab에서 테스트 진행 Polyglot 모델은 "상업적 이용" 가능함 현재 무료버전에서 4-bit로 축소한 모델은 이용가능하나, 5.8b 이상의 모델에선 Out of memory 현상이 있었음. 또한, 디스크 할당량이 100GB여서 디스크할당량을 초과하는 이슈를 보였음. 그리고 상용으로 가용가능한 모델인 polyglot-ko-12.8b를 테스트해보고자 함. Finetune 진행을 위해서는 모든 데이터를 재학습해야하는 번거로움이 존재함. GPTNeoX기반의 Polyglot-ko모델은 모두 Full finetune만 진행 Huggingface PEFT..

GPTNeo, KoAlpaca, Polyglot 한국어 모델 관련 이슈 및 세부스펙 정리 LoRA 모델 학습 *LoRA : Low-Rank Adaptation of Large Language Models 고정된 weights를 갖는 pretrained model에 학습 가능한 rank decomposition 행렬을 삽입한 것으로 중간 중간 학습 가능한 파라미터를 삽입했다는 점에서 어댑터와 비슷하지만 구조적으로 조금 다르다고 할 수 있음. 적은 양의 파라미터로 모델을 튜닝하는 방법론이기 때문에 적은수의 GPU로 빠른 튜닝 가능 LoRA는 GPT-3와 같은 거대 모델을 fine-tuning하면 엄청난 양의 parameter들을 다 재학습 시켜야하고 이는 계산량도 많고 시간도 많이 걸리는 작업이기 때문에 각..

카메라 캘리브레이션은 3D 세계를 2D 이미지로 투영하는 카메라의 내부 파라미터와 외부 파라미터를 추정하는 과정입니다. 이를 통해 카메라로 찍은 이미지를 실제 세계 좌표계로 변환할 수 있습니다. 이번 글에서는 카메라 캘리브레이션의 필요성, 캘리브레이션 과정 및 OpenCV 라이브러리를 이용한 캘리브레이션 방법에 대해 알아보겠습니다. 1. 카메라 캘리브레이션이란? 우리가 실제로 보는 세상은 3차원으로 이루어져 있습니다. 하지만 우리가 주로 사용하는 카메라로 우리가 눈으로 보는 세상을 찍게되면 2차원 이미지로 변하게 됩니다. 이렇게 촬영된 이미지는 3차원의 점들이 이미지 상에서 어디에 맺히는지 기하학적으로 보면 영상을 촬영하는 위치, 방향에 결정이 됩니다. 하지만, 렌즈의 외부요인(파라미터)에 의해 크게 영..