LLM Fine-Tuning에 대해 찾아보다 QLoRA를 접한 후 공부가 필요하다 느껴 관련 논문을 리뷰해보고자 한다하지만 그 전에 'Quantization' 양자화에 대한 것도 공부해야 한다...(역시 공부는 공부를 부르고...)들어가기에 앞서..※ Quantization 양자화정확하고 세밀한 단위의 입력값 → 단순화한 단위값(경량화)즉, 정보를 표현하는 데 필요한 비트의 수를 줄여주는 것ex) 인공신경망에서, 가중치 매개변수(weight) & 활성 노드 연산(activation function) 양자화 → lower-bit의 수학연산 & 신경망 중간 계산값 양자화 ※ 장단점메모리 액세스↓ 연산량↓ 전력 효율성↑but 압축되는 과정에서 채널의 수가 줄어드는 만큼 정보가 손실됨정확도가 기존 모델..