Instruction tuning : finetuning language models on a collection of datasets described via instructions☞ instruction(지시문)으로 설명된 dataset 모음을 이용해 language model을 finetuning하는 것 Finetuned Language Models are Zero-Shot Learners (ICML 2022) 논문에서 처음 소개된 개념이다. Large Language Model은 few-shot에서는 잘하지만, zero-shot 성능은 부족하다. prompt가 pretrain data와 다르면 model이 잘 대응하지 못하기 때문이다. → format mismatch 문제다양한 NLP(Natur..