Instruction tuning

Instruction tuning : finetuning language models on a collection of datasets described via instructions

☞ instruction(지시문)으로 설명된 dataset 모음을 이용해 language model을 finetuning하는 것

 

Finetuned Language Models are Zero-Shot Learners (ICML 2022) 논문에서 처음 소개된 개념이다.

 

Large Language Model은 few-shot에서는 잘하지만, zero-shot 성능은 부족하다. prompt가 pretrain data와 다르면 model이 잘 대응하지 못하기 때문이다. → format mismatch 문제

다양한 NLP(Natural Language Processing) task를 instruction(자연어 지시문)으로 표현해 model을 finetuning하는 것이

Instruction tuning이다.

• 예시
  • 감정 분석 - 이 리뷰의 감정은 긍정적입니까? 부정적입니까?
  • 번역 - "How are you?"를 일본어로 번역하시오.

이렇게 instruction-response pair를 여러 개의 task에서 모아서 학습시켜 model이 사람의 지시를 따르고 이해하는 일반화 능력을 얻게한다.

 

☞ ☞ Instruction tuning이란! 'pretrained language model을 instruction을 포함한 다양한 NLP task data로 finetuning하는 과정'이다.

instruction tuning을 통해서 language model의 zero-shot 성능이 크게 향상되었다.