/

home

/

Share

성장의 기록

Self Study Paper Review

LoRA

저자

Edward Hu

중요도

⭐️⭐️⭐️⭐️⭐️

Conference

ICLR

Full 제목

LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS

발표년도

2021

단체

Microsoft

키워드

LLM

PEFT

한줄 요약

self attention 가중치들에 병렬로 아주 적은 가중치만 붙여서 얘네만 finetuning하면 그냥 finetuning하는거만큼 좋은 성능을 내더라.