논문명: Adapt in Contexts: Retrieval-Augmented Domain Adaptation via In-Context Learning
논문링크: https://arxiv.org/abs/2311.11551
Adapt in Contexts: Retrieval-Augmented Domain Adaptation via In-Context Learning
Large language models (LLMs) have showcased their capability with few-shot inference known as in-context learning. However, in-domain demonstrations are not always readily available in real scenarios, leading to cross-domain in-context learning. Besides, L
arxiv.org
핵심만 정리합니다
핵심
- 일단 위 예시를 이해해보자
- Source Input: 잘 모르겠지만 News article 인 거 보니까 뉴스 기사다
- Target Contexts: Biomedical Literature 이니까 생의학 문헌인가보다 (생의학 문헌이라는 말 사실 처음 들음 ㄷㄷ)
하고 싶은 것
- 뉴스 기사로 NER 하는 데이터셋은 많음
- 근데 생의학 문헌으로 NER하는 데이터셋은 없음 (있어도 없다고 쳐. 여기선 없다는 가정이야.)
- 즉, 새로운 영역/도메인의 데이터셋은 정답이 없지만, NER을 라벨링 없이 해볼 수 없을까? 아니, 라벨 없이 하고 싶어
어떻게 할 건데?
- RA를 쓰자. 여기서 RA는 RAG에서 RA만 가져오자는 것
RA? 뭔데 이게?
- Retreival - Augmented 니까 문서를 검색해서 관련 문서를 가져오자는 말
관련 문서를 가져오면 왜 좋은데?
- 위 예시도 사실 서로 관련 있는 문서다. 다만 도메인이 다르다
- 그래서 관련성이 높지만 서로 다른 문서를 가져와서 Language Modeling 을 하면 새로운 도메인 학습할 때 도움을 받는다는 이야기다
위 예시로 다시 설명해봐
- 뉴스 기사는 NER 라벨을 만들어놨음
- 그런데 생의학 문헌은 NER 라벨이 없음
- 다행히 관련 문서로 생의학 문헌이 뽑힘
- 이때, 뉴스 기사는 원래 학습하는 것처럼 NER 학습을 함
- 그리고 생의학 문헌은 Language Modeling 으로 학습을 함
- 이렇게 하면 성능이 오른다고 함
사견
- 새로운 데이터셋에 대한 정답뿐만 아니라 분포도 익히자는 것 같음
- fine-tuning: 정답을 학습하는 것
- pre-training: 분포를 학습하는 것
- 즉, 위 방법론은 fine-tuning 할 때 관련 문서를 뽑아서(RA) pre-training 처럼 분포도 학습하자는 것
왜 Language Modeling 이 도움이 되는가?
: 이건 Jason Wei 님의 블로그에서 얻었던 지식을 소개해보고자 함
- 사전 학습에서 유명한 방법이 Language Modeling 임
- 사실 이 단순한 학습은 위 예시처럼 다양한 문제를 푸는 것으로 볼 수 있음
- 문법, 감정 분류, 번역 등 다양한 문제를 푸는 것으로 치환한다면 Language Modeling 의 힘을 실감할 수 있음
자세한 건 아래 링크를 참고하시길
https://heygeronimo.tistory.com/93
[Insight] Some intuitions about large language models
블로그명: Some intuitions about large language models 블로그 링크: https://www.jasonwei.net/blog/some-intuitions-about-large-language-models Some intuitions about large language models — Jason Wei An open question these days is why large languag
heygeronimo.tistory.com
