논문명: ConvGQR: Generative Query Reformulation for Conversational Search
논문 링크: https://arxiv.org/abs/2305.15645
ConvGQR: Generative Query Reformulation for Conversational Search
In conversational search, the user's real search intent for the current turn is dependent on the previous conversation history. It is challenging to determine a good search query from the whole conversation context. To avoid the expensive re-training of th
arxiv.org
핵심만 정리합니다
핵심
- 문제점: 기존에는 query 를 확장이나 재작성할 때 검색기(Retriever)와 관련 없이 학습해옴
- 해결책: 여기선 검색기와 연결지어 loss 가 흐르도록 하겠다!
- 위 구조는 3등분하면 편하다. 왼쪽, 가운데, 오른쪽으로 색깔별로 초록, 파랑, 노랑이다.
- 초록: 쿼리 재작성 모델
- 노랑: 쿼리 확장 모델 (근데 여기서 쿼리 확장의 의미는 정답을 맞추는 개념이다. 예컨대, '대한민국의 수도는?' 이라는 쿼리를 확장할 때, 학습하는 방법이 다짜고짜 '서울'이라고 정답을 맞추라고 하는 것과 같음. 여기서 저자의 주장으로는 쿼리를 확장할 때 학습할 때 정답을 맞추도록 해서 추론시에 잠재적인 정답 지식을 활용하는 게 쿼리의 확장으로 볼 수 있다고 함)
- 파랑: 여기가 핵심임. Knowledge Infusion 이 양쪽에 다 있음. 쉽게 말하면 인코더로 임베딩한 벡터가 서로 닮도록 하자는 것. 파란색은 이미 검색기가 관련 문서를 뽑았다는 가정 하에 그림이 그려짐. 그래서 인코더가 문서 임베딩을 생성하면, 이 문서 임베딩과 양쪽의 인코더 임베딩이 같아지도록 MSE Loss 를 흘린다는 의미다.
Knowledge Infusion 핵심
- MSE Loss 1: 쿼리 재작성 모델의 임베딩 = 관련 문서 임베딩
- MSE Loss 2: 쿼리 확장 모델의 임베딩 = 관련 문서 임베딩
