본문 바로가기

분류 전체보기

 (112)
[논문이해] RA-CLIP: Retrieval Augmented Contrastive Language-Image Pre-Training 논문명: RA-CLIP: Retrieval Augmented Contrastive Language-Image Pre-Training논문 링크: https://paperswithcode.com/paper/ra-clip-retrieval-augmented-contrastive Papers with Code - RA-CLIP: Retrieval Augmented Contrastive Language-Image Pre-TrainingNo code available yet.paperswithcode.com 핵심만 정리합니다문제점CLIP은 대성공한 방법론인데, 데이터를 많이 필요로 하고 모든 데이터를 파라미터로 기억하기엔 방대함online retrieval 을 통해서 지식을 보강하면 되는 방법론 'RA-CLIP'을..
[논문이해] RETRIEVAL-ENHANCED CONTRASTIVE VISION-TEXT MODELS 논문명: RETRIEVAL-ENHANCED CONTRASTIVE VISION-TEXT MODELS논문 링크: https://arxiv.org/abs/2306.07196 Retrieval-Enhanced Contrastive Vision-Text ModelsContrastive image-text models such as CLIP form the building blocks of many state-of-the-art systems. While they excel at recognizing common generic concepts, they still struggle on fine-grained entities which are rare, or even absent from the pre-trainin..
도커 컨테이너 유지한 채 마운트 경로 추가하기 이 글이 도움이 될 사람기존 컨테이너를 생성했는데 지우지 않고 마운트를 하고 싶은 사람이미 마운트 했는데 또 추가하고 싶은 사람아직 컨테이너 만들기 전이다? 그러면 이 글 말고 '도커 컨테이너 볼륨 마운트 설정' 검색해서 편하게 하세요이 방법 말고는 '컨테이너'를 '도커 이미지'로 만들어서 새로운 컨테이너 생성할 때 마운트해주는 수 밖에...(다만 이 글은 구글링해서 찾은 방법을 따라한 게 아니라 친구들이 도커 고수들이라 이 방법이 되지 않을까해서 해봤는데, 저는 잘되길래 남겨놓은 것임을 밝힙니다.) 과정 요약도커 재시작 및 컨테이너 종료hostconfig.json 수정config.v2.json 수정도커 서비스 재시작컨테이너 실행 후 마운트 확인1. 일단 컨테이너와 도커 서비스를 멈춘다: config 를..
[논문이해] Analyzing Multi-Head Self-Attention: Specialized Heads Do the Heavy Lifting, the Rest Can Be Pruned 논문명: Analyzing Multi-Head Self-Attention: Specialized Heads Do the Heavy Lifting, the Rest Can Be Pruned논문 링크: https://arxiv.org/abs/1905.09418 Analyzing Multi-Head Self-Attention: Specialized Heads Do the Heavy Lifting, the Rest Can Be PrunedMulti-head self-attention is a key component of the Transformer, a state-of-the-art architecture for neural machine translation. In this work we evaluate t..
[논문이해] DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models 논문명: DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models논문 링크: https://arxiv.org/abs/2309.03883 DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language ModelsDespite their impressive capabilities, large language models (LLMs) are prone to hallucinations, i.e., generating content that deviates from facts seen during pretraining. We propose a simple..
[논문이해] Contrastive Decoding: Open-ended Text Generation as Optimization 논문명: Contrastive Decoding: Open-ended Text Generation as Optimization논문 링크: https://arxiv.org/abs/2210.15097 Contrastive Decoding: Open-ended Text Generation as OptimizationGiven a language model (LM), maximum probability is a poor decoding objective for open-ended generation, because it produces short and repetitive text. On the other hand, sampling can often produce incoherent text that drifts..
[용어정리] self-BLEU (BLEU 를 잘모르신다면, 먼저 보셔야 합니다.) 핵심 문제점언어 모델은 보통 beam search 를 사용해서 K개의 답변을 생성함그런데 그 답변이 죄다 비슷하면 사실 여러 개를 생성하는 의미가 없음즉 다양한 답변을 생성할수록 좋은 모델로 볼 수 있음그러나 답변이 얼마나 다양하게 생성되는지에 대해 평가하는 지표가 없음 해결책목적: K개의 답변을 생성하게 해서 다양성을 BLEU를 활용해서 측정하자방법: K개의 답변끼리 BLEU score 를 각각 측정해서 평균을 내자 예시GPT3에게 답변을 5개 생성하도록 했다 (A, B, C, D, E)모든 조합별로 BLEU score를 구한다.모든 조합: [(A, B), (A, C), (A, D), (A, E), (B, C), ...... (D, E)]조합의 개수는..
[논문이해] ConvGQR: Generative Query Reformulation for Conversational Search 논문명: ConvGQR: Generative Query Reformulation for Conversational Search논문 링크: https://arxiv.org/abs/2305.15645 ConvGQR: Generative Query Reformulation for Conversational SearchIn conversational search, the user's real search intent for the current turn is dependent on the previous conversation history. It is challenging to determine a good search query from the whole conversation context. To avoi..

티스토리툴바