본문 바로가기

분류 전체보기

 (112)
[용어정리] ELBO 최근에 논문을 읽다가 'ELBO(Evidence Lower Bound)' 라는 용어를 발견했다. 최대한 모른 척하고 넘어가려고 했으나, loss 의 핵심이라 찾아볼 수 밖에 없었다. 다행히 정말 멋진 사람들이 정리를 잘 해둬서 나는 그걸 초심자의 입장에서 순서와 배치만 다듬어서 올리고자 한다. 다시 한 번 좋은 글을 써주신 공로에 감사를 드린다. 나는 초보자의 관점에서 글을 재구성해보고자 한다. ELBO 의 이해를 돕기 위한 예시 갑자기 온 세상에 줄자가 사라졌다. 그런데 인류를 구하려면, 내 키를 구해야 한다고 한다. 하지만 나는 내 다리와 허리와 머리를 다쳐서 제대로 서있는 게 힘들고, 키를 까먹었다. 다행히 나는 함께 지내면서 나보다 확실히 키가 작은 친구들을 알고 있다. 그래서 그 친구들을 불러 ..
[용어정리] ML(Maximum Likelihood) vs MAP(Maximum A Posterior) 계기 NLP 를 엉성하게 접하면, transformer 기반 모델과 huggingface 만으로도 어찌저찌 살아갈 수 있다. 하지만 논문을 자주 읽다보면, 확률과 통계, 수식 등 근본적인 이해가 필요할 때가 반드시 온다. 매번 헷갈리는 개념이라서 차라리 예시를 암기하는 것이 훨씬 도움이 되겠다 싶어서 좋은 예시를 발견한 찰나에 정리해두기로 했다. 예시를 통한 이해 머리카락 길이로 성별 맞추기 ML(Maximum Likelihood), MAP(Maximum A Posterior) 에 대한 정의를 이야기 하기 전, 예시를 통해 접근해보자. 당신은 머리카락 길이만 보고도 성별을 맞추는 퀴즈쇼에 나갔다. 편의를 위해 머리카락 길이를 z, 성별을 x 라고 표기하자. 예컨대, 당신은 머리카락 길이(z)가 20cm ..
[용어정리] semicolon notation in probability 3줄 요약 우항은 x 에 관한 함수라는 뜻인데, z, y, Θ 는 파라미터를 의미한다. 즉, 어떤 식에서 ';(semicolon)' 에 뒤에 등장하는 기호는 parameter 다. 참고 자료 https://stats.stackexchange.com/questions/301382/what-is-the-semicolon-notation-in-joint-probability what is the semicolon notation in joint probability? I see this kind of notation often $$ p_{\theta} (x|z, y) = f(x; z, y, \theta) $$ I understand the conditional prob noation on the left. W..
[huggingface🤗] How to generate text #2 서론 huggingface 에서 제공하는 함수 'generate' 는 매우 훌륭하다. 이에 대해 처음 듣는다면, 다음 글을 먼저 읽어보길 바란다. https://heygeronimo.tistory.com/34 [huggingface🤗] How to generate text #1 자연어 처리 모델이 언어를 생성하는 방식에 관하여 잘 정리된 글이라서, 한글로 의역(수정)하고자 한다. 나에게도 공부가 되고, 이 글을 통해 한 사람이라도 도움이 된다면 기쁠 것 같다. 그리 heygeronimo.tistory.com 하지만, 아래 그림처럼 generate 의 parameter 개수만 45개다. 이걸 언제 다 읽고 사용해보나 싶더라. 하는 수 없이 좀 더 찾아보다가 이전 블로그에 없던 내용을 발견해서 이어서 소개하..
[용어 정리] oracle summary 요약 용어 정리 생성 요약 정답(abstractive gold summary): 새롭게 작성한 요약문. 기존 내용을 그대로 사용하지 않음. 추출 요약 정답(extractive gold summary): 기존 내용에서 몇 개 문장을 뽑아 만든 요약문. 예컨대, 기존 내용이 10개의 문장으로 이뤄져있다고 가정하자. 그러면 1번째 문장이 요약문에 포함되면 '1', 아니면 '0' 으로 구분해놓는 걸 말한다. 문제점 대부분의 요약 데이터셋은 생성 요약 정답은 있는데, 추출 요약 정답은 없다. 해결방법 : 그래서 unsupervised method 로 만들고자 한다. 문장 몇 개를 뽑아 집합을 만들어서, 생성 요약 정답을 활용해 ROUGE score 를 구해 가장 높은 점수를 가진 집합을 extrastive gro..
[huggingface🤗] How to generate text #1 자연어 처리 모델이 언어를 생성하는 방식에 관하여 잘 정리된 글이라서, 한글로 의역(수정)하고자 한다. 나에게도 공부가 되고, 이 글을 통해 한 사람이라도 도움이 된다면 기쁠 것 같다. 그리고 무엇보다 이렇게 좋은 글을 써준 patrickvonplaten 에게 감사드린다. 초록 초거대 언어 모델의 등장 자연어 처리 분야(NLP)에선 초거대 모델을 대거 등판하고 있다. 대표적으로 openAI 에서 공개한 GPT 시리즈가 있다. 사람들은 놀라운 성능을 몸소 확인했고, 이미 세상을 바꿀 준비를 하고 있다. 실제로 자연어 처리 관련 AI 서비스의 양과 질이 대폭 상승했다. 이게 가능했던 이유는 Transformer 의 등장과 pre-training 이다. 두 방식은 자연어 처리 근간을 이루는 혁신이었다. 텍스트..
[논문이해] EmoBERTa: Speaker-Aware Emotion Recognition in Conversation with RoBERTa 논문명: EmoBERTa: Speaker-Aware Emotion Recognition in Conversation with RoBERTa https://arxiv.org/abs/2108.12009 EmoBERTa: Speaker-Aware Emotion Recognition in Conversation with RoBERTa We present EmoBERTa: Speaker-Aware Emotion Recognition in Conversation with RoBERTa, a simple yet expressive scheme of solving the ERC (emotion recognition in conversation) task. By simply prepending speaker names ..
[논문이해] CoMPM:Context Modeling with Speaker’s Pre-trained Memory Tracking for Emotion Recognition in Conversation 논문명: CoMPM:Context Modeling with Speaker’s Pre-trained Memory Tracking for Emotion Recognition in Conversation (저자가 한국인이라서 더 반가운 논문이었다. 좋은 논문 감사드립니다.) https://arxiv.org/abs/2108.11626 CoMPM: Context Modeling with Speaker's Pre-trained Memory Tracking for Emotion Recognition in Conversation As the use of interactive machines grow, the task of Emotion Recognition in Conversation (ERC) became more ..

티스토리툴바