본문 바로가기

분류 전체보기

 (116)
[dataset] Korean Information Retrieval Dataset Name Task type Train Dev Test characteristic Link Miracl IR 868 213 - Multilingual dataset https://huggingface.co/datasets/miracl/miracl KLUE QA 17554 5841 - Korean version of GLUE https://github.com/KLUE-benchmark/KLUE KorQUAD v2 QA 83486 10165 - Korean version of SQUAD https://korquad.github.io/ 뉴스기사 기계독해데이터 MRC 200K AI hub https://aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&ai..
[후기] 제4회 AI Bookathon 대회 참가 후기 후기가 꽤 기니, 목차를 살펴서 읽어보시면 좋을 것 같습니다. 그리고 보다 진솔하면서도 짧은 글을 위해 반말로 쓰게 된 점, 양해부탁드리겠습니다. 코드가 궁금하신 분들께선 여기를 클릭해주세요. 마지막으로 이 대회를 개최하기 위해 노력하신 모든 분, 참가해서 대회를 완성해주신 분, 누구보다 제 팀원들께 깊은 감사를 전합니다. Hey, shakesby. 후기 작성해줘. 목차 1. 참가 신청 2. 참가 전 3. 예선 및 본선 4. 서버 제공 기간 5. 북커톤 대회 기간 6. 느낀 점 1. 참가 신청 대회 안내 11월초에 신청자를 모집하여 1월 중순까지 약 80일 정도의 긴 대회 여정이다. 상금은 추후에 '대상'만 300만원에서 500만원으로 올랐다. 본선 대회는 1월 초에 1일 연기된다는 공지를 해줬으니, 기..
[논문이해] locally typical sampling 논문명: Locally Typical Sampling 논문링크: https://arxiv.org/abs/2202.00666 Locally Typical Sampling Today's probabilistic language generators fall short when it comes to producing coherent and fluent text despite the fact that the underlying models perform well under standard metrics, e.g., perplexity. This discrepancy has puzzled the language generation arxiv.org 수학적 증명과 이해는 건들지 않는다 논문에 수학적인 증명과 이해가 ..
[용어정리] reparameterization trick 주의 이 글은 설명 글이 아님. 단순히 어떤 느낌을 봐야한다는 관점을 짧게 정리한 글임. 그런데 이 관점도 틀릴 수도 있음. VAE 에 대해 어느 정도 이해해야 이 글을 읽을 수 있음. reparameterization trick VAE 에 대해 공부하다가, 'reparameterization trick' 을 알게 되었다. 다행히 정말 잘 정리된 글이 있어서, 수식을 완전히 이해할 수 있다면 이 글은 보물 그 자체다. https://jaejunyoo.blogspot.com/2017/05/auto-encoding-variational-bayes-vae-3.html 초짜 대학원생의 입장에서 이해하는 Auto-Encoding Variational Bayes (VAE) (3) Machine learning an..
[용어정리] ELBO 최근에 논문을 읽다가 'ELBO(Evidence Lower Bound)' 라는 용어를 발견했다. 최대한 모른 척하고 넘어가려고 했으나, loss 의 핵심이라 찾아볼 수 밖에 없었다. 다행히 정말 멋진 사람들이 정리를 잘 해둬서 나는 그걸 초심자의 입장에서 순서와 배치만 다듬어서 올리고자 한다. 다시 한 번 좋은 글을 써주신 공로에 감사를 드린다. 나는 초보자의 관점에서 글을 재구성해보고자 한다.ELBO 의 이해를 돕기 위한 예시목적: 내 키를 구하라 ↔ VAE 의 분포를 구하자문제: 직접 재는 게 불가능하다 ↔ 직접 구하는 게 불가능하다해결책: 나보다 확실히 작은 친구 중 가장 큰 키를 구하자 ↔ 목적 함수에 근사한 식의 최댓값을 구하자이 해결책의 이름이 'ELBO' 다. 이게 다다. 이걸 생각하면서 ..
[용어정리] ML(Maximum Likelihood) vs MAP(Maximum A Posterior) 계기 NLP 를 엉성하게 접하면, transformer 기반 모델과 huggingface 만으로도 어찌저찌 살아갈 수 있다. 하지만 논문을 자주 읽다보면, 확률과 통계, 수식 등 근본적인 이해가 필요할 때가 반드시 온다. 매번 헷갈리는 개념이라서 차라리 예시를 암기하는 것이 훨씬 도움이 되겠다 싶어서 좋은 예시를 발견한 찰나에 정리해두기로 했다. 예시를 통한 이해 머리카락 길이로 성별 맞추기 ML(Maximum Likelihood), MAP(Maximum A Posterior) 에 대한 정의를 이야기 하기 전, 예시를 통해 접근해보자. 당신은 머리카락 길이만 보고도 성별을 맞추는 퀴즈쇼에 나갔다. 편의를 위해 머리카락 길이를 z, 성별을 x 라고 표기하자. 예컨대, 당신은 머리카락 길이(z)가 20cm ..
[용어정리] semicolon notation in probability 3줄 요약 우항은 x 에 관한 함수라는 뜻인데, z, y, Θ 는 파라미터를 의미한다. 즉, 어떤 식에서 ';(semicolon)' 에 뒤에 등장하는 기호는 parameter 다. 참고 자료 https://stats.stackexchange.com/questions/301382/what-is-the-semicolon-notation-in-joint-probability what is the semicolon notation in joint probability? I see this kind of notation often $$ p_{\theta} (x|z, y) = f(x; z, y, \theta) $$ I understand the conditional prob noation on the left. W..
[huggingface🤗] How to generate text #2 서론 huggingface 에서 제공하는 함수 'generate' 는 매우 훌륭하다. 이에 대해 처음 듣는다면, 다음 글을 먼저 읽어보길 바란다. https://heygeronimo.tistory.com/34 [huggingface🤗] How to generate text #1 자연어 처리 모델이 언어를 생성하는 방식에 관하여 잘 정리된 글이라서, 한글로 의역(수정)하고자 한다. 나에게도 공부가 되고, 이 글을 통해 한 사람이라도 도움이 된다면 기쁠 것 같다. 그리 heygeronimo.tistory.com 하지만, 아래 그림처럼 generate 의 parameter 개수만 45개다. 이걸 언제 다 읽고 사용해보나 싶더라. 하는 수 없이 좀 더 찾아보다가 이전 블로그에 없던 내용을 발견해서 이어서 소개하..

티스토리툴바