분류 전체보기 (112) 썸네일형 리스트형 [논문이해] Let's verify step by step 논문명: Let's verify step by step 논문 링크: https://arxiv.org/abs/2305.20050 Let's Verify Step by Step In recent years, large language models have greatly improved in their ability to perform complex multi-step reasoning. However, even state-of-the-art models still regularly produce logical mistakes. To train more reliable models, we can turn either to outc arxiv.org 요약 언어 모델이 뛰어나지만, 아직도 논리적인 실수를 함 최근.. [용어정리] MSE loss vs Cross Entropy loss 코드에서는 무슨 차이가 있어? 아마 이런 글을 찾은 사람들은 구현할 때 이 둘의 차이가 크게 없다고 보고 궁금해서 찾아봤을 것이다. 나도 그렇다. 대강 이런 생각을 했었다. 어차피 둘 다 정답을 향해 수렴하는데? 학습은 뭘 쓰든 잘 될 것 같은데? 분포적으로는 이해를 했지만 찾아보면 이런 이야기를 한다. Gaussian 분포를 미분하면, MSE loss 가 나온다 → 그러므로 연속 확률 변수에 쓰자 Categorical 분포를 미분하면, CE loss 가 나온다 → 그러므로 이산 확률 변수에 쓰자 (여기에 정리가 잘 되어 있어서 참고하시길.) 좋다. 원리적으로는 이게 맞지. 그래서 성능도 그게 더 좋아? 근데 성능 면에서도 더 좋은 건가? 그에 대해서는 말이 없었다. 그냥 Gaussian 분포는 연속적인.. [논문이해] Less is More: CLIPBERT for Video-and-Language Learning via Sparse Sampling 논문명: Less is More: CLIPBERT for Video-and-Language Learning via Sparse Sampling 논문링크: https://arxiv.org/abs/2102.06183 Less is More: ClipBERT for Video-and-Language Learning via Sparse Sampling The canonical approach to video-and-language learning (e.g., video question answering) dictates a neural model to learn from offline-extracted dense video features from vision models and text features fro.. [논문이해] CLIP4Clip: An Empirical Study of CLIP for End to End Video Clip Retrieval 논문명: CLIP4Clip: An Empirical Study of CLIP for End to End Video Clip Retrieval 논문링크: https://arxiv.org/abs/2104.08860 CLIP4Clip: An Empirical Study of CLIP for End to End Video Clip Retrieval Video-text retrieval plays an essential role in multi-modal research and has been widely used in many real-world web applications. The CLIP (Contrastive Language-Image Pre-training), an image-language pre-t.. [dataset] Korean Information Retrieval Dataset Name Task type Train Dev Test characteristic Link Miracl IR 868 213 - Multilingual dataset https://huggingface.co/datasets/miracl/miracl KLUE QA 17554 5841 - Korean version of GLUE https://github.com/KLUE-benchmark/KLUE KorQUAD v2 QA 83486 10165 - Korean version of SQUAD https://korquad.github.io/ 뉴스기사 기계독해데이터 MRC 200K AI hub https://aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&ai.. [후기] 제4회 AI Bookathon 대회 참가 후기 후기가 꽤 기니, 목차를 살펴서 읽어보시면 좋을 것 같습니다. 그리고 보다 진솔하면서도 짧은 글을 위해 반말로 쓰게 된 점, 양해부탁드리겠습니다. 코드가 궁금하신 분들께선 여기를 클릭해주세요. 마지막으로 이 대회를 개최하기 위해 노력하신 모든 분, 참가해서 대회를 완성해주신 분, 누구보다 제 팀원들께 깊은 감사를 전합니다. Hey, shakesby. 후기 작성해줘. 목차 1. 참가 신청 2. 참가 전 3. 예선 및 본선 4. 서버 제공 기간 5. 북커톤 대회 기간 6. 느낀 점 1. 참가 신청 대회 안내 11월초에 신청자를 모집하여 1월 중순까지 약 80일 정도의 긴 대회 여정이다. 상금은 추후에 '대상'만 300만원에서 500만원으로 올랐다. 본선 대회는 1월 초에 1일 연기된다는 공지를 해줬으니, 기.. [논문이해] locally typical sampling 논문명: Locally Typical Sampling 논문링크: https://arxiv.org/abs/2202.00666 Locally Typical Sampling Today's probabilistic language generators fall short when it comes to producing coherent and fluent text despite the fact that the underlying models perform well under standard metrics, e.g., perplexity. This discrepancy has puzzled the language generation arxiv.org 수학적 증명과 이해는 건들지 않는다 논문에 수학적인 증명과 이해가 .. [용어정리] reparameterization trick 주의 이 글은 설명 글이 아님. 단순히 어떤 느낌을 봐야한다는 관점을 짧게 정리한 글임. 그런데 이 관점도 틀릴 수도 있음. VAE 에 대해 어느 정도 이해해야 이 글을 읽을 수 있음. reparameterization trick VAE 에 대해 공부하다가, 'reparameterization trick' 을 알게 되었다. 다행히 정말 잘 정리된 글이 있어서, 수식을 완전히 이해할 수 있다면 이 글은 보물 그 자체다. https://jaejunyoo.blogspot.com/2017/05/auto-encoding-variational-bayes-vae-3.html 초짜 대학원생의 입장에서 이해하는 Auto-Encoding Variational Bayes (VAE) (3) Machine learning an.. 이전 1 ··· 7 8 9 10 11 12 13 14 다음
