자연어처리 (8) 썸네일형 리스트형 [논문이해] A Survey on In-context Learning 논문명: A Survey on In-context Learning 논문 링크: https://arxiv.org/abs/2301.00234 A Survey on In-context Learning With the increasing ability of large language models (LLMs), in-context learning (ICL) has become a new paradigm for natural language processing (NLP), where LLMs make predictions only based on contexts augmented with a few examples. It has been a new tren arxiv.org 논문 선정 이유 비교적 최근인 23년 6.. [huggingface🤗] Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA 이 글은 huggingface blog 의 'Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA' 이라는 글을 의역한 것입니다. https://huggingface.co/blog/4bit-transformers-bitsandbytes Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA LLMs are known to be large, and running or training t.. [용어정리] METEOR Score 참고 자료 참고자료를 많이 참고했습니다. 좋은 글 써주셔서 감사드립니다. Thank you for your hard work :) https://machinelearninginterview.com/topics/machine-learning/meteor-for-machine-translation/ METEOR metric for machine translation METEOR, for evaluating machine generated text. Used for applications like machine translation, summarization, image captioning and so on.... machinelearninginterview.com 시작하기 전에 'BLEU Score'의 한계.. [전처리] 문자열 유사도 측정 (difflib) 이런 분들께 semantic similarity 가 아닌 apparent similarity 를 측정해야 할 때 즉, '안녕하세요' 와 '단념하세요' 와 같은 문장의 유사도도 측정해보고 싶을 때 (위 예시를 보면 아실 수 있듯이, 의미 유사도를 측정이 아닌 점을 미리 밝힙니다.) 한국어도 보다 정밀하게 써보고 싶다면? https://github.com/goonbamm/korean_apparent_similarity GitHub - goonbamm/korean_apparent_similarity: To score apparent similarity between korean texts To score apparent similarity between korean texts. Contribute to goo.. [error] pretraind language model 이 같은 값만 뱉는 경우 이런 사람들에게 bert model 이 똑같은 인코딩 값만 뱉어요. loss 는 줄어드는데, 정확도는 늘지 않아요. 3줄 요약 BERT 와 같은 pretrained language model 이 똑같은 값만 출력하는 경우 learning rate 가 높아서 그렇다. lr 을 낮추자. 관련 글 모음 https://stackoverflow.com/questions/61855486/bert-encoding-layer-produces-same-output-for-all-inputs-during-evaluation-pytor BERT encoding layer produces same output for all inputs during evaluation (PyTorch) I don't understand why.. [논문 이해] Generating Equation by Utilizing Operators : GEO Model 논문명: Generating Equation by Utilizing Operators : GEO Model 한글 논문 링크: https://s-space.snu.ac.kr/handle/10371/175890#export_btn 영어 논문 링크: https://aclanthology.org/2020.coling-main.38.pdf SNU Open Repository and Archive: 템플릿 기반의 방법을 이용한 문장형 수학 문제 풀이 템플릿 기반의 방법을 이용한 문장형 수학 문제 풀이 Automatically solving math word problem using template-based methods Issue Date 2021-02 Publisher 서울대학교 대학원 Keywords 자연어 .. [논문 이해] Learning to Reason Deductively: Math Word Problem Solving as Complex Relation Extraction 논문명: Learning to Reason Deductively: Math Word Problem Solving as Complex Relation Extraction 논문링크: https://aclanthology.org/2022.acl-long.410.pdf 용어 정리 Math Word Problem (이하 'MWP') 수학 문제가 문장화된 형태. 예를 들자면, '철수는 사탕 11개, 영희는 사탕 23개가 있다. 철수가 영희에게 사탕을 모두 양보했다면, 영희는 사탕은 총 몇 개일까?' 와 같은 문제를 의미한다. quantity 숫자. 위 사탕 예시에선, '11', '23' 이 quantity 라고 볼 수 있다. 요약 3줄 요약 기존 seq2seq 이나 seq2tree 는 성능은 좋아도 명시적으로 문제.. [논문 이해] TM-generation model: a template-based method for automatically solving mathematical word problems 논문명: TM-generation model: a template-based method for automatically solving mathematical word problems 논문 링크: https://link.springer.com/article/10.1007/s11227-021-03855-9 요약 - Math Word Problem(이하 MWP) 풀이 태스크의 정확도를 향상시키는 모델 'TM-generation' 제시 - 이를 위해 2개의 challenges 를 정의하고, 각각을 해결하고자 함. 1. filling in missing world knowledge required to solve the given MWP 필요성: MWP 를 풀기 위한 상식(world knowledge)을 채울 .. 이전 1 다음
