본문 바로가기

전체 글

 (116)
[개발하며 깨닫는 것] 석사식 구글링 컴퓨터 학과하면 구글링 실력이 중요하다. 내가 느끼기엔 다음과 같은 단계가 있다. 키워드 변경 능력 긴 에러를 잘 요약해서 물어보는가? 조금씩 변형을 줘서 원하는 검색어로 바꿀 수 있는가? 검색 결과를 토대로, 연달아 구글링하는가? 언어 능력 영어 자료만 나와도 읽는가? 중국어 자료만 나와도 읽는가? 최근에 하나 더 늘었는데, 바로 github issue 찾기다. 도저히 검색해도 안 나오면, pytorch community 나 github issue 도 다 읽어보자. 구글링으로 나오는 경우도 있는데, 내 경험 5번 중 4번은 직접 찾아내야 했다. 이젠 중국어도 영어도 두렵지 않다. 검색할 수 있는 기회에 감사하다. 아무것도 나오지 않을 때야말로 절망스럽다...
[논문이해] Dynamic Prompt Learning via Policy Gradient for Semi-structured Mathematical Reasoning 논문명: Dynamic Prompt Learning via Policy Gradient for Semi-structured Mathematical Reasoning (ICLR 2023) 논문링크: https://arxiv.org/abs/2209.14610 Dynamic Prompt Learning via Policy Gradient for Semi-structured Mathematical Reasoning Mathematical reasoning, a core ability of human intelligence, presents unique challenges for machines in abstract thinking and logical reasoning. Recent large pre-train..
[python] 시계방향 및 반시계방향 회전 오랜만에 제 글 봤는데 저도 이해 안되길래 수정했습니다 (24.08.28) 계기코딩 테스트 준비를 하다보면, 2차원 배열 전체 혹은 일부를 회전하는 문제가 등장함반시계 방향, 시계 방향을 즉석에서 구현하기 힘드니 암기를 해야 함때론 회전한 후의 좌표를 명확히 알아야 해서 다음 좌표가 어떻게 생겼는지 구할 줄 알아야 함시험장에서도 기억날 수 있는 방법이 필요해 암기하면 위험할 수도 있는 공식들A = list(map(list, zip(*arr[::-1])))이렇게 한 줄로 된 공식은 암기하기 편하긴 함하지만 행렬 전체가 아니라 행렬 일부만 회전하는 문제들이 등장함응용할 줄 알겠다면 상관 없으나 나처럼 for 문으로 외우는 게 안전할 것 같으면 읽어보자 직관적으로 암기 말고 이해부터 하기1. 시계 방향 90도..
[논문이해] BLEURT: Learning Robust Metrics for Text Generation 논문명: BLEURT: Learning Robust Metrics for Text Generation 논문 링크: https://arxiv.org/abs/2004.04696 BLEURT: Learning Robust Metrics for Text Generation Text generation has made significant advances in the last few years. Yet, evaluation metrics have lagged behind, as the most popular choices (e.g., BLEU and ROUGE) may correlate poorly with human judgments. We propose BLEURT, a learned evaluation me..
[error] PeftModelForCausalLM.generate() takes 1 positional argument and 2 were given 해결책 beam_output = model.generate( input_ids=input_ids, # 정확히 input_ids 인자라고 알려줘야 한다 do_sample=True, top_k=10, max_new_tokens=32, min_new_tokens=16, output_scores=True, num_beams=BEAM_SIZE, repetition_penalty=10.0, return_dict_in_generate=True, num_return_sequences=BEAM_SIZE, ) input_ids=input_ids 라고 정확히 이야기해야 한다 문제점 beam_output = model.generate( input_ids, # 기존 모델은 이렇게 명시하지 않아도 암묵적으로 수행했다 do_sam..
[error] 파이썬 엑셀 인코딩 문제 해결 해결 df.to_csv(FILE_NAME, encoding='utf-8-sig') encoding 을 'utf-8-sig' 를 사용할 것 문제 python 에서 csv 파일을 읽고 쓸 때는 'utf-8' 인코딩 방식을 사용함. 그 파일을 excel 로 열면, 인코딩을 ANSI 등 으로 변경해야 함. 그런데 그 과정이 귀찮고, 양쪽에서 다 열렸으면 좋겠음. 검색하면 죄다, 메모장으로 열어서 인코딩 양식을 변경하라는 귀찮은 방법을 알려줘서 남겨놓고자 한다.
[논문이해] Active Retrieval Augmented Generation 논문명: Active Retrieval Augmented Generation 논문링크: https://arxiv.org/abs/2305.06983 Active Retrieval Augmented Generation Despite the remarkable ability of large language models (LMs) to comprehend and generate language, they have a tendency to hallucinate and create factually inaccurate output. Augmenting LMs by retrieving information from external knowledge resources is one arxiv.org 아이디어만 정리합니다..
[논문이해] Should You Mask 15% in Masked Language Modeling? 논문명: Should You Mask 15% in Masked Language Modeling? 논문링크: https://arxiv.org/abs/2202.08005 Should You Mask 15% in Masked Language Modeling? Masked language models (MLMs) conventionally mask 15% of tokens due to the belief that more masking would leave insufficient context to learn good representations; this masking rate has been widely used, regardless of model sizes or masking strategies. In ..

티스토리툴바