NLP/PyTorch (3) 썸네일형 리스트형 [PyTorch] torch.max returns also indices 3줄 요약 PyTorch 의 torch.max 함수는 값뿐만 아니라 색인(index) 도 함께 return 한다. (시작하기 전에 PyTorch 고수분들은 나가주세요, 부끄러우니까.) 배경 Math Word Problem 분야의 최신 논문을 읽고, 그 코드를 활용하고자 코드 분석하는 과정에서 상당히 실력이 늘었다. PyTorch 에 능통한 저자는 forward 함수 하나에 300 줄을 넘게 태우는 분이셨다... https://github.com/allanj/deductive-mwp GitHub - allanj/Deductive-MWP Contribute to allanj/Deductive-MWP development by creating an account on GitHub. github.com 그 분의.. [PyTorch] Is scheduler always good? 3줄 요약 scheduler 는 lr 값을 조절하면서 학습이 더 잘 이뤄지도록 한다. 하지만 그로 인해 성능이 하락할 수도 있다. pytorch scheduler 라고 검색하면, 다양한 종류의 scheduler 들이 쏟아진다. 그 중에서 맞는 걸 고르면 된다. 제일 좋은 방법은 scheduler 관련 논문을 읽고, 모델에 가장 적합한 걸 쓰면 된다. 하지만 결국 이론은 이론이고 다 실험해보기 전까지는 모른다. 과연 정말 좋기만 할까? 나는 lambdaLR scheduler 를 사용했다. 사용하기 전과 다르게 확실히 후반부로 갈수록 loss 감소폭이 줄었고, 학습이 느려졌음을 알 수 있었다. 문제는 EarlyStop 에 의해 이전 최고치 성능에 도달하기 전에 멈췄다. 심지어 EarlyStop 이 없었더라도.. [PyTorch] Auto Mixed Precision 3줄 요약 NVIDIA 와 Baidu 에서 부동소수점의 이점을 이용하여 딥러닝 연산량을 줄여서 속도를 높이는 기법 (참고로 여기서 'precision' 은 평가 기준 '정확도'를 의미하는 단어가 아닙니다. 저는 처음에 착각해서 혹시나 저처럼 착각하시는 분들이 계실까봐 작성합니다.) 사용법 pytorch docs: https://pytorch.org/docs/stable/amp.html# pytorch 에선 AMP: Automatic Mixed Precision 으로 불리고 있다. Automatic Mixed Precision package - torch.amp — PyTorch 1.12 documentation The following lists describe the behavior of eligibl.. 이전 1 다음
