[Feedback Prize - English Language Learning] Speeding up Transformer w/ Optimization Strategies
Introduction state-of-the-art 또는 SOTA model을 훈련시키기 위해서는 GPU가 절대적으로 필요합니다. 그리고 Google Colab이나 Kaggle에서 사용할 수 있다고 해도 메모리 제약 문제가 여전히 발생합니다.
최근 포스트
[Feedback Prize - English Language Learning] SWA, Apex AMP & Interpreting Transformers in Torch
SWA-LP & Interpreting Transformer Interactively
[Feedback Prize - English Language Learning] DeBERTa LayerwiseLR LastLayerReinit in TensorFlow
DeBERTa LLRD + LastLayerReinit with TensorFlow MultilabelStratifiedKFold split of the data
Imbalanced Data를 다루기 위해 SMOTE 그만 사용하기
[공지사항] “출처: https://syslog.ravelin.com/classification-with-tabnet-deep-dive-49a0dcc8f7e8”
[논문] DeBERTa: Decoding-enhanced BERT with Disentangled Attention (2021)
출처: https://arxiv.org/abs/2006.03654