경진대회 플랫폼#
- Kaggle
- 카카오 아레나: 계열사 전용이라고 한다.
- 데이콘: public 대회. Kaggle 스타일이 적용되는 중이라고 한다.
Ranking#
- Ranking system: competition 내의 point로 정해지는 순위
- 팀을 이뤄 출전하면 $\sqrt{N}$빵한다.
- Tier system: competition medal 수에 따라 결정
Competition#
Purpose#
- Featured
- 상업적 대회
- 우승한 모델을 기업에서 쓰는 경우도 있다.
- Research
- 연구 목적 대회
- 재밌는 주제는 많은데 상금이 낮다고 한다.
- Getting started & Playground
- Titanic survivor같이 초심자를 위한 대회
- 포인트, 메달용 아님
- Analytics
- 데이터 분석 목적 대회
- 데이터 탐색, 시각화 노트북을 제출
- Recruiment
- 채용 목적
Submit#
- General competition
- 리소스 제약 없음
- submission.csv만 제출
- Code competition
- kaggle notebook을 실행시켜 submission.csv 생성해야 한다.
- 리소스 제한 있음
- 쓸모 있는 모델을 만들도록 유도
Processing Competition#
익히 봐왔던 도식도이다! 다른점은 다음과 같다.
- Kaggle notebook 사용
- 다른 사람이 생성한 Kaggle notebook 조회 가능
- notebook마다 용도가 다르다. e.g., train, inference, preprocessing…
For Winning#
빠르고 효율적인 pipeline 반복#
- GPU 장비 투자
- 한국 캐글 그마분은 Ryzen3700, RAM 64GB, RTX 2080ti 2개를 쓰신다고 한다.
- 2개 이상의 GPU라면 비블로워(GPU wrapper) 타입을 추천하셨다.
- 연구자분들은 병렬 GPU가 필수일줄 알았는데 의외로 RTX 3090, 3080 1대도 좋다고 하시더라. 물론 3090 2개가 더 좋다.
- RTX 3070을 72만원에 사게 해준 CDPR이 있는 폴란드를 향해 오늘도 절을 한다.
- 본인의 시간 투자
- 1~2달 동안 평일 하루 평균 4시간 이상, 주말 하루 평균 8시간 이상 투자하신다고 한다.
- 템플릿처럼 사용할 수 있는 본인만의 baseline
- 개발 속도 뿐만 아니라 실수도 줄어든다.
- 링크를 통해 최근 3개월 동안 3개의 금메달을 따셨다고 한다.
Score improvement#
- Competition 내의 Notebook tab, Discussion에서 좋은 아이디어를 찾아보자
- Augmentation, deep learing architecture
- 참고할만한 논문
- 마지막까지 방심하지말 것을 꼭 명심하라고 하셨다.
Validation strategy#
Training set과 Test set에서 얻은 score차이를 좁히기 위한 방법론.
최종 순위 하락을 막기 위해 필수적이다. Public LB(Leader board)와 Private LB는 다르기 때문에 Public LB에 overfitting되지 않도록 하자.
- 최근에는 Test set을 공개하지 않는 추세라고 한다.
- Train set에서 Validation set 추출
- K-fold validation
- Startified k-fold
- Class별로 validation set를 생성
Ensemble#
대부분의 경우 single model보다 더 좋은 성능을 얻을 수 있다. 최근 Kaggle은 아래처럼 정리되는 추세다. 서로 다른 아키텍쳐끼리 ensemble할수록 잘 나온다고 한다. e.g., LSTM, BERT
- Startified k-fold ensemble
- validation check만 하지말고 해당 model들을 ensemble
- 정형 데이터
- LightGBM, CatBoost, XGBoost, NNs
- 이미지 데이터
- Resnet, efficientnet, resnext
- 텍스트 데이터
- LSTM, BERT, GPT-2, RoBert
Single model improvement#
Ensemble을 처음부터 할 수는 없다. 어느 정도 single model을 개선한 후에 Ensemble을 시도해야하는데 개선의 한도선을 정해야 한다.
- 상위 랭커들이 discussion에 언급한 single model 점수
- 대회 종료 1~2주 전에 single model로만 50등 내에
잡다 팁#
- 팀이 좋다. 혼자 하기엔 2달 이상의 여정은 너무 길다.
- 팀은 해체가 안되기 때문에 신중하자.
- 동료 후보의 현재 대회 순위를 확인하자. 생각 외로 게으른 사람이 많다고 한다.
- 폴더별로 v1, v2와 같은 version 관리.
- Ensemble할 때 폴더 별로 정리한 version끼리 할 가능성을 열어두기 위해서 이렇게 하신다고 하더라.
- VCS는 최종 업로드 시에만 사용한다고 하신다. ??? Version control을 아예 안하신다고 하셨다.