↓Skip to main content

AutoML

·694 words·4 mins
Sungho Park (gigio1023)
Author
Sungho Park (gigio1023)
To build a genuinely useful product

Data Engineering
#

  • Data Cleansing, Preprocessing
  • Feature Engineering
  • Select ML Algorithm
    • DL: Select Backbone Model
  • Set Hyperparameters
    • DL: Loss, Optimzier, Learning rate, batch size

model architecture와 hyperparameter 선정은 train/evaluate에 대한 피드백을 받고 재선정하게 된다. 이러한 과정을 사람이 직접 수행하는게 일반적이다. 이러한 일련의 과정에서 사람을 제거하고 자동화하는 것이 AutoML의 목표이다.

Definition
#

AutoML의 목표를 설명하면서 서술했던 말을 수식으로 명시화한 것이다. hyperparameter, ML algorithm, data들이 주어져있을 때 loss를 minimize하는 hyperparmeter configuration을 찾는 것이 HPO(Hyperparameter Optimization = AutoML)의 목표이다.

경량화의 다른 관점
#

  • 기존 모델을 경량화
    • Pruning, Tensor decomposition
  • Searching을 통해 경량 모델을 찾는 기법
    • NAS(Neural Architecture Search), AutoML

AutoML은 경량모델을 찾는 기법이다!

DL Model Configuration
#

Type
#

  • Categorical
    • Optimizer: Adam, SGD, AdamW …
    • Module: Conv, BottleNeck, InvertedResidual
  • Continuous
    • learning rate, regularizer param, …
  • Integert
    • Batch size, epochs

Conditional configuration
#

configuration에 따라서 search spaec가 달라진다.

  • Optimizer에 따라서 optimizer parameter의 종류와 search space가 달라진다.
  • Module sample(Vanilla conv, BottleNeck, InvertedResidual)에 따라서 모듈별 parameters와 search space가 달라진다.

AutoML Pipeline
#

앞서 서술했던 HPO의 정의와 유사하다. 추가된 점은 Evaluate Objective function인 $f$이다. $f$의 정의는 다양할 수 있다. 모델의 사이즈만이 작아지는 것을 원할 수도 있고, 모델의 성능만이 향상되는 것을 원할 수도 있고 여러 목표치가 혼합된 형태일 수도 있다.

이러한 목표들을 maximize하도록 Blackbox optimization을 진행해서 새로운 configuration $\lambda$를 찾는다.

Bayesian Optimization(BO)
#

Blackbox 형태의 optimization을 위와 같이 구성한 것이다.

  • Surrogate function: $f(\lambda)$를 예측하는 regression model. 정확히 예측이 가능해진다면 다음에 시도할 $\lambda$ 더 잘 결정할 수 있을 것이다.
  • Acquisition function: 다음에 시도할 $\lambda$를 결정해준다.

도식도의 과정을 순서대로 나열하면 아래와 같다.

  1. $\lambda$(x)를 sample(observation)
  2. 해당 configuration으로 DL 모델 학습
  3. objective 계산. 위 그림에서의 observation(x)가 이것에 해당한다.
  4. Surrogate model update. 위 그림에서 실선과 보라색 영역으로 표현되는 것들이다. e.g., GP(Gaussian Process) model, posterior mean, jposterior varicance(uncertainty)
  5. Acquisition function update. 위 그림에서 초록색으로 표현되는 영역이다. surrogate model의 추세를 보고 가장 좋은 다음 $\lambda$를 예측한다.

BO with GPR
#

Gaussian Process Regression
#

불확실성(uncertainty)을 모델링할 수 있는 방법이다. BO에서 사용한 그래프에서 Surrogate model의 두 지점만을 알고 있고 이외의 지점에 대해서는 불확실하다. 이 때, GP를 사용해서 값을 알고 있는 두 지점 외의 값들에 대해서, 범위를 얻을 수 있다.

일반적인 Regression taks Set of train data: $(X,Y)$ Set of test data: $(X_,Y_)$ $Y\approx f(X) + e$

GP의 아이디어

  • 알고자 하는 특정 위치의 $Y_$ 값은 이미 알고 있는 $X,Y,X_$와 연관이 있지 않을까?
    • positive, negative 관계 무관
  • $X,Y,X_$값으로부터 $Y_$를 추정하는 표현을 Kernel 함수 $K$로 표현해보자!

GP의 엄밀하지 않은 정의

  • $f(x)$: input x에 대한 Random variable로 정의 = input x에 대해서 가능한 함수들의 분포
    • Random variable의 distribution: Multivariate Gaussian distribution

정의만 서술하면 위와 같이 되고, $f(x)$에 대한 정의를 GP에서 어떻게 생각했는지 풀어쓰면 아래와 같다.

  • 함수들의 분포를 정의. 이 분포가 Multivariate Gaussian distribution을 따른다고 가정.
    • = 함수 $f$가 Gaussian process를 따른다.

지금 설명된 내용을 수식으로 정리하면 위 수식이 된다.

해당 수식에서는 Gaussian Identities가 적용된다고 한다. Gaussian의 margianl과 conditional도 Gaussian을 따른다는 정의다.

이를 그림으로 위 처럼 그림으로 생각할 수 있다. conditional의 어떤 쪽에서 본래 Gaussian을 바라본다고 해도, 해당 conditional 또한 Gaussian을 따른다.

수식으로 설명한 GP를 통해 알 수 있는 사실은 $X_, X, f$가 주어졌을 때 $f_$의 평균과 분포를 알 수 있다는 것이다.

Surrogate Model
#

앞서 정리한 내용들을 활용해 Surrogate model에 대한 보다 자세한 정리를 해보자.

  • def: Objective $f(\lambda)$를 예측하는 모델
    • 관측된 $f(\lambda)$를 활용해, 새로운 $\lambda_$에 대한 objective $f(\lambda_)$f를 예측
  • Surrogate model을 학습해서, 다음 step의 좋은 $\lambda$를 선택하는 기준으로 사용
  • 대표적 Surrogate model
    • GPR(Gaussian Process Regression) model
      • mean: 예측 $f$값, var: uncertainty

Observation data가 늘어날수록 uncertainty가 줄어들면서 true function에 prediction이 fitting된다.

Acquisition Function
#

  • def: Surrogate model의 ouput을 활용해 다음에 시도하면 좋은 $\lambda$를 결정하는 함수
  • Exploration, Exploitation 사이의 적절히 balancing 할 수 있도록 수식이 구성됐다. 둘 사이의 분배는 heuristic하게 결정한다.
    • Exploration: 불확실한 지점을 탐색
    • Exploitation: 알고 있는 가장 좋은 곳을 탐색
  • 갱신된 Acquistion function의 max 지점을 다음 iteration에서 시도

위쪽 그래프는 surrogate model이고 아래 그래프가 acquisition function 그래프이다. acquisition function의 값들이 특정 지점에서 굉장히 작아지고 해당 값 부근에서는 값이 커진다. Exploitation 관점에서 이미 알고 있는 지점은 탐색할 필요가 없고 이미 알고 있는 값 부근이 가장 좋은 탐색 포인트이기 때문이다. 이러한 방식으로 Acquisition function이 구성된다.

e.g., Upper Confidence Bound(UCB)

  • $\mu$: posterior mena(=Exploitation)
  • $\sigma$: posterior variance(=Exploration)
  • $\kappa$: balancing parameter

BO with TPE
#

GP의 문제점

  • Complexity: $O(N^3)$
  • Conditional, continuous/discrete parameter들이 혼합될 때 적용이 어려움 대부분 두번째에서 어려움이 많이 발생하고 요즘은 TPE를 많이 사용한다고 한다.

TPE(Tree-structured Parzen Estimator)와 GPR의 차이

  • GPR: $p(f|\lambda)$(posterior distribution)을 계산
  • TPE: $p(\lambda|f)$(likelihood), $p(\lambda)$(prior)를 계산
Reply by Email