[GP-4] 베이지안 최적화 (Bayesian Optimization)

• 베이지안 최적화를 loss optimization에 사용하는 건 안될까?

Bayesian Optimization

베이지안 최적화는 X와 Y가 존재하고 X를 입력했을 때 Y를 출력해주는 블랙박스 함수가 있는 경우, 해당 블랙박스 함수의 출력 값을 바탕으로 X를 최적화하여 Y를 최대화(or 최소화)하는 최적화 방법이다.

좀 더 구체적으로, 베이지안 최적화의 방법에 대해 알아보자.

베이지안 최적화 방법에서는 샘플링된 학습 데이터를 사용하여 미지의 목적함수에 대한 가우시안 프로세스(GP) 모델을 구축하고, 목적함수의 불확실성을 최소화하거나 함수의 예측값을 최대화할 수 있을 것으로 기대되는 다음 포인트를 선정하여, 그 포인트에서 데이터를 샘플링하고, GP 모델을 업데이트하는 이터레이션(iteration) 작업을 통해서 목적함수의 최대값을 계산한다.

다음 포인트를 어떻게 선정할까?

위에서 언급한 것처럼 두가지 방법이 있다.

1. 목적함수의 불확실성을 최소화 하는 지점 탐색
2. 목적함수의 예측값을 최대화할 수 있을 것으로 기대되는 지점 탐색

(검정 x: 샘플링 포인트, 붉은 실선:블랙박스 함수, 푸른 점선:GP의 평균함수, 하늘색 영역: 3sigma 표준편차) (표준편차가 클수록 불확실성이 큰 영역)

1번 전략은 다음 탐색 포인트로 x=2인 부근을 탐색할 것이다. x=2인 부분이 샘플링 데이터가 적어서 GP의 표준편차가 가장 크기 때문에 해당 지점을 탐색하면 GP의 표준편차를 줄여, 결국 아래와 같이 목적함수의 불확실성을 줄일 수 있을 것이다. (1번 전략 : 탐색(exploration) 전략 또는 적극적 학습 전략 이라고 함.)

2번 탐색 방법의 경우에는 x=-0.5인 부분을 탐색할 것이다. GP함수의 평균인 푸른 점선으로 목적함수를 추정했을 때 해당 부근이 목적함수의 예측 값이 가장 큰 부분이기 때문이다. 정리하면, 주어진 데이터를 기반으로 GP를 활용하여 목적함수를 근사했을 때 현재는 x=-0.5 부근에서 목적함수의 최대값을 찾을 수 있을 것으로 기대되기 때문에, 2번 탐색 방법의 경우에는 해당 부근을 탐색하는 것이다. (2번 전략 : 활용(exploitation) 전략 이라고 함.)