https://github.com/sgrvinod/a-PyTorch-Tutorial-to-Image-Captioning

Decoder

Decoder의 각 Time Step마다 Attention 연산을 수행해야 하기 때문에 For loop가 내부적으로 돌아가는 LSTM 말고 LSTM Cell을 사용

Training

시작하기 전에 training, validataion, testing 파일을 저장해야 함.

create_input_files.py 을 사용해서 가능하다.

doubly stochastic regularization

• 기존 어텐션은 T 시점의 Time step에 Attention의 합이 1이 된다.
  • 이 방법도 Attention의 효과가 있으나, 전체 시점에 걸쳐서 Attention을 적용하는 것과는 차이가 있음.
• doubly stochastic regularization 은 각 픽셀의 Attention Score가 전체 Time Step에 걸쳐서 합이 1이 되도록 만드는 방식.
  • 즉, 전체 시퀀스를 생성하는 동안 모델이 모든 픽셀에 Attention 할 수 있도록 함.

Early stopping with BLEU

• 저자들은 Loss가 계속 줄어들더라도 BLEU가 감소하기 시작하면 학습을 중지하는 것을 추천함.

Remark

• stage별로 따로 학습하는 것을 추천

  • 저자는 Encoder를 Fine-tuning하지 않고, 우선 Decoder만 먼저 학습했음.
  • 13번째 에폭부터 Encoder의 Fine tuning을 시작함.

• Validation에도 Teacher-Forcing이 적용되어 있기 때문에 실제 성능을 반영하진 못함.

  • batched inference을 구현하면 Validation에 Teacher-Forcing을 뺄 수 있기 때문에 BLEU를 사용한 Early Stopping이 적절히 작용할 것이다. (그냥 지금 있는 코드를 사용하면 BLEU Score가 validation에도 적용된 Teacher-forcing 때문에 정확한 성능이 아님.)
  • eval.py 는 Teacher Forcing이 없기 때문에 정확한 성능을 측정하려면 해당 모듈을 사용하길.

eval.py : bleu4 score를 측정해주는 파일