<aside> 📚 Edwith의 이미지를 설명하는 문장을 만들어내는 Image Captioning 강의를 듣고 정리

https://www.edwith.org/deeplearningchoi/lecture/15583?isDesc=false

</aside>

Image Captioning이란?

구름이 있는 푸른 하늘을 배경으로 자란 꽃 한송이

• 이미지가 주어졌을 때 위와 같이 이를 설명해주는 text를 생성해주는 Task
• 구글과 같은 회사에서는 Image에 대한 captioning을 만들고 이를 검색에 활용하기도 함.(이미지 검색)
• 또한 시각장애인에게도 큰 도움이 될 수 있음.

전반적인 구조(Show and Tell)

• 위 이미지는 간단하게 Image Captioning을 설명한 구조.
• NMT Task의 Encoder - Decoder 구조에서 Decoder가 Encoder의 마지막 Hidden State를 입력으로 받아서 번역을 하는 것처럼 Image Captioning에서도 CNN의 Filter를 거치고 나온 Feature를 RNN 셀의 Hidden State로 사용한다.