Introduction

• Sentence level의 RE는 두가지로 분류할 수 있음.
• 하나는 외부 지식 그래프를 pre-trained LM에 같이 injection 하는 것.
  • ERNIE, Know-BERT, K-Adapter, LUKE
• 다른 하나는 관계 지향적인 목표를 가지고 pretrained model을 fine tuning하는 것.
  • BERT-MTB,,
• 하지만 이런 연구에도 불구하고 많은 성능향상은 없었음.
  • BERT Large가 70.1%의 F1score를 기록했지만 비교적 최신 논문인 LUKE에서 72.7%의 F1Score를 기록하는 것에 그침.
• 근데 더 좋은 성능을 달성하기 위해 더 필요한 것이 무엇인지는 불분명함.
• 해당 논문에서는 현재 존재하는 Relation Classifier의 성능 향상을 저해하는 2가지 장애 요소에 대해 다룰 것.
  • 첫째는 현재 RE Task의 텍스트 내에서 Entity를 표현하는 방식이 Entity를 충분히 나타낼 수 없음.(텍스트 내에서 Entity가 가지는 정보를 더 반영할 필요가 있다.)
    • entity marker를 추가해서 이를 해결하는 방안을 제안할 것.
  • 두번째는 RE Dataset 내 noisy Data, ill-defined label 등 이다.
    • TACRED의 Test set을 Re labeling한 논문에서 6.62% label이 잘못 되어있었음.
    • Test data의 Label을 수정한 dataset으로 좀 더 정확한 성능 측정을 할 것.

Entity Representation

• Entity는 Pretrained Model이 Text 내에서 Entity에 대한 더 많은 정보를 포착할 수 있도록 표현되어야 함.

• 많은 방법들이 제안되었고, 해당 논문에서는 각 방법들에 대한 평가를 진행

  • Sentence: 이순신은 조선 중기의 무신이다. / subject_entity: 이순신(PER) / object_entity: 무신(POH) 라고 가정.
  • Entity mask
    • [SUBJ-PER]은 조선 중기의 [OBJ-POH]이다.
    • 새로운 special token을 도입.
    • entity를 마스킹해서 학습하는 방식 → 강건한 모델
  • Entity marker
    • [E1] 이순신 [/E1]은 조선 중기의 [E2] 무신 [/E2]이다.
    • 새로운 special token 도입
  • Entity marker(punct)
    • @ 이순신 @은 조선 중기의 # 무신 #이다.
    • Entity marker와의 차이는 Special token을 도입하지 않고 기존 Vocab에 있는 단어들로 학습이 가능하다는 점.
  • Typed entity marker
    • <S:PER> 이순신 </S:PER>은 조선 중기의 <O:POH>무신</O:POH>이다.
    • NER type을 entity marker 안에 합치는 방식
    • <S:TYPE>, </S:TYPE>, <O:TYPE>, </O:TYPE> special token 도입(type * 4 만큼 인듯)
  • Typed entity marker(punct)
    • @PER이순신@은 조선 중기의 #^POH^무신#이다.
    • sub, obj를 각각 @와 #으로 묶음.
    • 해당 논문에서 새로 제안하는 방식.

  For all new special tokens, their token embedding is randomly initialized and optimized during f ine-tuning.

Experiments

• RoBERTA_Larget Model이 Typed entity marker(punct)를 사용했을 때 74.6의 F1score를 달성하며 기존의 SOTA인 LUKE의 72.7을 넘어섰음.
  • 이는 객체 정보(NER tag)를 Text에 넣어주는 것이 모델 학습에 도움이 된다는 것을 의미함.
• 또한 Entity mask의 결과를 보면 masking은 큰 효과가 없음을 알 수 있음.
• RoBERTA에서는 새로운 Special Token의 도입이 학습을 크게 방해하고 있음을 알 수 있음.

• 기존연구와의 비교
• BERT_BASE에 entity marker를 사용한것과 typed entity marker를 사용한 걸 비교해보면 어느정도 성능 향상이 있었음을 알 수 있음.