Learning Associative Reasoning Towards Systematicity Using Modular Networks

Abstract

Learning associative reasoning is necessary to implement human-level artificial intelligence even when a model faces unfamiliar associations of learned components. However, conventional memory augmented neural networks (MANNs) have shown degraded performance on systematically different data since they lack consideration of systematic generalization. In this work, we propose a novel architecture for MANNs which explicitly aims to learn recomposable representations with a modular structure of RNNs. Our method binds learned representations with a Tensor Product Representation (TPR) to manifest their associations and stores the associations into TPR-based external memory. In addition, to demonstrate the effectiveness of our approach, we introduce a new benchmark for evaluating systematic generalization performance on associative reasoning, which contains systematically different combinations of words between training and test data. From the experimental results, our method shows superior test accuracy on systematically different data compared to other models. Furthermore, we validate the models using TPR by analyzing whether the learned representations have symbolic properties.

Overview

기존 MANN이 체계적으로 다른 테스트 데이터에서 실패하는 문제를 해결하기 위해, modular encoder와 TPR 기반 외부 메모리를 결합한 새로운 아키텍처를 제안한다.

1. Modular encoding — Recurrent Independent Mechanisms(RIMs)로 입력을 \(N\) 개 독립 모듈이 경쟁적으로 인코딩하여 재조합 가능한 표현을 학습한다.
2. TPR binding — Tensor Product Representation으로 role과 filler의 연관 관계를 수학적으로 바인딩한다: \(T = \sum_{k=1}^N \mathbf{r}_k \otimes \mathbf{f}_k\)
3. Memory-based recall — TPR 기반 외부 메모리에 연관 관계를 저장하고, 학습하지 않은 조합에서도 체계적으로 추론한다.

Method

기존 memory augmented neural network (MANN)는 학습 데이터와 체계적으로 다른(systematically different) 테스트 데이터에서 성능이 급락한다. 우리는 modular RNN encoder + TPR-based external memory를 결합하여 체계적 일반화(systematic generalization)를 달성한다.

핵심 구성:

• Recurrent Independent Mechanisms (RIMs): \(N\) 개의 RNN 모듈이 competitive learning으로 각자 독립적인 인코딩 메커니즘 학습
• Tensor Product Representation (TPR): role과 filler의 tensor product로 연관 관계를 수학적으로 바인딩 — \(T = \sum_{k=1}^N \mathbf{r}_k \otimes \mathbf{f}_k\)
• TPR-based External Memory: 각 시간 단계에서 role/filler 표현을 추출하여 메모리에 superpose
• Systematic Associative Recall (SAR): 체계적 일반화 평가를 위한 새 벤치마크 제안

Results

Quantitative

SAR 태스크에서 DNC, FWM, 제안 방법의 학습/테스트 정확도 비교. DNC와 FWM은 체계적으로 다른 데이터(test different)에서 큰 성능 저하를 보이지만, 우리 모델은 성공적으로 체계적 일반화를 달성한다.

대규모 질의응답 태스크(catbAbI)에서도 FWM에 필적하는 성능을 달성하며, 모듈 기반 인코더의 일반적 유효성을 확인.

Analysis

학습된 표현이 올바른 symbolic property를 갖는지 검증한다. Role 벡터와 unbinding 벡터 간의 유사도를 분석하면, FWM은 orthogonal하지 않지만 우리 방법은 거의 완벽한 orthogonality를 보인다.

(a) FWM

(b) Ours

Role 벡터와 unbinding 벡터 간 유사도 행렬. FWM은 orthogonal하지 않지만, 우리 방법은 거의 완벽한 orthogonality를 보여 올바른 symbolic representation을 학습했음을 확인할 수 있다.

동일한 대상 객체에 대한 read 벡터의 일관성을 분석하면, 우리 방법에서 조합에 관계없이 동일한 결과를 출력한다.

(a) FWM

(b) Ours

동일한 대상 객체에 대한 read 벡터 간 유사도. 우리 방법에서 read 출력이 조합에 관계없이 거의 동일하여, 체계적인 연관 추론을 수행하고 있음을 보여준다.

BibTeX

@inproceedings{bae2022learning,
  author    = {Bae, Jun-Hyun and Park, Taewon and Lee, Minho},
  title     = {Learning Associative Reasoning Towards Systematicity Using Modular Networks},
  booktitle = {International Conference on Neural Information Processing (ICONIP)},
  year      = {2022},
  publisher = {Springer},
  doi       = {10.1007/978-3-031-30108-7_10}
}