TimesNet 논문 리뷰

TimesNet(23.04)

👁️ REVIEW

---

딥러닝 최신 시계열 모형으로 20년에 N-BEATS, 22년 N-HiTS, 최근에 나온 BatchTST가 있었다. N-BEATS와 N-HiTS는 MLP 기반이고 BatchTST는 Transformer 아키텍쳐를 사용한다. 우리가 볼 TimesNet은 CNN 모델을 기반으로 다양한 태스크를 수행한다. 그래서 시계열 분석 모형을 구축하기 위해선 사용하기에 좋은 선택지다.

이번에 리뷰할 TImesNet은 시계열 분석 또는 예측, 이상치 탐지, 분류, 대치법(imputation)이 가능한 다재다능 모델을 설명하고자 한다.

Original Paper

TimesNet

💡 TimesNet은 여러 기간에 걸친 Variation을 포착하기 위해 1차원 공간을 2차원 공간(Intra-period, Inter-period를)으로 변환하여 모델링한다.

 

종종 실세계에서의 시계열값은 여러 기간에 걸친 주기가 있다. 우리는 이걸 Multi-Periodicity라고 한다. 이게 TimesNet이 탄생하게된 계기다.

자동차 교통량을 생각해보자. 출근길, 퇴근길에 교통량이 활발하고 주말보다 평일에 교통량이 많다. 또 다른 예로는 기온이 있다. 밤보다 낮이 기온이 높고, 겨울보다 여름이 높다. 이 두 예제에서는 Multi-periodicity가 있다고 할 수 있다.

이렇게 두 개의 주기가 겹치는 경우에 모델링이 복잡해지고, 데이터의 변동성을 해석하는 데 어려움이 발생한다. 이는 다양한 주기의 변동성이 서로 상호작용하면서, 단일 주기를 가진 데이터보다 예측이 더 어려워진다.

그래서 TImesNet은 Multi-periodicity 문제를 해결하고자 시계열 값을 2D로 변형하여 intraperiod-variation과 interperiod-variation 로 구분하였다. intraperiod-variation은 단기적인 주기에서 일어나는 변동이다. interperiod-variation은 장기적인 주기에서 일어나는 변동이다.

• 온도의 경우 하루동안 일어나는 낮과 밤의 단기적인 온도 주기는 intraperiod-variation이다.
• 하루와 다음 날 하루의 주기 또는 작년 여름과 올해 여름의 장기적인 온도 주기는 interperiod-variation이다.

Architecture of TimesNet

모델의 구성을 보자.

위 그림은 TimesNet의 아키텍쳐이다. 왼쪽 TimesBlock이 여러개 쌓아져있으며 잔차와 함께 이어져 있다. 하나의 TimesBlock에 k개의 레이어가 존재하고 처리 프로세스가 존재한다.

1. FFT for Periods : 시계열 값이 서로 다른 주기를 찾기 위해 FFT(Fast Fourier Transform)을 거친다.

1. Reshape : Intraperiod, Interperiod 패턴을 파악하여 2D Vector로 변환된다.
2. Parameter-efficient Inception block : 2D Vector를 입력 받고 다양한 크기의 2D 커널을 사용해서 학습 및 예측을 한다.
3. Reshape Back : adaptive aggregation을 사용해서 1D Vector로 재변환한다.

Detail

조금 더 구체적으로 보자.

1. 2D 공간 배열 방법

• Intraperiod-variation 사각형을 보면 해당 period 동안 어떻게 변화했는지 보여준다.
• Interperiod-variation은 period와 다음 period 사이의 어떻게 변화했는지 보여준다.

한 달 동안의 교통량을 예로 들어보자.

월요일에서 화요일 교통량, 화요일부터 수요일 교통량 → Intraperiod-variation

첫째 주 월요일에서 둘째 주 월요일 교통량, 첫째 주 화요일에서 둘 째주 화요일 교통량 → Interperiod-variation

이후 Intraperiod-variation를 y축, Interperiod-variation를 x축에 배치하여 2D로 변환한다.

 

왜 이렇게 변환할까?

1D의 경우 인접한 데이터 포인트와 변동성을 비교하는데, 2D로 변환하면 데이터의 변동성을 더욱 대표할 수 있기 때문이다.

2. 다양한 주기를 찾는 방법

시계열 값에서 여러 개의 주기를 찾기 위해 FFT(Fast Fourier Transform)를 사용한다. FFT는 Frequency(빈도)와 강도(Amplitude)로 변환한다.

위의 파란 선인 FFT 그림을 보면, Amplitude 값이 튀어오르는 구간들(Frequency1, Frequency2…)이 중요하다. 그 구간들을 각각 추출 후 2D 커널로 일시적인 변동을 포착한다.

3. Inception Block

변환된 2D는 inception block으로 전송된다. Inception 모듈은 컴퓨터비전 모델인 googleNet으로 구축된다. 이러한 Computer Vision 방식을 사용한 건, 2D 데이터를 잘 처리하기 때문이다. 그리고 TimesNet에서 Vision Backbone을 변경할 수 있는 장점을 가지기 때문이다.

 

inception 모듈의 핵심은 데이터를 희소하게 유지해서 표현한다. 이렇게 하면, 기술적으로 뉴럴 네트워크(Neural Network)의 크기를 증가시킬 수 있고, 연산을 효율적으로 할 수 있게 된다. 이는 다양한 컨볼루션과 풀링 연산으로 수행되고 이후 병합한다. 아래와 같은 방식으로 말이다.

aggregation(통합)

aggregation을 진행하기 위해서 2D는 반드시 1D 벡터로 변경되어야 한다. 왜냐하면 각각의periods에는 다른 amplitudes가 존재하기 때문이다. 이러한 각 periods의 상대적 중요성을 사용해 aggregation을 하기 위해 FFT또한 softmax layer에 전송된다.

통합된 데이터는 하나의 TimesBlock 출력으로 나타난다. 이후, 잔차 연결을 가지는 여러 개의 TimesBlock을 쌓아, TimesNet 모델을 구축한다.

Conclusion

TimesNet은 Inception 모듈을 활용해 예측과 분류, 이상탐지와 같은 다양한 시계열 분석 작업에서 최첨단 성능을 달성하는 CNN 기반 모델이다.