Chronos 논문 리뷰

Chronos, 시간의 신 Image from HubPages

👁️ REVIEW

2023년, TimeGPT 논문이 나왔다. 이는 제로샷 예측과 이상치 탐지 태스크에 적용할 수 있음을 배울 수 있었다. 그러면서, LLMTime 등 LLM(Large Language Model)을 투입시키는 연구도 활발히 진행되었다. 뿐만 아니라, 오픈소스 기반 모델인 Lag-LLaMA로 제로샷 예측이 가능해졌다. 이 열기를 이어받아, Amazon 연구원들도 뛰어들게 되었다. 이 연구원들이 제시한 `Chronos`가 무엇인지 알아보자.

Original Paper

Chronos

Chronos는 제로샷 확률 예측을 위한 프레임워크고, Transformer 기반의 언어모델 아키텍쳐를 활용해 예측 태스크에 적용했다. 그리고, Chronos는 NLP(Natural Language Process) 모델을 사용한다. 보통 NLP모델은 NLP에서 다음 토큰을 예측하기 위해 사용되는데, 시계열에 적용해보기 위해 시계열 데이터를 학습했다. 그러나, NLP에서는 선택 가능한 토큰이 고정되어 있는데, Time Series 데이터는 제한이 없다.

 

예를 들어, ‘나는 한국인이다.’ 라는 문장을 생각해보자. 형태소를 기준으로 나누어 볼 수 있고, 공백 기준으로 토큰화할 수 있다. 즉, 토큰으로 선택 가능한 방법이 한정되어 있다. 시계열 데이터는 어떨까?

Image from  https://www.solver.com/time-series

 

 

위 그림을 보면, y축에 0에서 700까지 있다. 이거를 어떻게 토큰화 해야할까? 소수점을 끝까지 고려해보면, 제한없이 토큰화를 진행할 수 있다. 이렇게 되면, 예측 결과가 좋지 않다. 그렇기 때문에 태스크에 맞게 재조정할 필요가 있다. 그래서 재조정을 하게 되면, 제로샷 예측을 위한 모델을 사전에 학습할 수 있게 된다.

📐 Architecture of Chronos

모델의 구성을 보자.

위 모델은 Chronos의 아키텍쳐다.

• (왼쪽) 연속된 토큰을 얻기 위해 시계열 데이터를 스케일링하고 양자화를 거친다.
• (중간) 얻은 토큰을 시계열 언어 모델(인코더-디코더 또는 디코더 모델)에 투입시킨다. 그러면, 이 시계열 언어 모델이 cross-entropy loss를 사용해서 학습이 된다.
• (오른쪽) 추론 과정에서, 양자화, 스케일링 작업을 역으로 진행해 원래 값을 얻는다.

🗒️Detail

조금 더 구체적으로 보자.

1. 시계열 데이터 토큰화

위에서, LLM은 정해진 단어 토큰으로 작동되기 때문에 시계열 데이터 또한 한정된 토큰의 집합으로 재조정해야한다고 말했다. Chronos 저자는 먼저, 시계열 데이터를 적절한 값으로 아래 처럼  평균 스케일링 한다. 

 

이후 고정된 수로 양자화하는 것을 제안했다. 물론, 다른 스케일링을 써도 되지만, 시계열 데이터를 활용하는 딥러닝 모델에서는 평균 스케일링이 좀 더 효과적이라고 말해서 평균 스케일링을 사용했다. (Salinas et al.,2020) 이 과정을 거치면, 아래의 식으로 적용된다.

 

데이터를 스케일링 했을 때 모양이 그대로 유지되고, Y의 범위가 줄었다. 결국 LLM을 훈련하기 위한 고정된 토큰의 집합으로 표현되기 쉽다. 

2. 양자화

위 스케일링 과정을 통해 y축 범위가 줄었지만, 연속적인 값을 이산적인 값으로 매핑을 해줘야한다. 이렇게 해야, Context Token을 생성할 수 있고, 결국 LLM에 투입할 수 있다. 어떻게 할 수 있을까?

 

바이닝(Binning) 방법으로 양자화한다.

작은 값은 맨 왼쪽으로, 큰 값은 오른쪽에 둬서 일정한 간격으로 값을 배치 한다. 아래 예시는 100개로 binning 한 결과고, 결국 Token은 1~100의 값을 가지게 된다.

 

💡 꼭 알아둬야할 것은, Chronos는 temperature, day of weeks, week of years 등의 변수를 쓰지 않고, 시계열 데이터를 연속된 토큰으로 고려한다. 이후 양자화를 통해서 직관적이지는 않지만, LLM에 모델에 최소한으로 적용할 수 있게 만든다.

3. 훈련

훈련을 할때, 주변 bin의 값을 참조하면서 학습하게 된다. 즉, ‘분포’를 학습한다. 값자체에 집중하기보다, 분포에 집중하기 때문에 제로샷 예측을 위해 쓰일 미래 데이터 값에 일반화 성능을 기대해볼 수 있다. 분포를 학습하고 예측 확률값이 출력이 되는데, 저자는 categorical cross entropy를 손실함수로 사용했다. 음, 확실히 독특한 접근법이다.

4. 추론

context token을 입력한 후 모델은 지정한 윈도우를 가지고 연속적으로 token을 출력한다. 이후 ‘역양자화’,’역스케일링’으로 원래값으로 반환한다.

---

😊여기까지가 Chronos에 대한 설명이다. 어! 잠깐, 제로샷 예측이라면, 모델이 다양한 패턴을 가진 데이터를 학습 해야하지 않나? 정답! 그럼, 데이터 증강에 대해 알아보자 🙂 (이것만 알면 끝이예요, 좀 만 더 읽어봅시다!)

5. 데이터 증강

공개 시계열 데이터의 품질과 양은 자연어에 비해 풍부하지 않다. 그래서, 데이터를 풍부하게 만들어줘야 하는데, 저자는 ‘TSMix, Kernel Synth’를 제안했다.

 

TSMix

간단하다. 원본 시계열 데이터를 특정 길이로 시퀀스 무작위 추출을한다. 이후 스케일링하고 convex combination을 취한다.

 

KernelSynth

더욱 확장하기 위해 가우시안 처리를 사용해서 합성 시계열 데이터를 만든다.

 

좀 더 설명을 붙혀보자면, 시계열 데이터에서 선형, 주기 등 KernelBank에서 정의한다. 이후, 선형 커널이 곱셈을 사용해서 자신과 결합되어 2차 함수 형태가 된다. 그 후, 주기(예. 계절 패턴)을 추가해서 2차 함수와 결합한다. 여기서 얻은 최종 커널은 특정 분포 내에서 샘플을 생성하는 가우스 프로세스에 넣게 된다.

Conclusion

5가지로 정리해봤다.

1. Chronos는 LLM 모델을 사용해서 학습하고 추론한다. 

2. 이를 위해 연속적인 시계열 데이터를 스케일링 및 양자화로 context token로 바꿔준다.

3. 모델은 값 자체보다 분포를 훈련해 일반화 성능 향상을 기대해볼 수 있게 하고, categorical cross-entropy 손실함수를 사용해 훈련한다.

4. 최종적으로 얻은 context token을 역양자화 및 역스케일링으로 원본 데이터를 얻는다.

5. 제로샷 예측을 위해 다양한 데이터를 학습할 필요가 있는데, 데이터 증강(TSMix, KernelSynth) 기법을 사용해 증강한다.

 

My opinion

이전에도 LLM으로 시계열 데이터에 적용하는 것들을 봐와서 어렵지 않게 읽을 수 있었다. 그러나, 데이터 증강 기법을 확실하게 이해하기 어려웠다. 특히 KernelSynth기법은 추상적으로만 이해할 수 있지, 구체적으로 잘 모르겠다. 이 부분은 따로 공부해야겠다.