DStory

👁️ REVIEW 2023년, TimeGPT 논문이 나왔다. 이는 제로샷 예측과 이상치 탐지 태스크에 적용할 수 있음을 배울 수 있었다. 그러면서, LLMTime 등 LLM(Large Language Model)을 투입시키는 연구도 활발히 진행되었다. 뿐만 아니라, 오픈소스 기반 모델인 Lag-LLaMA로 제로샷 예측이 가능해졌다. 이 열기를 이어받아, Amazon 연구원들도 뛰어들게 되었다. 이 연구원들이 제시한 `Chronos`가 무엇인지 알아보자. Original Paper Chronos Chronos는 제로샷 확률 예측을 위한 프레임워크고, Transformer 기반의 언어모델 아키텍쳐를 활용해 예측 태스크에 적용했다. 그리고, Chronos는 NLP(Natural Language Process)..

Transformer 아키텍처는 NLP에서 굉장한 성능을 보여줬다. 그러나, 시계열 예측에서는 그렇지 않다. Transformer 기반의 모델로는 Autoformer, Informer 등이 있는데, 훈련하는 시간도 오래걸리고, 간단한 Linear Model이 benchmarket datasets 에서 더욱 좋은 성능을 보여줬다. 여기서 말하는benchmarket datasets란, 모델의 성능들을 비교할 수 있는 기본 데이터셋들을 의미한다. Original Paper TSMixer Google Cloud AI Research 팀에서 TSMixer을 제안했다. TSMixer은 멀티레이어 퍼셉트론(MLP) 기반 모델이며, 시간과 특성 차원을 더 좋은 예측을 위해 섞는 방식이다. TSMixer Training..

TimesNet(23.04) 👁️ REVIEW 딥러닝 최신 시계열 모형으로 20년에 N-BEATS, 22년 N-HiTS, 최근에 나온 BatchTST가 있었다. N-BEATS와 N-HiTS는 MLP 기반이고 BatchTST는 Transformer 아키텍쳐를 사용한다. 우리가 볼 TimesNet은 CNN 모델을 기반으로 다양한 태스크를 수행한다. 그래서 시계열 분석 모형을 구축하기 위해선 사용하기에 좋은 선택지다. 이번에 리뷰할 TImesNet은 시계열 분석 또는 예측, 이상치 탐지, 분류, 대치법(imputation)이 가능한 다재다능 모델을 설명하고자 한다. Original Paper TimesNet 💡 TimesNet은 여러 기간에 걸친 Variation을 포착하기 위해 1차원 공간을 2차원 공간(I..

3년 동안 많은 시계열 관련 논문들이 있었다. 예를 들어 N-BEATS, PatchTST 그리고 TimesNet. 이 기간 동안 ChatGPT같은 LLM(Large Language Model)도 발전했는데 새로운 입력(문장 등)에 훈련 과정없이 대부분의 태스크에 적용할 수 있게 되었다. ‘그렇다면, 시계열 예측에서도 거대 데이터셋을 학습해서 별도의 훈련 과정없이 사용할 수 있을까?’ 이 질문이 ‘TimeGPT’로 이어지게 되었다. 저자, Azul Garza, Max Mergenthaler-Canseco는 LLM 속에 있는 아키텍쳐와 기술을 사용하였고, zero-shot inference가 가능한 최초의 시계열 기반 모델을 구축하였다. Original Paper TimeGPT 위의 그림을 보면 여러 도메인..