feat: add mamba and dynamic chunking related code and test code

scripts/long_term_forecast/vanillaMamba_all.sh

@@ -0,0 +1,251 @@
+#!/bin/bash
+
+model_name=vanillaMamba
+
+# ETTm1 dataset
+for pred_len in 96 192 336 720
+do
+python -u run.py \
+  --task_name long_term_forecast \
+  --is_training 1 \
+  --root_path ./dataset/ETT-small/ \
+  --data_path ETTm1.csv \
+  --model_id ETTm1_$pred_len'_'$pred_len \
+  --model $model_name \
+  --data ETTm1 \
+  --features M \
+  --seq_len 96 \
+  --label_len 48 \
+  --pred_len $pred_len \
+  --e_layers 2 \
+  --d_layers 1 \
+  --enc_in 7 \
+  --c_out 7 \
+  --d_model 128 \
+  --expand 2 \
+  --d_conv 4 \
+  --d_state 64 \
+  --headdim 64 \
+  --ngroups 1 \
+  --chunk_size 256 \
+  --dropout 0.1 \
+  --des 'Exp' \
+  --itr 1
+done
+
+# ETTm2 dataset
+for pred_len in 96 192 336 720
+do
+python -u run.py \
+  --task_name long_term_forecast \
+  --is_training 1 \
+  --root_path ./dataset/ETT-small/ \
+  --data_path ETTm2.csv \
+  --model_id ETTm2_$pred_len'_'$pred_len \
+  --model $model_name \
+  --data ETTm2 \
+  --features M \
+  --seq_len 96 \
+  --label_len 48 \
+  --pred_len $pred_len \
+  --e_layers 2 \
+  --d_layers 1 \
+  --enc_in 7 \
+  --c_out 7 \
+  --d_model 128 \
+  --expand 2 \
+  --d_conv 4 \
+  --d_state 64 \
+  --headdim 64 \
+  --ngroups 1 \
+  --chunk_size 256 \
+  --dropout 0.1 \
+  --des 'Exp' \
+  --itr 1
+done
+
+# ETTh1 dataset
+for pred_len in 96 192 336 720
+do
+python -u run.py \
+  --task_name long_term_forecast \
+  --is_training 1 \
+  --root_path ./dataset/ETT-small/ \
+  --data_path ETTh1.csv \
+  --model_id ETTh1_$pred_len'_'$pred_len \
+  --model $model_name \
+  --data ETTh1 \
+  --features M \
+  --seq_len 96 \
+  --label_len 48 \
+  --pred_len $pred_len \
+  --e_layers 2 \
+  --d_layers 1 \
+  --enc_in 7 \
+  --c_out 7 \
+  --d_model 128 \
+  --expand 2 \
+  --d_conv 4 \
+  --d_state 64 \
+  --headdim 64 \
+  --ngroups 1 \
+  --chunk_size 256 \
+  --dropout 0.1 \
+  --des 'Exp' \
+  --itr 1
+done
+
+# ETTh2 dataset
+for pred_len in 96 192 336 720
+do
+python -u run.py \
+  --task_name long_term_forecast \
+  --is_training 1 \
+  --root_path ./dataset/ETT-small/ \
+  --data_path ETTh2.csv \
+  --model_id ETTh2_$pred_len'_'$pred_len \
+  --model $model_name \
+  --data ETTh2 \
+  --features M \
+  --seq_len 96 \
+  --label_len 48 \
+  --pred_len $pred_len \
+  --e_layers 2 \
+  --d_layers 1 \
+  --enc_in 7 \
+  --c_out 7 \
+  --d_model 128 \
+  --expand 2 \
+  --d_conv 4 \
+  --d_state 64 \
+  --headdim 64 \
+  --ngroups 1 \
+  --chunk_size 256 \
+  --dropout 0.1 \
+  --des 'Exp' \
+  --itr 1
+done
+
+# Weather dataset
+for pred_len in 96 192 336 720
+do
+python -u run.py \
+  --task_name long_term_forecast \
+  --is_training 1 \
+  --root_path ./dataset/weather/ \
+  --data_path weather.csv \
+  --model_id weather_$pred_len'_'$pred_len \
+  --model $model_name \
+  --data custom \
+  --features M \
+  --seq_len 96 \
+  --label_len 48 \
+  --pred_len $pred_len \
+  --e_layers 2 \
+  --d_layers 1 \
+  --enc_in 21 \
+  --c_out 21 \
+  --d_model 128 \
+  --expand 2 \
+  --d_conv 4 \
+  --d_state 64 \
+  --headdim 64 \
+  --ngroups 1 \
+  --chunk_size 256 \
+  --dropout 0.1 \
+  --des 'Exp' \
+  --itr 1
+done
+
+# ECL dataset
+for pred_len in 96 192 336 720
+do
+python -u run.py \
+  --task_name long_term_forecast \
+  --is_training 1 \
+  --root_path ./dataset/electricity/ \
+  --data_path electricity.csv \
+  --model_id ECL_$pred_len'_'$pred_len \
+  --model $model_name \
+  --data custom \
+  --features M \
+  --seq_len 96 \
+  --label_len 48 \
+  --pred_len $pred_len \
+  --e_layers 2 \
+  --d_layers 1 \
+  --enc_in 321 \
+  --c_out 321 \
+  --d_model 128 \
+  --expand 2 \
+  --d_conv 4 \
+  --d_state 64 \
+  --headdim 64 \
+  --ngroups 1 \
+  --chunk_size 256 \
+  --dropout 0.1 \
+  --des 'Exp' \
+  --itr 1
+done
+
+# Traffic dataset
+for pred_len in 96 192 336 720
+do
+python -u run.py \
+  --task_name long_term_forecast \
+  --is_training 1 \
+  --root_path ./dataset/traffic/ \
+  --data_path traffic.csv \
+  --model_id traffic_$pred_len'_'$pred_len \
+  --model $model_name \
+  --data custom \
+  --features M \
+  --seq_len 96 \
+  --label_len 48 \
+  --pred_len $pred_len \
+  --e_layers 2 \
+  --d_layers 1 \
+  --enc_in 862 \
+  --c_out 862 \
+  --d_model 128 \
+  --expand 2 \
+  --d_conv 4 \
+  --d_state 64 \
+  --headdim 64 \
+  --ngroups 1 \
+  --chunk_size 256 \
+  --dropout 0.1 \
+  --des 'Exp' \
+  --itr 1
+done
+
+# Exchange dataset
+for pred_len in 96 192 336 720
+do
+python -u run.py \
+  --task_name long_term_forecast \
+  --is_training 1 \
+  --root_path ./dataset/exchange_rate/ \
+  --data_path exchange_rate.csv \
+  --model_id Exchange_$pred_len'_'$pred_len \
+  --model $model_name \
+  --data custom \
+  --features M \
+  --seq_len 96 \
+  --label_len 48 \
+  --pred_len $pred_len \
+  --e_layers 2 \
+  --d_layers 1 \
+  --enc_in 8 \
+  --c_out 8 \
+  --d_model 128 \
+  --expand 2 \
+  --d_conv 4 \
+  --d_state 64 \
+  --headdim 64 \
+  --ngroups 1 \
+  --chunk_size 256 \
+  --dropout 0.1 \
+  --des 'Exp' \
+  --itr 1
+done

scripts/long_term_forecast/xPatch_SparseChannel_PEMS.sh

@@ -0,0 +1,150 @@
+#!/bin/bash
+
+#export CUDA_VISIBLE_DEVICES=0
+
+model_name=xPatch_SparseChannel
+
+seq_len=96
+pred_len=12
+learning_rate=0.003
+d_model=128
+d_ff=256
+batch_size=128
+train_epochs=10
+patience=10
+
+# PEMS03 dataset
+python -u run.py \
+  --task_name long_term_forecast \
+  --is_training 1 \
+  --root_path ./dataset/PEMS/ \
+  --data_path PEMS03.npz \
+  --model_id PEMS03 \
+  --model $model_name \
+  --data PEMS \
+  --features M \
+  --seq_len $seq_len \
+  --label_len 0 \
+  --pred_len $pred_len \
+  --e_layers 2 \
+  --d_layers 1 \
+  --enc_in 358 \
+  --dec_in 358 \
+  --c_out 358 \
+  --lradj 'sigmoid' \
+  --d_model $d_model \
+  --d_ff $d_ff \
+  --n_heads 16 \
+  --patch_len 16 \
+  --stride 8 \
+  --k_graph 8 \
+  --dropout 0.1 \
+  --revin 1 \
+  --batch_size $batch_size \
+  --learning_rate $learning_rate \
+  --train_epochs $train_epochs \
+  --patience $patience \
+  --des 'Exp' \
+  --itr 1
+
+# PEMS04 dataset
+python -u run.py \
+  --task_name long_term_forecast \
+  --is_training 1 \
+  --root_path ./dataset/PEMS/ \
+  --data_path PEMS04.npz \
+  --model_id PEMS04 \
+  --model $model_name \
+  --data PEMS \
+  --features M \
+  --seq_len $seq_len \
+  --label_len 0 \
+  --pred_len $pred_len \
+  --e_layers 2 \
+  --d_layers 1 \
+  --enc_in 307 \
+  --dec_in 307 \
+  --c_out 307 \
+  --lradj 'sigmoid' \
+  --d_model $d_model \
+  --d_ff $d_ff \
+  --n_heads 16 \
+  --patch_len 16 \
+  --stride 8 \
+  --k_graph 8 \
+  --dropout 0.1 \
+  --revin 1 \
+  --batch_size $batch_size \
+  --learning_rate $learning_rate \
+  --train_epochs $train_epochs \
+  --patience $patience \
+  --des 'Exp' \
+  --itr 1
+
+# PEMS07 dataset
+python -u run.py \
+  --task_name long_term_forecast \
+  --is_training 1 \
+  --root_path ./dataset/PEMS/ \
+  --data_path PEMS07.npz \
+  --model_id PEMS07 \
+  --model $model_name \
+  --data PEMS \
+  --features M \
+  --seq_len $seq_len \
+  --label_len 0 \
+  --pred_len $pred_len \
+  --e_layers 2 \
+  --d_layers 1 \
+  --enc_in 883 \
+  --dec_in 883 \
+  --c_out 883 \
+  --lradj 'sigmoid' \
+  --d_model $d_model \
+  --d_ff $d_ff \
+  --n_heads 16 \
+  --patch_len 16 \
+  --stride 8 \
+  --k_graph 8 \
+  --dropout 0.1 \
+  --revin 1 \
+  --batch_size $batch_size \
+  --learning_rate $learning_rate \
+  --train_epochs $train_epochs \
+  --patience $patience \
+  --des 'Exp' \
+  --itr 1
+
+# PEMS08 dataset
+python -u run.py \
+  --task_name long_term_forecast \
+  --is_training 1 \
+  --root_path ./dataset/PEMS/ \
+  --data_path PEMS08.npz \
+  --model_id PEMS08 \
+  --model $model_name \
+  --data PEMS \
+  --features M \
+  --seq_len $seq_len \
+  --label_len 0 \
+  --pred_len $pred_len \
+  --e_layers 2 \
+  --d_layers 1 \
+  --enc_in 170 \
+  --dec_in 170 \
+  --c_out 170 \
+  --lradj 'sigmoid' \
+  --d_model $d_model \
+  --d_ff $d_ff \
+  --n_heads 16 \
+  --patch_len 16 \
+  --stride 8 \
+  --k_graph 8 \
+  --dropout 0.1 \
+  --revin 1 \
+  --batch_size $batch_size \
+  --learning_rate $learning_rate \
+  --train_epochs $train_epochs \
+  --patience $patience \
+  --des 'Exp' \
+  --itr 1

scripts/long_term_forecast/xPatch_SparseChannel_all-Copy1.sh

@@ -0,0 +1,251 @@
+#!/bin/bash
+
+model_name=xPatch_SparseChannel
+
+# ETTm1 dataset
+for pred_len in 96 192 336 720
+do
+python -u run.py \
+  --task_name long_term_forecast \
+  --is_training 1 \
+  --root_path ./dataset/ETT-small/ \
+  --data_path ETTm1.csv \
+  --model_id ETTm1_$pred_len'_'$pred_len \
+  --model $model_name \
+  --data ETTm1 \
+  --features M \
+  --seq_len 96 \
+  --label_len 48 \
+  --pred_len $pred_len \
+  --e_layers 2 \
+  --d_layers 1 \
+  --enc_in 7 \
+  --c_out 7 \
+  --d_model 128 \
+  --d_ff 256 \
+  --n_heads 16 \
+  --patch_len 16 \
+  --stride 8 \
+  --k_graph 7 \
+  --dropout 0.1 \
+  --revin 1 \
+  --des 'Exp' \
+  --itr 1
+done
+
+# ETTm2 dataset
+for pred_len in 96 192 336 720
+do
+python -u run.py \
+  --task_name long_term_forecast \
+  --is_training 1 \
+  --root_path ./dataset/ETT-small/ \
+  --data_path ETTm2.csv \
+  --model_id ETTm2_$pred_len'_'$pred_len \
+  --model $model_name \
+  --data ETTm2 \
+  --features M \
+  --seq_len 96 \
+  --label_len 48 \
+  --pred_len $pred_len \
+  --e_layers 2 \
+  --d_layers 1 \
+  --enc_in 7 \
+  --c_out 7 \
+  --d_model 128 \
+  --d_ff 256 \
+  --n_heads 16 \
+  --patch_len 16 \
+  --stride 8 \
+  --k_graph 7 \
+  --dropout 0.1 \
+  --revin 1 \
+  --des 'Exp' \
+  --itr 1
+done
+
+# ETTh1 dataset
+for pred_len in 96 192 336 720
+do
+python -u run.py \
+  --task_name long_term_forecast \
+  --is_training 1 \
+  --root_path ./dataset/ETT-small/ \
+  --data_path ETTh1.csv \
+  --model_id ETTh1_$pred_len'_'$pred_len \
+  --model $model_name \
+  --data ETTh1 \
+  --features M \
+  --seq_len 96 \
+  --label_len 48 \
+  --pred_len $pred_len \
+  --e_layers 2 \
+  --d_layers 1 \
+  --enc_in 7 \
+  --c_out 7 \
+  --d_model 128 \
+  --d_ff 256 \
+  --n_heads 16 \
+  --patch_len 16 \
+  --stride 8 \
+  --k_graph 7 \
+  --dropout 0.1 \
+  --revin 1 \
+  --des 'Exp' \
+  --itr 1
+done
+
+# ETTh2 dataset
+for pred_len in 96 192 336 720
+do
+python -u run.py \
+  --task_name long_term_forecast \
+  --is_training 1 \
+  --root_path ./dataset/ETT-small/ \
+  --data_path ETTh2.csv \
+  --model_id ETTh2_$pred_len'_'$pred_len \
+  --model $model_name \
+  --data ETTh2 \
+  --features M \
+  --seq_len 96 \
+  --label_len 48 \
+  --pred_len $pred_len \
+  --e_layers 2 \
+  --d_layers 1 \
+  --enc_in 7 \
+  --c_out 7 \
+  --d_model 128 \
+  --d_ff 256 \
+  --n_heads 16 \
+  --patch_len 16 \
+  --stride 8 \
+  --k_graph 7 \
+  --dropout 0.1 \
+  --revin 1 \
+  --des 'Exp' \
+  --itr 1
+done
+
+# Weather dataset
+for pred_len in 96 192 336 720
+do
+python -u run.py \
+  --task_name long_term_forecast \
+  --is_training 1 \
+  --root_path ./dataset/weather/ \
+  --data_path weather.csv \
+  --model_id weather_$pred_len'_'$pred_len \
+  --model $model_name \
+  --data custom \
+  --features M \
+  --seq_len 96 \
+  --label_len 48 \
+  --pred_len $pred_len \
+  --e_layers 2 \
+  --d_layers 1 \
+  --enc_in 21 \
+  --c_out 21 \
+  --d_model 128 \
+  --d_ff 256 \
+  --n_heads 16 \
+  --patch_len 16 \
+  --stride 8 \
+  --k_graph 8 \
+  --dropout 0.1 \
+  --revin 1 \
+  --des 'Exp' \
+  --itr 1
+done
+
+# ECL dataset
+for pred_len in 96 192 336 720
+do
+python -u run.py \
+  --task_name long_term_forecast \
+  --is_training 1 \
+  --root_path ./dataset/electricity/ \
+  --data_path electricity.csv \
+  --model_id ECL_$pred_len'_'$pred_len \
+  --model $model_name \
+  --data custom \
+  --features M \
+  --seq_len 96 \
+  --label_len 48 \
+  --pred_len $pred_len \
+  --e_layers 2 \
+  --d_layers 1 \
+  --enc_in 321 \
+  --c_out 321 \
+  --d_model 128 \
+  --d_ff 256 \
+  --n_heads 16 \
+  --patch_len 16 \
+  --stride 8 \
+  --k_graph 8 \
+  --dropout 0.1 \
+  --revin 1 \
+  --des 'Exp' \
+  --itr 1
+done
+
+# Traffic dataset
+for pred_len in 96 192 336 720
+do
+python -u run.py \
+  --task_name long_term_forecast \
+  --is_training 1 \
+  --root_path ./dataset/traffic/ \
+  --data_path traffic.csv \
+  --model_id traffic_$pred_len'_'$pred_len \
+  --model $model_name \
+  --data custom \
+  --features M \
+  --seq_len 96 \
+  --label_len 48 \
+  --pred_len $pred_len \
+  --e_layers 2 \
+  --d_layers 1 \
+  --enc_in 862 \
+  --c_out 862 \
+  --d_model 128 \
+  --d_ff 256 \
+  --n_heads 16 \
+  --patch_len 16 \
+  --stride 8 \
+  --k_graph 8 \
+  --dropout 0.1 \
+  --revin 1 \
+  --des 'Exp' \
+  --itr 1
+done
+
+# Exchange dataset
+for pred_len in 96 192 336 720
+do
+python -u run.py \
+  --task_name long_term_forecast \
+  --is_training 1 \
+  --root_path ./dataset/exchange_rate/ \
+  --data_path exchange_rate.csv \
+  --model_id Exchange_$pred_len'_'$pred_len \
+  --model $model_name \
+  --data custom \
+  --features M \
+  --seq_len 96 \
+  --label_len 48 \
+  --pred_len $pred_len \
+  --e_layers 2 \
+  --d_layers 1 \
+  --enc_in 8 \
+  --c_out 8 \
+  --d_model 128 \
+  --d_ff 256 \
+  --n_heads 16 \
+  --patch_len 16 \
+  --stride 8 \
+  --k_graph 8 \
+  --dropout 0.1 \
+  --revin 1 \
+  --des 'Exp' \
+  --itr 1
+done

scripts/long_term_forecast/xPatch_SparseChannel_all.sh

@@ -0,0 +1,77 @@
+#!/bin/bash
+
+model_name=xPatch_SparseChannel
+
+# ECL dataset
+for pred_len in 96 192 336 720
+do
+python -u run.py \
+  --task_name long_term_forecast \
+  --is_training 1 \
+  --root_path ./dataset/electricity/ \
+  --data_path electricity.csv \
+  --model_id ECL_$pred_len'_'$pred_len \
+  --model $model_name \
+  --data custom \
+  --features M \
+  --seq_len 96 \
+  --label_len 48 \
+  --pred_len $pred_len \
+  --e_layers 2 \
+  --d_layers 1 \
+  --enc_in 321 \
+  --batch_size 512 \
+  --learning_rate 0.001 \
+  --use_multi_gpu True \
+  --lradj 'sigmoid' \
+  --train_epochs 50 \
+  --patience 5 \
+  --c_out 321 \
+  --d_model 128 \
+  --d_ff 256 \
+  --n_heads 16 \
+  --patch_len 16 \
+  --stride 8 \
+  --k_graph 8 \
+  --dropout 0.1 \
+  --revin 1 \
+  --des 'Exp' \
+  --itr 1
+done
+
+# Traffic dataset
+for pred_len in 96 192 336 720
+do
+python -u run.py \
+  --task_name long_term_forecast \
+  --is_training 1 \
+  --root_path ./dataset/traffic/ \
+  --data_path traffic.csv \
+  --model_id traffic_$pred_len'_'$pred_len \
+  --model $model_name \
+  --data custom \
+  --features M \
+  --seq_len 96 \
+  --label_len 48 \
+  --pred_len $pred_len \
+  --e_layers 2 \
+  --d_layers 1 \
+  --enc_in 862 \
+  --batch_size 256 \
+  --learning_rate 0.0005 \
+  --use_multi_gpu True \
+  --lradj 'sigmoid' \
+  --train_epochs 50 \
+  --patience 5 \
+  --c_out 862 \
+  --d_model 128 \
+  --d_ff 256 \
+  --n_heads 16 \
+  --patch_len 16 \
+  --stride 8 \
+  --k_graph 8 \
+  --dropout 0.1 \
+  --revin 1 \
+  --des 'Exp' \
+  --itr 1
+done