feat(graph-mixer): implement L0 sparsity with Hard-Concrete gate for channel selection

scripts/long_term_forecast/xPatch_SparseChannel_all-Copy1.sh

@@ -2,6 +2,45 @@
 
 model_name=xPatch_SparseChannel
 
+# ETTm1 dataset
+for pred_len in 96 192 336 720
+do
+python -u run.py \
+  --task_name long_term_forecast \
+  --is_training 1 \
+  --root_path ./dataset/ETT-small/ \
+  --data_path ETTm1.csv \
+  --model_id ETTm1_$pred_len'_'$pred_len \
+  --model $model_name \
+  --data ETTm1 \
+  --features M \
+  --seq_len 96 \
+  --label_len 48 \
+  --pred_len $pred_len \
+  --e_layers 2 \
+  --d_layers 1 \
+  --enc_in 7 \
+  --c_out 7 \
+  --d_model 128 \
+  --lradj 'sigmoid' \
+  --d_ff 256 \
+  --n_heads 16 \
+  --patch_len 16 \
+  --stride 8 \
+  --k_graph 5 \
+  --dropout 0.1 \
+  --revin 1 \
+  --des 'Exp' \
+  --itr 1 \
+  --season_encoder 'Transformer' \
+  --thr_graph 0.6 \
+  --symmetric_graph 1 \
+  --degree_rescale 'none' \
+  --gate_temperature 0.6667 \
+  --tau_attn 1.0 \
+  --season_l0_lambda 0.0000
+done
+
 # Weather dataset
 for pred_len in 96 192 336 720
 do
@@ -32,7 +71,14 @@ python -u run.py \
   --dropout 0.1 \
   --revin 1 \
   --des 'Exp' \
-  --itr 1
+  --itr 1 \
+  --season_encoder 'Transformer' \
+  --thr_graph 0.6 \
+  --symmetric_graph 1 \
+  --degree_rescale 'none' \
+  --gate_temperature 0.6667 \
+  --tau_attn 1.0 \
+  --season_l0_lambda 0.0000
 done
 
 # Exchange dataset
@@ -64,40 +110,16 @@ python -u run.py \
   --dropout 0.1 \
   --revin 1 \
   --des 'Exp' \
-  --itr 1
+  --itr 1 \
+  --season_encoder 'Transformer' \
+  --thr_graph 0.6 \
+  --symmetric_graph 1 \
+  --degree_rescale 'none' \
+  --gate_temperature 0.6667 \
+  --tau_attn 1.0 \
+  --season_l0_lambda 0.0000
 done
 
-# ETTm1 dataset
-for pred_len in 96 192 336 720
-do
-python -u run.py \
-  --task_name long_term_forecast \
-  --is_training 1 \
-  --root_path ./dataset/ETT-small/ \
-  --data_path ETTm1.csv \
-  --model_id ETTm1_$pred_len'_'$pred_len \
-  --model $model_name \
-  --data ETTm1 \
-  --features M \
-  --seq_len 96 \
-  --label_len 48 \
-  --pred_len $pred_len \
-  --e_layers 2 \
-  --d_layers 1 \
-  --enc_in 7 \
-  --c_out 7 \
-  --d_model 128 \
-  --lradj 'sigmoid' \
-  --d_ff 256 \
-  --n_heads 16 \
-  --patch_len 16 \
-  --stride 8 \
-  --k_graph 5 \
-  --dropout 0.1 \
-  --revin 1 \
-  --des 'Exp' \
-  --itr 1
-done
 
 # ETTm2 dataset
 for pred_len in 96 192 336 720
@@ -128,7 +150,14 @@ python -u run.py \
   --dropout 0.1 \
   --revin 1 \
   --des 'Exp' \
-  --itr 1
+  --itr 1 \
+  --season_encoder 'Transformer' \
+  --thr_graph 0.6 \
+  --symmetric_graph 1 \
+  --degree_rescale 'none' \
+  --gate_temperature 0.6667 \
+  --tau_attn 1.0 \
+  --season_l0_lambda 0.0000
 done
 
 # ETTh1 dataset