about flow acc #8
Description
我在蚂蚁金融数据集上进行了测试，一个中文的句子对相似任务[0，1] 分类，进行了如下实验：
1.bash scripts/train_siamese.sh train
"--exp_name=exp_${BERT_NAME}_${RANDOM_SEED}
--num_train_epochs=1.0
--learning_rate=2e-5
--train_batch_size=16
--cached_dir=${CACHED_DIR}"
在eval 中的acc 为85左右
2.bash scripts/train_siamese.sh train
"--exp_name_prefix=exp
--cached_dir=${CACHED_DIR}
--flow=1 --flow_loss=1
--num_examples=0
--num_train_epochs=3.0
--flow_learning_rate=1e-3
--train_batch_size=16"
没有使用avg-last-2,而是avg,
initial_ckpt 是1中的输出
在eval 中的acc 稳定在50左右
为什么使用了flow acc结果却下降了