Bakiiii21

“删除-再恢复” 形式的自监督预训练可追溯到 2016 年，早于 18 年的 BERT 与 21 年的 MAE。不过在长久的探索中，这种 BERT/MAE 式的预训练算法仍未在卷积模型上成功（即大幅超...