DiScoFormer：將 Transformer 轉化為通用機率分佈估計器，同時搞定密度與分數
DiScoFormer 是一次成功的數學框架轉譯，將傳統 KDE 的局部核函數擴展為 Transformer 的全局注意力機制，其在高維空間的性能提升具有顯著的實務價值。然而，其泛化能力高度依賴於 GMM 訓練集的覆蓋範圍，若面對極端非平滑或離散分佈，其一致性損失函數的收斂效果仍有待驗證。
部落格
DiScoFormer
DiScoFormer 是一次成功的數學框架轉譯，將傳統 KDE 的局部核函數擴展為 Transformer 的全局注意力機制，其在高維空間的性能提升具有顯著的實務價值。然而，其泛化能力高度依賴於 GMM 訓練集的覆蓋範圍，若面對極端非平滑或離散分佈，其一致性損失函數的收斂效果仍有待驗證。