你即將離開本站

並前往https://www.twblogs.net/a/5ef9f2e2c830749a8d11cc81/?lang=zh-cn

Linformer 阅读笔记 - 台部落

QK是 n x n 继而(QK)V 是 n x d 计算量最大的在于QK出 n x n 这步，固算Attention为O(n^2)复杂度. Linformer用两个 n x k 矩阵，将K 和V 映射为 k x d

確定！ 回上一頁

查詢 「Linformer」的人也找了：

  1. Linformer
    2.
  2. Rethinking attention with Performers
    3.
  3. Linear attention
    4.
  4. Performer Google
    5.
  5. Transformer complexity
    6.
  6. Reformer: THE efficient Transformer
    7.
  7. Linformer GitHub
    8.
  8. Fast transformer
    9.