你即將離開本站

並前往https://zhuanlan.zhihu.com/p/391720744

ETC: Encoding Long and Structured Inputs in Transformers 解读

ETC 衍生自Vanilla Transformer，能够处理长文本、结构化输入，主要是因为采用了三种机制：相对位置编码（Relative Position Encoding）、全局-局部注意力（Global-lacal ...

確定！ 回上一頁

查詢 「Etc transformer」的人也找了：

  1. Big Bird: Transformers for longer Sequences
    2.
  2. Longformer
    3.
  3. ETC encoding long and structured inputs in transformers
    4.
  4. A variant of Transformer
    5.
  5. Transformer long sequence
    6.
  6. Linformer
    7.
  7. LongT5
    8.