RWKV v5 World 3B

RWKV is an RNN (recurrent neural network) with transformer-level performance. It aims to combine the best of RNNs and transformers - great performance, fast inference, low VRAM, fast training, "infinite" context length, and free sentence embedding. RWKV-5 is trained on 100+ world languages (70% English, 15% multilang, 15% code).

RWKV v5 World 3B 的上下文窗口为 10,000 token。

RWKV v5 World 3B 于 2023年12月10日 发布。其知识截止日期为 2023年6月30日。