RWKV v5 World 3B

RWKV is an RNN (recurrent neural network) with transformer-level performance. It aims to combine the best of RNNs and transformers - great performance, fast inference, low VRAM, fast training, "infinite" context length, and free sentence embedding. RWKV-5 is trained on 100+ world languages (70% English, 15% multilang, 15% code).

RWKV v5 World 3B のコンテキストウィンドウは 10,000 トークンです。

RWKV v5 World 3B は 2023年12月10日 にリリースされました。知識のカットオフ日は 2023年6月30日 です。