Zephyr 141B-A35B

Zephyr 141B-A35B is A Mixture of Experts (MoE) model with 141B total parameters and 35B active parameters. Fine-tuned on a mix of publicly available, synthetic datasets. It is an instruct finetune of Mixtral 8x22B. #moe

Zephyr 141B-A35B 的上下文窗口为 65,536 token。

Zephyr 141B-A35B 于 2024年4月12日 发布。其知识截止日期为 2024年1月31日。