Bagel 34B v0.2

An experimental fine-tune of Yi 34b 200k using bagel. This is the version of the fine-tune before direct preference optimization (DPO) has been applied. DPO performs better on benchmarks, but this version is likely better for creative writing, roleplay, etc.

Bagel 34B v0.2 dispose d’une fenêtre de contexte de 200 000 jetons.

Bagel 34B v0.2 est sorti le 5 janvier 2024. Ses connaissances s’arrêtent au 30 juin 2023.