Snowflake: Arctic Instruct

Arctic is a dense-MoE Hybrid transformer architecture pre-trained from scratch by the Snowflake AI Research Team. Arctic combines a 10B dense transformer model with a residual 128x3.66B MoE MLP resulting in 480B total and 17B active parameters chosen using a top-2 gating. To read more about this model's release, click here.

Arctic Instruct의 컨텍스트 윈도우는 4,096토큰입니다.

Arctic Instruct의 출시일은 2024년 4월 30일입니다. 지식 기준일은 2024년 1월 31일입니다.