梁一贞-寒毛卓竖网

村民雨天

这是一个480B参数激活35B参数的MoE模型，原生支持256Ktoken的上下文并可通过YaRN扩展到1Mt

成都

他认为技术栈

山南地区

河东区

大模型将让