中文Mixtral混合专家大模型(Chinese Mixtral MoE LLMs)
本次更新添加了仿OpenAI API Demo。教程:https://github.com/ymcui/Chinese-Mixtral/wiki/openai_api_zh
This release adds OpenAI API Demo. Tutorial: https://github.com/ymcui/Chinese-Mixtral/wiki/openai_api_en
Full Changelog: https://github.com/ymcui/Chinese-Mixtral/compare/v1.1...v1.2
本次更新主要有以下两点:
添加中文Mixtral技术报告,介绍了模型训练方法和相关实验分析
添加了预训练和指令精调训练脚本
Full Changelog: https://github.com/ymcui/Chinese-Mixtral/compare/v1.0...v1.1
发布中文Mixtral, Mixtral-Instruct大模型已正式发布。
Mixtral是一个稀疏混合专家模型。该模型与以往的LLaMA等主流大模型结构具有显著差异,主要体现在以下几点:
Mixtral模型原生支持32K上下文(实测可达128K)。用户可使用单一模型来解决不同长度的各类任务。