Shibing624 Textgen Versions Save

TextGen: Implementation of Text Generation models, include LLaMA, BLOOM, GPT2, BART, T5, SongNet and so on. 文本生成模型，实现了包括LLaMA，ChatGLM，BLOOM，GPT2，Seq2Seq，BART，T5，UDA等模型的训练和预测，开箱即用。

1.1.2

5 months ago

1.1.2版本

  1. GPT模型支持了NEFTune给embedding加噪SFT训练方法，SFT中使用 --neft_alpha 参数启用 NEFTune，例如 --neft_alpha 5，示例代码：https://github.com/shibing624/textgen/blob/main/examples/gpt/training_llama_demo.py

  2. 兼容了 ChatGLM-6B 1,2,3 / Baichuan 1,2 / LLaMA 1,2 / BLOOM / Mistral / QWen 等GPT模型LoRA微调训练和预测，可以用于多轮对话微调训练

Full Changelog: https://github.com/shibing624/textgen/compare/1.1.1...1.1.2

1.1.1

7 months ago

1.1.1版本

  1. 支持多卡推理，推理速度加倍，调库textgen做batch推理，多卡推理更方便、快速。

多卡数据并行，batch推理：

cd examples/gpt
CUDA_VISIBLE_DEVICES=0,1 torchrun --nproc_per_node 2 inference_multigpu_demo.py --model_type chatglm --base_model THUDM/chatglm-6b
  1. 优化ChatGLM-6B/Baichuan/LLaMA2/BLOOM的多轮对话SFT代码，逻辑合并到textgen/gpt下，统一处理多模型微调，加入prompt模板支持。

Full Changelog: https://github.com/shibing624/textgen/compare/1.1.0...1.1.1

1.1.0

8 months ago

1.1.0版本

  1. 发布基于ShareGPT4数据集微调的中英文Vicuna-13B模型shibing624/vicuna-baichuan-13b-chat，和对应的LoRA模型shibing624/vicuna-baichuan-13b-chat-lora;
  2. 支持多轮对话微调；多轮对话样本格式：examples/data/sharegpt_zh_100_format.jsonl

Full Changelog: https://github.com/shibing624/textgen/compare/1.0.2...1.1.0

1.0.2

8 months ago

v1.0.2

新增支持ChatGLM2和LLaMA2模型的SFT微调训练

Full Changelog: https://github.com/shibing624/textgen/compare/1.0.1...1.0.2

1.0.0

10 months ago

v1.0版本

训练 ChatGLM/LLaMA/Bloom 微调模型

  1. 支持自定义训练数据集和训练参数，数据集格式参考examples/data/zh_csc_test.tsv或者shibing624/alpaca-zh
  2. 支持AdaLoRA、LoRA、P_Tuning、Prefix_Tuning等部分参数微调方法，也支持全参微调
  3. 支持多卡训练，支持混合精度训练

Full Changelog: https://github.com/shibing624/textgen/compare/0.2.7...1.0.0

0.2.7

10 months ago

v0.2.7版本

  • 新增ChatGLM/LLaMA/Bloom模型的SFT微调训练，并发布适用于通用对话和中文纠错的LoRA模型。
Model Arch Introduction Train Script Predict Script
shibing624/chatglm-6b-csc-zh-lora ChatGLM-6B 在27万中文拼写纠错数据shibing624/CSC上微调了一版ChatGLM-6B，纠错效果有提升，发布微调后的LoRA权重 training script predict script
shibing624/chatglm-6b-belle-zh-lora ChatGLM-6B 在100万条中文ChatGPT指令Belle数据集BelleGroup/train_1M_CN上微调了一版ChatGLM-6B，问答效果有提升，发布微调后的LoRA权重 training script predict script
shibing624/llama-13b-belle-zh-lora LLaMA-13B 在100万条中文ChatGPT指令Belle数据集BelleGroup/train_1M_CN上微调了一版Llama-13B，问答效果有提升，发布微调后的LoRA权重 training script predict script
shibing624/chinese-alpaca-plus-7b-hf LLaMA-7B 中文LLaMA-Plus, Alpaca-Plus 7B版本，在LLaMA-7B上扩充了中文词表并继续预训练120G文本（通用领域），在4M指令数据集上微调后得到的中文Alpaca-plus模型 training script predict script
shibing624/chinese-alpaca-plus-13b-hf LLaMA-13B 中文LLaMA-Plus, Alpaca-Plus 13B版本，在LLaMA-13B上扩充了中文词表并继续预训练120G文本（通用领域），在4.3M指令数据集上微调后得到的中文Alpaca-plus模型 training script predict script

Full Changelog: https://github.com/shibing624/textgen/compare/0.2.5...0.2.7

0.2.5

11 months ago

What's Changed

New Contributors

Full Changelog: https://github.com/shibing624/textgen/compare/0.2.0...0.2.5

0.1.7

1 year ago

What's Changed

New Contributors

Full Changelog: https://github.com/shibing624/textgen/compare/0.1.5...0.1.7

0.1.5

1 year ago

Full Changelog: https://github.com/shibing624/textgen/compare/0.1.1...0.1.5

0.1.1

1 year ago

Full Changelog: https://github.com/shibing624/textgen/compare/0.1.0...0.1.1