一款文心一言&文心千帆大模型的高性能springboot-starter,支持连续对话(流式返回)、Prompt模板、文生图等,内置连续对话记录,支持消息记录导出。 WenXinYiYin&WENXINWORKSHOP.
新增 对于Prompt模型的支持 新增 对于文生图模型的支持 更新 部分依赖
! 2.x 版本与 1.x 版本不兼容,使用方式见README
重构SDK架构,引入多线程与异步处理,大幅提升性能 重构客户端生成方式,支持自定义多模型,不再主动需要适配 引入任务队列与排队机制,可自定义模型的QPS 普通chat接口现已可用
修复 PromptBotClient循环依赖问题
修复 部分场景下无法获取access-token的问题 修复 并发场景下会造成消息错乱的问题 优化 并发场景下的性能 优化 同步官方文档新版请求参数与响应参数 优化 大量代码精简 重构 Bean注入方式与配置读取,可能引起1.0.0以前版本的路径兼容问题。
最近太忙了,日志先欠着(OvO)
--(补上迟来的Release)--
1.完全的响应式风格。 2.修复 快速连续请求导致的npe问题 ( #8 )。 3.修复 响应前再次请求导致的消息格式错误( #10 )。 4.修复 api_key配置错误导致的异常。 5.优化 非空校验。 6.优化 消息队列的数据结构。 7.优化 流式返回性能。 8.同步官网响应字段(2023-9-13)。
此版本全面转向响应式风格,请注意适配返回值
!此版本与之前版本客户端路径不兼容,请重新导包
重构 客户端的实现方式,大幅增加了拓展性 修复 URL错乱问题 优化 导入/导出历史消息记录方法 新增 access-token的设置方法,优先级 setCustomAccessToken > extend and override > application.yaml 新增 支持图片生成 新增 通用客户端CommonClient,新模型未适配时可使用这个,大概率可用 新增 高度自定义设计,直接extends DefaltParamsClient并重写方法即可 新增 大量模型适配,支持文心千帆所有模型,包括:文心一言 ErnieBot、ERNIE-Bot-turbo、BLOOMZ-7B、Ernie-Bot-VilG、VisualGLM-6B、Llama-2、Linly-Chinese-LLaMA-2-7B、Linly-Chinese-LLaMA-2-13B、ChatGLM2-6B、RWKV-4-World、OpenLLaMA-7B、Falcon-7B、Dolly-12B、MPT-7B-Instruct、Stable-Diffusion-v1.5、RWKV-4-pile-14B、RWKV-5-World、RWKV-Raven-14B、Falcon-40B、MPT-30B-instruct、Flan-UL2、Cerebras-GPT-13B、Cerebras-GPT-6.7B、Pythia-12B、Pythia-6.9B、GPT-J-6B、GPT-NeoX-20B、OA-Pythia-12B-SFT-4、GPT4All-J、StableLM-Alpha-7B 、 StarCoder、Prompt模板。