API for Open LLMs

🐧 QQ交流群：870207830

📢 新闻

• 【2024.02.26】 QWEN2 模型需要修改环境变量 MODEL_NAME=qwen2 PROMPT_NAME=qwen2

• 【2024.01.19】 添加 InternLM2 模型支持，启动方式

• 【2023.12.21】 添加 TGI 生成接口转发和 TEI embedding 接口转发

• 【2023.12.06】 添加 SUS-Chat-34B 模型支持，启动方式链接

• 【2023.11.24】 支持 llama-cpp-python 推理，使用文档

• 【2023.11.03】 支持 chatglm3 和 qwen 模型的 function call 调用功能，同时支持流式和非流式模式, 工具使用示例, 网页 demo 已经集成到 streamlit-demo

• 【2023.10.29】 添加 ChatGLM3 模型支持，启动方式链接，工具使用示例

• 【2023.09.27】 添加 Qwen-14B-Chat-Int4 模型支持，启动方式链接

• 【2023.09.07】 添加 baichuan2 模型支持，启动方式链接

• 【2023.08.28】 添加 transformers.TextIteratorStreamer 流式输出支持，只需将环境变量修改为 USE_STREAMER_V2=true

• 【2023.08.26】 添加 code-llama 模型支持，启动方式链接，使用示例链接

• 【2023.08.23】 添加 sqlcoder 模型支持，启动方式链接，使用示例链接

• 【2023.08.22】 添加 xverse-13b-chat 模型支持，启动方式链接

• 【2023.08.10】 添加 vLLM 推理加速支持，使用文档

• 【2023.08.03】 添加 qwen-7b-chat 模型支持，启动方式链接

更多新闻和历史请转至 此处

此项目主要内容

此项目为开源大模型的推理实现统一的后端接口，与 OpenAI 的响应保持一致，具有以下特性：

• ✨ 以 OpenAI ChatGPT API 的方式调用各类开源大模型

• 🖨️ 支持流式响应，实现打印机效果

• 📖 实现文本嵌入模型，为文档知识问答提供支持

• 🦜️ 支持大规模语言模型开发工具 langchain 的各类功能

• 🙌 只需要简单的修改环境变量即可将开源模型作为 chatgpt 的替代模型，为各类应用提供后端支持

• 🚀 支持加载经过自行训练过的 lora 模型

• ⚡ 支持 vLLM 推理加速和处理并发请求

内容导引

🐼 支持模型

语言模型

嵌入模型

🤖 使用方式

环境变量

• OPENAI_API_KEY: 此处随意填一个字符串即可

• OPENAI_API_BASE: 后端启动的接口地址，如：http://192.168.0.xx:80/v1

聊天界面

cd streamlit-demo
pip install -r requirements.txt
streamlit run streamlit_app.py

openai v1.1.0

from openai import OpenAI

client = OpenAI(
    api_key="EMPTY",
    base_url="http://192.168.20.59:7891/v1/",
)

# Chat completion API
chat_completion = client.chat.completions.create(
    messages=[
        {
            "role": "user",
            "content": "你好",
        }
    ],
    model="gpt-3.5-turbo",
)
print(chat_completion)
# 你好👋！我是人工智能助手 ChatGLM3-6B，很高兴见到你，欢迎问我任何问题。


# stream = client.chat.completions.create(
#     messages=[
#         {
#             "role": "user",
#             "content": "感冒了怎么办",
#         }
#     ],
#     model="gpt-3.5-turbo",
#     stream=True,
# )
# for part in stream:
#     print(part.choices[0].delta.content or "", end="", flush=True)

from openai import OpenAI

client = OpenAI(
    api_key="EMPTY",
    base_url="http://192.168.20.59:7891/v1/",
)


# Chat completion API
completion = client.completions.create(
    model="gpt-3.5-turbo",
    prompt="你好",
)
print(completion)
# 你好👋！我是人工智能助手 ChatGLM-6B，很高兴见到你，欢迎问我任何问题。

from openai import OpenAI

client = OpenAI(
    api_key="EMPTY",
    base_url="http://192.168.20.59:7891/v1/",
)


# compute the embedding of the text
embedding = client.embeddings.create(
    input="你好",
    model="text-embedding-ada-002"
)
print(embedding)

可接入的项目

通过修改 OPENAI_API_BASE 环境变量，大部分的 chatgpt 应用和前后端项目都可以无缝衔接！

• ChatGPT-Next-Web: One-Click to deploy well-designed ChatGPT web UI on Vercel

docker run -d -p 3000:3000 \
   -e OPENAI_API_KEY="sk-xxxx" \
   -e BASE_URL="http://192.168.0.xx:80" \
   yidadaa/chatgpt-next-web

• dify: An easy-to-use LLMOps platform designed to empower more people to create sustainable, AI-native applications

# 在docker-compose.yml中的api和worker服务中添加以下环境变量
OPENAI_API_BASE: http://192.168.0.xx:80/v1
DISABLE_PROVIDER_CONFIG_VALIDATION: 'true'

📜 License

此项目为 Apache 2.0 许可证授权，有关详细信息，请参阅 LICENSE 文件。

🚧 References

• ChatGLM: An Open Bilingual Dialogue Language Model

• BLOOM: A 176B-Parameter Open-Access Multilingual Language Model

• LLaMA: Open and Efficient Foundation Language Models

• Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca

• Phoenix: Democratizing ChatGPT across Languages

• MOSS: An open-sourced plugin-augmented conversational language model

• FastChat: An open platform for training, serving, and evaluating large language model based chatbots

• LangChain: Building applications with LLMs through composability

• ChuanhuChatgpt

Star History