ChatGLM MNN Versions Save

Llama-3-8B-Instruct导出onnx转换得到的int4量化版本mnn模型。

模型列表：

• tokenizer.txt
• embeddings_bf16.bin
• lm.mnn
• block_[0-31].mnn

Qwen1_5-7B-Chat导出onnx转换得到的int4量化版本mnn模型。

模型列表：

• tokenizer.txt
• embeddings_bf16.bin
• lm.mnn
• block_[0-31].mnn

Qwen1_5-4B-Chat导出onnx转换得到的int4量化版本mnn模型。

模型列表：

• tokenizer.txt
• embedding.mnn
• embeddings_bf16.bin
• lm.mnn
• block_[0-39].mnn

Qwen1_5-1_8B-Chat导出onnx转换得到的int4量化版本mnn模型。

模型列表：

• tokenizer.txt
• embedding.mnn
• embeddings_bf16.bin
• lm.mnn
• block_[0-23].mnn

Qwen1_5-0_5B-Chat导出onnx转换得到的int4量化版本mnn模型。

模型列表：

• tokenizer.txt
• embedding.mnn
• embeddings_bf16.bin
• lm.mnn
• block_[0-23].mnn

deepseek-llm-7b-chat导出onnx转换得到的int4量化版本mnn模型。

模型列表：

• tokenizer.txt
• embedding.mnn
• lm.mnn
• block_[0-29].mnn

Yi-6B-Chat导出onnx转换得到的int4量化版本mnn模型。

模型列表：

• tokenizer.txt
• embedding.mnn
• lm.mnn
• block_[0-31].mnn

TinyLlama-1.1B-Chat导出onnx转换得到的int8量化版本mnn模型。

模型列表：

• tokenizer.txt
• embedding.mnn
• lm.mnn
• block_[0-22].mnn

bge-large-zh导出onnx转换得到的int8量化版本mnn模型。

模型列表：

• bge-large-zh-int8.mnn

基于mnn-llm构建的Android apk, apk中不含模型文件。使用方法如下：

1. 下载想要测试的模型文件夹，可以参考README中的链接下载, 注意文件夹名称需要包含模型名称；
2. 将下载好的文件夹使用adb推动到/data/local/tmp/mnn-llm目录下，命令行如下：

adb shell mkdir /data/local/tmp/mnn-llm
adb push ./qwen-1.8b-mnn  /data/local/tmp/mnn-llm

4. 下载安装apk，打开后在下拉列表中选择要测试的模型文件目录，点击加载模型按钮；
5. 进入聊天界面，进行聊天测试；