KuiperInfer Versions Save
带你从零实现一个高性能的深度学习推理库，支持大模型 llama2 、Unet、Yolov5、Resnet等模型的推理。Implement a high-performance deep learning inference library step by step
v0.1.1
6 months agov0.1
7 months ago- 支持反卷积算子
- 支持u-net网络的推理
- 增加tensor的泛型支持
- 修改convolution\expression等算子的实现逻辑
- 头文件全注释
v0.03
9 months ago版本
0.03
运行时间统计(五次运行平均)
测试框架为google benchmark, 不含前后处理，运行时间受当时机器负载影响。
| 模型种类 | 版本 | batch size | 输入大小 | 运行时间 (ms per img) |
|---|---|---|---|---|
| MobileNet | V3Small | 8 | 224 x 224 | 6.6 ms / image |
| ResNet | ResNet18 | 8 | 224 x 224 | 20.91 ms / image |
| ResNet | ResNet18 | 16 | 224 x 224 | 14.62 ms / image |
| Yolov5 | V5Nano | 4 | 320 x 320 | 22.89 ms / image |
| Yolov5 | V5Small | 8 | 640 x 640 | 159.22 ms / image |
| Yolov5 | V5Small | 16 | 640 x 640 | 108.79 ms / image |
硬件
硬件租赁于autodl, 所有测试在容器内进行
- CPU: 22 vCPU AMD EPYC 7T83 64-Core Processor
- 内存: 90GB
- 硬盘: 系统盘:30 GB
软件
- KuiperInfer: version 0.03
- OpenBlas: latest
- Armadillo: version 12.4
- OS: Ubuntu 22.04
study_version_0.02
1 year ago大家学习完B站上的视频课程后，可以阅读下这个tag下的项目代码，学习完整的Kuiperinfer项目。