深度学习框架:用于构建、训练和部署神经网络模型,包含:TensorFlow、PyTorch、OneFlow等
深度学习模型交换格式ONNX:实现不同深度学习框架之间的模型转换和互操作性
推理框架:
- NCNN:一个为手机端极致优化的高性能神经网络前向计算框架
- MNN:是一个轻量级的深度神经网络引擎,支持深度学习的推理与训练
- TensorRT :是一个用于深度学习推理的SDK
部署:
- TVM:是一个开源的深度学习编译器和优化器,
- LMIR:是TVM在优化和编译深度学习模型时使用的低级中间表示形式,用于表示模型的计算图和计算操作
参考:
MNN:MNN介绍 — MNN-Doc 2.1.1 documentation
TensorRT:https://developer.nvidia.com/zh-cn/blog/speeding-up-deep-learning-inference-using-tensorrt-updated/