48.1 功能特点
- 一键部署,脚本参数就可以切换ios或者android
- 支持iOS gpu运行MobileNet、squeezenet模型
- 已经测试过可以稳定运行MobileNet、GoogLeNet v1、squeezenet、ResNet-50模型
- 体积极小,无任何第三方依赖。纯手工打造。
- 提供量化函数,对32位float转8位uint直接支持,模型体积量化后4M上下
- 与ARM相关算法团队线上线下多次沟通,针对ARM平台会持续优化
- NEON使用涵盖了卷积、归一化、池化所有方面的操作
- 汇编优化,针对寄存器汇编操作具体优化
- loop unrolling 循环展开,为提升性能减少不必要的CPU消耗,全部展开判断操作
- 将大量繁重的计算任务前置到overhead过程
48.2 框架结构
- MDL 框架主要包括:
- 模型转换模块(MDL Converter)
- 模型加载模块(Loader)
- 网络管理模块(Net)
- 矩阵运算模块(Gemmers)及供 Android 端调用的 JNI 接口层(JNI Interfaces)
- 其中,模型转换模块主要负责将Caffe 模型转为 MDL 模型,同时支持将 32bit 浮点型参数量化为 8bit 参数,从而极大地