计算机体系结构基础总结学习笔记。
本算法基于主流的Pytorch、Tensorflow、caffe框架,结合独立设计的网络结构、独立制作的图像数据集、定制训练形成的目标检测模型,并将模型集成到边缘计算感控硬件,实现快速准确的目标识别功能。
算法 | 模型 | |||||||||
---|---|---|---|---|---|---|---|---|---|---|
识别匹配 | resnet50 | DenseNet121 | DenseNet201 | Inception-v1 | inception-v3 | inception-v4 | Squeezenet | shufflenet_v2 | Mobilenet | vgg_16 |
目标检测 | yolov2 | yolov3 | SSD | Fast-RCNN | Faster-RCNN | RetinaNet | ||||
图像分割 | Deeplabv2 | DeepLabv3 | DeepLabv3+ | U-Net | RefineNet | |||||
跟踪 | KCF | Kalman滤波 | CSK | SAMF | FCNT | MDNet | deepsort |
Tiny-Brain F300系列高能效边缘计算平台采用瑞芯微RK3568作为主控芯片,采用灵汐科技KA200作为AI加速芯片,支持USB/MIPI CSI/BT.656/RJ45网络接口视频接入。本产品集图像处理、神经网络目标识别、图像压缩等功能于一体,可广泛用于机器人、无人机、辅助驾驶、智能交通、航空航天等领域。
灵汐
KA200是北京灵汐科技基于全新的存算一体、众核并行、异构融合架构, 能高效支持深度学习神经网络、生物神经网络和大规模脑仿真。单芯片集成 25 万神经元和2500 万突触(稠密模式),可扩展支持200万神经元和20亿突触的集成计算(稀疏模式),支持混合精度计算(32Tops@INT8 和 16Tflops@FP16)。公司自主研发的类脑软件 LynOS 把图灵计算完备性扩展到类脑计算完备性,支持高效图优化和全自动编译,可广泛应用于视觉、语音、自然语言处理以及脑科学研究等领域。
KA200芯片性能包括: ■ 支持深度学习模型(DNN)、生物神经模型(SNN)以及二者融合的异构模型;
■ 支持 H.264、H.265、VP9、MPEG4 视频格式硬件解码,最高视频解码性能 480fps@19201080;
■ 支持 H.264、H.265视频格式硬件编码,最高视频编码性能 240fps@19201080;
■ 支持JPEG图像硬件解码,最高图像解码性300fps@19201080;
■ 支持JPEG图像硬件编码,最高图像编码性能200fps@1920*1080;
■ 支持48路19201080 30fps的H.264/265解码;
■ 支持混合精度,算力达到32Tops@INT8和16Tflops@FP16。
瑞芯微
瑞芯微RK3568芯片是一款定位中高端的通用型SOC,是一款高性能低功耗四核应用处理器,采用22nm制程工艺,集成4核arm架构A55处理器和Mali G52 2EE图
形处理器,支持4K解码和1080P编码。RK3568支持SATA/PCIE/USB3.0等各类型外围接口,内置独立的NPU,可用于轻量级人工智能应用。
接口
序号 | 接口 | 类型 | 特点 |
---|---|---|---|
1 | 外部供电12V | 输入 | DC12V±1V; 具备防止反接功能; 具备防雷击功能 |
2 | M.2接口 | 输入 | 支持128G SSD |
3 | USB-C | 输入 | 4个USB3.1 |
4 | Mini DP | 输入 | 1路 |
5 | WiFi | 输出 | 1路 |
6 | Uart | 输出 | TTL 3.3V电平/通断控制 |
7 | RJ45接口 | 输入/输出 | 千兆以太网 |
8 | CAN接口 | 输入/输出 | 2路TTL电平/异步通讯 |
9 | MIPI接口 | 输入 | 2个MIPI CSI-2接口 |
软件功能
(1)具备多类型目标识别的功能,识别类型可定制化; (2)具备单幅图像可同时识别多个目标的功能,目标数量20; (3)具备快速识别目标的功能,帧频100hz; (4)具备目标跟踪的功能,帧频≥100Hz; (4)具备95%以上的识别准确率; (5)具备当前人工智能算法主流特征,具有良好的自学习性、智能性、可移植性。 (6)当前可识别种类包括:’aeroplane’, ‘bicycle’, ‘bird’, ‘boat’,’bottle’, ‘bus’, ‘car’, ‘cat’, ‘chair’, ‘cow’, ‘diningtable’, ‘dog’, ‘horse’,’motorbike’, ‘person’, ‘pottedplant’,’sheep’, ‘sofa’, ‘train’, ‘tvmonitor’。
参考文献
[1] http://www.orihard.com/product/770.htm