计算机体系结构基础总结学习笔记

2022-09-29

计算机体系结构基础总结学习笔记。

本算法基于主流的Pytorch、Tensorflow、caffe框架,结合独立设计的网络结构、独立制作的图像数据集、定制训练形成的目标检测模型,并将模型集成到边缘计算感控硬件,实现快速准确的目标识别功能。

算法 模型                  
识别匹配 resnet50 DenseNet121 DenseNet201 Inception-v1 inception-v3 inception-v4 Squeezenet shufflenet_v2 Mobilenet vgg_16
目标检测 yolov2 yolov3 SSD Fast-RCNN Faster-RCNN RetinaNet        
图像分割 Deeplabv2 DeepLabv3 DeepLabv3+ U-Net RefineNet          
跟踪 KCF Kalman滤波 CSK SAMF FCNT MDNet deepsort      

Tiny-Brain F300系列高能效边缘计算平台采用瑞芯微RK3568作为主控芯片,采用灵汐科技KA200作为AI加速芯片,支持USB/MIPI CSI/BT.656/RJ45网络接口视频接入。本产品集图像处理、神经网络目标识别、图像压缩等功能于一体,可广泛用于机器人、无人机、辅助驾驶、智能交通、航空航天等领域。

灵汐

KA200是北京灵汐科技基于全新的存算一体、众核并行、异构融合架构, 能高效支持深度学习神经网络、生物神经网络和大规模脑仿真。单芯片集成 25 万神经元和2500 万突触(稠密模式),可扩展支持200万神经元和20亿突触的集成计算(稀疏模式),支持混合精度计算(32Tops@INT8 和 16Tflops@FP16)。公司自主研发的类脑软件 LynOS 把图灵计算完备性扩展到类脑计算完备性,支持高效图优化和全自动编译,可广泛应用于视觉、语音、自然语言处理以及脑科学研究等领域。

KA200芯片性能包括: ■ 支持深度学习模型(DNN)、生物神经模型(SNN)以及二者融合的异构模型;

■ 支持 H.264、H.265、VP9、MPEG4 视频格式硬件解码,最高视频解码性能 480fps@19201080;

■ 支持 H.264、H.265视频格式硬件编码,最高视频编码性能 240fps@19201080;

■ 支持JPEG图像硬件解码,最高图像解码性300fps@19201080;

■ 支持JPEG图像硬件编码,最高图像编码性能200fps@1920*1080;

■ 支持48路19201080 30fps的H.264/265解码;

■ 支持混合精度,算力达到32Tops@INT8和16Tflops@FP16。

瑞芯微

瑞芯微RK3568芯片是一款定位中高端的通用型SOC,是一款高性能低功耗四核应用处理器,采用22nm制程工艺,集成4核arm架构A55处理器和Mali G52 2EE图

形处理器,支持4K解码和1080P编码。RK3568支持SATA/PCIE/USB3.0等各类型外围接口,内置独立的NPU,可用于轻量级人工智能应用。

接口

序号 接口 类型 特点
1 外部供电12V 输入 DC12V±1V;
具备防止反接功能;
具备防雷击功能
2 M.2接口 输入 支持128G SSD
3 USB-C 输入 4个USB3.1
4 Mini DP 输入 1路
5 WiFi 输出 1路
6 Uart 输出 TTL 3.3V电平/通断控制
7 RJ45接口 输入/输出 千兆以太网
8 CAN接口 输入/输出 2路TTL电平/异步通讯
9 MIPI接口 输入 2个MIPI CSI-2接口

软件功能

(1)具备多类型目标识别的功能,识别类型可定制化; (2)具备单幅图像可同时识别多个目标的功能,目标数量20; (3)具备快速识别目标的功能,帧频100hz; (4)具备目标跟踪的功能,帧频≥100Hz; (4)具备95%以上的识别准确率; (5)具备当前人工智能算法主流特征,具有良好的自学习性、智能性、可移植性。 (6)当前可识别种类包括:’aeroplane’, ‘bicycle’, ‘bird’, ‘boat’,’bottle’, ‘bus’, ‘car’, ‘cat’, ‘chair’, ‘cow’, ‘diningtable’, ‘dog’, ‘horse’,’motorbike’, ‘person’, ‘pottedplant’,’sheep’, ‘sofa’, ‘train’, ‘tvmonitor’。

参考文献

[1] http://www.orihard.com/product/770.htm