首先摄像机采用的是可见光高清摄像机,具备1920*1080的分辨率,系统视场31.11°×17.8°,其中搜索视场15.8°×15.8°(1080P像素)。而图像处理则采用慧视开发的RV1126高性能图像处理板,之所以采用这块板卡,一方面得益于其低功耗、微型外观的设计,非常契合“智慧眼”这样对于空间要求严格的应用场景;另一方面RV1126具备2.0TOPS的算力,在国产化方面也十分完整,安全性十足。两者结合,就能够形成重量不超过100g的“智慧眼”。在算法的作用下,能够达到≥50Hz的跟踪帧率,≥25Hz的检测帧率,实现捕获4m*4m目标超过800m、6m*6m目标超过1000m。这就是“机器狼”的智慧化措施,通过一个“小小的”“智慧眼”的加入,便能够让其实现许多自动化任务。随着技术的不断发展,“机器狼”的形态将会不断进步,满足更多多样化需求。如何选择合适的无人机吊舱图像处理板?专业图像处理板工程
在无人机摄像头的基础上加装慧视光电开发的Viztra-LE026图像处理板,这是一块轻型化、低功耗的图像处理板,用在无人机上面既不会过多占用空间,也不会过多消耗续航,通过目标识别算法的赋能,就可以针对像东北虎这样的动物AI自动识别,一旦识别到老虎的特征物体,无人机就能够立即锁定并抵近观察,为消防和公安提供精确坐标。Viztra-LE026图像处理板采用的是瑞芯微RV1126芯片,能够输出2.0TOPS的算力。而在算法方面,成都慧视能够提供一站式AI算法训练平台SpeedDP,通过对大量动物的标注数据集的模型训练,能够实现对新数据集的快速AI自动标注,然后提升识别算法的性能。哪里有图像处理板常见问题慧视Viztra-ME025图像处理板。
这种智慧化的建设就是采用图像处理。在无人机内部安装图像处理板,这些图像处理板和相机、算法的有机结合就形成了无人机的智慧眼,有了这个智慧眼,无人机就能够对视野范围内的物体进行AI识别,从而自动完成避障、巡检等操作。成都慧视开发的小型化图像处理板Viztra-LE026就是专门为无人机设计的一款“智慧眼”处理器。这块板卡采用了RV1126开发而成,具备2.0TOPS的算力,外形呈圆形化设计,整体外观大小为Ф38mm*12mm,重量只有12g,功耗不高于4W,用在无人机领域具有功耗低、尺寸小的优势,不会过多占用和消耗无人机的内部空间和续航。
“启明935A”系列芯片已经成功点亮,并完成各项功能性测试,达到车规级量产标准。启明935A是行业首颗基于Chiplet(芯粒/小芯片)异构集成范式的自动驾驶芯片,但并非单一芯片,而是一个家族系列。启明935HUBChiplet可以和不同数量的大熊星座AIChiplet互相搭配,再结合灵活的封装方式,快速形成不同性能等级的SoC芯片。它还支持高带宽的PBLink多芯互连,双芯双向带宽128GB/s,四芯双向带宽64GB/s。启明935A每颗芯片都支持比较大20路的1080p60摄像头输入,可应用于各类端侧AI部署。得益于大熊星座NPU天然支持Transformer结构,初步支持的模型有Yolo系列、ResNet50、PSPNet、PointNet++、TrafficSign_Retinanet、BevDet、miniCPM、Unet_ResNet50、PointPillars、PillarNest、M2track、BevFusion、PaliGemma、LLaMa-3B、8B等等。哪些图像处理板适用于无人机吊舱。
长时间一直进行这样的图像标注工作,那无疑是枯燥而乏味的,手酸不说,更多的是精神上的折磨,进而效率大打折扣。但这又是算法提升的必要途径,无法跳过,当项目紧急时,甚至需要多人加班加点赶进度。这样的痛苦现状急需改变!慧视光电的算法工程师为了提高这一的效率,开发了一个深度学习算法开发平台SpeedDP。它的基本逻辑是基于一个手动标注一定量的数据集进行训练,形成一个可用的预选模型(如果已有模型可以直接使用),然后训练一定阶段后,可以评估此模型的能力,如果能够满足使用就可以对相同目标的新数据集(未进行任何标注)进行AI自动化标注。这一过程的省去了大量需要对新数据集的手动拉框工作,同时也在不断反哺此模型算法,帮助提升性能。慧视光电能够定制SDI接口的RK3588图像处理板。北京放心图像处理板
慧视光电能够定制CVBS接口的RK3588图像处理板。专业图像处理板工程
但这也遇到很多难点,通常情况下,视频回传的延迟大概在200ms左右,随着大量的弹打出,视频传输所需带宽就面临压力,如何在通信带宽有限的情况下,保证视频顺畅、清晰、无卡顿地传输,是分析改进这个工作需要解决的前期难点。针对于这个问题,慧视光电利用GS弱网高清音视频传输系统和RK3588打造的Viztra-HE030图像处理板结合,推出了低延迟低带宽图传解决方案。在一个窄带收发信道内,例如在信道有效带宽0.5Mb/s~2Mb/s内,多路视频和交互控制共用一对收发信道,信道支持数据透传,外部系统可以使用该信道,传输任意格式的数据;可实时调整视频码率,在低至500K带宽情况下依然可以回传清晰流畅的图像。可以使设备飞的更远、走的更远;可实现视频中继转发;能够基于H265实时视频编码;可实现基于视频流的“人在回路低延迟控制”。基于普通60帧相机,实现15ms的低延迟编解码,加上数据链传输延迟时间在30ms左右,目前业界前列。通用性强,使用更加灵活,适用更多应用场景;支持多路SDI视频在低至500K带宽情况下的同时传输(1080P60FPS),彻底解决“带宽苦恼”;整体时延约60ms(含相机、编解码、显示,不含传输),实现实时控制、实时打击。专业图像处理板工程