智能视频的智能视频应用设计攻略
发布网友
发布时间：2022-05-15 18:51
共1个回答
热心网友
时间：2023-12-04 22:04
硬件平台方案的选择往往决定了系统的整体方案成本、性能、开发工具和方法的可用性，以及方案未来持续升级的可行性等，因此方案平台选型至关重要。智能视频应用自身的独特性要求在硬件平台的选择上进行综合权衡。视频监控系统的网络化和智能分析要求，以及大规模工程安装对成本、体积和功耗的*，非标准化的智能视频分析方法和几乎定制化的方案优化方式，使得结合了MCU和DSP优势、具有软件设计灵活性和强大处理能力的汇聚式处理器方案平台体现出更加明显的优势。本文将结合ADI公司独特的Blackfin汇聚式DSP处理器的特点，分析智能视频设计中主要的设计技术要点。 可定制化能力非常重要。有很多因素制约着视频监控系统智能化的应用步伐：首先是智能监控的视频算法比较复杂，难于标准化，各个系统提供商的视频分析软件都有自己的独特算法，导致市场上的产品没有统一的标准；其次，视频监控系统的应用场景比较复杂，用户的要求多样化，所以定制化的要求比较多。因此，视频分析方案通常需要针对客户的应用特点和需求进行方案优化，采用的算法千差万别。此外，由于智能视频应用的高复杂性，对方案的处理能力提出了更高的要求。MCU+ASIC的视频监控传统方案难以实现各种个性化的设计和高运算能力要求，即使选择普通DSP+MCU的双芯片方案通常也难以满足智能视频监控应用的复杂运算需求，需要增加协处理器，这种复杂的解决方案无论是BOM成本、功耗还是开发难度都不足取。Blackfin处理器充分发挥了MCU+DSP汇聚式架构的优势，满足了智能视频应用的系统控制和高强度的运算需求，特别是以BF561为代表的高性能双内核架构已经成为智能视频应用的首选方案平台。
方案的可扩展性也是需要考虑的因素。智能视频分析应用除了需要针对应用环境、应用目的进行方案优化外，不同的客户可能还有其他方面的不同需求。例如，当前一些领先的数字视频监控方案实现了H.264基本类@Level3.0和MPEG4 D1+CIF双码流的支持，未来可能扩展到支持H.264 D1+CIF的双码流。随着智能视频分析的更广泛应用，如IP摄像机、无线视频监控、智能交通系统等，不同应用都可能对各种接口功能、通信标准、用户界面等的需求有较大的差异化，硬件平台方案对各种需求的灵活扩展性非常重要。同时，正如前文所述，智能视频分析技术发展不过数年的时间，随着技术的不断成熟以及一些相关的标准的出台和改进，产品的可升级特性至关重要，既是开发者须关注的问题也是终端客户关切的重要特性。Blackfin DSP在算法并行处理上具有独特优势，特别是ADSP-BF561采用双DSP核，能够实现很复杂的智能视频处理算法。
视频应用优化特性。一些方案尽管具有较强的处理能力和可扩展性，方案是否主要针对视频应用进行过优化设计也值得关注，因为这直接关系到设计工程师可用的软硬件设计资源以及系统设计难度和可实现的性能。以Blackfin处理器为例，Blackfin为高强度、高数据率的数字和媒体处理做了专门优化：Blackfin的几十个DMA通道和可灵活配置的Cache很好地满足了视频监控系统对大运算量、高数据吞吐率的要求；ADI专门开发了完全优化的音视频编解码器，并免费提供给大客户；针对视频应用Blackfin集成了很多硬件驱动，包括WiFi的驱动、音/视频编解码器的驱动；Blackfin的4个视频算术运算单元和视频象素指令集大大加速了视频运算速度；在智能视频分析的一些基础算子中，例如直方图统计、中值运算、Sobel运算、形态学中的膨胀运算等都可以利用Blackfin的MIN、MAX指令来消除条件跳转，节省处理器周期。不仅如此，Blackfin还支持13种非视频数据的向量运算。适当设计数据结构，在前背景分离、阈值计算和更新等多个环节都可以运用Blackfin的特色指令让智能视频分析算法更快捷。这些本身就很有效的指令中，大部分指令都能够并行执行，使得Blackfin的处理能力再加倍。
低功耗和稳定性很重要。考虑到智能视频监控设备通常都是一周7天，每天24小时运行的，稳定性和功耗也比较重要。在低功耗上，Blackfin处理器采用了多种节能技术：基于一种选通时钟内核设计，可按照逐条指令来选择性地切断功能单元的电源；支持多种针对所需CPU动作极少期间的断电模式；Blackfin处理器支持一种自含动态电源管理电路，借助该电路即可对工作频率和电压进行独立控制，以满足正在执行的算法的性能要求；大多数Blackfin处理器都提供片上内核稳压电路，并可在低至0.8V的电压下工作。而Blackfin独特的汇聚式处理架构、90nm工艺等打下了其领先的低功耗处理的基础。由于高处理能力，基于Blackfin平台的系统方案可以减少主芯片数量，丰富的功能和接口可以满足各种外设和功能扩展需求，降低元器件数量，从而保证更高的稳定可靠性。目前在同价位DSP中Blackfin DSP的低功耗特性和稳定性是最好的。
支持哪些嵌入式操作系统。智能视频分析通常是基于网络的应用，必须要操作系统的支持，因此选择具有广泛嵌入式系统支持能力的解决方案非常重要，这样能确保未来产品在更换操作系统时不至于必须更换硬件平台，保证研发成果的持续可用性。目前可用的嵌入式操作系统众多，各具优势，硬件平台方案对这些操作系统的支持能力是进行方案选型的考虑要点之一。例如，Blackfin处理器可以支持目前主流的操作系统，包括uCLinux、ThreadX、Nucleus，uCOS-II等十多种嵌入式操作系统，客户完全可以根据其自身要求选择其熟悉的或更具成本效益的软件架构基础。 智能视频监控设备是一个复杂的系统，涉及到复杂的软硬件设计、人机界面、通信连接等，具有较高的系统设计难度。因此，所选择的硬件平台方案是否能提供完善的开发工具套件、必要的软件模块、成熟的参考设计、系统设计支持，以及是否有完整的设计生态系统等，对于是否能按期高质量地完成系统设计非常关键。事实上，并不是所有平台方案提供商都能提供这些支持。
以Blackfin系列处理器为例，采用Blackfin处理器的硬件平台从一般的DVR、IP摄像机、数字视频监控到智能视频监控，已经被全球大量的设备企业的广泛采用。Blackfin处理器获得众多企业的青睐，具有完整的开发工具和参考设计等支持是其受广泛欢迎的重要原因之一。ADI提供业界一流的工具、初学套件与支持，包括人们熟知的、能够支持其他Blackfin处理器的ADI CROSSCORE?软件与硬件工具，这些工具包括获奖的VisualDSP++?集成开发与调试环境(IDDE)、仿真器，以及EZ-KIT Lite?*估版硬件 。
为提高开发效率，降低开发难度，开发时应尽量在已有的资源上进行，比如开放的例程，ADI为此提供了非常丰富的例程和资料。例如，ADI提供免费的“Image Tool Box”图像处理函数库软件包，该软件包专门针对图像处理应用常用的数学函数进行了优化，供客户在进行应用开发时调用。ADI还提供完整的参考设计，以及由本地合作伙伴开发的*估板、开发工具、算法IP、应用模块，以及由第三方合作伙伴提供包括软硬件在内的全套交钥匙方案。Blackfin处理器的视频监控应用目前在中国已经有多家具有丰富工程经验的第三方合作伙伴，已经建立完善的生态系统。
以ADI在今年三月份宣布提供基于该公司Blackfin BF526C的完整的IP监控和机器视觉摄像头参考设计为例，该参考设计在单个汇聚处理器上提供了强大的视频和音频处理能力，为工程师提供了一个统一的软件开发环境，可以实现更快的系统调试和部署，以及更低的系统成本。该处理器提供了集成的音频编解码器、流式视频和IP协议、片上DRAM存储器以及针对10/100以太网、USB和SD存储和本地RS-232端口的接口。这种完全可编程的解决方案可以满足多种视频压缩标准，例如H.264和MPEG4，支持音频G.729标准的编码。支持从控制中心到相机的双向语音通信，以及利用Pelo-P或Pelo-D协议的镜头平移、倾斜和拉伸动作。该参考设计还提供一块带双核BF561处理器的子卡，使系统能实现更高视频分辨率，并提供实现高级视频分析功能，如运动检测和跟踪。
