vpu

VPUVPU简介

VPU（以i.MX6 VPU为例）通过32位的AMBA3 APB总线来完成系统控制，通过64位的AMBA3 AXI来完成数据传送。它充分利用片上存储单元来实现高性能。VPU上的大多数视频硬件模块都为了针对不同的视频标准间的共享进行了优化设计，能够提供额外的低功耗和性能强大的低口数。它有一个16位的内部DSP内核称为位处理器，它控制内部视频编解码的内部硬件模块操作。为使主处理器简单有效的控制，VPU提供一组被称作主机接口的寄存器。主机处理器和VPU之间是通过主机接口寄存器进行通信。流数据和一些输出的图像数据由主机处理器和VPU直接访问。为了更全面灵活的控制VPU，提供一姐包含所有所需操作的API接口函数，使得VPU对开发者完全是通明的 。

1、支持的视频编解码标准类别丰富，图像高清 。

2、支持多种抗误码工具、多解码和全双工多方通话同时进行 。

3、提供了可编程性、柔初性，以及易于升级的解码和编码或主机接口，因为在编解码处理和主接口都实现为可编程微处理中的固件 。

VPU编程特性体现在有一个称为BIT处理器的内部的DSP。该BIT处理器的操作是由称为位固件的专用微代码确定。拥有完整组位的固件代码，以及一套完整的VPU控制功能称为VPU的API。因此，应用程序开发人员并不需要管理的主机处理器的编解码器的具体问题。VPU提供给开发人员的编程实现接口具有如下特性 。

1、基于帧的处理。BIT处理器完成解码操作在一帧一帧的基础上，在VPU解码器操作不负担的主机处理器。发出图象处理命令之后，主机应用程序执行它自己的操作，直到它已准备好为下一次图像处理操作或直到它收到一个来自VPU的中断通知完成主处理器图像处理 。

2、程序内存管理。它有自己的程序的内存来加载位固件用于支持应用程序特定的操作。为了使用这个内部存储器效率地进行，BIT固件具有动态重新装载计划，使VPU具有小量的程序存储器 。

3、多实例。VPU支持多实例，这对于多声道解码器的应用程序十分有用。当创建一个新的时实例和启动的图像处理操作时，VPU创建和内自动更新一组上下文参数。这种内部上下文管理方案允许主机处理器上运行的不同解码器的任务，以控制VPU独立经营自己的实例编号。当创建一个新的实例，应用程序的任务接收到一个新的句柄指定一个实例。应用程序可以很容易地通过调用一个西数终止VPU单个任务关闭某个实例 。

VPU提供了一狙预先定义好的API接口，在实际的编程开发过程中，开发人员无需知道主机寄存器定义和使用的详细信息，只需将要执行的命令和相应的参数，以及将必须的数据结构提供给函数即可。通过Freescale提供的API用户使用文档，我们可以构建一些简单的例子对开发板进行测试，确认开发板具有我们所需要的VPU硬解码功能，熟悉开发流程 。

VPUVPU发展趋势

随着多种高速高性能处理器技术的发展，视觉处理有了更多的可选平台。可编程逻辑阵列(FPGA)基于硬件可编程方式进行处理；嵌入式应用处理器(AP)可集成多种专用协处理器辅助处理；具有专用IP的单片系统(SoC)则可以直接将硬件处理单元植入系统平台。相比之下，通用DSP平台的针对性有所局限，需要通过多核集成，或多片阵列来提高性能。然而，在视觉处理新的市场环境下，对性能、功耗、价格和尺寸的更高需求对处理器提出了更加严格的要求，因此，视频处理平台VPU成为一种全新的核心引擎。由于VPU中集成了多种专门进行视觉处理的硬件结构，因此在处理上可以有很大的超越，其综合性能可大幅度提升到每瓦性能超过600G FLOPS(浮点运算单位)，是其它处理器的二至三倍，而价格仅为几分之一 。

VPU针对视觉处理应用而设计，在性能、功耗和功能性方面都有特别的强化，使之更贴近于实际的应用需求，其设计兼顾到多种用途，专门为视觉处理进行硬件系统的优化。其实VPU也是一个SoC，内部集成有多个主控RISC的CPU、许多硬件加速器单元和矢量处理器阵列，专门为视觉海量像素设计的高性能影像信号处理器(ISP)，以及丰富的高速外围接口。在保证强大性能和功能的前提下，VPU采用更先进的集成电路工艺，大大缩小了芯片的尺寸，并结合有效的技术手段，降低各个运算单元的功耗 。

当前行业内处于领先地位的VPU平台是Movidius公司推出的小型化、低功耗架构。Myriad系列VPU是一款可以用于3D感知及扫描建模的芯片，可以支持室内导航、360度全景视频处理等机器视觉应用，其视觉处理性能超出其它处理器平台十倍，功耗则低一个数量级，而尺寸和价格都仅为五分之一。这款VPU的出现，无疑向新兴的智能相机市场注入了活力。Myriad的第二代VPU采用全新的体系架构，提升性能达到二十倍，增强视觉处理能力使之成为新的VPU标杆，同时支持六个60帧全高清视频信号输入，而功耗在1.2瓦以内，芯片采用28纳米工艺制造。新平台的突出表现在于实现虚拟现实、室内定位和物体识别的应用，是机器人视觉应用的理想选择。通过该芯片超小型的尺寸，可以应用到智能工业相机中和各种智能终端，也可用在纽扣式智能相机上，或在可穿戴智能相机上扩展使用 。

VPU为视觉应用提供了一个强大的平台，但更多的开发工作是在软件上，基于VPU的视觉应用系统开发可以充分利用片上的硬件单元及相关的软件资源。包含工具、支持库及框架的完整VPU软件开发套件(SDK)，以往视频处理器中涉及视觉处理的单元得到了增强，如核心视觉处理单元、线性代数运算矩阵，还有前端影像处理单元，不仅包含ISP处理，还有ISP仿真，并支持相机调试工具。图形处理能力的提升表现在支持图形检测API，为便于多核异构芯片开发而支持OpenCL。由于在视觉应用中，与高敏感度和超高像素的传感器的接驳尤为重要，因此专门有传感器支持接口单元。另外VPU所特有的工具单元也提供视觉调试的全面支持。VPU中的主控制器、BSP、HDK等通用单元以开放为主，便于客户进行更多应用开发 。

作为一个行业的平台领先者需要有足够的积累和不懈的进取，当然还要有强大的财力和物力的支持，VPU平台的创建和发展也绝不轻松。Movidius最早的成立地竟然是爱尔兰的都柏林，而后又在罗马尼亚，再到美国的硅谷建立研发团队。公司创始人都堪称半导体和处理器行业的元老，公司并设立技术指导委员会，确立公司的技术路线和VPU平台发展总体规划。在Movidius核心管理层中，我听到了不少熟悉的名字，其中就有TI及其他知名公司资深的高管和专家。公司员工虽未过百人，但研发人员就占了九成，其中五分之一负责VPU芯片硬件设计，而其余从事VPU上软件构建，由此可见VPU应用在很大程度上依赖于软件 。