媒体数据处理插件

用于图像解码，当前只支持JPG/JPEG/BMP格式。

异步

• JPG/JPEG输入图片的最大分辨率：8192 * 8192。
• JPG/JPEG输入图片的最小分辨率：32 * 32。
• OpenCV方法或BMP输入图片均无分辨率范围约束。
• 输出图片的widthStride（对齐后的宽度）：
  • Atlas 200I/500 A2 推理产品对齐到128（即宽度为128的倍数），解码插件自动对齐。
  • Atlas 推理系列产品对齐到64（即宽度为64的倍数），解码插件自动对齐。
• 输出图片的heightStride（对齐后的高度）：对齐到16（即高度为16的倍数），解码插件自动对齐。

mxpi_imagedecoder

• 输入：buffer（数据类型“MxpiBuffer”）。
• 输出：buffer（数据类型“MxpiBuffer”）、metadata（数据类型“MxpiVisionList”，“MxpiObjectList”）。

• 静态输入：{"image/jpeg"}。
• 动态输出：{"image/yuv","metadata/object","image/rgb"}。

请参见表1。

对解码后的YUV、RGB格式的图像进行指定宽高的缩放。

• 其中YUV_420既支持4k大小的图像，也支持8k大小的图像。
• 其他类型的YUV图像，只支持4k大小的图像，如YUV422，YUV444等。
• RGB格式支持RGB888和BGR888。

异步

• 既支持4k，也支持8k的图像格式：

  MXPI_PIXEL_FORMAT_YUV_SEMIPLANAR_420 = 1, // 1, YUV420SP NV12 8bit
  MXPI_PIXEL_FORMAT_YVU_SEMIPLANAR_420 = 2, // 2, YUV420SP NV21 8bit

• 只支持4k的图像格式：

  MXPI_PIXEL_FORMAT_YUV_400 = 0, // 0, YUV400 8bit
  MXPI_PIXEL_FORMAT_YUV_SEMIPLANAR_422 = 3, // 3, YUV422SP NV12 8bit
  MXPI_PIXEL_FORMAT_YVU_SEMIPLANAR_422 = 4, // 4, YUV422SP NV21 8bit
  MXPI_PIXEL_FORMAT_YUV_SEMIPLANAR_444 = 5, // 5, YUV444SP NV12 8bit
  MXPI_PIXEL_FORMAT_YVU_SEMIPLANAR_444 = 6, // 6, YUV444SP NV21 8bit
  MXPI_PIXEL_FORMAT_YUYV_PACKED_422 = 7, // 7, YUV422P YUYV 8bit
  MXPI_PIXEL_FORMAT_UYVY_PACKED_422 = 8, // 8, YUV422P UYVY 8bit
  MXPI_PIXEL_FORMAT_YVYU_PACKED_422 = 9, // 9, YUV422P YVYU 8bit
  MXPI_PIXEL_FORMAT_VYUY_PACKED_422 = 10, // 10, YUV422P VYUY 8bit
  MXPI_PIXEL_FORMAT_YUV_PACKED_444 = 11, // 11, YUV444P 8bit
  MXPI_PIXEL_FORMAT_RGB_888 = 12,        // 12, RGB888 8bit
  MXPI_PIXEL_FORMAT_BGR_888 = 13,        // 13, BGR888 8bit

• 8k图片格式的宽高大小范围：32~8192。4k图片格式的宽高大小范围：32~4096。

mxpi_imageresize

• 输入：buffer（数据类型“MxpiBuffer”）、metadata（数据类型“MxpiVisionList”）。
• 输出：buffer（数据类型“MxpiBuffer”）、metadata（数据类型“MxpiVisionList”）。

• 静态输入：{"image/yuv","metadata/object","image/rgb"}。
• 静态输出：{"image/yuv","image/rgb"}。

请参见表1。

• 支持根据目标检测的（x，y）坐标和（width，height）宽高进行图像裁剪（抠图）。
• 支持指定上下左右四个方向的扩边比例，扩大目标框的区域进行图像裁剪。
• 支持指定缩放后的宽高将裁剪（抠图）的图像缩放到指定宽高。

同步

• 输入端口0接收图像数据以及抠图坐标数据。
• 输入端口1接收图像数据（比如缩放后的图片数据）。
• 输入图像的最小分辨率：32 * 32。
• 抠图范围限制：
  • Ascend方法抠图取值范围，高6 ~ 4096，宽10 ~ 4096。
  • OpenCV方法抠图取值范围，高1 ~ 8192，宽1 ~ 8192。
• 既支持4k，也支持8k的图像格式：

  MXPI_PIXEL_FORMAT_YUV_SEMIPLANAR_420 = 1, // 1, YUV420SP NV12 8bit
  MXPI_PIXEL_FORMAT_YVU_SEMIPLANAR_420 = 2, // 2, YUV420SP NV21 8bit

• 只支持4k的图像格式：

  MXPI_PIXEL_FORMAT_YUV_400 = 0, // 0, YUV400 8bit
  MXPI_PIXEL_FORMAT_YUV_SEMIPLANAR_422 = 3, // 3, YUV422SP NV12 8bit
  MXPI_PIXEL_FORMAT_YVU_SEMIPLANAR_422 = 4, // 4, YUV422SP NV21 8bit
  MXPI_PIXEL_FORMAT_YUV_SEMIPLANAR_444 = 5, // 5, YUV444SP NV12 8bit
  MXPI_PIXEL_FORMAT_YVU_SEMIPLANAR_444 = 6, // 6, YUV444SP NV21 8bit
  MXPI_PIXEL_FORMAT_YUYV_PACKED_422 = 7, // 7, YUV422P YUYV 8bit
  MXPI_PIXEL_FORMAT_UYVY_PACKED_422 = 8, // 8, YUV422P UYVY 8bit
  MXPI_PIXEL_FORMAT_YVYU_PACKED_422 = 9, // 9, YUV422P YVYU 8bit
  MXPI_PIXEL_FORMAT_VYUY_PACKED_422 = 10, // 10, YUV422P VYUY 8bit
  MXPI_PIXEL_FORMAT_YUV_PACKED_444 = 11, // 11, YUV444P 8bit

mxpi_imagecrop

• 输入：buffer（数据类型“MxpiBuffer”）、metadata（数据类型“MxpiObjectList”）。
• 输出：buffer（数据类型“MxpiBuffer”）、metadata（数据类型“MxpiVisionList”）。

• 静态输入：{"metadata/object"}，动态输入：{"image/yuv","image/rgb"}。
• 静态输出：{"image/yuv","image/rgb"}。

请参见表1。

用于视频解码，当前只支持H.264/H.265格式。

异步

• 输入视频的最大分辨率：4096 * 4096。
• 输入视频的最小分辨率：128 * 128。
• 输出图像的widthStride（对齐后的宽度）：对齐到16（即宽度为16的倍数），解码插件自动对齐。
• 输出图像的heightStride（对齐后的高度）：对齐到2（即高度为2的倍数），解码插件自动对齐。
• 输入视频格式：H264 bp/mp/hp level5.1 YUV420编码的视频流、H265 8/10bit level5.1 YUV420编码的视频流。
• 输出图像的格式：YUV420SP NV12、 YUV420SP NV21。

mxpi_videodecoder

输入：buffer（数据类型“MxpiBuffer”）、metadata（数据类型“MxpiFrame”）。

输出：buffer（数据类型“MxpiBuffer”）、metadata（数据类型“MxpiVisionList”）。

静态输入：{"video/x-h264"}

静态输出：{"image/yuv"}

请参见表1。

用于视频编码。

异步

• 输入图像的最大分辨率：
  • Atlas 200I/500 A2 推理产品为1920 * 1920。
  • Atlas 推理系列产品为4096 * 4096。
• 输入图像的最小分辨率：128 * 128。
• 输入图像格式：当前只支持YUV420SP NV12/YUV420SP NV21格式。
• 输出码流格式：H264 MP和H265 MP。
• 输出内存：不需要用户管理输出内存，由系统管理内存。
• Atlas 推理系列产品上，对于H.264格式的码流，最大分辨率的乘积不超过4096 * 2304。

mxpi_videoencoder

• 输入：buffer（数据类型“MxpiBuffer”）、metadata（数据类型“MxpiVisionList”）。
• 输出：buffer（数据类型“MxpiBuffer”）。

• 静态输入：{"ANY"}。
• 静态输出：{"ANY"}。

请参见表1。

用于图片编码。

异步

• 输入图像的最大分辨率：8192 * 8192。
• 输入图像的最小分辨率：32 * 32。
• 输入图像的宽、高均为偶数，当为奇数的时候自动对齐至偶数。
• 输入图像的widthStride（对齐后的宽度）：对于YUV420SP或RGB数据，对齐到16（若想获得更优性能请对齐到128）。对于YUV422Packed数据，为输入图片宽度的两倍对齐到16。
• 输入图像的heightStride（对齐后的高度）：与输入图片的高度相同的数值，或为输入图片的高度向上对齐到16的数值（最小为32）。
• 输入图像格式：当前只支持YUV420SP（nv12、nv21）、YUV422Packed（yuyv、uyvy、yvyu、vyuy）、RGB（rgb888、bgr888）。
• 输入数据类型：当前仅支持uint8。
• 输出图片格式：JPEG压缩格式的图片文件，例如*.jpg。

mxpi_imageencoder

• 输入：buffer（数据类型“MxpiBuffer”）、metadata（数据类型“MxpiVisionList”或“MxpiFrame”或“MxpiVision”）。
• 输出：buffer（数据类型“MxpiBuffer”）。

• 静态输入：{"ANY"}。
• 静态输出：{"ANY"}。

请参见表1。

用于图像归一化或标准化处理，具体可以使用公式来描述：x' = (x - alpha) / beta。

异步

目前只支持UINT8、FLOAT32的输入数据类型。RGB888、BGR888的输入图像格式。

mxpi_imagenormalize

• 输入：buffer（数据类型“MxpiBuffer”）、metadata（数据类型“MxpiVisionList”）。
• 输出：buffer（数据类型“MxpiBuffer”）、metadata（数据类型“MxpiVisionList”）。

• 静态输入：{"ANY"}。
• 静态输出：{"ANY"}。

请参见表1。

用于裁剪图片中心图片

异步

目前只支持UINT8、FLOAT32的输入数据类型。RGB888、BGR888的输入图像格式。

mxpi_opencvcentercrop

• 输入：buffer（数据类型“MxpiBuffer”）、metadata（数据类型“MxpiVisionList”）。
• 输出：buffer（数据类型“MxpiBuffer”）、metadata（数据类型“MxpiVisionList”）。

• 静态输入：{"metadata/object"},{"image/yuv","image/rgb"}。
• 静态输出：{"image/yuv","image/rgb"}。

请参见表1。

透视变换插件，用于推理完后检测框是有角度的长方形，需要旋转成正长方形的场景，输出是各个检测框的抠图信息，抠的图是经过透视变换的。

本插件包含一个静态端口（必须连接）和一个动态端口（不连接则不创建）。

同步

无

mxpi_warpperspective

• 输入：buffer（数据类型“MxpiBuffer”）、metadata（数据类型“MxpiVisionList”）。
• 输出：buffer（数据类型“MxpiBuffer”）、metadata（数据类型“MxpiVisionList”）。

• 静态输入：{"metadata/object","metadata/texts"}。
• 静态输出：{"image/yuv","image/rgb"}。

请参见表1。

用于图片旋转。

同步

目前支持的输入数据类型：

• UINT8
• FLOAT32

目前支持的输入图像格式：

• RGB888
• BGR888

mxpi_rotation

• 输入：buffer（数据类型“MxpiBuffer”）、metadata（数据类型“MxpiVisionList”）。
• 输出：buffer（数据类型“MxpiBuffer”）、metadata（数据类型“MxpiVisionList”）。

• 静态输入1：{"image/rgb"}。
• 动态输入2：{"metadata/class"}。
• 静态输出：{"image/rgb"}。

请参见表 mxpi_rotation插件的属性。