ohos_quick_video_edit:基于 OpenHarmony 的视频编辑工具项目

提供视频截取、添加贴图、背景音乐等基础的视频编辑功能。

Branch4Tags0
FilesLast commitLast update
5 months ago
1 year ago
3 months ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago
1 year ago

QuickVideoEdit

1. 介绍

简易的媒体编辑工具,用于鸿蒙5.0系统

2. 预览和导出方案

2.1 预览

预览时不通过渲染引擎对视频和图片进行合成。视频由解码器解码直接输出到UI的xComponent上,图片由前端直接叠加在xComponent上。 解码视频的同时后端初始化视频的数据结构(视频时长、长宽等)用于记录UI的操作,保持导出时的一致性。

2.1.1 视频轨时长

OH的原生解封装器只能返回文件的时长,对于音频轨长于视频轨的资源无法获取正确的视频时长,会导致缩略图、裁剪和导出的场景异常。项目里使用解码引擎提供的接口获取视频轨的时长。

2.1.2 预览区计算

预览时根据视频比例计算出实际播放视频的视口大小来避免拉伸视频,视口在xComponent(画布)上居中。UI调用接口设置画布的长宽,在需要的时候调用接口返回视口的坐标。 预览区计算逻辑如下:

  1. 视频宽高比大于画布的宽高比时,等比例缩放视频,宽会先一步受到画布限制, 所以视口的宽可以铺满整个画布,视口的高=画布的宽/视频的宽高比。
  2. 视频宽高比小于等于画布的宽高比时,等比例缩放视频,高会先一步受到画布限制,所以视口的高可以铺满整个画布,视口的宽=画布的高*视频的宽高比。
  3. 部分视频有旋转度属性,其实际的宽高和底层封装的宽高(用OH的api获得的)不一致。如果视频旋转度为90度或270度,先交换视频宽高再进行以上计算。

2.2 导出

导出时解码,渲染,编码引擎配置后以端到端的形式合成导出视频。视频帧数据通过nativeWindow在引擎间传递,图片数据由后端解码准备之后加入渲染引擎中。 背景音乐添加至解码引擎后和视频音频轨一起处理后传递给编码引擎。

2.2.1 导出准备

项目中引擎创建的顺序为:渲染引擎->解码引擎->编码引擎,其依赖关系如下:

  1. 渲染引擎的创建不依赖其他条件,可以在导出前就创建。
  2. 解码引擎的初始化需要配置输出的nativeWindow,该nativeWindow只能在渲染引擎创建后才可获得。
  3. 编码引擎初始化之后才能提供nativewindow作为渲染引擎的输出。

除此之外需要设置渲染,编码引擎所处理的视频格式:

  1. 渲染引擎输入的视频格式即为原视频的格式,项目中在预览阶段获得。
  2. 编码引擎输入的视频格式设置为渲染引擎处理过的格式,一些编码属性设置为建议值。
    // 这三项组合在一起设置了色彩空间
    OH_AVFormat_SetIntValue(exportFormat, OH_MD_KEY_COLOR_PRIMARIES, OH_ColorPrimary::COLOR_PRIMARY_BT709);
    OH_AVFormat_SetIntValue(exportFormat, OH_MD_KEY_MATRIX_COEFFICIENTS, OH_MatrixCoefficient::MATRIX_COEFFICIENT_BT709);
    OH_AVFormat_SetIntValue(exportFormat, OH_MD_KEY_TRANSFER_CHARACTERISTICS,
                            OH_TransferCharacteristic::TRANSFER_CHARACTERISTIC_BT709);
    // 视频像素色彩范围
    OH_AVFormat_SetIntValue(exportFormat, OH_MD_KEY_RANGE_FLAG, false);
    // 输出的视频宽高, 当前的计算方法为若:
    //  i. 原分辨率大于720p, 按照720p导出, 短边为720
    // ii. 原分辨率小于720p, 则按原分辨率导出
    OH_AVFormat_SetIntValue(exportFormat, OH_MD_KEY_WIDTH, outputWidth); // 输出的视频宽
    OH_AVFormat_SetIntValue(exportFormat, OH_MD_KEY_HEIGHT, outputHeight); // 输出的视频高
    // 码率, 当前的计算方法为:
    //   i. 【720p,30fps】的视频为1000kbps
    //  ii. 【720p,60fps】的视频为1400kbps
    // iii.  其他分辨率和帧率以30fps的值为基准进行缩放,最高1.5倍,最低0.8倍
    OH_AVFormat_SetLongValue(exportFormat, OH_MD_KEY_BITRATE, bitrate);
    // 编码格式: H265
    OH_AVFormat_SetStringValue(exportFormat, OH_MD_KEY_CODEC_MIME, "video/hevc");
  1. 编码引擎输入的音频格式设置为建议值。
    // 采样率
    OH_AVFormat_SetIntValue(encodeParam.audioTrunkFormat, OH_MD_KEY_AUD_SAMPLE_RATE, 44100);
    // 采样格式
    OH_AVFormat_SetIntValue(encodeParam.audioTrunkFormat, OH_MD_KEY_AUDIO_SAMPLE_FORMAT, OH_BitsPerSample::SAMPLE_S16LE);
    // 立体声
    OH_AVFormat_SetIntValue(encodeParam.audioTrunkFormat, OH_MD_KEY_AUD_CHANNEL_COUNT, 2);
    // 立体声布局
    OH_AVFormat_SetLongValue(encodeParam.audioTrunkFormat, OH_MD_KEY_CHANNEL_LAYOUT, OH_AudioChannelLayout::CH_LAYOUT_STEREO);
    // 编码格式
    OH_AVFormat_SetStringValue(encodeParam.audioTrunkFormat, OH_MD_KEY_CODEC_MIME, OH_AVCODEC_MIMETYPE_AUDIO_AAC);
    // 音频码率
    OH_AVFormat_SetLongValue(encodeParam.audioTrunkFormat, OH_MD_KEY_BITRATE, 96000);

为了进行渲染的坐标转换需要将视口的大小设置给渲染模块。

待引擎设置完成后,将Timeline持有的背景音乐添加至解码器,持有的图片解码处理成指定的格式后添加至渲染引擎(注意对于p3格式的图片要将colorSpace手动设置到nativeBuffer上)。 为了导出所截取部分的视频,需要先调用解码器的seek到视频的裁剪起点。启动引擎按照渲染->编码->解码的顺序启动。

2.2.2 导出中

导出时视频数据和音频数据由不同的线程处理。导出进度由注册的napi_thread_safe_function返还给Ui。由于音频数据处理比视频数据快许多,总体的导出进度由视频的导出进度决定。 注意返回给ui的导出进度是由pts计算得出,由于导出时编码的pts和原解码器的pts不完全一致,所以返回的导出进度可能有非法值(>100),后端已屏蔽非法值。 导出时帧数据由解码引擎传给渲染引擎处理后再传给编码引擎,解码引擎和编码引擎处理帧数据的时候会触发设置的回调函数,返回pts值供处理。

2.2.3 导出结束

由于音频数据和视频数据的处理非同时结束,所以各自有其导出结束的条件。音频导出结束由解码器的SetPlayDuration设置的(视频裁剪后的)duration控制。由于导出时编码器的pts和原解码器的pts不完全一致,用pts 判断视频导出结束在有些情况下会失效导致导出卡住,所以视频的导出结束由编码处理的帧数来判断,期望导出的帧数为解码器解码到指定位置(视频的裁剪终点)时所生成的帧数。在解码器处理每帧的回调中进行计数,直到解码器pts大于等于期望的值,此时计数值则为期望导出的帧数。在编码器处理每帧的回调中同样进行计数,导出结束的条件为编码器的计数大于等于解码器的计数且解码器计数停止。由于编解码有时序关系,编码计数的递增总是慢于解码计数的递增,所以编码器触发导出结束前我们已经获得了真实的期望帧数。 导出结束时调用编码器的SendEos将文件封装保存在沙箱路径中,同时由注册的napi_thread_safe_function通知UI导出结束,UI收到通知后将视频推入图库。注意在编码器的回调函数中直接调用SendEos会导致线程卡死,需另起一个线程。

注意对于不裁剪直接导出的情况,由于解码器得到的最后一帧pts和视频的duration不一定完全匹配,使用pts确定期望帧数会失效,需要利用解码器的EOS回调函数辅助确定。 如果收到了eos回调,则当前计数为真实期望帧数。由于解码器触发eos回调时不送帧,编码器可能在这之前就已经编完了所有送达的帧,无法再触发帧处理的回调导致导出卡住, 所以在解码器触发eos回调时同时判断若编码器计数的帧数大于等于解码器计数的帧数则停止导出。

3. 功能

3.1 添加图片

为了保持和导出视频的一致性,UI在操作图片时要调用后端相应的接口更新图片的数据结构(坐标、旋转度、缩放)。

  1. 首次添加图片时注意将初始位置和初始缩放比也调用接口传入。
  2. 预览时UI使用的坐标系原点为画布的左上角。导出时渲染引擎使用的的坐标系原点为视口的左上角,后端保存UI的坐标,在添加图片至渲染引擎时进行坐标转换。
  3. 渲染坐标(相对于渲染坐标系) = 预览坐标(相对于预览坐标系)- 视口左上角坐标(相对于预览坐标系)

3.2 添加音乐

预览时添加背景音乐会立刻播放音乐,不对音乐和视频当前播放点做对齐(参考微信实现)。在导出时音乐起点和视频裁剪点对齐,音乐时长大于视频时长时进行裁剪,小于视频时长时循环填充。

3.3 裁剪

拖动把手时会对视频进行逻辑上的裁剪。拖动左把手设置视频从开头裁剪的长度,同时更新视频的裁剪起点与时长。拖动右把手设置从尾部裁剪的长度,同时更新视频的裁剪终点与时长。 预览时视频从裁剪起点到裁剪终点循环播放,导出时视频从裁剪起点导出至裁剪终点。

4. 前后端调用

UI通过NAPI层调用后端提供的接口,接口声明在文件index.d.ts中。对于耗时很短的操作,直接在JS主线程中同步调用。对于耗时的函数需使用napi异步调用,防止阻塞UI主线程。 对于需要在后台运行时执行UI回调的c++函数需注册napi_thread_safe_function用于通知UI。

5. UI说明

5.1 目录结构

ets
 ┣ common
 ┃ ┣ Enum.ets                          # 枚举类型
 ┃ ┗ Util.ets                          # 视频信息类
 ┣ pages
 ┃ ┣ Index.ets                         # 选择视频界面
 ┃ ┣ Sticker.ets                       # 贴纸类型定义
 ┃ ┣ StickerManage.ets                 # 贴纸管理组件
 ┃ ┣ TextInputCavas.ets                # 文字组件
 ┃ ┗ videoEdit.ets                     # 预览区编辑组件
 ┣ ...

5.2 界面设计

  1. 共有两个页面,首个页面为选择视频按钮,居中放置。功能为拉起图库,选择单个视频,支持不选择后可以重新选择,目前支持高于720p分辨率mp4和标准流mkv视频文件导出。选择视频后,将视频参数通过sdk.SetVideo传给后端,再跳转到预览界面。
  2. 第二个页面为预览页面,按照长度的上70%作为xComponent区域,下30%区域作为操作区。视频信息给到后端后,调用sdk.GetDrawableArea接口获取视频坐标,视频坐标是以左上角为原点,根据屏幕宽度进行计算,使视频居中播放。
  3. 缩略图宽度与屏幕宽度相关,共10张,取视频时长十等分作为所需的帧。
  4. 背景颜色设置为黑色,上面留有状态栏,操作区的优先级高于视频播放区,目的是添加贴图后贴图不会挡住操作区。

5.3 播放设置

  1. 视频导入后自动播放,播放结束后重新从截取处(trimin)开始播放。
  2. 添加贴纸、文字和配乐不会影响视频播放,拖动把手时暂停视频,拖动结束从截取处(trimin)开始播放。
  3. 导出时暂停视频、视频原声、配乐,导出结束后自动退出播放。

5.4 贴图功能

  1. 按钮位于左下角,点击拉起图库,选择单张图片,支持重复选择同一张图片导入。获取到贴图uri,fd后,通过sdk.AddImage传给后端,后端传回贴图的长度、宽度和id。
  2. 初始化贴纸信息,调用StickerManage组件打印贴纸,缩放比例初始值为100%,贴纸层级按照添加的顺序为序。
  3. 贴纸的手势操作有三个功能,移动(单指)、缩放和旋转(双指),每个手势有三种状态,start、update和end。在end状态会更新贴纸的位置、缩放和旋转度,并传输给后端。
  4. 贴纸的坐标计算。因为贴纸使用的是stack容器,打印出来居中放置,所以要在位置处加上相对于容器左上角的坐标,减去贴纸的长度/2,宽度/2,限制范围为视频显示的范围。坐标单位:前端去要用vp进行计算,传给后端的单位要转换为px。
  5. 贴纸的删除功能。添加贴纸后,删除贴纸的按钮会现实在视频右下角,按照层级删除。

5.5 配乐功能

  1. 按钮位于左下角,点击拉起音频库,支持选择不同音频进行替换。获取到音频Uri, fd,通过sdk.SetBgAudio传给后端。
  2. 配乐的删除功能。删除按钮位于配乐信息的右边,为红色圆型。
  3. 配乐在拖动把手时会暂停,拖动结束后重头播放,播放时长以视频时长为基准。

5.6 文字功能

  1. 按钮位于左下角,点击后出现文本框,输入文字,文字会显示在视频上方,默认红色,点击添加,添加的文字会被转为图片。
  2. 手势逻辑复用贴图手势。

5.7 层级关系

stack 
 ┣ stack                     #导出时蒙层,防止点击穿透,半透明黑色蒙层加进度条
 ┃ ┣ column                  #蒙层
 ┃ ┗ column                  #进度条
 ┗ column                    #使页面从上到下摆放
   ┣ column                  #70%为视频播放区域
   ┃ ┗ stack                 #贴纸和视频区域分层
   ┃   ┣ stack               #放在贴纸下层
   ┃   ┃ ┗ Xcomponent        #使用Xcomponent播放视频,设置视频区域
   ┃   ┣ StickerManage1      #对应第一个添加的贴纸
   ┃   ┣ StickerManage2
   ┃   ┗ ...
   ┗ colunm                  #30%为操作区域                      
      ┣ row                  #音频相关
      ┃ ┣ row                #关闭视频原生功能
      ┃ ┗ row                #配乐信息和删除配乐功能
      ┣ column               #截取相关
      ┃ ┣ row                #截取时长
      ┃ ┗ stack              #缩略图功能
      ┃   ┣ row              #全局把手
      ┃   ┃ ┣ row            #前全局把手
      ┃   ┃ ┣ blank          #中间边框
      ┃   ┃ ┗ row            #后全局把手
      ┃   ┗ stack            #缩略图
      ┃     ┗ row            #共10张缩略图
      ┃       ┣ Image        
      ┃       ┣ Image          
      ┃       ┗ ...          
      ┗ column               #添加相关
        ┗ gridrow            #按网格排列 美观
          ┣ gridcol          #贴图按钮
          ┣ gridcol          #配乐按钮
          ┣ gridcol          #文字按钮
          ┣ gridcol          #空余
          ┣ gridcol          #空余
          ┗ gridcol          #完成导出按钮

6. 音视频编解码SDK

6.1 目录结构说明

6.1.1 公共模块

avcodec
 ┣ common
 ┃ ┣ avcodec_callback.cpp              # 定义音视频编解码、音频渲染的回调函数,用于数据输入输出、状态改变监听等
 ┃ ┣ avcodec_callback.h                # 定义音视频编解码、音频渲染的回调函数,用于数据输入输出、状态改变监听等
 ┃ ┣ avcodec_error.h                   # 定义音视频编解码SDK错误码
 ┃ ┣ avcodec_info.h                    # 定义音视频编解码SDK公共信息结构体
 ┃ ┗ avcodec_log.h                     # 定义音视频编解码SDK日志打印宏
 ┣ include
 ┃ ┣ codec_common.h                    # 定义音视频编解码SDK公共结构体
 ┃ ┣ pcm_buffer_queue.h                # 定义音频数据传递容器
 ┣ pcm_buffer_queue.cpp                # 定义音频数据传递容器

6.1.2 音视频解码

avcodec
 ┣ include
 ┃ ┣ audio_decoder.h                   # 提供音频解码相关能力
 ┃ ┣ audio_proresampler.h              # 提供音频重采样相关能力
 ┃ ┣ audio_proresampler_process.h      # 提供音频重采样相关能力
 ┃ ┣ av_decoder_engine.h               # 管理音视频解封装、解码能力,提供预览、导出两种工作模式,并允许素材与配乐并发、混音等
 ┃ ┣ av_decoder_engine_impl.h          # 提供音视频解封装、解码相关能力,统一调度demuxer、audio_decoder、video_decoder等原子能力
 ┃ ┣ demuxer.h                         # 提供音视频解封装相关能力
 ┃ ┣ i_av_decoder_engine.h             # 定义音视频编解码SDK对外API(解码部分)
 ┃ ┣ resampler.h                       # 提供音频重采样相关能力
 ┃ ┣ video_decoder.h                   # 提供视频解码相关能力
 ┃ ┗ video_process.h                   # 提供视频处理相关能力
 ┣ audio_decoder.cpp                   # 提供音频解码相关能力
 ┣ audio_proresampler.cpp              # 提供音频重采样相关能力
 ┣ audio_proresampler_process.c        # 提供音频重采样相关能力
 ┣ av_decoder_engine.cpp               # 管理音视频解封装、解码能力,提供预览、导出两种工作模式,并允许素材与配乐并发、混音等
 ┣ av_decoder_engine_impl.cpp          # 提供音视频解封装、解码相关能力,统一调度demuxer、audio_decoder、video_decoder等原子能力
 ┣ demuxer.cpp                         # 提供音视频解封装相关能力
 ┣ video_decoder.cpp                   # 提供视频解码相关能力
 ┗ video_process.cpp                   # 提供视频处理相关能力

6.1.3 音视频编码

avcodec
 ┣ include
 ┃ ┣ audio_encoder.h                   # 提供音频编码相关能力
 ┃ ┣ av_encoder_engine.h               # 提供音视频编码、封装相关能力,统一调度muxer、audio_encoder、video_encoder等原子能力
 ┃ ┣ i_av_encoder_engine.h             # 定义音视频编解码SDK对外API(编码部分)
 ┃ ┣ muxer.h                           # 提供音视频封装相关能力
 ┃ ┣ video_encoder.h                   # 提供视频编码相关能力
 ┣ audio_encoder.cpp                   # 提供音频编码相关能力
 ┣ av_encoder_engine.cpp               # 提供音视频编码、封装相关能力,统一调度muxer、audio_encoder、video_encoder等原子能力
 ┣ muxer.cpp                           # 提供音视频封装相关能力
 ┣ video_encoder.cpp                   # 提供视频编码相关能力

6.2 接口说明及调用时序

6.2.1 音视频解码API

接口名称 接口功能
Create 创建音视频解码引擎
SetVideoOutputWindow 指定接收视频输出数据的窗口
Init 初始化音视频解码引擎
Start 启动音视频解码
Pause 暂停音视频解码
Stop 停止音视频解码
Seek 音视频解码跳转
SetPlayDuration 设置视频解码总时长
SetAudioOutputBufferQueue 指定接收音频输出数据的队列(仅适用于导出场景)
GetVideoFormat 获取视频格式信息
GetAudioFormat 获取音频格式信息
SetHighPerformance 设置视频解码高性能模式
AudioUnselect 去除素材文件中的音频原声(仅适用于导出场景)
AudioMute 静音素材文件中的音频原声(仅适用于预览场景)
AddAudio 添加配乐
DeleteAudio 删除配乐
GetVideoDuration 获取视频时长

详细接口说明请参考veditor/src/main/cpp/avcodec/include/i_av_decoder_engine.h中的接口注释

音视频解码引擎API调用时序图

6.2.2 音视频编码API

接口名称 接口功能
Create 创建音视频编码引擎
Init 初始化音视频编码引擎
GetVideoInputWindow 获取音视频编码引擎用于接收视频输入数据的窗口
GetAudioInputBufferQueue 获取音视频编码引擎用于接收音频输入数据的队列
Start 启动音视频编码
Stop 停止音视频编码
SendEOS 发送EOS并停止音视频编码

详细接口说明请参考veditor/src/main/cpp/avcodec/include/i_av_encoder_engine.h中的接口注释

音视频编码引擎API调用时序图

6.3 接口调用示例

为了提高编辑导出效率,同时兼顾支持预览和导出的并发,建议预览和导出时创建两个音视频编解码实例并分别进行控制。以下分别说明预览场景和导出场景的音视频编解码API调用逻辑。 注:此处仅示意接口调用流程,部分接口参数涉及文件资源描述等信息,需要另外进行获取,不在此处体现。

6.3.1 预览场景

1. 回调函数定义

如果需要在回调中调用相应的编解码API,需要另起线程进行异步调用,否则会发生死锁。

class DecodeCallback : public AVDecodeCallback {
public:
    void OnDecodeFrame(uint64_t pts) override
    {
        // 回调解码当前的pts,可用于判断当前解码进度,进行循环播放等操作
        // 例:如果pts达到用户截取的位置,可seek到开始位置并重新start
    };
    void OnDecodeStatus(CodecStatus status) override
    {
        // 回调解码状态改变事件。根据当前状态,进行相应操作
    }
};
2. 解码引擎配置与初始化
// 定义回调函数。需要保证对象的生命周期长于编解码引擎实例,否则可能无法正常获取回调。
decodeCb = std::make_shared<DecodeCallback>();
// 创建解码引擎实例。fd需要是一个有效的素材视频的文件描述符,此处仅示意。
int32_t fd = 1;
std::shared_ptr<IAVDecoderEngine> decoderEngine = IAVDecoderEngine::Create(fd, decodeCb);
// 设置解码引擎的视频输出窗口为预览窗口。
decoderEngine->SetVideoOutputWindow(NativeXComponentSample::PluginManager::GetInstance()->pluginWindow_);
// 初始化解码引擎。如果初始化失败,说明文件可能不支持,需要做相应处理。
decoderEngine->Init();
// 可选。获取素材中视频格式。
OH_AVFormat *videoFormat = decoderEngine->GetVideoFormat();
// 可选。获取素材中音频格式。
OH_AVFormat *audioFormat = decoderEngine->GetAudioFormat();
// 可选。获取素材中视频时长。主要用于当文件的总长度与视频的总长度不一致时,建议使用视频时长为准。也可以使用其他解封装方法直接获取视频时长。
int64_t videoDuration = decoderEngine->GetVideoDuration();
3. 对解码引擎进行操作
// 开始播放。
decoderEngine->Start();
// 添加配乐,仅允许同时存在一个配乐。fd需要是一个有效的配乐文件的文件描述符,此处仅示意。
int32_t fd = 2;
decoderEngine->AddAudio(fd);
// 删除配乐。
decoderEngine->DeleteAudio(fd);
// 静音素材视频原声。
decoderEngine->AudioMute(true);
// 取消静音素材视频原声。
decoderEngine->AudioMute(false);
// 暂停播放。
decoderEngine->Pause();
// 跳转到指定位置并继续播放。
decoderEngine->Seek(0, SEEK_MODE_CLOSEST_SYNC);
decoderEngine->Start();
// 停止播放。
decoderEngine->Stop();
// 释放资源。
decoderEngine = nullptr;
decodeCb = nullptr;

6.3.2 导出场景

1. 回调函数定义

如果需要在回调中调用相应的编解码API,需要另起线程进行异步调用,否则会发生死锁。

class DecodeCallback : public AVDecodeCallback {
public:
    void OnDecodeFrame(uint64_t pts) override
    {
        // 回调解码当前的pts,可用于判断当前解码进度,进行导出完成等操作
        // 例:如果pts达到用户截取的位置,可停止解码导出流程
    };
    void OnDecodeStatus(CodecStatus status) override
    {
        // 回调解码状态改变事件。根据当前状态,进行相应操作
    }
};

class EncodeCallback : public AVEncodeCallback {
public:
    void OnEncodeFrame(uint64_t pts) override
    {
        // 回调编码当前的pts,可用于判断当前编码进度,进行导出完成等操作
        // 例:如果pts达到用户截取的长度,可给编码引擎发送EOS并停止编码导出流程
    };
    void OnEncodeStatus(CodecStatus result) override
    {
        // 回调编码状态改变事件。根据当前状态,进行相应操作
    }
};
2. 编解码引擎配置与初始化
// 定义回调函数。需要保证对象的生命周期长于编解码引擎实例,否则可能无法正常获取回调。
decodeCb = std::make_shared<DecodeCallback>();
encodeCb = std::make_shared<EncodeCallback>();
// 创建解码引擎实例。fd需要是一个有效的素材视频的文件描述符,此处仅示意。
int32_t fd = 1;
std::shared_ptr<IAVDecoderEngine> decoderEngine = IAVDecoderEngine::Create(fd, decodeCb);
// 创建编码引擎实例。encodeParam需要是有效的编码参数,此处仅示意。
AVEncodeParam encodeParam;
std::shared_ptr<IAVEncoderEngine> encoderEngine = IAVEncoderEngine::Create(encodeParam, encodeCb);
// 初始化编码引擎。
encoderEngine->Init();
// 从编码引擎获取视频输入窗口并设置为解码引擎的视频输出窗口。
OHNativeWindow *window = encoderEngine->GetVideoInputWindow();
decoderEngine->SetVideoOutputWindow(window);
// 初始化解码引擎。如果初始化失败,说明文件可能不支持,需要做相应处理。
decoderEngine->Init();
// 设置高性能视频解码模式。
decoderEngine->SetHighPerformance(true);
// 设置解码总时长(ms)。duration需要是用户截取后的视频时长,此处仅示意。
int64_t duration = 10000;
decoderEngine->SetPlayDuration(duration);
// 可选。获取素材中视频格式。
OH_AVFormat *videoFormat = decoderEngine->GetVideoFormat();
// 可选。获取素材中音频格式。
OH_AVFormat *audioFormat = decoderEngine->GetAudioFormat();
// 可选。获取素材中视频时长。主要用于当文件的总长度与视频的总长度不一致时,建议使用视频时长为准。也可以使用其他解封装方法直接获取视频时长。
int64_t videoDuration = decoderEngine->GetVideoDuration();
3. 对编解码引擎进行操作
// 添加配乐,仅允许同时存在一个配乐。fd需要是一个有效的配乐文件的文件描述符,此处仅示意。
int32_t fd = 2;
decoderEngine->AddAudio(fd);
// 删除配乐。
decoderEngine->DeleteAudio(fd);
// 从编码引擎获取音频输入队列并设置为解码引擎的音频输出队列。
std::shared_ptr<PcmBufferQueue> queue = encoderEngine->GetAudioInputBufferQueue();
decoderEngine->SetAudioOutputBufferQueue(queue);
// 去除素材视频原声。
decoderEngine->AudioUnselect(true);
// 恢复素材视频原声。
decoderEngine->AudioUnselect(false);
// 跳转到指定位置解码导出。
decoderEngine->Seek(4000, SEEK_MODE_CLOSEST_SYNC);
// 开始导出。
encoderEngine->Start();
decoderEngine->Start();
// 给编码引擎发送EOS并停止编码。
encoderEngine->SendEOS();
// 停止解码。
decoderEngine->Stop();
// 释放资源。
decoderEngine = nullptr;
encoderEngine = nullptr;
decodeCb = nullptr;
encodeCb = nullptr;

7. 开发说明

  1. 样机调试请配置使用自己的签名,注意不要将签名信息(在build-profile.json5中)提交到代码库里。
  2. 提交代码前确保本地编译通过,做适量验证,项目使用api17。
  3. 编解码请将文件放入veditor/src/main/cpp/avcodec中,渲染请将代码放入veditor/src/main/cpp/render中,同时修改CMakeLists.txt文件。
    1. 在BASE_LIBRARY中添加自己用到的系统库(libxx.so文件)。
    2. 在include_directories中添加自己编写的头文件位置。
    3. 在MODEL_SRC中添加自己编写的cpp文件位置。
  4. ArkTs文件请放入veditor/src/main/ets中,自由组织文件结构。
  5. 提交代码使用 git push origin HEAD:ref/master 推送分支,然后在gitee上创建pull request, origin为自己设置的远程仓名。

8. 安装教程

  1. xxxx
  2. xxxx
  3. xxxx

9. OpenHarmony版本要求

OpenHarmony: 5.0.5(17)

10. 参与贡献

  1. Fork 本仓库
  2. 新建 Feat_xxx 分支
  3. 提交代码
  4. 新建 Pull Request