RK3506 软件解码播放视频
【RK3506嵌入式开发】FFmpeg适配RKMPP硬件加速实现高清视频播放(完整教程)
摘要:RK3506是瑞芯微推出的高性价比嵌入式工控芯片,内置专用多媒体硬解码单元,默认系统自带FFmpeg软解码,播放高清视频存在卡顿、CPU占用率过高问题。本文手把手教大家在RK3506平台编译适配RKMPP硬件解码+RGA图形加速的定制版FFmpeg,实现H264、H265(HEVC)视频硬件解码播放,附带编译配置、播放命令、源码实操、问题排查全流程,完美解决嵌入式Linux视频播放卡顿、性能瓶颈问题。
关键词:RK3506、FFmpeg、RKMPP、RGA、硬件解码、嵌入式视频播放、Linux音视频开发
一、前言:为什么RK3506需要定制FFmpeg硬解?
在RK3506嵌入式Linux开发中,视频播放是工控显示屏、终端多媒体、车载显示等场景的核心功能。很多开发者直接使用系统自带的FFmpeg工具播放视频,会遇到两个核心痛点:
- 软解码性能不足:1080P H265视频软解CPU占用率飙升至80%以上,画面卡顿、花屏、音画不同步;
- 原生FFmpeg不支持RK硬件加速:官方默认FFmpeg未适配瑞芯微RKMPP解码框架和RGA图形缩放引擎,无法调用芯片硬件编解码单元。
RK3506芯片内置RKMPP多媒体处理平台(负责音视频硬编解码)和RGA2D图形加速器(负责画面缩放、格式转换),通过编译适配瑞芯微定制版FFmpeg,可完全解放CPU,将视频解码压力转移至硬件单元,CPU占用率可降至10%以内,流畅播放1080P高清视频。
本文基于Ubuntu20.04嵌入式系统 + RK3506开发板,完成FFmpeg硬件加速适配与视频播放全实操。
二、开发环境准备
2.1 硬件环境
- 开发板:RK3506 核心板+底板
- 显示屏:HDMI/LCD 显示屏幕(适配RK3506 DRM显示框架)
- 网络:开发板联网(用于下载源码、依赖库)
2.2 软件环境 - 系统:RK3506官方Ubuntu20.04 Server/Desktop
- 依赖库:RKMPP、RGA、DRM显示库、ALSA音频库
- 编译工具:gcc、make、git、nproc
2.3 基础依赖安装
首先更新系统并安装编译所需依赖,确保后续FFmpeg编译无报错:
sudo apt update && sudo apt upgrade -y
sudo apt install gcc g++ make git libdrm-dev libasound2-dev libv4l-dev pkg-config -y
三、RK3506专用FFmpeg源码编译(开启硬解)
标准FFmpeg不支持瑞芯微硬件加速,需使用瑞芯微定制ffmpeg-rockchip源码,该源码原生适配RKMPP、RGA组件,适配全系列RK芯片(含RK3506)。
3.1 拉取定制源码
克隆适配瑞芯微的FFmpeg源码
git clone --depth=1 https://github.com/nyanmisaka/ffmpeg-rockchip.git ffmpeg-rk3506
cd ffmpeg-rk3506
3.2 针对性编译配置(RK3506专属)
核心配置:开启RKMPP硬件解码、RGA图形加速、DRM显示、ALSA音频,关闭冗余功能,精简固件体积:
./configure
–prefix=/usr/local
–enable-gpl
–enable-version3
–enable-libdrm
–enable-rkmpp
–enable-rkrga
–enable-alsa
–enable-libv4l2
–disable-x86asm
–disable-doc
–disable-ffplay # 如需使用ffplay可开启,嵌入式推荐关闭精简体积
参数说明:
- –enable-rkmpp:核心参数,启用瑞芯微硬件编解码加速
- –enable-rkrga:启用硬件图形缩放、色彩转换,替代CPU软缩放
- –enable-libdrm:适配RK3506 DRM显示框架,直接输出画面至屏幕
- –enable-alsa:支持硬件音频播放,保证音画同步
3.3 编译与安装
使用多核编译,加速编译过程(RK3506四核CPU,全开编译):
多核编译
make -j$(nproc)
系统安装
sudo make install
更新系统库缓存
sudo ldconfig
四、硬件加速环境校验
安装完成后,验证FFmpeg是否成功识别RK3506硬件解码、编码、图形加速模块,校验命令如下:
4.1 校验硬件解码器
ffmpeg -decoders | grep rkmpp
正常输出如下,说明H264、H265硬件解码已启用:
V… h264_rkmpp Rockchip MPP H.264 decoder
V… hevc_rkmpp Rockchip MPP HEVC decoder
4.2 校验RGA图形加速
ffmpeg -filters | grep rkrga
正常输出rkrga缩放滤镜,说明硬件图形加速生效。
五、RK3506 FFmpeg硬件解码视频播放实战
编译完成后,通过专属命令调用硬件加速播放视频,区别于普通软解命令,以下为嵌入式常用实战场景。
5.1 基础硬件解码播放(无声播放)
适用于仅需画面显示的场景,关闭音频降低资源占用:
ffmpeg -hwaccel rkmpp -hwaccel_output_format drm_prime -i test_1080p.mp4 -an -f null -
核心参数解析:
- -hwaccel rkmpp:指定使用RKMPP硬件加速解码
- -hwaccel_output_format drm_prime:硬件解码帧输出为DRM格式,适配RK3506屏幕显示
- -an:禁用音频,纯视频播放
5.2 完整音视频同步播放
带音频、循环播放1080P视频,适合终端展示场景:
ffmpeg -stream_loop -1 -hwaccel rkmpp -hwaccel_output_format drm_prime -i test_1080p.mp4 -f drm /dev/dri/card0 - -stream_loop -1:无限循环播放视频
- /dev/dri/card0:RK3506默认DRM显示设备节点
5.3 性能监控验证
播放视频过程中,新开终端执行top命令查看CPU占用:
top
效果对比: - 软解码:1080P视频CPU占用 70%~90%,画面卡顿
- 硬解码:CPU占用 5%~15%,画面流畅无卡顿、无花屏
六、简易FFmpeg视频播放代码实现(C语言)
除了命令行播放,嵌入式开发常需要代码集成播放功能,以下是RK3506平台硬件解码视频播放极简Demo,核心实现RKMPP硬件解码+帧输出。
#include <stdio.h>
#include <stdlib.h>
#include <ffmpeg/avformat.h>
#include <ffmpeg/avcodec.h>
#include <ffmpeg/hwaccel.h>
// 初始化RKMPP硬件解码设备
static int hwaccel_init(AVCodecContext *codec_ctx)
{
const AVHWAccel *hw_accel = av_hwaccel_find_by_name(“rkmpp”);
if (!hw_accel) {
printf(“未找到RKMPP硬件解码器!\n”);
return -1;
}
AVBufferRef *hw_device_ctx = NULL; if (av_hwdevice_ctx_create(&hw_device_ctx, AV_HWDEVICE_TYPE_RKMPP, NULL, NULL, 0) < 0) { printf("RKMPP硬件设备初始化失败!\n"); return -1; } codec_ctx->hw_device_ctx = av_buffer_ref(hw_device_ctx); av_buffer_unref(&hw_device_ctx); return 0;}
int main(int argc, char **argv)
{
if (argc < 2) {
printf(“用法: %s 视频文件路径\n”, argv[0]);
return -1;
}
av_register_all(); avcodec_register_all(); AVFormatContext *fmt_ctx = avformat_alloc_context(); // 打开视频文件 if (avformat_open_input(&fmt_ctx, argv[1], NULL, NULL) != 0) { printf("打开视频文件失败!\n"); return -1; } avformat_find_stream_info(fmt_ctx, NULL); // 查找视频流 int video_stream_idx = av_find_best_stream(fmt_ctx, AVMEDIA_TYPE_VIDEO, -1, -1, NULL, 0); AVStream *video_stream = fmt_ctx->streams[video_stream_idx]; // 查找并打开硬件解码器 AVCodec *codec = avcodec_find_decoder_by_name("h264_rkmpp"); AVCodecContext *codec_ctx = avcodec_alloc_context3(codec); avcodec_parameters_to_context(codec_ctx, video_stream->codecpar); // 初始化硬件加速 hwaccel_init(codec_ctx); avcodec_open2(codec_ctx, codec, NULL); printf("RK3506 FFmpeg硬件解码初始化成功,开始播放!\n"); // 后续可扩展:帧读取、RGA缩放、DRM屏幕输出、音画同步逻辑 // 此处为核心硬解框架,适配RK3506专属硬件接口 avcodec_close(codec_ctx); avformat_close_input(&fmt_ctx); return 0;}
七、常见问题排查(RK3506专属)
问题1:编译后无法识别rkmpp解码器
原因:编译时未找到RKMPP依赖库,或未执行ldconfig更新缓存
解决:重新安装libdrm-dev依赖,重新编译,编译完成执行sudo ldconfig
问题2:播放画面花屏、闪烁
原因:硬件帧输出格式不匹配,未指定drm_prime输出格式
解决:播放命令强制添加 -hwaccel_output_format drm_prime 参数
问题3:提示drm设备打开失败
原因:权限不足,无法访问显卡设备节点
解决:添加权限 sudo chmod 666 /dev/dri/card0
问题4:H265视频无法硬解
解决:确认使用hevc_rkmpp解码器,编译配置完整开启rkmpp功能
八、总结与拓展
本文完成了RK3506 + FFmpeg + RKMPP + RGA全套硬件加速视频播放方案,彻底解决了嵌入式平台视频播放性能短板。相比软解码,硬件加速方案极大降低CPU负载,适配7*24小时稳定运行的嵌入式场景。
拓展方向:
- 结合SDL2实现窗口化视频播放,适配桌面交互场景;
- 集成RGA缩放功能,实现视频自适应屏幕分辨率;
- 适配RTSP/RTMP网络视频流硬件解码播放;
- 二次开发播放器,添加暂停、快进、音量调节功能。
如需完整工程源码、交叉编译脚本、播放器成品Demo,可留言交流!
原创不易,点赞收藏关注,持续更新RK3506嵌入式开发干货!www.yc-embedded.com