当前位置 博文首页 > 文章内容

    Qt音视频开发21-通用硬解码

    作者: 栏目:未分类 时间:2020-08-31 15:01:30

    本站于2023年9月4日。收到“大连君*****咨询有限公司”通知
    说我们IIS7站长博客,有一篇博文用了他们的图片。
    要求我们给他们一张图片6000元。要不然法院告我们

    为避免不必要的麻烦,IIS7站长博客,全站内容图片下架、并积极应诉
    博文内容全部不再显示,请需要相关资讯的站长朋友到必应搜索。谢谢!

    另祝:版权碰瓷诈骗团伙,早日弃暗投明。

    相关新闻:借版权之名、行诈骗之实,周某因犯诈骗罪被判处有期徒刑十一年六个月

    叹!百花齐放的时代,渐行渐远!



    一、前言

    硬件解码是图形芯片厂家提出的用GPU资源解码视频流的方案,与之相对的是软解,也就是传统的用CPU承担解码工作的方案;优点是效率高,功耗低、热功耗低,缺点是缺乏有力的支持(包括滤镜、字幕等),局限性较大(例如打开硬件解码后PC的节能方面的功能失效cnq等),设置较为复杂;需要硬件有硬件解码模块、相关的驱动配合、合适的播放软件以及对播放软件正确的设置,缺一而不能开启硬件解码功能,主流的硬件解码方案由Intel、AMD-ATI以及Nvdia推出。

    目前主流的播放器都支持硬解码,没有硬解码的播放器都是耍流氓,现在越来越多2K 4K甚至8K的高清视频,没有硬解码只用软解码的话,会大量消耗CPU资源,很不可取,需要专门交给GPU绘制和解码,这样可以大大减低CPU的压力,让CPU可以干其他的活,之前写过的视频监控系统中,就用到过硬解码和GPU绘制,没有用到这两个一切都是空谈,根本没法承受64路通道实时显示,vlc、ffmpeg、mpv肯定对硬解码完美支持的,其中vlc和mpv的设置最为简单,海康的sdk默认不提供硬解码的,官方手册中有写到硬解码的库,估计是要额外联系获取。

    不同内核硬解码处理

    1. vlc硬解码:
      1.1 通过调用libvlc_media_add_option设置参数:avcodec-hw=auto
      1.2 支持的参数:none auto any d3d11va dxva2

    2. ffmpeg硬解码:
      2.1 调用av_hwdevice_find_type_by_name根据名称自动寻找硬解码
      2.2 调用find_fmt_by_hw_type找到对应的硬解码格式
      2.3 回调videoCtx->get_format = get_hw_format解码器格式赋值为硬解码
      2.4 调用av_hwdevice_ctx_create创建硬解码设备
      2.5 调用avcodec_send_packet avcodec_receive_frame解码数据
      2.6 调用av_hwframe_transfer_data转换硬解码的数据
      2.7 支持的参数:none qsv cuvid d3d11va dxva2

    3. mpv硬解码:
      3.1 通过调用mpv_set_option设置参数hwdec
      3.2 支持的参数:none auto any d3d11va dxva2

    二、功能特点

    1. 支持多画面切换,全屏切换等,包括1+4+6+8+9+13+16+25+36+64画面切换。
    2. 支持alt+enter全屏,esc退出全屏。
    3. 自定义信息框+错误框+询问框+右下角提示框(包含多种格式)。
    4. 17套皮肤样式随意更换,所有样式全部统一,包括菜单等。
    5. 云台仪表盘鼠标移上去高亮,八个方位精准识别。
    6. 底部画面工具栏(画面分割切换+截图声音等设置)移上去高亮。
    7. 可在配置文件更改左上角logo+中文软件名称+英文软件名称。
    8. 封装了百度地图,视图切换,运动轨迹,设备点位,鼠标按下获取经纬度等。
    9. 支持图片地图,设备按钮可以在图片地图上自由拖动自动保存位置信息。
    10. 在百度地图和图片地图上,双击视频可以预览摄像头实时视频。
    11. 堆栈窗体,每个窗体都是个单独的qwidget,方便编写自己的代码。
    12. 顶部鼠标右键菜单,可动态控制时间CPU+左上角面板+左下角面板+右上角面板+右下角面板的显示和隐藏,支持恢复默认布局。
    13. 工具栏可以放置多个小图标和关闭图标。
    14. 左侧右侧可拖动拉伸,并自动记忆宽高位置,重启后恢复。
    15. 双击摄像机节点自动播放视频,双击节点自动依次添加视频,会自动跳到下一个,双击父节点自动添加该节点下的所有视频。
    16. 摄像机节点拖曳到对应窗体播放视频,同时支持拖曳本地文件直接播放。
    17. 视频画面窗体支持拖曳交换,瞬间响应。
    18. 双击节点+拖曳节点+拖曳窗体交换位置,均自动更新url.txt。
    19. 支持从url.txt中加载通道视频播放,自动记忆最后通道对应的视频,软件启动后自动打开播放。
    20. 右下角音量条控件,失去焦点自动隐藏,音量条带静音图标。
    21. 集成百度在线地图和离线地图,可以添加设备对应位置,自动生成地图,支持缩放和添加覆盖物等。
    22. 视频拖动到通道窗体外自动删除视频。
    23. 鼠标右键可删除当前+所有视频,截图当前+所有视频。
    24. 录像机管理、摄像机管理,可添加删除修改导入导出打印信息,立即应用新的设备信息生成树状列表,不需重启。
    25. 在pro文件中可以自由开启是否加载地图。
    26. 视频播放可选2种内核自由切换,vlc+ffmpeg,均可在pro中设置。
    27. 可设置1+4+9+16画面轮询,可设置轮询间隔以及轮询码流类型等,直接在主界面底部工具栏右侧单击启动轮询按钮即可,再次单击停止轮询。
    28. 默认超过10秒钟未操作自动隐藏鼠标指针。
    29. 支持onvif搜素设备,支持任意onvif摄像机,包括但不限于海康大华宇视天地伟业华为等。
    30. 支持onvif云台控制,可上下左右移动云台摄像机,包括复位和焦距调整等。
    31. 同时支持sqlite、mysql、postsql等数据库。
    32. 可保存视频,可选定时存储或者单文件存储,可选存储间隔时间。
    33. 可设置视频流通信方式tcp+udp,可设置视频解码是速度优先、质量优先、均衡等。
    34. 可设置硬解码类型,支持qsv、dxva2、d3d11va等。
    35. 默认采用opengl绘制视频,超低的CPU资源占用,支持yuyv和nv12两种格式绘制,很牛逼。
    36. 高度可定制化,用户可以很方便的在此基础上衍生自己的功能,支持linux和mac系统。

    三、效果图

    四、相关站点

    1. 国内站点:https://gitee.com/feiyangqingyun/QWidgetDemo
    2. 国际站点:https://github.com/feiyangqingyun/QWidgetDemo
    3. 个人主页:https://blog.csdn.net/feiyangqingyun
    4. 知乎主页:https://www.zhihu.com/people/feiyangqingyun/
    5. 体验地址:https://blog.csdn.net/feiyangqingyun/article/details/97565652

    五、核心代码

    bool FFmpegThread::initHWDeviceOther()
    {
    #ifdef hardwarespeed
        //根据名称自动寻找硬解码
        QByteArray hardwareData = hardware.toUtf8();
        enum AVHWDeviceType type = av_hwdevice_find_type_by_name(hardwareData.data());
        qDebug() << TIMEMS << "AVHWDeviceType" << type;
    
        //找到对应的硬解码格式
        hw_pix_fmt = find_fmt_by_hw_type(type);
        if (hw_pix_fmt == -1) {
            qDebug() << TIMEMS << "cannot support hardware";
            return false;
        }
    
        AVStream *videoStream = formatCtx->streams[videoStreamIndex];
        videoCtx = avcodec_alloc_context3(videoCodec);
        if (!videoCtx) {
            qDebug() << TIMEMS << "avcodec_alloc_context3 error";
            return false;
        }
    
        int result = -1;
        result = avcodec_parameters_to_context(videoCtx, videoStream->codecpar);
        if (result < 0) {
            qDebug() << TIMEMS << "avcodec_parameters_to_context error";
            return false;
        }
    
        //解码器格式赋值为硬解码
        videoCtx->get_format = get_hw_format;
        //av_opt_set_int(videoCtx, "refcounted_frames", 1, 0);
    
        //创建硬解码设备
        AVBufferRef *hw_device_ref;
        result = av_hwdevice_ctx_create(&hw_device_ref, type, NULL, NULL, 0);
        if (result < 0) {
            qDebug() << TIMEMS << "open the hardware device error";
            return false;
        }
    
        videoCtx->hw_device_ctx = av_buffer_ref(hw_device_ref);
        av_buffer_unref(&hw_device_ref);
    #endif
        return true;
    }