增加流媒体删除异常捕获

‘liusuyi’

2024-03-18 606c6a34fe4bd3fad543a2f41eafe294a331685e

 ard-work/src/main/java/com/ruoyi/media/service/impl/MediaServiceImpl.java

@@ -1,16 +1,15 @@
package com.ruoyi.media.service.impl;

import com.alibaba.fastjson2.JSONObject;
import com.ruoyi.common.utils.DateUtils;
import com.ruoyi.common.utils.SecurityUtils;
import com.dtflys.forest.Forest;
import com.dtflys.forest.exceptions.ForestNetworkException;
import com.dtflys.forest.exceptions.ForestRuntimeException;
import com.dtflys.forest.http.ForestRequest;
import com.ruoyi.common.utils.StringUtils;
import com.ruoyi.media.domain.*;
import com.ruoyi.media.mapper.VtduMapper;
import com.ruoyi.media.service.IMediaService;
import com.ruoyi.utils.forest.MediaClient;
import com.ruoyi.utils.tools.ArdTool;
import com.ruoyi.utils.process.CmdUtils;
import com.sun.jna.Platform;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.boot.ApplicationArguments;
@@ -19,9 +18,8 @@
import org.springframework.stereotype.Service;

import javax.annotation.PostConstruct;
import javax.annotation.PreDestroy;
import javax.annotation.Resource;
import java.io.File;
import javax.xml.soap.SOAPEnvelope;
import java.util.*;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
@@ -34,163 +32,131 @@
 * @Version: 1.0
 **/
@Service
@Slf4j(topic = "cmd")
@Slf4j(topic = "vtdu")
@Order(2)
public class MediaServiceImpl implements IMediaService, ApplicationRunner {
    @Resource
    VtduMapper vtduMapper;
    public static List<String> mediaNameList = new ArrayList<>();
    @Resource
    MediaClient mediaClient;

    @Value("${mediamtx.host}")
    String mediamtxHost;
    @Value("${mediamtx.software_decoding}")
    Boolean softwareDecoding;

    @Override
    public void run(ApplicationArguments args) {
        try {
            log.debug("开始加载流媒体列表");
            List<StreamInfo> paths = paths();
            for (StreamInfo path : paths) {
                mediaClient.removePath(path.getName());
            }
            List<Vtdu> vtduList = vtduMapper.selectVtduList(new Vtdu());
            for (Vtdu vtdu : vtduList) {
                Map<String, String> map = addPath(vtdu.getName(), vtdu.getSourceUrl(), vtdu.getCodeType(), vtdu.getIsCode());
                vtdu.setRtspUrl(map.get("rtspUrl"));
                vtdu.setRtmpUrl(map.get("rtmpUrl"));
                vtdu.setWebrtcUrl(map.get("webrtcUrl"));
                vtdu.setUpdateTime(DateUtils.getNowDate());
                vtduMapper.updateVtdu(vtdu);
            }
        } catch (Exception ex) {
            log.error("加载流媒体列表异常:" + ex.getMessage());
    public void run(ApplicationArguments args) throws Exception {
        mediaNameList = getNameList();
        if (mediaNameList.size() > 0) {
            removePath(mediaNameList.toArray(new String[0]));
            mediaNameList.clear();
        }
    }

    /**
     * 添加流媒体
     * name 相机ID
     * sourceUrl rtsp地址
     * isCode 0-不转码 1-转码
     * mode 0-gpu硬解码 1-cpu软解码
     * <p>
     * 刘苏义
     * 2023/10/12 9:03:41
     */
    @Override
    public Map<String,String> addPath(String name, String sourceUrl, String mode, String isCode) {
        String rtspUrl = "rtsp://" + mediamtxHost + ":7554/" + name;
        String rtmpUrl = "rtmp://" + mediamtxHost + ":1935/" + name;
        String webrtcUrl = "http://" + mediamtxHost + ":8889/" + name;
    public Map<String, String> addPath(String name, String sourceUrl, String mode, String isCode) {
        Map<String, String> map = new HashMap<>();
        try {
            String rtspUrl = "rtsp://" + mediamtxHost + ":8554/" + name;
            String rtmpUrl = "rtmp://" + mediamtxHost + ":1935/" + name;
            String webrtcUrl = "http://" + mediamtxHost + ":8889/" + name;

        Conf mediaInfo = new Conf();
        String rootPath = System.getProperty("user.dir").replaceAll("\\\\", "/") + "/lib/mediamtx/";
        //-vcodec libx264 //指定视频编码器为 libx264，使用 H.264 编码格式进行视频压缩
        //-preset ultrafast  //--preset的参数主要调节编码速度和质量的平衡，有ultrafast（转码速度最快，视频往往也最模糊）、superfast、veryfast、faster、fast、medium、slow、slower、veryslow、placebo这10个选项，从快到慢
        //-r 25 //设置输出视频的帧率为 25 帧/秒
        //-g 20 //关键帧间隔20
        //-sc_threshold 0 //将其设置为0（-sc_threshold 0）禁用场景变化检测
        //-rtsp_transport tcp //这个选项告诉 FFmpeg 使用 TCP 作为 RTSP 的传输协议
        //-threads 4: 指定要使用的线程数为 4。//这允许 FFmpeg 在多核处理器上使用多个线程来进行视频编码，以加快速度。
        // -i //用于指定输入媒体文件或输入流的地址
        // -bf 0 禁用B帧，因为webrtc在网页调用时控制台一直输出 WebRTC doesn’t support H264 streams with B-frames
        //-f rtsp //这个选项告诉 FFmpeg 输出为 RTSP 格式。
        //CPU软解码编码
        //String cmd = rootPath + "/lib/mediamtx/" +"ffmpeg -rtsp_transport tcp -i " + rtspPath + " -vcodec libx264 -preset:v ultrafast -r 25 -threads 4  -b:v 2048k -f rtsp rtsp://localhost:$RTSP_PORT/$MTX_PATH";
        //GPU硬解码编码 -hwaccel cuvid -c:v h264_cuvid  使用cuda解码   -c:v h264_nvenc 使用cuda编码
        //String cmd = rootPath  + "/lib/mediamtx/" + "ffmpeg -hwaccel cuvid -c:v h264_cuvid  -rtsp_transport udp  -i " + rtspPath + " -c:v h264_nvenc  -r 25 -threads 4  -b:v 2048k -bf 0 -f rtsp rtsp://localhost:$RTSP_PORT/$MTX_PATH";
        if (isCode.equals("1")) {
            String cmd =  "ffmpeg -rtsp_transport tcp -i " + sourceUrl + " -vcodec libx264 -preset:v ultrafast -r 25 -keyint_min 25 -g 25 -sc_threshold 0 -threads 6  -b:v 2048k -f rtsp rtsp://localhost:$RTSP_PORT/$MTX_PATH";
            if (!softwareDecoding) {
                cmd =  "ffmpeg -hwaccel cuvid -c:v h264_cuvid  -rtsp_transport tcp  -i " + sourceUrl + " -c:v h264_nvenc  -r 25 -g 60 -threads 6  -b:v 2048k -bf 0 -f rtsp rtsp://localhost:$RTSP_PORT/$MTX_PATH";
            }
            if (mode.equals("0")) {
                mediaInfo.setRunondemand(cmd);
                mediaInfo.setRunondemandrestart(true);
                mediaInfo.setRunondemandcloseafter("5s");
            Conf conf = new Conf();
            String rootPath = System.getProperty("user.dir").replaceAll("\\\\", "/") + "/server/mediamtx/";
            if (isCode.equals("1")) {
                conf.setSource("publisher");
                //默认软解码
                String cmd = "ffmpeg -rtsp_transport tcp -i " + sourceUrl + " -vcodec libx264 -preset:v ultrafast -r 25 -keyint_min 25 -g 60 -sc_threshold 0 -threads 6  -b:v 2048k -acodec opus  -strict -2 -f rtsp rtsp://localhost:$RTSP_PORT/$MTX_PATH";
                if (mode.equals("0")) {//硬解码
                    cmd = rootPath + "ffmpeg -hwaccel cuvid -c:v hevc_cuvid  -rtsp_transport tcp  -i " + sourceUrl + " -c:v h264_nvenc  -r 25 -g 60 -sc_threshold 0 -threads 6  -b:v 2048k -bf 0 -acodec opus  -strict -2 -f rtsp rtsp://localhost:$RTSP_PORT/$MTX_PATH";
                }
                conf.setRunOnDemand(cmd);
                conf.setRunOnDemandRestart(true);
                conf.setRunOnDemandCloseAfter("5s");
            } else {
                mediaInfo.setRunoninit(cmd);
                mediaInfo.setRunoninitrestart(true);
                conf.setSource(sourceUrl);
                conf.setSourceOnDemand(true);
            }
        } else {
            mediaInfo.setSource(sourceUrl);
            mediaInfo.setSourceondemand(true);
            conf.setMaxReaders(100);
            conf.setSourceProtocol("tcp");

            if (!checkNameExist(name)) {
                mediaClient.addPath(name, conf);
                mediaNameList.add(name);
            }

            map.put("rtspUrl", rtspUrl);
            map.put("rtmpUrl", rtmpUrl);
            map.put("webrtcUrl", webrtcUrl);
        } catch (ForestNetworkException ex) {
            log.error("添加流媒体异常：" + ex.getMessage());
        } catch (ForestRuntimeException ex) {
            log.error("添加流媒体异常：" + ex.getMessage());
        }
        mediaInfo.setMaxReaders(100);
        mediaInfo.setSourceprotocol("tcp");
        mediaClient.addPath(name, mediaInfo);
        Map<String,String> map=new HashMap<>();
        map.put("rtspUrl",rtspUrl);
        map.put("rtmpUrl",rtmpUrl);
        map.put("webrtcUrl",webrtcUrl);
        return map;
    }

    @Override
    public Map<String, String> editPath(String name, String sourceUrl, String mode, String isCode) {
        String rtspUrl = "rtsp://" + mediamtxHost + ":7554/" + name;
        String rtmpUrl = "rtmp://" + mediamtxHost + ":1935/" + name;
        String webrtcUrl = "http://" + mediamtxHost + ":8889/" + name;
        Map<String, String> map = new HashMap<>();
        try {
            String rtspUrl = "rtsp://" + mediamtxHost + ":8554/" + name;
            String rtmpUrl = "rtmp://" + mediamtxHost + ":1935/" + name;
            String webrtcUrl = "http://" + mediamtxHost + ":8889/" + name;

        Conf mediaInfo = new Conf();
        String rootPath = System.getProperty("user.dir").replaceAll("\\\\", "/") + "/lib/mediamtx/";
        //-vcodec libx264 //指定视频编码器为 libx264，使用 H.264 编码格式进行视频压缩
        //-preset ultrafast  //--preset的参数主要调节编码速度和质量的平衡，有ultrafast（转码速度最快，视频往往也最模糊）、superfast、veryfast、faster、fast、medium、slow、slower、veryslow、placebo这10个选项，从快到慢
        //-r 25 //设置输出视频的帧率为 25 帧/秒
        //-g 20 //关键帧间隔20
        //-sc_threshold 0 //将其设置为0（-sc_threshold 0）禁用场景变化检测
        //-rtsp_transport tcp //这个选项告诉 FFmpeg 使用 TCP 作为 RTSP 的传输协议
        //-threads 4: 指定要使用的线程数为 4。//这允许 FFmpeg 在多核处理器上使用多个线程来进行视频编码，以加快速度。
        // -i //用于指定输入媒体文件或输入流的地址
        // -bf 0 禁用B帧，因为webrtc在网页调用时控制台一直输出 WebRTC doesn’t support H264 streams with B-frames
        //-f rtsp //这个选项告诉 FFmpeg 输出为 RTSP 格式。
        //-acodec opus //音频转码opus
        //CPU软解码编码
        //String cmd = rootPath + "/lib/mediamtx/" +"ffmpeg -rtsp_transport tcp -i " + rtspPath + " -vcodec libx264 -preset:v ultrafast -r 25 -threads 4  -b:v 2048k -f rtsp rtsp://localhost:$RTSP_PORT/$MTX_PATH";
        //GPU硬解码编码 -hwaccel cuvid -c:v h264_cuvid  使用cuda解码   -c:v h264_nvenc 使用cuda编码
        //String cmd = rootPath  + "/lib/mediamtx/" + "ffmpeg -hwaccel cuvid -c:v h264_cuvid  -rtsp_transport udp  -i " + rtspPath + " -c:v h264_nvenc  -r 25 -threads 4  -b:v 2048k -bf 0 -f rtsp rtsp://localhost:$RTSP_PORT/$MTX_PATH";
        if (isCode.equals("1")) {
            mediaInfo.setSource("publisher");
            String cmd =  "ffmpeg -rtsp_transport tcp -i " + sourceUrl + "  -vcodec libx264 -preset:v ultrafast -r 25 -keyint_min 25 -g 25 -sc_threshold 0 -threads 6  -b:v 2048k  -acodec opus -f  rtsp rtsp://localhost:$RTSP_PORT/$MTX_PATH";
            if (!softwareDecoding) {
                cmd =  "ffmpeg -hwaccel cuvid -c:v h264_cuvid  -rtsp_transport tcp  -i " + sourceUrl + "  -c:v h264_nvenc  -r 25 -g 60 -threads 6  -b:v 2048k -bf 0  -acodec opus  -f  rtsp rtsp://localhost:$RTSP_PORT/$MTX_PATH";
            }
            if (mode.equals("0")) {
                mediaInfo.setRunondemand(cmd);
                mediaInfo.setRunondemandcloseafter("5s");
                mediaInfo.setRunondemandrestart(true);
                mediaInfo.setRunoninit("");
                mediaInfo.setRunoninitrestart(false);
            Conf conf = new Conf();
            String rootPath = System.getProperty("user.dir").replaceAll("\\\\", "/") + "/lib/mediamtx/";
            if (isCode.equals("1")) {
                conf.setSource("publisher");
                //默认软解码
                String cmd = "ffmpeg -rtsp_transport tcp -i " + sourceUrl + " -vcodec libx264 -preset:v ultrafast -r 25 -keyint_min 25 -g 60 -sc_threshold 0 -threads 6  -b:v 2048k -acodec opus  -strict -2 -f rtsp rtsp://localhost:$RTSP_PORT/$MTX_PATH";
                if (mode.equals("0")) {//硬解码
                    cmd = "ffmpeg -hwaccel cuvid -c:v hevc_cuvid  -rtsp_transport tcp  -i " + sourceUrl + " -c:v h264_nvenc  -r 25 -g 60 -sc_threshold 0 -threads 6  -b:v 2048k -bf 0 -acodec opus  -strict -2 -f rtsp rtsp://localhost:$RTSP_PORT/$MTX_PATH";
                }
                conf.setRunOnDemand(cmd);
                conf.setRunOnDemandRestart(true);
                conf.setRunOnDemandCloseAfter("5s");
            } else {
                mediaInfo.setRunoninit(cmd);
                mediaInfo.setRunoninitrestart(true);
                mediaInfo.setRunondemand("");
                mediaInfo.setRunondemandrestart(false);
                conf.setSource(sourceUrl);
                conf.setSourceOnDemand(true);
                conf.setRunOnDemand("");
                conf.setRunOnDemandRestart(false);
                conf.setRunOnDemandCloseAfter("5s");
            }
        } else {
            mediaInfo.setSource(sourceUrl);
            mediaInfo.setSourceondemand(true);
            mediaInfo.setRunondemand("");
            mediaInfo.setRunondemandrestart(false);
            mediaInfo.setRunoninit("");
            mediaInfo.setRunoninitrestart(false);
            conf.setMaxReaders(100);
            conf.setSourceProtocol("tcp");

            if (checkNameExist(name)) {
                mediaClient.editPath(name, conf);
            }

            map.put("rtspUrl", rtspUrl);
            map.put("rtmpUrl", rtmpUrl);
            map.put("webrtcUrl", webrtcUrl);
        } catch (ForestRuntimeException ex) {
            log.error("修改流媒体异常：" + ex.getMessage());
        }
        mediaInfo.setMaxReaders(100);
        mediaInfo.setSourceprotocol("tcp");
        mediaClient.editPath(name, mediaInfo);
        Map<String,String> map=new HashMap<>();
        map.put("rtspUrl",rtspUrl);
        map.put("rtmpUrl",rtmpUrl);
        map.put("webrtcUrl",webrtcUrl);
        return map;
    }

    @Override
    public StreamInfo getPathInfo(String name) {
        Items item = mediaClient.getPathInfo(name);
        Conf conf = mediaClient.getPathInfo(name);
        StreamInfo info = new StreamInfo();
        //ID
        info.setName(name);
        String runOn;
        if (StringUtils.isNotEmpty(item.getConf().getRunondemand())) {
            runOn = item.getConf().getRunondemand();
        String runOn = "";
        if (StringUtils.isNotEmpty(conf.getRunOnDemand())) {
            runOn = conf.getRunOnDemand();
            info.setMode("0");
        } else {
            //runOn = item.getConf().getRunonready();
            runOn = item.getConf().getRunoninit();
            info.setMode("1");
        }
        //RTSP源地址
        Matcher matcher = Pattern.compile("rtsp://[^\\s\"]+").matcher(runOn);
@@ -198,7 +164,7 @@
            info.setRtspSource(matcher.group());
            info.setIsCode("1");
        } else {
            info.setRtspSource(item.getConf().getSource());
            info.setRtspSource(conf.getSource());
            info.setIsCode("0");
        }
        return info;
@@ -206,8 +172,26 @@

    @Override
    public void removePath(String[] names) {
        for (String name : names) {
            mediaClient.removePath(name);
        try {
            for (String name : names) {
                if (checkNameExist(name)) {
                    mediaClient.removePath(name);
                }
            }
        } catch (Exception ex) {
            log.error("批量移除流媒体异常：" + ex.getMessage());
        }
    }

    @Override
    public void removePath(String name) {
        try {
            if (checkNameExist(name)) {
                mediaClient.removePath(name);
                mediaNameList.remove(name);
            }
        } catch (ForestRuntimeException ex) {
            log.error("移除流媒体异常：" + ex.getMessage());
        }
    }

@@ -222,14 +206,11 @@
            //ID
            String name = item.getName();
            info.setName(name);
            String runOn;
            if (StringUtils.isNotEmpty(item.getConf().getRunondemand())) {
                runOn = item.getConf().getRunondemand();
                info.setMode("0");
            } else {
                runOn = item.getConf().getRunoninit();
                //runOn = item.getConf().getRunonready();
                info.setMode("1");

            Conf conf = mediaClient.getPathInfo(name);
            String runOn = "";
            if (StringUtils.isNotEmpty(conf.getRunOnDemand())) {
                runOn = conf.getRunOnDemand();
            }
            //RTSP源地址
            Matcher matcher = Pattern.compile("rtsp://[^\\s\"]+").matcher(runOn);
@@ -237,7 +218,7 @@
                info.setRtspSource(matcher.group());
                info.setIsCode("1");
            } else {
                info.setRtspSource(item.getConf().getSource());
                info.setRtspSource(conf.getSource());
                info.setIsCode("0");
            }
            //传输协议
@@ -250,7 +231,6 @@
        }
        return pathInfoList;
    }


    @Override
    public RtspSession getRtspSessionById(String sessionId) {
@@ -289,11 +269,14 @@
            //ID
            String name = item.getName();
            info.setName(name);

            Conf conf = mediaClient.getPathInfo(name);

            //RTMP播放地址
            String rtmpUrl = "rtmp://" + mediamtxHost + ":1935/" + name;
            info.setRtmpUrl(rtmpUrl);
            //RTSP播放地址
            String rtspUrl = "rtsp://" + mediamtxHost + ":7554/" + name;
            String rtspUrl = "rtsp://" + mediamtxHost + ":8554/" + name;
            info.setRtspUrl(rtspUrl);
            //WEBRTC播放地址
            String webrtcUrl = "http://" + mediamtxHost + ":8889/" + name;
@@ -324,21 +307,18 @@
                info.setRemoteAddr(rtspSession.getRemoteAddr());
            }
            //RTSP源地址
            String runOn;
            if (StringUtils.isNotEmpty(item.getConf().getRunondemand())) {
                runOn = item.getConf().getRunondemand();
            } else {
                runOn = item.getConf().getRunoninit();
                //runOn = item.getConf().getRunonready();
            String runOn = "";
            if (StringUtils.isNotEmpty(conf.getRunOnDemand())) {
                runOn = conf.getRunOnDemand();
            }
            Matcher matcher = Pattern.compile("rtsp://[^\\s\"]+").matcher(runOn);
            if (matcher.find()) {
                info.setRtspSource(matcher.group());
            } else {
                info.setRtspSource(item.getConf().getSource());
                info.setRtspSource(conf.getSource());
            }
            //传输协议
            info.setProtocol(item.getConf().getSourceprotocol());
            info.setProtocol(conf.getSourceProtocol());
            //拉流数量
            List<Readers> readers = item.getReaders();
            info.setNum(readers.size());
@@ -366,8 +346,9 @@
                //ID
                String name = item.getName();
                info.setName(name);
                Conf conf = mediaClient.getPathInfo(name);
                //传输协议
                info.setProtocol(item.getConf().getSourceprotocol());
                info.setProtocol(conf.getSourceProtocol());

                String type = reader.getType();
                switch (type) {
@@ -490,4 +471,49 @@
        }
    }

    /**
     * 获取流媒体name列表
     * 刘苏义
     * 2023/10/13 14:19:07
     */
    @Override
    public List<String> getNameList() {
        try {
            String paths = mediaClient.paths();
            JsonsRoot jsonsRoot = JSONObject.parseObject(paths, JsonsRoot.class);
            List<Items> items = jsonsRoot.getItems();
            for (Items item : items) {
                mediaNameList.add(item.getName());
            }
        } catch (ForestNetworkException ex) {
            log.error("获取流媒体name列表异常：" + ex.getMessage());
        } catch (ForestRuntimeException ex) {
            log.error("获取流媒体name列表异常：" + ex.getMessage());
        }
        return mediaNameList;
    }

    /**
     * 检查名称是否存在
     * 刘苏义
     * 2023/10/19 15:18:45
     */
    @Override
    public boolean checkNameExist(String name) {
        boolean result = false;
        if (mediaNameList.contains(name)) {
            result = true;
        }
        return result;
    }

    /**
     * 配置流媒体参数
     */
    @Override
    public String setConfig(Config config) {
        return mediaClient.setConfig(config);
    }


}