优化：流媒体

liusuyi

2024-07-11 b1084891961232e3c697ea9fc52f127cdccffb6b

 ard-work/src/main/java/com/ruoyi/media/service/impl/MediaServiceImpl.java

@@ -1,14 +1,14 @@
package com.ruoyi.media.service.impl;

import com.alibaba.fastjson2.JSONObject;
import com.dtflys.forest.exceptions.ForestNetworkException;
import com.dtflys.forest.exceptions.ForestRuntimeException;
import com.ruoyi.common.utils.StringUtils;
import com.ruoyi.media.domain.*;
import com.ruoyi.media.mapper.VtduMapper;
import com.ruoyi.media.service.IMediaService;
import com.ruoyi.utils.forest.MediaClient;
import com.ruoyi.utils.tools.ArdTool;
import com.ruoyi.utils.process.CmdUtils;
import com.sun.jna.Platform;
import io.swagger.models.auth.In;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.boot.ApplicationArguments;
@@ -16,14 +16,8 @@
import org.springframework.core.annotation.Order;
import org.springframework.stereotype.Service;

import javax.annotation.PostConstruct;
import javax.annotation.PreDestroy;
import javax.annotation.Resource;
import java.io.File;
import java.util.ArrayList;
import java.util.Collections;
import java.util.Comparator;
import java.util.List;
import java.util.*;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

@@ -35,137 +29,134 @@
 * @Version: 1.0
 **/
@Service
@Slf4j(topic = "cmd")
@Slf4j(topic = "vtdu")
@Order(2)
public class MediaServiceImpl implements IMediaService, ApplicationRunner {
    @Resource
    VtduMapper vtduMapper;
public class MediaServiceImpl implements IMediaService {

    @Resource
    MediaClient mediaClient;

    @Value("${mediamtx.host}")
    String mediamtxHost;
    @Value("${mediamtx.enabled}")
    Boolean mediamtxEnabled;
    @Value("${mediamtx.software_decoding}")
    Boolean softwareDecoding;

    String processName = "mediamtx.exe";

    /**
     * 添加流媒体
     * name 相机ID
     * sourceUrl rtsp地址
     * isCode 0-不转码 1-转码
     * mode 0-gpu硬解码 1-cpu软解码
     * <p>
     * 刘苏义
     * 2023/10/12 9:03:41
     */
    @Override
    public void run(ApplicationArguments args){
    public Map<String, String> addPath(String name, String sourceUrl, String mode, String isCode) {
        Map<String, String> map = new HashMap<>();
        try {
            log.info("开始加载流媒体列表");
            List<StreamInfo> paths = paths();
            for (StreamInfo path : paths) {
                mediaClient.removePath(path.getName());
            }
            List<Vtdu> vtduList = vtduMapper.selectVtduList(new Vtdu());
            for (Vtdu v : vtduList) {
                addPath(v.getName(), v.getRtspUrl(), v.getCodeType(), v.getIsCode());
            }
        }
        catch (Exception ex)
        {
            log.error("加载流媒体列表异常:"+ex.getMessage());
        }
    }
    @PostConstruct
    public void initMediaMtx() {
        if (mediamtxEnabled) {
            log.info("初始化启动mediaMTX");
            if (Platform.isWindows()) {
                String exePath = System.getProperty("user.dir") + File.separator + "lib" + File.separator + "mediamtx" + File.separator + "mediamtx.exe";
                String ymlPath = System.getProperty("user.dir") + File.separator + "lib" + File.separator + "mediamtx" + File.separator + "mediamtx.yml";
            String rtspUrl = "rtsp://" + mediamtxHost + ":8554/" + name;
            String rtmpUrl = "rtmp://" + mediamtxHost + ":1935/" + name;
            String webrtcUrl = "http://" + mediamtxHost + ":8889/" + name;

                List<String> cmd = new ArrayList<>();
                cmd.add(exePath);
                cmd.add(ymlPath);
                if (CmdUtils.isProcessRunning(processName)) {
                    // 进程已经在运行，结束该进程
                    CmdUtils.stopProcess(processName);
            Conf conf = new Conf();
            String rootPath = System.getProperty("user.dir").replaceAll("\\\\", "/") + "/server/mediamtx/";
            if (isCode.equals("1")) {
                conf.setSource("publisher");
                //默认软解码
                String cmd = "ffmpeg -rtsp_transport tcp -i " + sourceUrl + " -vcodec libx264 -preset:v ultrafast -r 25 -keyint_min 25 -g 60 -sc_threshold 0 -threads 6  -b:v 2048k -acodec opus  -strict -2 -f rtsp rtsp://localhost:$RTSP_PORT/$MTX_PATH";
                if (mode.equals("0")) {//硬解码
                    cmd = rootPath + "ffmpeg -hwaccel cuvid -c:v hevc_cuvid  -rtsp_transport tcp  -i " + sourceUrl + " -c:v h264_nvenc  -r 25 -g 60 -sc_threshold 0 -threads 6  -b:v 2048k -bf 0 -acodec opus  -strict -2 -f rtsp rtsp://localhost:$RTSP_PORT/$MTX_PATH";
                }
                // 启动后台进程
                CmdUtils.commandStart(processName, cmd, null);
                // 启动cmd窗口
//            String[] command = {"cmd","/c","start",exePath,ymlPath};
//            CmdUtils.commandStart(command);
                conf.setRunOnDemand(cmd);
                conf.setRunOnDemandRestart(true);
                conf.setRunOnDemandCloseAfter("5s");
            } else {
                conf.setSource(sourceUrl);
                conf.setSourceOnDemand(true);
            }
        }
    }
            conf.setMaxReaders(100);
            conf.setSourceProtocol("tcp");

    @PreDestroy
    public void destroyMediaMtx() {
        if (mediamtxEnabled) {
            log.info("销毁mediaMtx");
            if (CmdUtils.isProcessRunning(processName)) {
                // 进程已经在运行，结束该进程
                CmdUtils.stopProcess(processName);
            if (!checkNameExist(name)) {
                mediaClient.addPath(name, conf);
            } else {
                mediaClient.editPath(name, conf);
            }

            map.put("rtspUrl", rtspUrl);
            map.put("rtmpUrl", rtmpUrl);
            map.put("webrtcUrl", webrtcUrl);
        } catch (ForestNetworkException ex) {
            log.error("添加流媒体异常：" + ex.getMessage());
        } catch (ForestRuntimeException ex) {
            log.error("添加流媒体异常：" + ex.getMessage());
        }
        return map;
    }

    @Override
    public String addPath(String name, String rtspPath, String mode, String isCode) {
        String rtspUrl = "rtsp://" + mediamtxHost + ":7554/" + name;
        Conf mediaInfo = new Conf();
        String rootPath = System.getProperty("user.dir").replaceAll("\\\\", "/")+ "/lib/mediamtx/";
        //-vcodec libx264 //指定视频编码器为 libx264，使用 H.264 编码格式进行视频压缩
        //-preset ultrafast  //--preset的参数主要调节编码速度和质量的平衡，有ultrafast（转码速度最快，视频往往也最模糊）、superfast、veryfast、faster、fast、medium、slow、slower、veryslow、placebo这10个选项，从快到慢
        //-r 25 //设置输出视频的帧率为 25 帧/秒
        //-rtsp_transport tcp //这个选项告诉 FFmpeg 使用 TCP 作为 RTSP 的传输协议
        //-threads 4: 指定要使用的线程数为 4。//这允许 FFmpeg 在多核处理器上使用多个线程来进行视频编码，以加快速度。
        // -i //用于指定输入媒体文件或输入流的地址
        // -bf 0 禁用B帧，因为webrtc在网页调用时控制台一直输出 WebRTC doesn’t support H264 streams with B-frames
        //-f rtsp //这个选项告诉 FFmpeg 输出为 RTSP 格式。
        //CPU软解码编码
        //String cmd = rootPath + "/lib/mediamtx/" +"ffmpeg -rtsp_transport tcp -i " + rtspPath + " -vcodec libx264 -preset:v ultrafast -r 25 -threads 4  -b:v 2048k -f rtsp rtsp://localhost:$RTSP_PORT/$MTX_PATH";
        //GPU硬解码编码 -hwaccel cuvid -c:v h264_cuvid  使用cuda解码   -c:v h264_nvenc 使用cuda编码
        //String cmd = rootPath  + "/lib/mediamtx/" + "ffmpeg -hwaccel cuvid -c:v h264_cuvid  -rtsp_transport udp  -i " + rtspPath + " -c:v h264_nvenc  -r 25 -threads 4  -b:v 2048k -bf 0 -f rtsp rtsp://localhost:$RTSP_PORT/$MTX_PATH";
        if (isCode.equals("1")) {
            String cmd =  "ffmpeg -rtsp_transport tcp -i " + rtspPath + " -vcodec libx264 -preset:v ultrafast -r 25 -threads 6  -b:v 1024k -f rtsp rtsp://localhost:$RTSP_PORT/$MTX_PATH";
            if (!softwareDecoding) {
                cmd =  "ffmpeg -hwaccel cuvid -c:v h264_cuvid  -rtsp_transport tcp  -i " + rtspPath + " -c:v h264_nvenc  -r 25 -threads 6  -b:v 2048k -bf 0 -f rtsp rtsp://localhost:$RTSP_PORT/$MTX_PATH";
            }
            if (mode.equals("1")) {
                mediaInfo.setRunondemand(cmd);
                mediaInfo.setRunondemandrestart(true);
    public Map<String, String> editPath(String name, String sourceUrl, String mode, String isCode) {
        Map<String, String> map = new HashMap<>();
        try {
            String rtspUrl = "rtsp://" + mediamtxHost + ":8554/" + name;
            String rtmpUrl = "rtmp://" + mediamtxHost + ":1935/" + name;
            String webrtcUrl = "http://" + mediamtxHost + ":8889/" + name;

            Conf conf = new Conf();
            String rootPath = System.getProperty("user.dir").replaceAll("\\\\", "/") + "/lib/mediamtx/";
            if (isCode.equals("1")) {
                conf.setSource("publisher");
                //默认软解码
                String cmd = "ffmpeg -rtsp_transport tcp -i " + sourceUrl + " -vcodec libx264 -preset:v ultrafast -r 25 -keyint_min 25 -g 60 -sc_threshold 0 -threads 6  -b:v 2048k -acodec opus  -strict -2 -f rtsp rtsp://localhost:$RTSP_PORT/$MTX_PATH";
                if (mode.equals("0")) {//硬解码
                    cmd = "ffmpeg -hwaccel cuvid -c:v hevc_cuvid  -rtsp_transport tcp  -i " + sourceUrl + " -c:v h264_nvenc  -r 25 -g 60 -sc_threshold 0 -threads 6  -b:v 2048k -bf 0 -acodec opus  -strict -2 -f rtsp rtsp://localhost:$RTSP_PORT/$MTX_PATH";
                }
                conf.setRunOnDemand(cmd);
                conf.setRunOnDemandRestart(true);
                conf.setRunOnDemandCloseAfter("5s");
            } else {
                mediaInfo.setRunoninit(cmd);
                mediaInfo.setRunoninitrestart(true);
                conf.setSource(sourceUrl);
                conf.setSourceOnDemand(true);
                conf.setRunOnDemand("");
                conf.setRunOnDemandRestart(false);
                conf.setRunOnDemandCloseAfter("5s");
            }
        } else {
            mediaInfo.setSource(rtspPath);
            conf.setMaxReaders(100);
            conf.setSourceProtocol("tcp");

            if (checkNameExist(name)) {
                mediaClient.editPath(name, conf);
            }

            map.put("rtspUrl", rtspUrl);
            map.put("rtmpUrl", rtmpUrl);
            map.put("webrtcUrl", webrtcUrl);
        } catch (ForestRuntimeException ex) {
            log.error("修改流媒体异常：" + ex.getMessage());
        }
        mediaInfo.setSourceprotocol("tcp");
        mediaClient.addPath(name, mediaInfo);
        return rtspUrl;
        return map;
    }

    @Override
    public StreamInfo getPathInfo(String name) {
        Items item = mediaClient.getPathInfo(name);
        Conf conf = mediaClient.getPathInfo(name);
        StreamInfo info = new StreamInfo();
        //ID
        info.setName(name);
        String runoninit;
        String runondemand = item.getConf().getRunondemand();
        if (StringUtils.isNotEmpty(runondemand)) {
            runoninit = item.getConf().getRunondemand();
            info.setMode("1");
        } else {
            runoninit = item.getConf().getRunoninit();
        String runOn = "";
        if (StringUtils.isNotEmpty(conf.getRunOnDemand())) {
            runOn = conf.getRunOnDemand();
            info.setMode("0");
        } else {
            info.setMode("1");
        }
        //RTSP源地址
        String regex = "rtsp://[^\\s\"]+";
        Pattern pattern = Pattern.compile(regex);
        Matcher matcher = pattern.matcher(runoninit);
        Matcher matcher = Pattern.compile("rtsp://[^\\s\"]+").matcher(runOn);
        if (matcher.find()) {
            info.setRtspSource(matcher.group());
            info.setIsCode("1");
        } else {
            info.setRtspSource(item.getConf().getSource());
            info.setRtspSource(conf.getSource());
            info.setIsCode("0");
        }
        return info;
@@ -173,46 +164,55 @@

    @Override
    public void removePath(String[] names) {
        for (String name : names) {
            mediaClient.removePath(name);
        try {
            for (String name : names) {
                if (checkNameExist(name)) {
                    mediaClient.removePath(name);
                }
            }
        } catch (Exception ex) {
            log.error("批量移除流媒体异常：" + ex.getMessage());
        }
    }

    @Override
    public List<StreamInfo> paths() {
        String list = mediaClient.paths();
        JsonsRoot jsonsRoot = JSONObject.parseObject(list, JsonsRoot.class);
        List<Items> items = jsonsRoot.getItems();
    public void removePath(String name) {
        try {
            if (checkNameExist(name)) {
                mediaClient.removePath(name);
            }
        } catch (ForestRuntimeException ex) {
            log.error("移除流媒体异常：" + ex.getMessage());
        }
    }

    @Override
    public List<StreamInfo> paths(Integer pageNum, Integer pageSize) {
        Paths paths = mediaClient.paths(pageNum - 1, pageSize);
        List<Items> items = paths.getItems();
        List<StreamInfo> pathInfoList = new ArrayList<>();
        for (Items item : items) {
            StreamInfo info = new StreamInfo();
            //ID
            String name = item.getName();
            info.setName(name);
            String runoninit;
            String runondemand = item.getConf().getRunondemand();
            if (StringUtils.isNotEmpty(runondemand)) {
                runoninit = item.getConf().getRunondemand();
                info.setMode("1");
            } else {
                runoninit = item.getConf().getRunoninit();
                info.setMode("0");

            Conf conf = mediaClient.getPathInfo(name);
            String runOn = "";
            if (StringUtils.isNotEmpty(conf.getRunOnDemand())) {
                runOn = conf.getRunOnDemand();
            }
            //RTSP源地址
            String regex = "rtsp://[^\\s\"]+";
            Pattern pattern = Pattern.compile(regex);
            Matcher matcher = pattern.matcher(runoninit);
            Matcher matcher = Pattern.compile("rtsp://[^\\s\"]+").matcher(runOn);
            if (matcher.find()) {
                info.setRtspSource(matcher.group());
                info.setIsCode("1");
            } else {
                info.setRtspSource(item.getConf().getSource());
                info.setRtspSource(conf.getSource());
                info.setIsCode("0");
            }
            //传输协议
            regex = "-rtsp_transport\\s+(\\w+)";
            pattern = Pattern.compile(regex);
            matcher = pattern.matcher(runoninit);
            matcher = Pattern.compile("-rtsp_transport\\s+(\\w+)").matcher(runOn);
            if (matcher.find()) {
                info.setProtocol(matcher.group(1));
            }
@@ -222,26 +222,19 @@
        return pathInfoList;
    }


    @Override
    public RtspSession getRtspSessionById(String sessionId) {
        String list = mediaClient.getRtspsessionById(sessionId);
        RtspSession rtspSession = JSONObject.parseObject(list, RtspSession.class);
        return rtspSession;
        return mediaClient.getRtspsessionById(sessionId);
    }

    @Override
    public WebrtcSession getWebrtcSessionById(String sessionId) {
        String list = mediaClient.getWebrtcsessionById(sessionId);
        WebrtcSession webrtcSession = JSONObject.parseObject(list, WebrtcSession.class);
        return webrtcSession;
        return mediaClient.getWebrtcsessionById(sessionId);
    }

    @Override
    public RtmpSession getRtmpSessionById(String sessionId) {
        String list = mediaClient.getRtmpsessionById(sessionId);
        RtmpSession rtmpSession = JSONObject.parseObject(list, RtmpSession.class);
        return rtmpSession;
        return mediaClient.getRtmpsessionById(sessionId);
    }

    /**
@@ -250,21 +243,23 @@
     * 2023/8/29 9:37:05
     */
    @Override
    public List<StreamInfo> getPushStreamList() {
    public List<StreamInfo> getPushStreamList(Integer pageNum, Integer pageSize) {
        List<StreamInfo> PushStreamInfoList = new ArrayList<>();
        String list = mediaClient.paths();
        JsonsRoot jsonsRoot = JSONObject.parseObject(list, JsonsRoot.class);
        List<Items> items = jsonsRoot.getItems();
        Paths paths = mediaClient.paths(pageNum - 1, pageSize);
        List<Items> items = paths.getItems();
        for (Items item : items) {
            StreamInfo info = new StreamInfo();
            //ID
            String name = item.getName();
            info.setName(name);

            Conf conf = mediaClient.getPathInfo(name);

            //RTMP播放地址
            String rtmpUrl = "rtmp://" + mediamtxHost + ":1935/" + name;
            info.setRtmpUrl(rtmpUrl);
            //RTSP播放地址
            String rtspUrl = "rtsp://" + mediamtxHost + ":7554/" + name;
            String rtspUrl = "rtsp://" + mediamtxHost + ":8554/" + name;
            info.setRtspUrl(rtspUrl);
            //WEBRTC播放地址
            String webrtcUrl = "http://" + mediamtxHost + ":8889/" + name;
@@ -277,6 +272,7 @@
                long bytesReceived = item.getBytesReceived();
                String formatReceivedSize = ArdTool.formatFileSize(bytesReceived);
                info.setUpTraffic(formatReceivedSize);
                info.setBeginTime(item.getReadyTime());
            } else {
                RtspSession rtspSession = getRtspSessionById(source.getId());
                //会话ID
@@ -295,27 +291,21 @@
                info.setRemoteAddr(rtspSession.getRemoteAddr());
            }
            //RTSP源地址
            String runondemand = item.getConf().getRunondemand();
            String runoninit;
            if (StringUtils.isNotEmpty(runondemand)) {
                runoninit = item.getConf().getRunondemand();
            } else {
                runoninit = item.getConf().getRunoninit();
            String runOn = "";
            if (StringUtils.isNotEmpty(conf.getRunOnDemand())) {
                runOn = conf.getRunOnDemand();
            }
            String regex = "rtsp://[^\\s\"]+";
            Pattern pattern = Pattern.compile(regex);
            Matcher matcher = pattern.matcher(runoninit);
            Matcher matcher = Pattern.compile("rtsp://[^\\s\"]+").matcher(runOn);
            if (matcher.find()) {
                info.setRtspSource(matcher.group());
            } else {
                info.setRtspSource(item.getConf().getSource());
                info.setRtspSource(conf.getSource());
            }
            //传输协议
            info.setProtocol(item.getConf().getSourceprotocol());
            info.setProtocol(conf.getSourceProtocol());
            //拉流数量
            List<Readers> readers = item.getReaders();
            info.setNum(readers.size());


            PushStreamInfoList.add(info);
        }
@@ -328,11 +318,10 @@
     * 2023/8/29 9:37:05
     */
    @Override
    public List<StreamInfo> getPullStreamList() {
    public List<StreamInfo> getPullStreamList(Integer pageNum, Integer pageSize) {
        List<StreamInfo> PullStreamInfoList = new ArrayList<>();
        String list = mediaClient.paths();
        JsonsRoot jsonsRoot = JSONObject.parseObject(list, JsonsRoot.class);
        List<Items> items = jsonsRoot.getItems();
        Paths paths = mediaClient.paths(pageNum - 1, pageSize);
        List<Items> items = paths.getItems();
        for (Items item : items) {
            List<Readers> readers = item.getReaders();
            for (Readers reader : readers) {
@@ -340,8 +329,9 @@
                //ID
                String name = item.getName();
                info.setName(name);
                Conf conf = mediaClient.getPathInfo(name);
                //传输协议
                info.setProtocol(item.getConf().getSourceprotocol());
                info.setProtocol(conf.getSourceProtocol());

                String type = reader.getType();
                switch (type) {
@@ -368,6 +358,7 @@
                        PullStreamInfoList.add(info);
                        break;
                    case "webRTCSession":
                    case "webrtcSession":
                        info.setSessionType("webrtc");
                        //webrtc播放地址
                        url = "http://" + mediamtxHost + ":8889/" + name;
@@ -464,4 +455,40 @@
        }
    }

    /**
     * 获取流媒体name列表
     * 刘苏义
     * 2023/10/13 14:19:07
     */
    @Override
    public List<String> getNameList() {
        List<String> nameList = new ArrayList<>();
        try {
            Paths paths = mediaClient.paths(0, 1000);
            List<Items> items = paths.getItems();
            for (Items item : items) {
                nameList.add(item.getName());
            }
        } catch (Exception ex) {
            log.error("获取流媒体name列表异常：" + ex.getMessage());
        }
        return nameList;
    }

    /**
     * 检查name是否存在
     * 刘苏义
     * 2023/10/19 15:18:45
     */
    @Override
    public boolean checkNameExist(String name) {
        boolean result = false;
        List<String> nameList = getNameList();
        if (nameList.contains(name)) {
            result = true;
        }
        return result;
    }


}