iailab-module-model/iailab-module-model-biz/src/main/java/com/iailab/module/model/mpk/service/impl/MpkFileServiceImpl.java

@@ -1,7 +1,6 @@
package com.iailab.module.model.mpk.service.impl;

import cn.hutool.core.io.FileUtil;
import cn.hutool.core.util.RuntimeUtil;
import cn.hutool.core.util.ZipUtil;
import com.alibaba.fastjson.JSON;
import com.baomidou.dynamic.datasource.annotation.DSTransactional;
@@ -15,7 +14,10 @@
import com.iailab.framework.security.core.util.SecurityFrameworkUtils;
import com.iailab.framework.tenant.core.context.TenantContextHolder;
import com.iailab.module.infra.api.config.ConfigApi;
import com.iailab.module.model.mcs.pre.service.MmModelArithSettingsService;
import com.iailab.module.model.mcs.sche.service.StScheduleModelSettingService;
import com.iailab.module.model.mpk.common.MdkConstant;
import com.iailab.module.model.mpk.common.utils.CmdUtils;
import com.iailab.module.model.mpk.common.utils.DllUtils;
import com.iailab.module.model.mpk.common.utils.GenUtils;
import com.iailab.module.model.mpk.dao.MpkFileDao;
@@ -39,10 +41,12 @@
import org.springframework.util.CollectionUtils;
import org.springframework.web.multipart.MultipartFile;

import java.io.*;
import java.io.File;
import java.io.IOException;
import java.net.URLClassLoader;
import java.nio.file.Files;
import java.util.*;
import java.util.function.Function;
import java.util.stream.Collectors;

/**
@@ -65,6 +69,12 @@

    @Autowired
    private ProjectPackageHistoryModelService projectPackageHistoryModelService;

    @Autowired
    private MmModelArithSettingsService mmModelArithSettingsService;

    @Autowired
    private StScheduleModelSettingService stScheduleModelSettingService;

    @Autowired
    private ConfigApi configApi;
@@ -94,13 +104,15 @@
    }

    private QueryWrapper<MpkFileEntity> getWrapper(Map<String, Object> params) {
        String pyChineseName = (String) params.get("pyChineseName");
        String pyName = (String) params.get("pyName");
        String pyType = (String) params.get("pyType");
        String remark = (String) params.get("remark");
        String label = (String) params.get("label");

        QueryWrapper<MpkFileEntity> wrapper = new QueryWrapper<>();
        wrapper.like(StringUtils.isNotBlank(pyName), "py_chinese_name", pyName)
        wrapper.like(StringUtils.isNotBlank(pyChineseName), "py_chinese_name", pyChineseName)
                .like(StringUtils.isNotBlank(pyName), "py_name", pyName)
                .eq(StringUtils.isNotBlank(pyType), "py_type", pyType)
                .like(StringUtils.isNotBlank(remark), "remark", remark);

@@ -200,6 +212,11 @@
            }
        }

        // 修改预测项pyFile参数
        mmModelArithSettingsService.updatePyFile(dto.getPyModule(),fileName);
        // 修改调度项pyFile参数
        stScheduleModelSettingService.updatePyFile(dto.getPyModule(),fileName);

        MpkFileEntity entity = ConvertUtils.sourceToTarget(dto, MpkFileEntity.class);
        entity.setUpdater(SecurityFrameworkUtils.getLoginUserId());
        entity.setUpdateDate(new Date());
@@ -270,27 +287,24 @@
        }

        List<String> javaFilePaths = new ArrayList<>();
        List<String> cppFilePaths = new ArrayList<>();

        //生成java文件
        File javaFile = new File(dirPath.getAbsolutePath() + File.separator + "IAILMDK" + File.separator + entity.getPkgName().replace(".", File.separator) + File.separator + entity.getPyName() + ".java");
        File javaFile = new File(dirPath.getAbsolutePath() + File.separator + MdkConstant.IAILMDK + File.separator + entity.getPkgName().replace(".", File.separator) + File.separator + entity.getPyName() + ".java");
        GenUtils.drawTemplate("abstract.java.vm", dataContext, javaFile);
        javaFilePaths.add(javaFile.getAbsolutePath());

        //生成Impl.java文件
        File implJavaFile = new File(dirPath.getAbsolutePath() + File.separator + "IAILMDK" + File.separator + entity.getPkgName().replace(".", File.separator) + File.separator + MdkConstant.IMPL + File.separator + entity.getPyName() + "Impl.java");
        File implJavaFile = new File(dirPath.getAbsolutePath() + File.separator + MdkConstant.IAILMDK + File.separator + entity.getPkgName().replace(".", File.separator) + File.separator + MdkConstant.IMPL + File.separator + entity.getPyName() + "Impl.java");
        GenUtils.drawTemplate("impl.java.vm", dataContext, implJavaFile);
        javaFilePaths.add(implJavaFile.getAbsolutePath());

        //生成.cpp文件
        File cppFile = new File(dirPath.getAbsolutePath() + File.separator + MdkConstant.C + File.separator + entity.getPyName() + ".cpp");
        GenUtils.drawTemplate("cpp.vm", dataContext, cppFile);
        cppFilePaths.add(cppFile.getAbsolutePath());

        //生成Jni.cpp文件
        File jniCppFile = new File(dirPath.getAbsolutePath() + File.separator + MdkConstant.C + File.separator + entity.getPyName() + "Jni.cpp");
        GenUtils.drawTemplate("Jni.cpp.vm", dataContext, jniCppFile);
        cppFilePaths.add(jniCppFile.getAbsolutePath());

        //生成.h文件
        File hFile = new File(dirPath.getAbsolutePath() + File.separator + MdkConstant.C + File.separator + entity.getPyName() + ".h");
@@ -310,23 +324,23 @@

        //生成dll文件
        String dllSavePath = dirPath.getAbsolutePath() + File.separator + MdkConstant.LIBS + File.separator + "IAIL.MDK.Mid.Jni.dll";
        createDllFile(dirPath.getAbsolutePath(),cppFilePaths,dllSavePath);
        createDllFile(dirPath.getAbsolutePath(),dllSavePath);
        //备份dll文件，用于后续运行
        String dllBakPath = mpkTenantBakFilePath + File.separator + MdkConstant.DLL + File.separator + entity.getPyName() + ".dll";
        FileUtil.mkParentDirs(dllBakPath);
        FileUtil.copy(dllSavePath, dllBakPath, true);

        //utils + env java文件
        File utilsJavaFile = new File(dirPath.getAbsolutePath() + File.separator + "IAILMDK" + File.separator + "iail" + File.separator + "mdk" + File.separator + "model" + File.separator + "utils" + File.separator + "AlgsUtils.java");
        File utilsJavaFile = new File(dirPath.getAbsolutePath() + File.separator + MdkConstant.IAILMDK + File.separator + "iail" + File.separator + "mdk" + File.separator + "model" + File.separator + "utils" + File.separator + "AlgsUtils.java");
        FileUtil.mkParentDirs(utilsJavaFile);
        FileUtil.copy(mpkResources + File.separator +"IAILMDK/utils/AlgsUtils.java", utilsJavaFile.getAbsolutePath(), true);
        javaFilePaths.add(utilsJavaFile.getAbsolutePath());
        File envJavaFile = new File(dirPath.getAbsolutePath() + File.separator + "IAILMDK" + File.separator + "iail" + File.separator + "mdk" + File.separator + "model" + File.separator + "common" + File.separator + "Environment.java");
        File envJavaFile = new File(dirPath.getAbsolutePath() + File.separator + MdkConstant.IAILMDK + File.separator + "iail" + File.separator + "mdk" + File.separator + "model" + File.separator + "common" + File.separator + "Environment.java");
        FileUtil.mkParentDirs(envJavaFile);
        FileUtil.copy(mpkResources + File.separator +"IAILMDK/common/Environment.java", envJavaFile.getAbsolutePath(), true);
        javaFilePaths.add(envJavaFile.getAbsolutePath());
        // 生成class文件
        createClassFile(javaFilePaths);
        createClassFile(dirPath.getAbsolutePath(),javaFilePaths);
        // 删除java源文件
        deleteJavaFile(javaFilePaths);
        // 打jar包
@@ -361,12 +375,12 @@

    @Override
    @DSTransactional(rollbackFor = Exception.class)
    public byte[] packageModel(List<String> ids, String projectId, String projectName, String zipFileName, String logs, String version) throws IOException, InterruptedException {
    public byte[] packageModel(String projectId, String projectName, String zipFileName, String logs, String version) throws IOException {
        Long tenantId = TenantContextHolder.getTenantId();
        // 备份文件 租户隔离
        String mpkTenantBakFilePath = mpkBakFilePath + File.separator + tenantId;

        List<MpkFileDTO> entities = baseDao.selectByIds(ids);
        List<MpkFileDTO> entities = baseDao.selectByProjectId(projectId);

        //模板数据
//        Map<String, Object> map = new HashMap<>();
@@ -395,7 +409,6 @@
        GenUtils.drawTemplate("menu.xml.vm", new VelocityContext(map1), xmlFile);

        List<String> javaFilePaths = new ArrayList<>();
        List<String> cppFilePaths = new ArrayList<>();

        //生成java文件
        for (MpkFileDTO entity : entities) {
@@ -407,24 +420,22 @@
            data.put("pyModule", entity.getPyModule());
            VelocityContext dataContext = new VelocityContext(data);
            //生成java文件
            File javaFile = new File(dirPath.getAbsolutePath() + File.separator + "IAILMDK" + File.separator + entity.getPkgName().replace(".", File.separator) + File.separator + entity.getPyName() + ".java");
            File javaFile = new File(dirPath.getAbsolutePath() + File.separator + MdkConstant.IAILMDK + File.separator + entity.getPkgName().replace(".", File.separator) + File.separator + entity.getPyName() + ".java");
            GenUtils.drawTemplate("abstract.java.vm", dataContext, javaFile);
            javaFilePaths.add(javaFile.getAbsolutePath());

            //生成Impl.java文件
            File implJavaFile = new File(dirPath.getAbsolutePath() + File.separator + "IAILMDK" + File.separator + entity.getPkgName().replace(".", File.separator) + File.separator + MdkConstant.IMPL + File.separator + entity.getPyName() + "Impl.java");
            File implJavaFile = new File(dirPath.getAbsolutePath() + File.separator + MdkConstant.IAILMDK + File.separator + entity.getPkgName().replace(".", File.separator) + File.separator + MdkConstant.IMPL + File.separator + entity.getPyName() + "Impl.java");
            GenUtils.drawTemplate("impl.java.vm", dataContext, implJavaFile);
            javaFilePaths.add(implJavaFile.getAbsolutePath());

            //生成.cpp文件
            File cppFile = new File(dirPath.getAbsolutePath() + File.separator + MdkConstant.C + File.separator + entity.getPyName() + ".cpp");
            GenUtils.drawTemplate("cpp.vm", dataContext, cppFile);
            cppFilePaths.add(cppFile.getAbsolutePath());

            //生成Jni.cpp文件
            File jniCppFile = new File(dirPath.getAbsolutePath() + File.separator + MdkConstant.C + File.separator + entity.getPyName() + "Jni.cpp");
            GenUtils.drawTemplate("Jni.cpp.vm", dataContext, jniCppFile);
            cppFilePaths.add(jniCppFile.getAbsolutePath());

            //生成.h文件
            File hFile = new File(dirPath.getAbsolutePath() + File.separator + MdkConstant.C + File.separator + entity.getPyName() + ".h");
@@ -445,7 +456,7 @@

        //生成dll文件
        String dllSavePath = dirPath.getAbsolutePath() + File.separator + MdkConstant.LIBS + File.separator + "IAIL.MDK.Mid.Jni.dll";
        createDllFile(dirPath.getAbsolutePath(),cppFilePaths,dllSavePath);
        createDllFile(dirPath.getAbsolutePath(),dllSavePath);
        // 打包历史id
        String historyId = UUID.randomUUID().toString();
        //备份dll，发布时使用
@@ -458,16 +469,16 @@
        }

        //utils + env java文件
        File utilsJavaFile = new File(dirPath.getAbsolutePath() + File.separator + "IAILMDK" + File.separator + "iail" + File.separator + "mdk" + File.separator + "model" + File.separator + "utils" + File.separator + "AlgsUtils.java");
        File utilsJavaFile = new File(dirPath.getAbsolutePath() + File.separator + MdkConstant.IAILMDK + File.separator + "iail" + File.separator + "mdk" + File.separator + "model" + File.separator + "utils" + File.separator + "AlgsUtils.java");
        FileUtil.mkParentDirs(utilsJavaFile);
        FileUtil.copy(mpkResources + File.separator +"IAILMDK/utils/AlgsUtils.java", utilsJavaFile.getAbsolutePath(), true);
        javaFilePaths.add(utilsJavaFile.getAbsolutePath());
        File envJavaFile = new File(dirPath.getAbsolutePath() + File.separator + "IAILMDK" + File.separator + "iail" + File.separator + "mdk" + File.separator + "model" + File.separator + "common" + File.separator + "Environment.java");
        File envJavaFile = new File(dirPath.getAbsolutePath() + File.separator + MdkConstant.IAILMDK + File.separator + "iail" + File.separator + "mdk" + File.separator + "model" + File.separator + "common" + File.separator + "Environment.java");
        FileUtil.mkParentDirs(envJavaFile);
        FileUtil.copy(mpkResources + File.separator +"IAILMDK/common/Environment.java", envJavaFile.getAbsolutePath(), true);
        javaFilePaths.add(envJavaFile.getAbsolutePath());
        // 生成class文件
        createClassFile(javaFilePaths);
        createClassFile(dirPath.getAbsolutePath(),javaFilePaths);
        // 删除java源文件
        deleteJavaFile(javaFilePaths);
        // 打jar包
@@ -523,23 +534,10 @@
        return bytes;
    }

    private void createDllFile(String dirPath, List<String> cppFilePaths, String dllSavePath) {
    private void createDllFile(String dirPath, String dllSavePath) {
        try {
            String paths = cppFilePaths.stream().collect(Collectors.joining(" "));
            String command = "cl /LD " + paths + " /EHsc /o " + dllSavePath + " /link " + "IAIL.MDK.Mid.Windows.lib";
            log.info("执行cmd命令生成dll：" + command);
            ProcessBuilder builder = new ProcessBuilder("cmd", "/c", command);
            builder.directory(new File(dirPath + File.separator + MdkConstant.LIBS));
            Process process = builder.start();
            // 获取命令输出结果
            InputStream inputStream = process.getInputStream();
            BufferedReader reader = new BufferedReader(new InputStreamReader(inputStream, "GBK")); // 设置编码为GBK
            String line;
            while ((line = reader.readLine()) != null) {
                log.info(line);
            }
            // 等待命令执行完成
            process.waitFor();
            String command = "cl /LD *.cpp /EHsc /o " + dllSavePath + " /link " + "IAIL.MDK.Mid.Windows.lib";
            CmdUtils.exec(command,dirPath + File.separator + MdkConstant.C);
        } catch (Exception e) {
            throw new RuntimeException("执行cmd命令生成dll异常",e);
        }
@@ -605,19 +603,7 @@
        try {
            String command = "python setup.py build_ext --inplace";
            log.info("执行cmd命令编译pyd：" + command);
            ProcessBuilder builder = new ProcessBuilder("cmd", "/c", command);
            builder.directory(new File(dir));  // 设置工作目录
            builder.redirectErrorStream(true);  // 将错误输出和标准输出合并
            Process process = builder.start();
            // 获取命令输出结果
            InputStream inputStream = process.getInputStream();
            BufferedReader reader = new BufferedReader(new InputStreamReader(inputStream, "GBK")); // 设置编码为GBK
            String line;
            while ((line = reader.readLine()) != null) {
                log.info(line);
            }
            // 等待命令执行完成
            process.waitFor();
            CmdUtils.exec(command,dir);
        } catch (Exception e) {
            throw new RuntimeException("执行cmd命令生成dll异常", e);
        }
@@ -709,12 +695,10 @@
            StringBuilder sb = new StringBuilder();
            sb.append("jar -cvf");
            sb.append(" ").append(jarSavePath);
            sb.append(" -C ").append(dirPath).append(File.separator).append("IAILMDK").append(File.separator).append(" .");
            log.info("执行cmd命令打jar包：" + sb);
            Process process = RuntimeUtil.exec(sb.toString());
            process.waitFor();
            sb.append(" -C ").append(dirPath).append(File.separator).append(MdkConstant.IAILMDK).append(File.separator).append(" .");
            CmdUtils.exec(sb.toString());
            return jarSavePath;
        } catch (InterruptedException e) {
        } catch (Exception e) {
            throw new RuntimeException("执行cmd命令打jar包异常",e);
        }
    }
@@ -725,17 +709,23 @@
        }
    }

    private void createClassFile(List<String> javaFilePaths){
    private void createClassFile(String dirPath,List<String> javaFilePaths){
        try {
            Set<String> pathSet = javaFilePaths.stream().map(path -> {
                // 替换为相对路径
                path = path.replace(dirPath + File.separator + MdkConstant.IAILMDK, ".");
                // 删除文件名，替换为通配符*
                path = path.substring(0, path.lastIndexOf("\\") + 1) + "*.java";
                return path;
            }).collect(Collectors.toSet());

            StringBuilder sb = new StringBuilder();
            sb.append("javac -encoding utf-8");
            for (String path : javaFilePaths) {
            for (String path : pathSet) {
                sb.append(" ").append(path);
            }
            log.info("执行cmd命令生成class：" + sb);
            Process process = RuntimeUtil.exec(sb.toString());
            process.waitFor();
        } catch (InterruptedException e) {
            CmdUtils.exec(sb.toString(),dirPath + File.separator + MdkConstant.IAILMDK);
        } catch (Exception e) {
            throw new RuntimeException("执行cmd命令生成class异常",e);
        }
    }