iailab-module-model/iailab-module-model-biz/src/main/java/com/iailab/module/model/mpk/service/impl/MpkFileServiceImpl.java

@@ -8,12 +8,15 @@
import com.baomidou.mybatisplus.core.conditions.query.QueryWrapper;
import com.baomidou.mybatisplus.core.metadata.IPage;
import com.iailab.framework.common.page.PageData;
import com.iailab.framework.common.pojo.CommonResult;
import com.iailab.framework.common.service.impl.BaseServiceImpl;
import com.iailab.framework.common.util.date.DateUtils;
import com.iailab.framework.common.util.object.ConvertUtils;
import com.iailab.framework.security.core.util.SecurityFrameworkUtils;
import com.iailab.framework.tenant.core.context.TenantContextHolder;
import com.iailab.module.infra.api.config.ConfigApi;
import com.iailab.module.model.mpk.common.MdkConstant;
import com.iailab.module.model.mpk.common.utils.DllUtils;
import com.iailab.module.model.mpk.common.utils.GenUtils;
import com.iailab.module.model.mpk.dao.MpkFileDao;
import com.iailab.module.model.mpk.dto.GeneratorCodeHistoryDTO;
@@ -22,6 +25,7 @@
import com.iailab.module.model.mpk.dto.ProjectPackageHistoryDTO;
import com.iailab.module.model.mpk.entity.GeneratorCodeHistoryEntity;
import com.iailab.module.model.mpk.entity.MpkFileEntity;
import com.iailab.module.model.mpk.entity.ProjectPackageHistoryEntity;
import com.iailab.module.model.mpk.entity.ProjectPackageHistoryModelEntity;
import com.iailab.module.model.mpk.service.*;
import lombok.extern.slf4j.Slf4j;
@@ -36,6 +40,8 @@
import org.springframework.web.multipart.MultipartFile;

import java.io.*;
import java.net.URLClassLoader;
import java.nio.file.Files;
import java.util.*;
import java.util.stream.Collectors;

@@ -68,11 +74,6 @@

    @Value("${mpk.bak-resources}")
    private String mpkResources;

    /*@PostConstruct
    public void init() {
        mpkBakFilePath = configApi.getConfigValueByKey("mpkBakFilePath").getCheckedData();
    }*/

    @Override
    public PageData<MpkFileDTO> page(Map<String, Object> params) {
@@ -123,6 +124,8 @@
    public void save(MpkFileDTO dto) {
        MpkFileEntity entity = ConvertUtils.sourceToTarget(dto, MpkFileEntity.class);
        entity.setId(UUID.randomUUID().toString());
        entity.setPkgName(dto.getPkgName().trim());
        entity.setFilePath(dto.getFilePath().trim());
        entity.setCreator(SecurityFrameworkUtils.getLoginUserId());
        entity.setCreateDate(new Date());
        insert(entity);
@@ -172,6 +175,10 @@

    @Override
    public byte[] generatorCode(String id, String remark, String zipFileName) {
        Long tenantId = TenantContextHolder.getTenantId();
        // 备份文件 租户隔离
        String mpkTenantBakFilePath = mpkBakFilePath + File.separator + tenantId;

        MpkFileDTO entity = baseDao.get(id);
        //生成代码
        //设置velocity资源加载器
@@ -189,9 +196,13 @@
        VelocityContext dataContext = new VelocityContext(map);

        //临时文件夹
        File dirPath = new File("D:/DLUT/tmp/");
        dirPath.deleteOnExit();
        dirPath.mkdirs();
        File dirPath = null;
        try {
            dirPath = Files.createTempDirectory("generatorCodeTmp").toFile();
            log.info("生成临时文件夹，" + dirPath.getAbsolutePath());
        } catch (IOException e) {
            throw new RuntimeException("创建临时文件夹异常",e);
        }

        List<String> javaFilePaths = new ArrayList<>();
        List<String> cppFilePaths = new ArrayList<>();
@@ -231,7 +242,7 @@
        String dllSavePath = dirPath.getAbsolutePath() + File.separator + MdkConstant.LIBS + File.separator + "IAIL.MDK.Mid.Jni.dll";
        createDllFile(dirPath.getAbsolutePath(),cppFilePaths,dllSavePath);
        //备份dll文件，用于后续运行
        String dllBakPath = mpkBakFilePath + File.separator + MdkConstant.DLL + File.separator + entity.getPyName() + ".dll";
        String dllBakPath = mpkTenantBakFilePath + File.separator + MdkConstant.DLL + File.separator + entity.getPyName() + ".dll";
        FileUtil.mkParentDirs(dllBakPath);
        FileUtil.copy(dllSavePath, dllBakPath, true);

@@ -251,11 +262,11 @@
        // 打jar包
        String jarSavePath = pkgJar(dirPath.getAbsolutePath());
        //备份jar文件，用于后续运行
        String jarBakPath = mpkBakFilePath + File.separator + MdkConstant.JAR + File.separator + entity.getPyName() + ".jar";
        String jarBakPath = mpkTenantBakFilePath + File.separator + MdkConstant.JAR + File.separator + entity.getPyName() + ".jar";
        FileUtil.mkParentDirs(dllBakPath);
        FileUtil.copy(jarSavePath, jarBakPath, true);
        // 打zip包
        String zipPath = mpkBakFilePath + File.separator + zipFileName;
        String zipPath = mpkTenantBakFilePath + File.separator + zipFileName;
        ZipUtil.zip(dirPath.getAbsolutePath(), zipPath);
        byte[] bytes = FileUtil.readBytes(zipPath);

@@ -273,7 +284,7 @@
        try {
            FileUtils.deleteDirectory(dirPath);
        } catch (IOException e) {
            throw new RuntimeException("删除临时文件异常");
            throw new RuntimeException("删除临时文件异常",e);
        }
        return bytes;
    }
@@ -281,6 +292,10 @@
    @Override
    @DSTransactional(rollbackFor = Exception.class)
    public byte[] packageModel(List<String> ids, String projectId, String projectName, String zipFileName, String logs, String version) throws IOException, InterruptedException {
        Long tenantId = TenantContextHolder.getTenantId();
        // 备份文件 租户隔离
        String mpkTenantBakFilePath = mpkBakFilePath + File.separator + tenantId;

        List<MpkFileDTO> entities = baseDao.selectByIds(ids);

        //模板数据
@@ -289,9 +304,13 @@
//        VelocityContext context = new VelocityContext(map);

        //临时文件夹
        File dirPath = new File("D:/DLUT/tmp/");
        dirPath.deleteOnExit();
        dirPath.mkdirs();
        File dirPath = null;
        try {
            dirPath = Files.createTempDirectory("packageModelTmp").toFile();
            log.info("生成临时文件夹，" + dirPath.getAbsolutePath());
        } catch (IOException e) {
            throw new RuntimeException("创建临时文件夹异常",e);
        }

        //设置velocity资源加载器
        Properties prop = new Properties();
@@ -357,6 +376,16 @@
        //生成dll文件
        String dllSavePath = dirPath.getAbsolutePath() + File.separator + MdkConstant.LIBS + File.separator + "IAIL.MDK.Mid.Jni.dll";
        createDllFile(dirPath.getAbsolutePath(),cppFilePaths,dllSavePath);
        // 打包历史id
        String historyId = UUID.randomUUID().toString();
        //备份dll，发布时使用
        File dllFile = new File(dllSavePath);
        if (dllFile.exists()) {
            File dllBakFile = new File(mpkBakFilePath + File.separator + MdkConstant.PROJECT_UNPUBLISH + File.separator + projectId + MdkConstant.SPLIT + historyId + ".dll");
            FileUtil.copy(dllFile, dllBakFile, true);
        }else {
            log.error("dll文件不存在，无法备份。" + dllSavePath);
        }

        //utils + env java文件
        File utilsJavaFile = new File(dirPath.getAbsolutePath() + File.separator + "IAILMDK" + File.separator + "iail" + File.separator + "mdk" + File.separator + "model" + File.separator + "utils" + File.separator + "AlgsUtils.java");
@@ -372,26 +401,34 @@
        // 删除java源文件
        deleteJavaFile(javaFilePaths);
        // 打jar包
        pkgJar(dirPath.getAbsolutePath());
        String jarSavePath = pkgJar(dirPath.getAbsolutePath());
        //备份jar包，发布时使用
        File jarFile = new File(jarSavePath);
        if (jarFile.exists()) {
            File jarBakFile = new File(mpkBakFilePath + File.separator + MdkConstant.PROJECT_UNPUBLISH + File.separator + projectId + MdkConstant.SPLIT + historyId + ".jar");
            FileUtil.copy(jarFile, jarBakFile, true);
        }else {
            log.error("jar文件不存在，无法备份。" + jarSavePath);
        }

        // 本次更新日志
        ProjectPackageHistoryDTO dto = new ProjectPackageHistoryDTO();
        String historyId = UUID.randomUUID().toString();
        dto.setId(historyId);
        dto.setProjectId(projectId);
        dto.setFileName(zipFileName);
        dto.setLog(logs);
        dto.setVersion(version);
        dto.setModelNames(entities.stream().map(MpkFileDTO::getPyName).collect(Collectors.joining(",")));
        dto.setCreateTime(new Date());
        ProjectPackageHistoryEntity projectPackageHistoryEntity = new ProjectPackageHistoryEntity();
        projectPackageHistoryEntity.setId(historyId);
        projectPackageHistoryEntity.setProjectId(projectId);
        projectPackageHistoryEntity.setFileName(zipFileName);
        projectPackageHistoryEntity.setLog(logs);
        projectPackageHistoryEntity.setVersion(version);
        projectPackageHistoryEntity.setModelNames(entities.stream().map(MpkFileDTO::getPyName).collect(Collectors.joining(",")));
        projectPackageHistoryEntity.setCreateTime(new Date());
        // 生成更新日志
        createLog(projectId, projectName, dirPath.getAbsolutePath(), dto, version);
        createLog(projectId, projectName, dirPath.getAbsolutePath(), projectPackageHistoryEntity, version);
        // 打zip包
        String zipPath = mpkBakFilePath + File.separator + zipFileName;
        String zipPath = mpkTenantBakFilePath + File.separator + zipFileName;
        ZipUtil.zip(dirPath.getAbsolutePath(), zipPath);
        byte[] bytes = FileUtil.readBytes(zipPath);
        // 记录打包日志
        dto.setFilePath(zipPath);
        projectPackageHistoryService.save(dto);
        projectPackageHistoryEntity.setFilePath(zipPath);
        projectPackageHistoryService.insert(projectPackageHistoryEntity);
        // 插入打包历史-模型关联表
        List<ProjectPackageHistoryModelEntity> historyModelList = new ArrayList<>(entities.size());
        entities.forEach(e -> {
@@ -410,7 +447,7 @@
            }
            historyModelList.add(entity);
        });
        projectPackageHistoryModelService.insertBatch(historyModelList);
        projectPackageHistoryModelService.insertList(historyModelList);
        // 删除临时文件
        FileUtils.deleteDirectory(dirPath);
        return bytes;
@@ -434,13 +471,17 @@
            // 等待命令执行完成
            process.waitFor();
        } catch (Exception e) {
            throw new RuntimeException("执行cmd命令生成dll异常");
            throw new RuntimeException("执行cmd命令生成dll异常",e);
        }
    }

    @Override
    public Map<String, String> savePyFile(MultipartFile file) throws IOException {
        File dir = new File(mpkBakFilePath);
        Long tenantId = TenantContextHolder.getTenantId();
        // 备份文件 租户隔离
        String mpkTenantBakFilePath = mpkBakFilePath + File.separator + tenantId;

        File dir = new File(mpkTenantBakFilePath);
        if (!dir.exists()) {
            dir.mkdirs();
        }
@@ -459,16 +500,67 @@
        return result;
    }

    private void createLog(String projectId, String projectName, String dirPath, ProjectPackageHistoryDTO dto, String version) throws IOException {
    @Override
    public CommonResult<String> publish(Map<String, Object> params) {
        String historyId = (String) params.get("historyId");
        String projectId = (String) params.get("projectId");

        // 判断新的dll和jar文件是否存在
        String jarFileBakPath = mpkBakFilePath + File.separator + MdkConstant.PROJECT_UNPUBLISH + File.separator + projectId + MdkConstant.SPLIT + historyId + ".jar";
        String dllFileBakPath = mpkBakFilePath + File.separator + MdkConstant.PROJECT_UNPUBLISH + File.separator + projectId + MdkConstant.SPLIT + historyId + ".dll";
        if (!FileUtil.exist(jarFileBakPath)) {
            throw new RuntimeException("jar文件不存在," + jarFileBakPath);
        }
        if (!FileUtil.exist(dllFileBakPath)) {
            throw new RuntimeException("dll文件不存在" + dllFileBakPath);
        }

        try {
            // 卸载之前的dll和jar
            DllUtils.removeClassLoaderCache(projectId);
            // 删除之前的dll和jar备份文件
            DllUtils.removeOldFile(mpkBakFilePath + File.separator + MdkConstant.PROJECT_PUBLISH,projectId);
        } catch (Exception e) {
            throw new RuntimeException("卸载之前的dll和jar异常",e);
        }

        // 备份新的dll和jar
        String jarFilePath = mpkBakFilePath + File.separator + MdkConstant.PROJECT_PUBLISH + File.separator + projectId + MdkConstant.SPLIT + historyId + ".jar";
        String dllFilePath = mpkBakFilePath + File.separator + MdkConstant.PROJECT_PUBLISH + File.separator + projectId + MdkConstant.SPLIT + historyId + ".dll";
        FileUtil.copy(jarFileBakPath,jarFilePath,true);
        FileUtil.copy(dllFileBakPath,dllFilePath,true);

        URLClassLoader urlClassLoader = null;
        try {
            // 加载新的jar
            urlClassLoader = DllUtils.loadJar(jarFilePath);
        } catch (Exception e) {
            throw new RuntimeException("加载新的jar异常",e);
        }

        try {
            // 加载新的dll
            DllUtils.loadDll(urlClassLoader.loadClass("iail.mdk.model.common.Environment"),dllFilePath);
        } catch (Exception e) {
            DllUtils.unloadJar(urlClassLoader);
            throw new RuntimeException("加载新的dll异常",e);
        }
        // 都加载成功后加入缓存
        DllUtils.addClassLoaderCache(projectId,urlClassLoader);

        return CommonResult.success();
    }

    private void createLog(String projectId, String projectName, String dirPath, ProjectPackageHistoryEntity projectPackageHistoryEntity, String version) {
        Map<String, Object> map = new HashMap<>();
        map.put("projectId", projectId);
        List<ProjectPackageHistoryDTO> list = projectPackageHistoryService.list(map);
        list.add(dto);
        List<ProjectPackageHistoryEntity> list = projectPackageHistoryService.list(map);
        list.add(projectPackageHistoryEntity);
        // 按照日期分组再排序
        HashMap<String, List<ProjectPackageHistoryDTO>> dataMap = list.stream().collect(
        HashMap<String, List<ProjectPackageHistoryEntity>> dataMap = list.stream().collect(
                Collectors.groupingBy(e -> DateUtils.format(e.getCreateTime(), DateUtils.DATE_PATTERN_POINT),
                        LinkedHashMap::new,
                        Collectors.collectingAndThen(Collectors.toList(), e -> e.stream().sorted(Comparator.comparing(ProjectPackageHistoryDTO::getCreateTime)).collect(Collectors.toList()))));
                        Collectors.collectingAndThen(Collectors.toList(), e -> e.stream().sorted(Comparator.comparing(ProjectPackageHistoryEntity::getCreateTime)).collect(Collectors.toList()))));

        Map<String, Object> data = new HashMap<>();
        data.put("dataMap", dataMap);
@@ -492,7 +584,7 @@
            process.waitFor();
            return jarSavePath;
        } catch (InterruptedException e) {
            throw new RuntimeException("执行cmd命令打jar包异常");
            throw new RuntimeException("执行cmd命令打jar包异常",e);
        }
    }

@@ -513,7 +605,7 @@
            Process process = RuntimeUtil.exec(sb.toString());
            process.waitFor();
        } catch (InterruptedException e) {
            throw new RuntimeException("执行cmd命令生成class异常");
            throw new RuntimeException("执行cmd命令生成class异常",e);
        }
    }
}