news 2026/9/2 23:48:16

分批导出大文件:JPA Slice 使用解决page查询做导出时无效count问题

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
分批导出大文件:JPA Slice 使用解决page查询做导出时无效count问题

1.要重写底层readPage方法,删除掉count的部分

package com.konka.api.bms.repository; import com.konka.api.voucher.domain.SnView; import org.springframework.data.domain.Page; import org.springframework.data.domain.PageImpl; import org.springframework.data.domain.Pageable; import org.springframework.data.domain.Slice; import org.springframework.data.jpa.domain.Specification; import org.springframework.data.jpa.repository.JpaRepository; import org.springframework.data.jpa.repository.JpaSpecificationExecutor; import org.springframework.data.jpa.repository.support.JpaEntityInformation; import org.springframework.data.jpa.repository.support.SimpleJpaRepository; import org.springframework.stereotype.Repository; import javax.persistence.EntityManager; import javax.persistence.TypedQuery; import java.io.Serializable; import java.util.List; public class CustomNotCountRepository<T,ID extends Serializable> extends SimpleJpaRepository<T,ID> { public CustomNotCountRepository(JpaEntityInformation<T, ?> entityInformation, EntityManager entityManager) { super(entityInformation, entityManager); } public CustomNotCountRepository(Class<T> domainClass, EntityManager em) { super(domainClass, em); } @Override protected <S extends T> Page<S> readPage(TypedQuery<S> query, Class<S> domainClass, Pageable pageable, Specification<S> spec) { query.setFirstResult((int)pageable.getOffset()); query.setMaxResults(pageable.getPageSize()); List<S> content = query.getResultList(); return new PageImpl<>(content, pageable, content.size()); } }

2.封装slice查询方法

package com.konka.api.bms.repository; import com.konka.api.voucher.domain.SnView; import org.springframework.data.domain.Pageable; import org.springframework.data.domain.Slice; import org.springframework.data.jpa.domain.Specification; import org.springframework.stereotype.Repository; import javax.persistence.EntityManager; import javax.persistence.PersistenceContext; @Repository public class HelperRepository<T>{ @PersistenceContext private EntityManager em; public <T> Slice<T> findAll(Specification<T> specification, Pageable pageable, Class<T> domainClass){ CustomNotCountRepository customNotCountRepository = new CustomNotCountRepository<>(domainClass, em); return customNotCountRepository.findAll(specification, pageable); } }

3.调用查询

spec = getSpec(searchData); pageable = Pageutil.getPageRequest(searchData); all = this.helperRepository.findAll(spec, pageable, SnView.class);

4.分批导出

@Async @Transactional(readOnly = true) public void pageForExportV2(PageParam<SnViewDTO> searchData, Authentication currentAuth) { SecurityUtils.buildAuthentication(currentAuth); Specification<SnView> spec; String entityName = "条码库存"; DownloadTaskCenterDTO taskCenterDTO = commonFeignService.saveDownloadTaskSimple("条码库存", entityName, entityName); Class<SnViewDTO> clazz = SnViewDTO.class; String fileName = entityName + "-" + DateUtil.umsNow() + ExcelTypeEnum.XLSX.getValue(); Path f = Paths.get(FileUtils.getCachePath(), fileName); ExcelWriter excelWriter = EasyExcel.write(f.toString(), clazz) .registerConverter(new LocalDateConverter()) .registerConverter(new LocalDateTimeConverter()) .registerConverter(new BooleanConverter()) // 注意:移除入参中的excelTemps,避免全量加载 .build(); WriteSheet sheet1 = EasyExcel.writerSheet("sheet1").build(); // 一次 EXPORT_BATCH_SIZE 条 searchData.setPageSize(EXPORT_BATCH_SIZE); int page = 1; Pageable pageable; Slice<SnView> all; try{ while (true) { spec = getSpec(searchData); pageable = Pageutil.getPageRequest(searchData); all = this.helperRepository.findAll(spec, pageable, SnView.class); if (!CollectionUtils.isEmpty(all.getContent())){ excelWriter.write(all.getContent(), sheet1); }else { break; } // 终止循环条件:当前批次无数据(说明已查询完所有数据) if (all.getContent().size() < EXPORT_BATCH_SIZE) { break; } searchData.setPageIndex(++page); } if (excelWriter != null) { excelWriter.finish(); log.info("Excel文件写入完成,已生成完整文件"); } FileInfoDTO fileInfo = commonFeignService.uploadFile(entityName, f); commonFeignService.updateDownloadTaskCenter(fileInfo.getId(), taskCenterDTO.getId(), null); }catch (Exception e){ // 全局异常捕获:所有步骤的异常均在此处理,更新任务为失败 log.error("条码库存导出失败,任务ID:{}", e.getMessage()); if (Objects.nonNull(taskCenterDTO)) { taskCenterDTO.setTaskArgs(e.getMessage()); commonFeignService.updateDownloadMsg(taskCenterDTO); } }finally { // ########################################################### // 关键修复2:finally块做**双重兜底**+资源释放,确保无遗漏 // ########################################################### try { // 兜底:若未主动执行finish,在此执行(防止异常导致主动finish未执行) if (excelWriter != null) { excelWriter.finish(); } } catch (Exception e) { log.error("ExcelWriter关闭失败", e); } try { // 删除临时Excel文件:无论成功/失败,都删除,避免临时文件堆积 if (f != null && Files.exists(f)) { Files.deleteIfExists(f); log.info("临时Excel文件已删除:{}", f); } } catch (IOException e) { log.error("删除临时Excel文件失败,文件路径:{}", f, e); } } }
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/9/2 15:15:09

2026年2月:AI模板生成PPT的深度解析:ChatPPT如何重新定义行业标准

AI模板生成PPT的深度解析&#xff1a;ChatPPT如何重新定义行业标准 在信息爆炸的今天&#xff0c;制作一份专业、美观且高效的演示文稿&#xff08;PPT&#xff09;已成为职场、学术和商务沟通的刚性需求。传统PPT制作流程耗时费力&#xff0c;从内容构思、数据整理、版式设计…

作者头像 李华
网站建设 2026/9/2 22:26:56

vue+springboot网上商场商城任务书

目录 Vue SpringBoot 网上商城任务书介绍系统功能模块技术栈说明典型代码示例部署方案扩展方向 项目技术支持可定制开发之功能亮点源码获取详细视频演示 &#xff1a;文章底部获取博主联系方式&#xff01;同行可合作 Vue SpringBoot 网上商城任务书介绍 网上商城系统是基于…

作者头像 李华
网站建设 2026/9/2 15:15:02

投了岗位很多没面试怎么办

投了很多岗位却没有面试&#xff0c;在 2026 年的求职环境下&#xff0c;这通常不是因为你“不够优秀”&#xff0c;而是你的简历在算法博弈中彻底出局了。 现在的招聘平台后台&#xff08;如 Boss、猎聘、大厂内部 ATS 系统&#xff09;都集成了深度 AI 筛选。如果你的简历评分…

作者头像 李华
网站建设 2026/9/1 6:00:09

高职大数据与会计专业,怎么突出“大数据+会计”的复合优势求职?

高职大数据与会计专业的学生需结合“大数据技术”与“会计实务”的双重技能&#xff0c;通过以下方式突出复合优势&#xff1a; 1. 明确核心技能组合 将会计专业知识与大数据工具结合&#xff0c;形成差异化竞争力。 传统会计技能大数据技术技能复合应用场景财务报表分析Pyth…

作者头像 李华
网站建设 2026/9/2 8:22:36

如何使用python的boto库和SES发送电子邮件?

本文将由码云笔记介绍如何使用 boto 和 SES 发送电子邮件。boto 库是 Python 的一个非常不错的封装&#xff0c;帮助你与 AWS API 互动。 设置 首先你需要一个 AWS 账户&#xff08;当然&#xff09;&#xff0c;以及你的账户的访问密钥和秘密密钥&#xff0c;这些将用于与 S…

作者头像 李华