java项目两种方法实现大批量数据：存在就更新，不存在就新增，脏数据就删除。

---

一、法一：存在就更新，不存在就新增，原本的脏数据就删除

@Component
public class InsetUserUtils {@Resourceprivate ThreadPoolExecutor threadPoolExecutor;/*** 方法一：* 存在就更新，不存在就新增，原本的脏数据就删除*/public void getNewUserInfo() {//业务sql：查询出最新的user数据List<User> userList = userService.listInformation();if (!CollectionUtils.isEmpty(userList)) {// 查出全部库存,以code为key，id为valueMap<String, Integer> cache = userService.list(new LambdaQueryWrapper<User>()).stream().collect(Collectors.toMap(data -> data.getCode(), User::getId));// 更新集合List<TableRowStatistics> update = new ArrayList<>();// 新增集合List<TableRowUStatistics> save = new ArrayList<>();for (User user : userList) {//数据量大可以用线程，如果数据量少可以不用Future<?> submit = threadPoolExecutor.submit(() -> {if (cache.containsKey(user.genCode())) {// 说明存在，则更新user.setId(cache.get(user.genCode()));add(update, user);} else {// 新增add(save, user);}});}/*** 由于add（）方法，有一个界定条件，只要大于这个界定条件就可以实现数据一批批处理。* 则到了最后一个for循环，小于这个界定条件时，则单独新增或更新*/if (ObjectUtil.isNotEmpty(save)) {userService.saveBatch(save);}if (ObjectUtil.isNotEmpty(update)) {userService.updateBatchById(update);}//最笨的删除脏数据的办法/*** <if test="userList != null and userList.size() > 0">*     delete form user where id not in*   <foreach collection="userList.id" item="id" open="(" separator="," close=")">*         #{id}*   </foreach>* </if>*/}/*** 批量更新数据库数据库* @param list* @param data*/public synchronized void add(List<User> list, User data) {list.add(data);if (list.size() > 200) {if (null == data.getId()) {userService.saveBatch(list);} else {userService.updateBatchById(list);}list.clear();}}}

二、法二：新增批次号，存两批数据，只做新增和删除。不做修改

@Component
public class InsetUserUtils {@Resourceprivate ThreadPoolExecutor threadPoolExecutor;/*** 方法二：* 在user表中新加一个批量号字段：indexCode。* 思路：数据库最多存在indexCode不同的两批数据。*      第一批数据（首批数据）入库后，把indexCode存入redis中*     在第二批数据入库后，把redis中的老的indexCode替换成最新的indexCode。再删除旧indexCode批次对应的所有数据*/public void getNewUserInfo() {String indexNewCode = UUIDUtils.getUUid();//获取旧的批次号String rowOldIndexCode = getRowIndexCode();//业务sql：查询出最新的user数据List<User> userList = userService.listInformation();if (!CollectionUtils.isEmpty(userList)) {// 新增集合List<TableRowUStatistics> save = new ArrayList<>();for (User user : userList) {//数据量大可以用线程，如果数据量少可以不用Future<?> submit = threadPoolExecutor.submit(() -> {// 新增add(save, user);});}/*** 由于add（）方法，有一个界定条件，只要大于这个界定条件就可以实现数据一批批处理。* 则到了最后一个for循环，小于这个界定条件时，则单独新增或更新*/if (ObjectUtil.isNotEmpty(save)){userService.saveBatch(save);}//获取新批次号TableRowUStatistics tableRow =tableRowUStatisticsService.getRowIndexCode();//保证新批次数据已存入数据库，1.更新redis的批次号为最新批次，2.删除旧批次数据if (ObjectUtils.isNotEmpty(tableRow)&&StringUtils.isNotBlank(tableRow.getIndexCode())&& StringUtils.equalsIgnoreCase(tableRow.getIndexCode(), indexNewCode)){stringRedisTemplate.opsForValue().set("redisIndexCode", indexNewCode);ThreadPoolExecutor instance = ThreadPoolUtil.instance();instance.submit(() -> {if (StringUtils.isNotBlank(rowOldIndexCode)) {if (!StringUtils.equalsIgnoreCase(rowOldIndexCode, indexNewCode) ) {//删除indexCode为旧批次的所有数据tableRowUStatisticsService.removeCatalogCode(rowOldIndexCode);}}});}}}/*** 如果存在redis则直接获取，如果不存在则去找user表最大id对应的批次号* @return*/public static String getRowIndexCode(){StringRedisTemplate stringRedisTemplate = SpringUtils.getBean(StringRedisTemplate.class);String rowBatchNumber = stringRedisTemplate.opsForValue().get("redisIndexCode");if (StringUtils.isNotBlank(rowBatchNumber)){return rowBatchNumber;}else {TableRowUStatisticsService tableRowUStatisticsService = SpringUtils.getBean(TableRowUStatisticsService.class);TableRowUStatistics tableRowUStatistics =tableRowUStatisticsService.getRowIndexCode();if (ObjectUtils.isNotEmpty(tableRowUStatistics)&&StringUtils.isNotBlank(tableRowUStatistics.getIndexCode())){return tableRowUStatistics.getIndexCode();}return "";}}/*** 批量存入数据库* @param list* @param data*/public synchronized void add(List<User> list, User data) {list.add(data);if (list.size() > 200) {try{userService.saveBatch(list);}catch (Exception e){e.printStackTrace();}list.clear();}}
}