IT博客汇
  • 首页
  • 精华
  • 技术
  • 设计
  • 资讯
  • 扯淡
  • 权利声明
  • 登录 注册

    sqoop mysql update AUTO_INCREMENT 自增主键重复增长问题

    hpkaiq发表于 2023-04-18 14:11:19
    love 0
    1
    2
    3
    
    sqoop export \
    --update-key unique_index_columns \
    --update-mode allowinsert
    

    问题描述: 用上述模式 sqoop 导入数据更新 mysql 数据,无论导入的数据与mysql里数据相比有没有更新,mysql表的 AUTO_INCREMENT 的PRIMARY KEY 例如 (id int(11) NOT NULL AUTO_INCREMENT COMMENT ‘自增主键’) 实际都是增加了的,当有新唯一主键数据插入时,id会是累加后的开始,会变的很大。

    解决: sqoop源码层级暂时没看原因。。。 可以从业务流程上解决下这个问题,保证导入的数据都是新增或者更新的,不会有与mysql一样的数据,可以一定程度上减少 id 的增长。



沪ICP备19023445号-2号
友情链接