IT博客汇
  • 首页
  • 精华
  • 技术
  • 设计
  • 资讯
  • 扯淡
  • 权利声明
  • 登录 注册

    POI读取大数据EXCEL思路

    asuncool@gmail.com(yihaomen)发表于 2016-11-07 20:32:23
    love 0
    POI 解析大EXCEL 思路,收集了一些资料放在这里,以后可以参考:
    http://javaedge-yc.iteye.com/blog/1308714
    http://poi.apache.org/spreadsheet/how-to.html#sxssf

    其实总体上说来,也几时在office 2007 之后,EXCEL 其实也就是一种XML 格式,完全可以通过解析XML 来得到数据,并作出处理。
    但事实上,如果数据量很大,也的确比较耗内存,所以也必须要有好的设计模式来应对。在这里我有一个基本的想法,就是多线程,这就是废话。具体来说,有如下两个思路:
    1. 解析XML , 将XML 分段处理,用多线程,一个线程处理一段。
    2. 采用队列,一个线程读取(一条或多条)EXCEL记录后,丢到队列中去, 然后再用几个线程从队列中取数据,插入到数据库中,其实也就是生产者消费者程序。

    先记录下思路,有空去实现一个大数据的导入。


沪ICP备19023445号-2号
友情链接