Excel文件利用Poi進(jìn)行讀取時出現(xiàn)內(nèi)存溢出如何解決

這篇文章給大家介紹Excel文件利用Poi進(jìn)行讀取時出現(xiàn)內(nèi)存溢出如何解決，內(nèi)容非常詳細(xì)，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

城西網(wǎng)站建設(shè)公司創(chuàng)新互聯(lián)建站,城西網(wǎng)站設(shè)計制作，有大型網(wǎng)站制作公司豐富經(jīng)驗。已為城西上千提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\外貿(mào)網(wǎng)站制作要多少錢，請找那個售后服務(wù)好的城西做網(wǎng)站的公司定做！

1.dump內(nèi)存文件

liunx使用如下命令：

./jmap -dump:format=b,file=heap.hprof pid

2.使用Eclipse Memory Analysis進(jìn)行分析

Excel文件利用Poi進(jìn)行讀取時出現(xiàn)內(nèi)存溢出如何解決

異常如下：

at org.apache.poi.xssf.usermodel.XSSFRow.<init>(Lorg/openxmlformats/schemas/spreadsheetml/x2006/main/CTRow;Lorg/apache/poi/xssf/usermodel/XSSFSheet;)V (XSSFRow.java:68)
at org.apache.poi.xssf.usermodel.XSSFSheet.initRows(Lorg/openxmlformats/schemas/spreadsheetml/x2006/main/CTWorksheet;)V (XSSFSheet.java:157)
at org.apache.poi.xssf.usermodel.XSSFSheet.read(Ljava/io/InputStream;)V (XSSFSheet.java:132)
at org.apache.poi.xssf.usermodel.XSSFSheet.onDocumentRead()V (XSSFSheet.java:119)
at org.apache.poi.xssf.usermodel.XSSFWorkbook.onDocumentRead()V (XSSFWorkbook.java:222)
at org.apache.poi.POIXMLDocument.load(Lorg/apache/poi/POIXMLFactory;)V (POIXMLDocument.java:200)
at org.apache.poi.xssf.usermodel.XSSFWorkbook.<init>(Ljava/io/InputStream;)V (XSSFWorkbook.java:179)

POI在加載Excel引發(fā)了內(nèi)存泄漏，中間創(chuàng)建了大量的對象，占用了大量的內(nèi)存

3.查看上傳的Excel大小

經(jīng)查看發(fā)現(xiàn)很多Excel大小在9M的文件

4.查看代碼POI讀取Excel的方式

發(fā)現(xiàn)使用的是用戶模式，這樣會占用大量的內(nèi)存；POI提供了2中讀取Excel的模式，分別是：

用戶模式：也就是poi下的usermodel有關(guān)包，它對用戶友好，有統(tǒng)一的接口在ss包下，但是它是把整個文件讀取到內(nèi)存中的，
對于大量數(shù)據(jù)很容易內(nèi)存溢出，所以只能用來處理相對較小量的數(shù)據(jù)；
事件模式：在poi下的eventusermodel包下，相對來說實現(xiàn)比較復(fù)雜，但是它處理速度快，占用內(nèi)存少，可以用來處理海量的Excel數(shù)據(jù)。

經(jīng)上面分析基本可以確定問題出在使用POI的用戶模式去讀取Excel大文件，導(dǎo)致內(nèi)存泄漏。

本地重現(xiàn)

下面模擬一個600kb大小的Excel（test.xlsx），分別用兩種模式讀取，然后觀察內(nèi)存波動；

1.需要引入的庫maven：

<dependencies>
 <dependency>
  <groupId>org.apache.poi</groupId>
  <artifactId>poi-ooxml</artifactId>
  <version>3.6</version>
 </dependency>
 <dependency>
  <groupId>com.syncthemall</groupId>
  <artifactId>boilerpipe</artifactId>
  <version>1.2.1</version>
 </dependency>
</dependencies>

2.用戶模式代碼如下：

import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
 
import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;
 
public class UserModel {
 
 public static void main(String[] args) throws InterruptedException {
  try {
   Thread.sleep(5000);
   System.out.println("start read");
   for (int i = 0; i < 100; i++) {
    try {
     Workbook wb = null;
     File file = new File("D:/test.xlsx");
     InputStream fis = new FileInputStream(file);
     wb = new XSSFWorkbook(fis);
     Sheet sheet = wb.getSheetAt(0);
     for (Row row : sheet) {
      for (Cell cell : row) {
       System.out.println("row:" + row.getRowNum() + ",cell:" + cell.toString());
      }
     }
    } catch (IOException e) {
     e.printStackTrace();
    }
   }
   Thread.sleep(1000);
  } catch (Exception e) {
   e.printStackTrace();
  }
 }
}

3.事件模式代碼如下：

import java.io.InputStream;
 
import org.apache.poi.openxml4j.opc.OPCPackage;
import org.apache.poi.xssf.eventusermodel.XSSFReader;
import org.apache.poi.xssf.model.SharedStringsTable;
import org.apache.poi.xssf.usermodel.XSSFRichTextString;
import org.xml.sax.Attributes;
import org.xml.sax.ContentHandler;
import org.xml.sax.InputSource;
import org.xml.sax.SAXException;
import org.xml.sax.XMLReader;
import org.xml.sax.helpers.DefaultHandler;
import org.xml.sax.helpers.XMLReaderFactory;
 
public class EventModel {
 
 public void processOneSheet(String filename) throws Exception {
  OPCPackage pkg = OPCPackage.open(filename);
  XSSFReader r = new XSSFReader(pkg);
  SharedStringsTable sst = r.getSharedStringsTable();
 
  XMLReader parser = fetchSheetParser(sst);
  InputStream sheet2 = r.getSheet("rId1");
  InputSource sheetSource = new InputSource(sheet2);
  parser.parse(sheetSource);
  sheet2.close();
 }
 
 public XMLReader fetchSheetParser(SharedStringsTable sst) throws SAXException {
  XMLReader parser = XMLReaderFactory.createXMLReader("org.apache.xerces.parsers.SAXParser");
  ContentHandler handler = new SheetHandler(sst);
  parser.setContentHandler(handler);
  return parser;
 }
 
 private static class SheetHandler extends DefaultHandler {
  private SharedStringsTable sst;
  private String lastContents;
  private boolean nextIsString;
 
  private SheetHandler(SharedStringsTable sst) {
   this.sst = sst;
  }
 
  public void startElement(String uri, String localName, String name, Attributes attributes) throws SAXException {
   if (name.equals("c")) {
    System.out.print(attributes.getValue("r") + " - ");
    String cellType = attributes.getValue("t");
    if (cellType != null && cellType.equals("s")) {
     nextIsString = true;
    } else {
     nextIsString = false;
    }
   }
   lastContents = "";
  }
 
  public void endElement(String uri, String localName, String name) throws SAXException {
   if (nextIsString) {
    int idx = Integer.parseInt(lastContents);
    lastContents = new XSSFRichTextString(sst.getEntryAt(idx)).toString();
    nextIsString = false;
   }
 
   if (name.equals("v")) {
    System.out.println(lastContents);
   }
  }
 
  public void characters(char[] ch, int start, int length) throws SAXException {
   lastContents += new String(ch, start, length);
  }
 }
 
 public static void main(String[] args) throws Exception {
  Thread.sleep(5000);
  System.out.println("start read");
  for (int i = 0; i < 100; i++) {
   EventModel example = new EventModel();
   example.processOneSheet("D:/test.xlsx");
   Thread.sleep(1000);
  }
 }
}

具體代碼來源：http://poi.apache.org/spreadsheet/how-to.html#xssf_sax_api

4.設(shè)置VM arguments：-Xms100m -Xmx100m

UserModel運(yùn)行結(jié)果直接報OutOfMemoryError，如下所示：

Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded
 at java.lang.String.substring(String.java:1877)
 at org.apache.poi.ss.util.CellReference.separateRefParts(CellReference.java:353)
 at org.apache.poi.ss.util.CellReference.<init>(CellReference.java:87)
 at org.apache.poi.xssf.usermodel.XSSFCell.<init>(XSSFCell.java:105)
 at org.apache.poi.xssf.usermodel.XSSFRow.<init>(XSSFRow.java:68)
 at org.apache.poi.xssf.usermodel.XSSFSheet.initRows(XSSFSheet.java:157)
 at org.apache.poi.xssf.usermodel.XSSFSheet.read(XSSFSheet.java:132)
 at org.apache.poi.xssf.usermodel.XSSFSheet.onDocumentRead(XSSFSheet.java:119)
 at org.apache.poi.xssf.usermodel.XSSFWorkbook.onDocumentRead(XSSFWorkbook.java:222)
 at org.apache.poi.POIXMLDocument.load(POIXMLDocument.java:200)
 at org.apache.poi.xssf.usermodel.XSSFWorkbook.<init>(XSSFWorkbook.java:179)
 at zh.excelTest.UserModel.main(UserModel.java:23)

EventModel可以正常運(yùn)行，使用Java VisualVM監(jiān)控結(jié)果如下：

Excel文件利用Poi進(jìn)行讀取時出現(xiàn)內(nèi)存溢出如何解決

UserModel模式下讀取600kbExcel文件直接內(nèi)存溢出，看了600kbExcel文件映射到內(nèi)存中還是占用了不少內(nèi)存；EventModel模式下可以流暢的運(yùn)行。

5.設(shè)置VM arguments：-Xms200m -Xmx200m

UserModel可以正常運(yùn)行，使用Java VisualVM監(jiān)控結(jié)果如下：

Excel文件利用Poi進(jìn)行讀取時出現(xiàn)內(nèi)存溢出如何解決

EventModel可以正常運(yùn)行，使用Java VisualVM監(jiān)控結(jié)果如下：

Excel文件利用Poi進(jìn)行讀取時出現(xiàn)內(nèi)存溢出如何解決

UserModel模式和EventModel模式都可以正常運(yùn)行，但是很明顯UserModel模式回收內(nèi)存更加頻繁，而且在cpu的占用上更高。

總結(jié)

通過簡單的分析以及本地運(yùn)行兩種模式進(jìn)行比較，可以看到UserModel模式下使用的簡單的代碼實現(xiàn)了讀取，但是在讀取大文件時CPU和內(nèi)存都不理想；

而EventModel模式雖然代碼寫起來比較繁瑣，但是在讀取大文件時CPU和內(nèi)存更加占優(yōu)。

關(guān)于Excel文件利用Poi進(jìn)行讀取時出現(xiàn)內(nèi)存溢出如何解決就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。

分享題目：Excel文件利用Poi進(jìn)行讀取時出現(xiàn)內(nèi)存溢出如何解決
文章位置：http://aaarwkj.com/article16/jesodg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供標(biāo)簽優(yōu)化、虛擬主機(jī)、響應(yīng)式網(wǎng)站、服務(wù)器托管、外貿(mào)網(wǎng)站建設(shè)、軟件開發(fā)

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容

欧美一级特黄大片做受成人-亚洲成人一区二区电影-激情熟女一区二区三区-日韩专区欧美专区国产专区

Excel文件利用Poi進(jìn)行讀取時出現(xiàn)內(nèi)存溢出如何解決