小師妹學JavaIO之:MappedByteBuffer多大的文件我都裝得下

access_timePosted on by admin

目錄

  • 簡介
  • 虛擬地址空間
  • 詳解MappedByteBuffer
    • MapMode
  • MappedByteBuffer的最大值
  • MappedByteBuffer的使用
  • MappedByteBuffer要注意的事項
  • 總結

簡介

大大大，我要大！小師妹要讀取的文件越來越大，該怎麼幫幫她，讓程序在性能和速度上面得到平衡呢？快來跟F師兄一起看看吧。

虛擬地址空間

小師妹：F師兄，你有沒有發現，最近硬盤的價格真的是好便宜好便宜，1T的硬盤大概要500塊，平均1M五毛錢。現在下個電影都1G起步，這是不是意味着我們買入了大數據時代？

沒錯，小師妹，硬件技術的進步也帶來了軟件技術的進步，兩者相輔相成，缺一不可。

小師妹：F師兄，如果要是去讀取G級的文件，有沒有什麼快捷簡單的方法？

更多精彩內容且看：

  • 區塊鏈從入門到放棄系列教程-涵蓋密碼學,超級賬本,以太坊,Libra,比特幣等持續更新
  • Spring Boot 2.X系列教程:七天從無到有掌握Spring Boot-持續更新
  • Spring 5.X系列教程:滿足你對Spring5的一切想象-持續更新
  • java程序員從小工到專家成神之路（2020版）-持續更新中,附詳細文章教程

還記得上次我們講的虛擬地址空間嗎？

再把上次講的圖搬過來：

通常來說我們的應用程序調用系統的接口從磁盤空間獲取Buffer數據，我們把自己的應用程序稱之為用戶空間，把系統的底層稱之為系統空間。

傳統的IO操作，是操作系統講磁盤中的文件讀入到系統空間裏面，然後再拷貝到用戶空間中，供用戶使用。

這中間多了一個Buffer拷貝的過程，如果這個量夠大的話，其實還是挺浪費時間的。

於是有人在想了，拷貝太麻煩太耗時了，我們單獨劃出一塊內存區域，讓系統空間和用戶空間同時映射到同一塊地址不就省略了拷貝的步驟嗎？

這個被劃出來的單獨的內存區域叫做虛擬地址空間，而不同空間到虛擬地址的映射就叫做Buffer Map。 Java中是有一個專門的MappedByteBuffer來代表這種操作。

小師妹：F師兄，那這個虛擬地址空間和內存有什麼區別呢？有了內存還要啥虛擬地址空間？

虛擬地址空間有兩個好處。

第一個好處就是虛擬地址空間對於應用程序本身而言是獨立的，從而保證了程序的互相隔離和程序中地址的確定性。比如說一個程序如果運行在虛擬地址空間中，那麼它的空間地址是固定的，不管他運行多少次。如果直接使用內存地址，那麼可能這次運行的時候內存地址可用，下次運行的時候內存地址不可用，就會導致潛在的程序出錯。

第二個好處就是虛擬空間地址可以比真實的內存地址大，這個大其實是對內存的使用做了優化，比如說會把很少使用的內存寫如磁盤，從而釋放出更多的內存來做更有意義的事情，而之前存儲到磁盤的數據，當真正需要的時候，再從磁盤中加載到內存中。

這樣物理內存實際上可以看做虛擬空間地址的緩存。

詳解MappedByteBuffer

小師妹：MappedByteBuffer聽起來好神奇，怎麼使用它呢？

我們先來看看MappedByteBuffer的定義：

public abstract class MappedByteBuffer
    extends ByteBuffer

它實際上是一個抽象類，具體的實現有兩個：

class DirectByteBuffer extends MappedByteBuffer implements DirectBuffer

class DirectByteBufferR extends DirectByteBuffer
implements DirectBuffer

分別是DirectByteBuffer和DirectByteBufferR。

小師妹：F師兄，這兩個ByteBuffer有什麼區別呢？這個R是什麼意思？

R代表的是ReadOnly的意思，可能是因為本身是個類的名字就夠長了，所以搞了個縮寫。但是也不寫個註解，讓人看起來十分費解….

我們可以從RandomAccessFile的FilChannel中調用map方法獲得它的實例。

我們看下map方法的定義：

 public abstract MappedByteBuffer map(MapMode mode, long position, long size)
        throws IOException;

MapMode代表的是映射的模式，position表示是map開始的地址，size表示是ByteBuffer的大小。

MapMode

小師妹：F師兄，文件有隻讀，讀寫兩種模式，是不是MapMode也包含這兩類？

對的，其實NIO中的MapMode除了這兩個之外，還有一些其他很有趣的用法。

  • FileChannel.MapMode.READ_ONLY 表示只讀模式
  • FileChannel.MapMode.READ_WRITE 表示讀寫模式
  • FileChannel.MapMode.PRIVATE 表示copy-on-write模式，這個模式和READ_ONLY有點相似，它的操作是先對原數據進行拷貝，然後可以在拷貝之後的Buffer中進行讀寫。但是這個寫入並不會影響原數據。可以看做是數據的本地拷貝，所以叫做Private。

基本的MapMode就這三種了，其實除了基礎的MapMode，還有兩種擴展的MapMode：

  • ExtendedMapMode.READ_ONLY_SYNC 同步的讀
  • ExtendedMapMode.READ_WRITE_SYNC 同步的讀寫

MappedByteBuffer的最大值

小師妹：F師兄，既然可以映射到虛擬內存空間，那麼這個MappedByteBuffer是不是可以無限大？

當然不是了，首先虛擬地址空間的大小是有限制的，如果是32位的CPU，那麼一個指針佔用的地址就是4個字節，那麼能夠表示的最大值是0xFFFFFFFF，也就是4G。

另外我們看下map方法中size的類型是long，在java中long能夠表示的最大值是0x7fffffff，也就是2147483647字節，換算一下大概是2G。也就是說MappedByteBuffer的最大值是2G，一次最多只能map 2G的數據。

MappedByteBuffer的使用

小師妹，F師兄我們來舉兩個使用MappedByteBuffer讀寫的例子吧。

善！

先看一下怎麼使用MappedByteBuffer來讀數據：

public void readWithMap() throws IOException {
        try (RandomAccessFile file = new RandomAccessFile(new File("src/main/resources/big.www.flydean.com"), "r"))
        {
            //get Channel
            FileChannel fileChannel = file.getChannel();
            //get mappedByteBuffer from fileChannel
            MappedByteBuffer buffer = fileChannel.map(FileChannel.MapMode.READ_ONLY, 0, fileChannel.size());
            // check buffer
            log.info("is Loaded in physical memory: {}",buffer.isLoaded());  //只是一個提醒而不是guarantee
            log.info("capacity {}",buffer.capacity());
            //read the buffer
            for (int i = 0; i < buffer.limit(); i++)
            {
                log.info("get {}", buffer.get());
            }
        }
    }

然後再看一個使用MappedByteBuffer來寫數據的例子：

public void writeWithMap() throws IOException {
        try (RandomAccessFile file = new RandomAccessFile(new File("src/main/resources/big.www.flydean.com"), "rw"))
        {
            //get Channel
            FileChannel fileChannel = file.getChannel();
            //get mappedByteBuffer from fileChannel
            MappedByteBuffer buffer = fileChannel.map(FileChannel.MapMode.READ_WRITE, 0, 4096 * 8 );
            // check buffer
            log.info("is Loaded in physical memory: {}",buffer.isLoaded());  //只是一個提醒而不是guarantee
            log.info("capacity {}",buffer.capacity());
            //write the content
            buffer.put("www.flydean.com".getBytes());
        }
    }

MappedByteBuffer要注意的事項

小師妹：F師兄，MappedByteBuffer因為使用了內存映射，所以讀寫的速度都會有所提升。那麼我們在使用中應該注意哪些問題呢？

MappedByteBuffer是沒有close方法的，即使它的FileChannel被close了，MappedByteBuffer仍然處於打開狀態，只有JVM進行垃圾回收的時候才會被關閉。而這個時間是不確定的。

總結

本文再次介紹了虛擬地址空間和MappedByteBuffer的使用。

本文的例子https://github.com/ddean2009/learn-java-io-nio

本文作者：flydean程序那些事

本文鏈接：http://www.flydean.com/io-nio-mappedbytebuffer/

本文來源：flydean的博客

歡迎關注我的公眾號:程序那些事，更多精彩等着您！

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※教你寫出一流的銷售文案?

※廣告預算用在刀口上，台北網頁設計公司幫您達到更多曝光效益

※回頭車貨運收費標準

※別再煩惱如何寫文案,掌握八大原則!

※超省錢租車方案

※產品缺大量曝光嗎?你需要的是一流包裝設計!