Linux和Java使用零拷貝的方法

這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)?lái)有關(guān)Linux和Java使用零拷貝的方法，文章內(nèi)容豐富且以專(zhuān)業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

為東鄉(xiāng)族等地區(qū)用戶提供了全套網(wǎng)頁(yè)設(shè)計(jì)制作服務(wù)，及東鄉(xiāng)族網(wǎng)站建設(shè)行業(yè)解決方案。主營(yíng)業(yè)務(wù)為成都網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)、東鄉(xiāng)族網(wǎng)站設(shè)計(jì)，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專(zhuān)業(yè)、用心的態(tài)度為用戶提供真誠(chéng)的服務(wù)。我們深信只要達(dá)到每一位用戶的要求，就會(huì)得到認(rèn)可，從而選擇與我們長(zhǎng)期合作。這樣，我們也可以走得更遠(yuǎn)！

Linux傳統(tǒng)IO

大家好，我是一段躺在Linux磁盤(pán)上的數(shù)據(jù)?，F(xiàn)在要把我從磁盤(pán)發(fā)到網(wǎng)卡，需要經(jīng)過(guò)以下步驟：

讀操作

如上圖：操作系統(tǒng)把內(nèi)存分為了內(nèi)核空間和用戶空間。首先位于用戶空間的應(yīng)用程序使用發(fā)起數(shù)據(jù)讀操作，比如JVM發(fā)起read()系統(tǒng)調(diào)用。這個(gè)時(shí)候操作系統(tǒng)會(huì)進(jìn)行一次上下文切換：從用戶空間切換到內(nèi)核空間。

然后內(nèi)核空間通知磁盤(pán)，內(nèi)核把我從磁盤(pán)copy到內(nèi)核緩沖區(qū)。這個(gè)過(guò)程是由一個(gè)叫“DMA（Direct memory access）”的硬件來(lái)做的，所以不需要CPU的參與。

然后內(nèi)核把我從內(nèi)核緩沖區(qū)copy到應(yīng)用程序緩沖區(qū)，這里需要CPU的參與。

最后進(jìn)行上下文切換，又換回到用戶空間的上下文。

整個(gè)讀操作的過(guò)程需要兩次上下文切換和兩次copy。

寫(xiě)操作

寫(xiě)操作與讀操作類(lèi)似，只是方向相反而已，仍然需要兩次上下文切換和兩次數(shù)據(jù)的copy。我可能會(huì)被寫(xiě)到磁盤(pán)，也可能會(huì)被寫(xiě)到網(wǎng)卡。

內(nèi)存映射

從上面的過(guò)程可以看到，如果想把我從磁盤(pán)發(fā)送到網(wǎng)卡，需要總共4次上下文切換和4次copy操作。我被操作系統(tǒng)在內(nèi)核空間和用戶空間之間來(lái)回復(fù)制，但其實(shí)我在這期間什么也沒(méi)有做，什么也沒(méi)有變化，就是復(fù)制而已，所以這個(gè)IO模型太浪費(fèi)操作系統(tǒng)資源了，我被復(fù)制這么多次，身心疲憊。而且操作系統(tǒng)的資源是非常寶貴滴~

現(xiàn)在主流的操作系統(tǒng)都使用了虛擬內(nèi)存。簡(jiǎn)單來(lái)說(shuō)，就是用虛擬地址取代物理地址，這樣做可以讓多個(gè)虛擬內(nèi)存只想同一個(gè)物理地址，虛擬內(nèi)存的空間可以遠(yuǎn)遠(yuǎn)大于物理內(nèi)存的空間。

那如果操作系統(tǒng)能夠把用戶空間的應(yīng)用程序緩沖區(qū)和內(nèi)核空間的內(nèi)核緩沖區(qū)映射到同一個(gè)物理地址，那豈不是就少了很多復(fù)制的過(guò)程？如下圖：

Linux零拷貝

所以為了解決這個(gè)問(wèn)題，聰明的Linux開(kāi)發(fā)者們寫(xiě)了一些新的系統(tǒng)調(diào)用來(lái)做這個(gè)事。主要有兩種方式：

• mmap + write
• sendfile

mmap + write

mmap()系統(tǒng)調(diào)用首先會(huì)使用DMA copy的方式將我從磁盤(pán)讀取到內(nèi)核緩沖區(qū)，然后通過(guò)內(nèi)存映射的方式，使用戶緩沖區(qū)和內(nèi)核讀緩沖區(qū)的內(nèi)存地址為同一內(nèi)存地址，也就是說(shuō)，不需要CPU再將我從內(nèi)核讀緩沖區(qū)復(fù)制到用戶緩沖區(qū)啦！

當(dāng)使用write()系統(tǒng)調(diào)用的時(shí)候，CPU將我從內(nèi)核緩沖區(qū)（等同于用戶緩沖區(qū)）直接寫(xiě)入到需要發(fā)送的內(nèi)核緩沖區(qū)，比如網(wǎng)絡(luò)發(fā)送緩沖區(qū)（socket buffer），然后通過(guò)DMA的方式將我傳入到網(wǎng)卡驅(qū)動(dòng)程序（或磁盤(pán)）中準(zhǔn)備發(fā)送。

mmap + write的方式讀寫(xiě)數(shù)據(jù)總共需要兩次系統(tǒng)調(diào)用，4次上下文切換，2次DMA Copy和1次CPU Copy。

sendfile

sendfile也是一個(gè)系統(tǒng)調(diào)用，它其實(shí)本質(zhì)上就是把上述兩個(gè)系統(tǒng)調(diào)用的功能合起來(lái)，變成了一個(gè)調(diào)用。這樣做的好處是，操作系統(tǒng)只需要2次上下文切換了，減少了2次上下文切換的開(kāi)銷(xiāo)。

gather

Linux2.4內(nèi)核對(duì)sendfile進(jìn)行了優(yōu)化，提供了gather操作，這個(gè)操作可以把上圖中的最后一次CPU copy去掉，原理就是不復(fù)制數(shù)據(jù)，而是把數(shù)據(jù)在之前的內(nèi)核緩沖區(qū)（比如圖中的案例是Read Buffer）的內(nèi)存地址、偏移量記錄發(fā)送給目標(biāo)內(nèi)核緩沖區(qū)（比如圖中案例的Socket Buffer），這樣在最后的DMA copy階段就可以拿著這個(gè)指針直接去找數(shù)據(jù)copy了。

Java NIO使用零拷貝

Linux的零拷貝確實(shí)能夠節(jié)約一些操作系統(tǒng)的資源。所以Java的NIO為了支持零拷貝，提供了一些類(lèi)：

• DirectByteBuffer
• FileChannel

在之前的《Java NIO - Buffer》這篇文章里大概介紹了DirectByteBuffer。ByteBuffer主要有兩種實(shí)現(xiàn)，一種是DirectByteBuffer， 一種是HeapByteBuffer。

其中，DirectByteBuffer直接在堆外分配內(nèi)存，底層是直接通過(guò)JNI調(diào)用操作系統(tǒng)的NIO系統(tǒng)調(diào)用，所以性能會(huì)比較高。而HeapByteBuffer是堆內(nèi)內(nèi)存，而且數(shù)據(jù)需要多一次拷貝，所以性能比較低。

FileChannel是Java NIO提供的用于復(fù)制文件的類(lèi)，可以把文件復(fù)制到磁盤(pán)或者網(wǎng)絡(luò)等。

map方法其實(shí)就是采用了操作系統(tǒng)中的內(nèi)存映射方式，將內(nèi)核緩沖區(qū)的內(nèi)存和用戶緩沖區(qū)的內(nèi)存做了一個(gè)地址映射。

transferTo方法直接將當(dāng)前通道內(nèi)容傳輸?shù)搅硪粋€(gè)通道，也就是說(shuō)這種方式不會(huì)有內(nèi)核緩沖區(qū)到用戶緩沖區(qū)的讀寫(xiě)問(wèn)題。底層是sendfile系統(tǒng)調(diào)用。transferFrom方法同理。

示例代碼：

File file = new File("test.txt");RandomAccessFile raf = new RandomAccessFile(file, "rw");FileChannel fileChannel = raf.getChannel();SocketChannel socketChannel = SocketChannel.open(new InetSocketAddress("", 8080));// 直接使用了transferTo()進(jìn)行通道間的數(shù)據(jù)傳輸fileChannel.transferTo(0, fileChannel.size(), socketChannel);

零拷貝的再次理解

1. 零拷貝，是從操作系統(tǒng)的角度來(lái)說(shuō)的。因?yàn)閮?nèi)核緩沖區(qū)之間，沒(méi)有數(shù)據(jù)是重復(fù)的（只有 kernel buffer 有一份數(shù)據(jù)）。

2. 零拷貝不僅僅帶來(lái)更少的數(shù)據(jù)復(fù)制，還能帶來(lái)其他的性能優(yōu)勢(shì)，例如更少的上下文切換，更少的 CPU 緩存?zhèn)喂蚕硪约盁o(wú) CPU 校驗(yàn)和計(jì)算。

mmap和sendFile的區(qū)別

1. mmap 適合小數(shù)據(jù)量讀寫(xiě)，sendFile 適合大文件傳輸。

2. mmap 需要 4 次上下文切換，3 次數(shù)據(jù)拷貝；sendFile 需要 3 次上下文切換，最少 2 次數(shù)據(jù)拷貝。

3. sendFile 可以利用 DMA 方式，減少 CPU 拷貝，mmap 則不能（必須從內(nèi)核拷貝到 Socket 緩沖區(qū)）。

上述就是小編為大家分享的Linux和Java使用零拷貝的方法了，如果剛好有類(lèi)似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

分享題目：Linux和Java使用零拷貝的方法
新聞來(lái)源：http://bm7419.com/article28/phoejp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站維護(hù)、App設(shè)計(jì)、App開(kāi)發(fā)、網(wǎng)站排名、網(wǎng)站制作、靜態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)