Golang使用httpClient下載文件的實(shí)現(xiàn)方法

之前使用beego的http庫的時(shí)候，有的情況需要下載文件。beego是能實(shí)現(xiàn)，但就是有點(diǎn)問題:不支持回調(diào)，沒法顯示下載速度,這在日常開發(fā)中是不可忍受的。

發(fā)展壯大離不開廣大客戶長期以來的信賴與支持，我們將始終秉承“誠信為本、服務(wù)至上”的服務(wù)理念，堅(jiān)持“二合一”的優(yōu)良服務(wù)模式，真誠服務(wù)每家企業(yè)，認(rèn)真做好每個(gè)細(xì)節(jié)，不斷完善自我，成就企業(yè)，實(shí)現(xiàn)共贏。行業(yè)涉及成都戶外休閑椅等，在網(wǎng)站建設(shè)公司、成都全網(wǎng)營銷、WAP手機(jī)網(wǎng)站、VI設(shè)計(jì)、軟件開發(fā)等項(xiàng)目上具有豐富的設(shè)計(jì)經(jīng)驗(yàn)。

看了下beego的實(shí)現(xiàn)主要是使用了io.copy函數(shù),于是就深入的看了下實(shí)現(xiàn)原理，發(fā)現(xiàn)挺簡單的，于是就根據(jù)io.copy原理實(shí)現(xiàn)的一個(gè)簡單的下載器

//定義要下載的文件
var durl = "https://dl.google.com/go/go1.10.3.darwin-amd64.pkg";
//解析url
uri, err := url.ParseRequestURI(durl)
if err != nil {
 panic("網(wǎng)址錯(cuò)誤")
}

正常的一個(gè)流程先看看Url有沒有錯(cuò)誤

filename := path.Base(uri.Path)
log.Println("[*] Filename " + filename)

使用path.Base取出url的文件名稱，這里有個(gè)可能會(huì)出現(xiàn)bug的地方:如果這個(gè)網(wǎng)址是302跳轉(zhuǎn)過去的話是沒法取出跳轉(zhuǎn)過后的文件名稱。

取文件名稱這步可以再發(fā)送http請求的時(shí)候 client.CheckRedirect定義一個(gè)函數(shù)取出文件名次即可。

client := http.DefaultClient;
client.Timeout = time.Second * 60 //設(shè)置超時(shí)時(shí)間
resp, err := client.Get(durl)

創(chuàng)建一個(gè)httpClient,另外這個(gè)客戶端的Timeout是設(shè)置讀取數(shù)據(jù)的時(shí)候多少時(shí)間算超時(shí)。

我這里比較推崇用Do方法傳遞一個(gè)Reqeust過去，應(yīng)為有的url需要校驗(yàn)http頭之類的,你問我為啥不用一個(gè)字懶。

raw := resp.Body
defer raw.Close()
reader := bufio.NewReaderSize(raw, 1024*32);

其實(shí)說實(shí)話不太清楚bufio能不能真正的加快htpp讀取速度，沒有做過跟不用bufio的對比。但是為了心理上的安心就加上去了

file, err := os.Create(filename)
if err != nil {
 panic(err)
}
writer := bufio.NewWriter(file)

同上也不太確定bufio能對文件寫入增加多少速度

buff := make([]byte, 32*1024)
written := 0
go func() {
 for {
  nr, er := reader.Read(buff)
  if nr > 0 {
   nw, ew := writer.Write(buff[0:nr])
   if nw > 0 {
    written += nw
   }
   if ew != nil {
    err = ew
    break
   }
   if nr != nw {
    err = io.ErrShortWrite
    break
   }
  }
  if er != nil {
   if er != io.EOF {
    err = er
   }
   break
  }
 }
 if err != nil {
  panic(err)
 }
}()

這個(gè)源碼是我直接復(fù)制io.copyBuffer函數(shù)的只是做了一些簡單的修改理解大概意思就行

//間隔時(shí)間
spaceTime := time.Second * 1
//定時(shí)器
ticker := time.NewTicker(spaceTime)
//上次讀取數(shù)據(jù)大小
lastWtn := 0
stop := false

for {
 select {
 case <-ticker.C:
  //這次讀取的文件大小-上次讀取的數(shù)據(jù)大小=速度
  speed := written - lastWtn
  log.Printf("[*] Speed %s / %s \n", bytesToSize(speed), spaceTime.String())
  if written-lastWtn == 0 {
   ticker.Stop()
   stop = true
   break
  }
  lastWtn = written
 }
 if stop {
  break
 }
}

這段代碼堵塞住程序，然后定時(shí)器按照間隔時(shí)間來計(jì)算速度。這里可能會(huì)出現(xiàn)bug的地方就是在間隔時(shí)間內(nèi)沒有讀取到數(shù)據(jù)的時(shí)候回直接跳出循環(huán)?，F(xiàn)在這個(gè)時(shí)間點(diǎn)非常困，寫個(gè)blog已經(jīng)困的要死了以后有空把這個(gè)bug解決了吧

func bytesToSize(length int) string {
 var k = 1024 // or 1024
 var sizes = []string{"Bytes", "KB", "MB", "GB", "TB"}
 if length == 0 {
  return "0 Bytes"
 }
 i := math.Floor(math.Log(float64(length)) / math.Log(float64(k)))
 r := float64(length) / math.Pow(float64(k), i)
 return strconv.FormatFloat(r, 'f', 3, 64) + " " + sizes[int(i)]
}

這個(gè)函數(shù)是我從我個(gè)人的php項(xiàng)目中轉(zhuǎn)換過來的

2018/08/17 00:24:50 [*] Filename go1.10.3.darwin-amd64.pkg
2018/08/17 00:24:51 [*] Speed 9.000 MB / 1s 
2018/08/17 00:24:52 [*] Speed 11.125 MB / 1s 
2018/08/17 00:24:53 [*] Speed 11.125 MB / 1s 
2018/08/17 00:24:54 [*] Speed 10.562 MB / 1s 
2018/08/17 00:24:55 [*] Speed 11.187 MB / 1s 
2018/08/17 00:24:56 [*] Speed 11.109 MB / 1s 
2018/08/17 00:24:57 [*] Speed 11.109 MB / 1s 
2018/08/17 00:24:58 [*] Speed 11.141 MB / 1s 
2018/08/17 00:24:59 [*] Speed 11.172 MB / 1s 
2018/08/17 00:25:00 [*] Speed 11.141 MB / 1s 
2018/08/17 00:25:01 [*] Speed 8.453 MB / 1s 
2018/08/17 00:25:02 [*] Speed 6.385 MB / 1s 
2018/08/17 00:25:03 [*] Speed 0 Bytes / 1s

這是最終的運(yùn)行結(jié)果，然后我再把全部的源碼放在下面就去睡了。

package main

import (
 "net/http"
 "log"
 "time"
 "net/url"
 "path"
 "os"
 "io"
 "bufio"
 "math"
 "strconv"
)

var durl = "https://dl.google.com/go/go1.10.3.darwin-amd64.pkg";

func main() {
 uri, err := url.ParseRequestURI(durl)
 if err != nil {
  panic("網(wǎng)址錯(cuò)誤")
 }

 filename := path.Base(uri.Path)
 log.Println("[*] Filename " + filename)

 client := http.DefaultClient;
 client.Timeout = time.Second * 60 //設(shè)置超時(shí)時(shí)間
 resp, err := client.Get(durl)
 if err != nil {
  panic(err)
 }
 if resp.ContentLength <= 0 {
  log.Println("[*] Destination server does not support breakpoint download.")
 }
 raw := resp.Body
 defer raw.Close()
 reader := bufio.NewReaderSize(raw, 1024*32);


 file, err := os.Create(filename)
 if err != nil {
  panic(err)
 }
 writer := bufio.NewWriter(file)

 buff := make([]byte, 32*1024)
 written := 0
 go func() {
  for {
   nr, er := reader.Read(buff)
   if nr > 0 {
    nw, ew := writer.Write(buff[0:nr])
    if nw > 0 {
     written += nw
    }
    if ew != nil {
     err = ew
     break
    }
    if nr != nw {
     err = io.ErrShortWrite
     break
    }
   }
   if er != nil {
    if er != io.EOF {
     err = er
    }
    break
   }
  }
  if err != nil {
   panic(err)
  }
 }()

 spaceTime := time.Second * 1
 ticker := time.NewTicker(spaceTime)
 lastWtn := 0
 stop := false

 for {
  select {
  case <-ticker.C:
   speed := written - lastWtn
   log.Printf("[*] Speed %s / %s \n", bytesToSize(speed), spaceTime.String())
   if written-lastWtn == 0 {
    ticker.Stop()
    stop = true
    break
   }
   lastWtn = written
  }
  if stop {
   break
  }
 }
}

func bytesToSize(length int) string {
 var k = 1024 // or 1024
 var sizes = []string{"Bytes", "KB", "MB", "GB", "TB"}
 if length == 0 {
  return "0 Bytes"
 }
 i := math.Floor(math.Log(float64(length)) / math.Log(float64(k)))
 r := float64(length) / math.Pow(float64(k), i)
 return strconv.FormatFloat(r, 'f', 3, 64) + " " + sizes[int(i)]
}

以上這篇Golang 使用http Client下載文件的實(shí)現(xiàn)方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持創(chuàng)新互聯(lián)。

網(wǎng)站題目：Golang使用httpClient下載文件的實(shí)現(xiàn)方法
鏈接分享：http://bm7419.com/article26/gipicg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供面包屑導(dǎo)航、網(wǎng)站維護(hù)、網(wǎng)站收錄、網(wǎng)站營銷、靜態(tài)網(wǎng)站、自適應(yīng)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)

成都做網(wǎng)站