golang sync.pool對象復(fù)用 并發(fā)原理 緩存池

在go http每一次go serve(l)都會構(gòu)建Request數(shù)據(jù)結(jié)構(gòu)。在大量數(shù)據(jù)請求或高并發(fā)的場景中，頻繁創(chuàng)建銷毀對象，會導(dǎo)致GC壓力。解決辦法之一就是使用對象復(fù)用技術(shù)。在http協(xié)議層之下，使用對象復(fù)用技術(shù)創(chuàng)建Request數(shù)據(jù)結(jié)構(gòu)。在http協(xié)議層之上，可以使用對象復(fù)用技術(shù)創(chuàng)建(w,*r,ctx)數(shù)據(jù)結(jié)構(gòu)。這樣即可以回快TCP層讀包之后的解析速度，也可也加快請求處理的速度。

目前創(chuàng)新互聯(lián)公司已為上千多家的企業(yè)提供了網(wǎng)站建設(shè)、域名、虛擬空間、網(wǎng)站托管、服務(wù)器租用、企業(yè)網(wǎng)站設(shè)計、信豐網(wǎng)站維護(hù)等服務(wù)，公司將堅持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。

先上一個測試：

結(jié)論是這樣的：

貌似使用池化，性能弱爆了？？？這似乎與net/http使用sync.pool池化Request來優(yōu)化性能的選擇相違背。這同時也說明了一個問題，好的東西，如果濫用反而造成了性能成倍的下降。在看過pool原理之后，結(jié)合實例，將給出正確的使用方法，并給出預(yù)期的效果。

sync.Pool是一個 協(xié)程安全 的 臨時對象池 。數(shù)據(jù)結(jié)構(gòu)如下：

local 成員的真實類型是一個 poolLocal 數(shù)組，localSize 是數(shù)組長度。這涉及到Pool實現(xiàn)，pool為每個P分配了一個對象，P數(shù)量設(shè)置為runtime.GOMAXPROCS(0)。在并發(fā)讀寫時，goroutine綁定的P有對象，先用自己的，沒有去偷其它P的。go語言將數(shù)據(jù)分散在了各個真正運行的P中，降低了鎖競爭，提高了并發(fā)能力。

不要習(xí)慣性地誤認(rèn)為New是一個關(guān)鍵字，這里的New是Pool的一個字段，也是一個閉包名稱。其API：

如果不指定New字段，對象池為空時會返回nil，而不是一個新構(gòu)建的對象。Get()到的對象是隨機(jī)的。

原生sync.Pool的問題是，Pool中的對象會被GC清理掉，這使得sync.Pool只適合做簡單地對象池，不適合作連接池。

pool創(chuàng)建時不能指定大小，沒有數(shù)量限制。pool中對象會被GC清掉，只存在于兩次GC之間。實現(xiàn)是pool的init方法注冊了一個poolCleanup()函數(shù)，這個方法在GC之前執(zhí)行，清空pool中的所有緩存對象。

為使多協(xié)程使用同一個POOL。最基本的想法就是每個協(xié)程，加鎖去操作共享的POOL，這顯然是低效的。而進(jìn)一步改進(jìn)，類似于ConcurrentHashMap（JDK7）的分Segment，提高其并發(fā)性可以一定程度性緩解。

注意到pool中的對象是無差異性的，加鎖或者分段加鎖都不是較好的做法。go的做法是為每一個綁定協(xié)程的P都分配一個子池。每個子池又分為私有池和共享列表。共享列表是分別存放在各個P之上的共享區(qū)域，而不是各個P共享的一塊內(nèi)存。協(xié)程拿自己P里的子池對象不需要加鎖，拿共享列表中的就需要加鎖了。

Get對象過程：

Put過程：

如何解決Get最壞情況遍歷所有P才獲取得對象呢：

方法1止前sync.pool并沒有這樣的設(shè)置。方法2由于goroutine被分配到哪個P由調(diào)度器調(diào)度不可控，無法確保其平衡。

由于不可控的GC導(dǎo)致生命周期過短，且池大小不可控，因而不適合作連接池。僅適用于增加對象重用機(jī)率，減少GC負(fù)擔(dān)。2

執(zhí)行結(jié)果:

單線程情況下，遍歷其它無元素的P，長時間加鎖性能低下。啟用協(xié)程改善。

結(jié)果：

測試場景在goroutines遠(yuǎn)大于GOMAXPROCS情況下，與非池化性能差異巨大。

測試結(jié)果

可以看到同樣使用*sync.pool，較大池大小的命中率較高，性能遠(yuǎn)高于空池。

結(jié)論：pool在一定的使用條件下提高并發(fā)性能，條件1是協(xié)程數(shù)遠(yuǎn)大于GOMAXPROCS，條件2是池中對象遠(yuǎn)大于GOMAXPROCS。歸結(jié)成一個原因就是使對象在各個P中均勻分布。

池pool和緩存cache的區(qū)別。池的意思是，池內(nèi)對象是可以互換的，不關(guān)心具體值，甚至不需要區(qū)分是新建的還是從池中拿出的。緩存指的是KV映射，緩存里的值互不相同，清除機(jī)制更為復(fù)雜。緩存清除算法如LRU、LIRS緩存算法。

池空間回收的幾種方式。一些是GC前回收，一些是基于時鐘或弱引用回收。最終確定在GC時回收Pool內(nèi)對象，即不回避GC。用java的GC解釋弱引用。GC的四種引用：強引用、弱引用、軟引用、虛引用。虛引用即沒有引用，弱引用GC但有空間則保留，軟引用GC即清除。ThreadLocal的值為弱引用的例子。

regexp 包為了保證并發(fā)時使用同一個正則，而維護(hù)了一組狀態(tài)機(jī)。

fmt包做字串拼接，從sync.pool拿[]byte對象。避免頻繁構(gòu)建再GC效率高很多。

go語言語法(基礎(chǔ)語法篇)

import "workname/packetfolder"

導(dǎo)入多個包

方法調(diào)用 包名.函數(shù)//不是函數(shù)或結(jié)構(gòu)體所處文件或文件夾名

packagename.Func()

前面加個點表示省略調(diào)用，那么調(diào)用該模塊里面的函數(shù)，可以不用寫模塊名稱了:

當(dāng)導(dǎo)入一個包時，該包下的文件里所有init()函數(shù)都會被執(zhí)行，然而，有些時候我們并不需要把整個包都導(dǎo)入進(jìn)來，僅僅是是希望它執(zhí)行init()函數(shù)而已。下劃線的作用僅僅是為了調(diào)用init()函數(shù)，所以無法通過包名來調(diào)用包中的其他函數(shù)

import _ package

變量聲明必須要使用否則會報錯。

全局變量運行聲明但不使用。

func 函數(shù)名 (參數(shù)1，參數(shù)2，...) (返回值a 類型a, 返回值b 類型b，...)

func 函數(shù)名 (參數(shù)1，參數(shù)2，...) (返回值類型1, 返回值類型2，...)

func (this *結(jié)構(gòu)體名) 函數(shù)名(參數(shù) string) (返回值類型1, 返回值類型2){}

使用大小來區(qū)分函數(shù)可見性

大寫是public類型

小寫是private類型

func prifunc int{}

func pubfunc int{}

聲明靜態(tài)變量

const value int

定義變量

var value int

聲明一般類型、接口和結(jié)構(gòu)體

聲明函數(shù)

func function () int{}

go里面所有的空值對應(yīng)如下

通道類型

內(nèi)建函數(shù) new 用來分配內(nèi)存，它的第一個參數(shù)是一個類型，不是一個值，它的返回值是一個指向新分配類型零值的指針

func new(Type) *Type

[這位博主有非常詳細(xì)的分析]

Go 語言支持并發(fā)，我們只需要通過 go 關(guān)鍵字來開啟 goroutine 即可。

goroutine 是輕量級線程，goroutine 的調(diào)度是由 Golang 運行時進(jìn)行管理的。

同一個程序中的所有 goroutine 共享同一個地址空間。

語法格式如下:

通道（channel）是用來傳遞數(shù)據(jù)的一個數(shù)據(jù)結(jié)構(gòu)。

通道的聲明

通道可用于兩個 goroutine 之間通過傳遞一個指定類型的值來同步運行和通訊。操作符 - 用于指定通道的方向，發(fā)送或接收。如果未指定方向，則為雙向通道。

[這里有比較詳細(xì)的用例]

go里面的空接口可以指代任何類型(無論是變量還是函數(shù))

聲明空接口

go里面的的強制類型轉(zhuǎn)換語法為:

int(data)

如果是接口類型的強制轉(zhuǎn)成其他類型的語法為:

go里面的強制轉(zhuǎn)換是將值復(fù)制過去,所以在數(shù)據(jù)量的時候有比較高的運行代價

Go CSP并發(fā)模型

Go的CSP并發(fā)模型

Go實現(xiàn)了兩種并發(fā)形式。第一種是大家普遍認(rèn)知的：多線程共享內(nèi)存。其實就是Java或者C++等語言中的多線程開發(fā)。另外一種是Go語言特有的，也是Go語言推薦的：CSP（communicating sequential processes）并發(fā)模型。

CSP 是 Communicating Sequential Process 的簡稱，中文可以叫做通信順序進(jìn)程，是一種并發(fā)編程模型，由 Tony Hoare 于 1977 年提出。簡單來說，CSP 模型由并發(fā)執(zhí)行的實體（線程或者進(jìn)程）所組成，實體之間通過發(fā)送消息進(jìn)行通信，這里發(fā)送消息時使用的就是通道，或者叫 channel。CSP 模型的關(guān)鍵是關(guān)注 channel，而不關(guān)注發(fā)送消息的實體。 Go 語言實現(xiàn)了 CSP 部分理論 。

“ 不要以共享內(nèi)存的方式來通信，相反， 要通過通信來共享內(nèi)存?！?/p>

Go的CSP并發(fā)模型，是通過 goroutine和channel 來實現(xiàn)的。

goroutine 是Go語言中并發(fā)的執(zhí)行單位。其實就是協(xié)程。

channel是Go語言中各個并發(fā)結(jié)構(gòu)體(goroutine)之前的通信機(jī)制。 通俗的講，就是各個goroutine之間通信的”管道“，有點類似于Linux中的管道。

Channel

Goroutine

go語言--Goroutines

1、goroutine：在go語言中，每一個并發(fā)的執(zhí)行單元叫做goroutine，如果一個程序中包含多個goroutine，對兩個函數(shù)的調(diào)用則可能發(fā)生在同一時刻

2、main goroutine：當(dāng)一個程序啟動時，其主函數(shù)即在一個單獨的goroutine中運行，我們叫他為main gorountine

3、go goroutine：新的goroutine會用go語句來創(chuàng)建，go+函數(shù)名，go語句會使其語句中的函數(shù)在一新創(chuàng)建的goroutine中運行，而go語句本身會迅速地完成

4、goroutine的退出：主函數(shù)返回時，所有的goroutine都會被直接打斷，程序退出，除了從主函數(shù)退出或者終止程序之外，沒有其他方法能夠讓一個goroutine來打斷另一個的執(zhí)行，但是可以通過另一種方式來實現(xiàn)這個目的，通過goroutine之間的通信來讓一個goroutine請求其他的goroutine，并讓請求的goroutine自行結(jié)束執(zhí)行

分享題目：go語言的并發(fā)關(guān)鍵字 golang常用并發(fā)模型
文章分享：http://biofuelwatch.net/article/doesijj.html