公司有一臺飛塔防火墻，是基于utm的，很多功能都過期了，之前我配置了破解的anlayer來收集分析防火墻策略日志，非常好用，但是這玩意要錢，只能試用30天，我是把系統(tǒng)時間調(diào)成了2017年，避免到期，但是收集的時間不準(zhǔn)，非常麻煩。

成都創(chuàng)新互聯(lián)公司是一家專業(yè)提供渝中企業(yè)網(wǎng)站建設(shè),專注與成都做網(wǎng)站、網(wǎng)站制作、成都外貿(mào)網(wǎng)站建設(shè)、H5響應(yīng)式網(wǎng)站、小程序制作等業(yè)務(wù)。10年已為渝中眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)網(wǎng)站制作公司優(yōu)惠進(jìn)行中。

如下所示：

所以想用graylog3.0來收集分析飛塔防火墻的日志

首先graylog是一個大數(shù)據(jù)分析平臺，只拿來收集日志有點(diǎn)大材小用，但是我又不懂大數(shù)據(jù)=。=

1、graylog 的content packs和marketplace

content pack(內(nèi)容包）內(nèi)容包是共享配置的便捷方式。內(nèi)容包是一個JSON文件，其中包含一組Graylog組件的配置?？梢詫⒋薐SON文件上載到Graylog實(shí)例，然后進(jìn)行安裝。花費(fèi)時間為特定類型的日志格式創(chuàng)建輸入，管道和儀表板的用戶可以輕松地與社區(qū)分享他的努力。

graylog marketplace是分享和購買內(nèi)容包的市場。

可以簡單理解為，有很多大神提供給了不同的數(shù)據(jù)分析方式供人下載使用，滿足不通的數(shù)據(jù)分析需求

地址為

https://marketplace.graylog.org/

收索forita相關(guān)

搜索結(jié)果如下：

我使用第一個

包含了github地址和配置方法

github地址為https://github.com/juiceman84/Fortigate_Content_Pack

2、graylog導(dǎo)入內(nèi)容包

登陸graylog后，在system->connet packs中配置內(nèi)容包

可以看到系統(tǒng)自帶內(nèi)容包，點(diǎn)擊create a content pack來導(dǎo)入

然后按照如下填寫

切記 url要填寫 github地址https://github.com/juiceman84/Fortigate_Content_Pack

然后下一步，不用調(diào)整

再然后下一步

其他的不用管，因?yàn)槲乙膊恢朗歉陕锏?然后點(diǎn)擊create

完成后點(diǎn)擊安裝

此時內(nèi)容包就已經(jīng)安裝完畢了，是不是很簡單

但是你以為簡單是因?yàn)椴恢滥敲炊噙x項(xiàng)是干嘛的=。=

3、配置input

在system->input中配置日志接收方式

因?yàn)榉阑饓θ罩径际莝yslog格式，所以要新建一個syslog udp的input

按照如下進(jìn)行配置即可，端口是30000，這是內(nèi)容包說明要求的，udp還是tcp協(xié)議取決于防火墻是否支持，公司這款飛塔防火墻只支持udp協(xié)議

完成后，去防火墻上配置日志發(fā)送,端口需要一致

然后去配置input的extrators（提取器），所謂提取器以下是官方說明

簡單來說，就是syslog協(xié)議太簡單了，需要提取器來配置一定的格式，比如顯示時間，主機(jī)，內(nèi)容等，不然收集到的日志就是一堆亂糟糟的cvs文本

然后在action中點(diǎn)擊import extrators

這里要求你輸入一段json格式代碼

老子搞運(yùn)維的，懂哥毛的json

不要緊，之前內(nèi)容包的github中已經(jīng)包含了提取器的json,只是要我們手動寫入

然后把代碼復(fù)制粘貼

然后點(diǎn)擊添加

添加成功后，可以看到出現(xiàn)了很多提取器，這是之前內(nèi)容包中配置好的

配置完了后，然后就可以收集了，點(diǎn)擊啟動

然后就就可以看到收集的信息了

4、配置

收集的日志信息很亂，包括策略日志，信息日志，而且內(nèi)容很雜，所以要調(diào)整

首先配置信息顯示的字段（fields)，包括日期啊，源地址，目的地址等,不要都選，選擇重要的即可，按照防火墻策略五元組信息（源目的端口，原目的地址，協(xié)議）進(jìn)行勾選

其次，在搜索框中，輸入搜索的信息類型，使用type=traffic代表過濾出流量類型的信息

說明：

1、搜索框中，輸入字段 type=taffic,代表流量

2、這些可以選擇的字段，是因?yàn)榕渲昧藘?nèi)容包采用，沒有配置內(nèi)容包，是沒有這些字段過濾和選擇的

簡單說明下字段作用

timestamp：時間戳

source:發(fā)送日志的源設(shè)備

dst:目的地址

dst_int:目的接口

level:日志等級

msg:處理動作

policyid:命中的策略id

proto:協(xié)議類型

servie:服務(wù)類型

sercetiy:安全等級

src:源地址

src_int:源接口

tpye:日志類型

基本上有這些東西就可以分析策略日志了

然后我們點(diǎn)開一個信息

就可以看到信息具體類容，基本上就是一條防火墻策略信息，很詳細(xì)

然后我們可以把搜索的結(jié)果保存，方便下次直接使用

同時可以把搜索的結(jié)果放到儀表盤中

除了可以搜索以外，還可以配置字段統(tǒng)計(jì)，比如統(tǒng)計(jì)源地址排行，策略排行等

比如配置策略數(shù)量排行，就可以看到哪些策略被引用的最多

配置generate chart(通用圖標(biāo)），可以查看一定時間內(nèi)的字段信息的數(shù)量和保存的空間大小，可以添加到儀表盤

配置Quick values，可以統(tǒng)計(jì)一定數(shù)量，圖形,默認(rèn)餅圖統(tǒng)計(jì)，可以添加到儀表盤

字段統(tǒng)計(jì)，統(tǒng)計(jì)該字段出現(xiàn)的數(shù)量，大值，最小值等，可以添加到儀表盤

最后一個world map，需要配置地理信息擴(kuò)展，顯示字段在地理區(qū)域出現(xiàn)的頻率，這次用不上

好了來看看儀表盤，配置好了后，可以直接展現(xiàn)

基本上就能滿足日常運(yùn)維需要了

5、思考與擴(kuò)展

1、graylog支持流式計(jì)算和告警，就是說支持實(shí)時的講收集到數(shù)據(jù)按照一定的規(guī)則進(jìn)行過濾，然后按照配置的告警規(guī)則進(jìn)行告警，但是我沒配置成功過，看來需要去學(xué)大數(shù)據(jù)相關(guān)知識

2、graylog的搜索語法太簡單了，而且不準(zhǔn)，感覺就是簡單的正則匹配，比起splunk還有其他專門自帶搜索語法的日志軟件，差太遠(yuǎn)了

3、防火墻的日志量十分巨大，基本上發(fā)送量高峰是每秒1500條信息，ipos峰值30，帶寬峰值30MBps要占用5G左右的存儲空間。我的graylog幾次差點(diǎn)掛了，IO承受不住，實(shí)際生產(chǎn)使用，不要用虛擬機(jī)化，也可以考慮分布式多節(jié)點(diǎn)部署，分?jǐn)倝毫?/p>

4、簡單測試了存儲壓力，1000條數(shù)據(jù)美妙，數(shù)據(jù)寫入大小，4-8kB較多，64-512kB其次，70%左右的隨機(jī)寫IO，平均IO寫延遲100ms,對存儲的要求還是有的

5、cpu和內(nèi)存壓力，16g內(nèi)存平均占用99.5%,2路4核8vcpu長期占用88.5%，此時graylog明顯搜索和反應(yīng)緩慢

graylog的優(yōu)勢就是開源，簡單，開箱易用，使用內(nèi)容包，幾乎可以收集分析任何類型的數(shù)據(jù)

但是對于 防火墻日志收集，還是得有專門硬件比較好

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

分享標(biāo)題：graylog3.0收集飛塔防火墻日志-創(chuàng)新互聯(lián)
本文路徑：http://biofuelwatch.net/article/dojosg.html