业务流程架构图:
创新互联公司是一家集网站建设,湘桥企业网站建设,湘桥品牌网站建设,网站定制,湘桥网站建设报价,网络营销,网络优化,湘桥网站推广为一体的创新建站企业,帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿,时刻以成就客户成长自我,坚持不断学习、思考、沉淀、净化自己,让我们为更多的企业打造出实用型网站。一个基于logstash,redis,elasticSearch,kibana的一套数据收集分析的系统
架构图描述:
日志收集系统:(数据来源)生产者产生的日志记录行为,通过被logstash收集、转发,然后传送给redis做序列话,最后通过ELK处理分析展示。
elasticSearch会对数据做存储,索引(基于Lunce),再kibana中建立对elasticSearch的链接,实时的抓取索索引后的数据,这样数据就可以实时的进行展示,通过一些数据组装,查询条件,得到我们想要的结果(可以通过各种方式例如图表,表格,折线图等显示)
效果图:
####
一、ELK搭建
http://dbspace.blog.51cto.com/6873717/1879106
二、Redis部署
注意redis必须是3.0版本以上,不然会有各种问题,之前遇到坑
三、根据架构编写logstash的日志收集配置
[root@mycat conf]# cat /usr/local/logstash/conf/logstash_client.conf
input{
file{
type => "log_count"
path => "/var/log/messages"
}
}
output{
redis{
host => "192.168.1.114"
port => 6379
data_type => "list"
key => "key_count"
db => 0
}
}
四、编写logstash的配置从redis读取数据转发到ELK
[root@mycat conf]# cat /usr/local/logstash/conf/logstash_server.conf
input{
redis{
host => "192.168.1.114"
port => 6379
type => "redis-input"
data_type => "list"
key => "key_count"
db => 0
}
}
output{
elasticsearch{
hosts =>"192.168.1.114:9200"
codec =>"json"
}
}
###红色部分要相同
启动2个服务
/usr/local/logstash/bin/logstash -f /usr/local/logstash/conf/logstash_server.conf &
/usr/local/logstash/bin/logstash -f /usr/local/logstash/conf/logstash_client.conf &
五、饼图分析
另外有需要云服务器可以了解下创新互联cdcxhl.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。