ITeye博客

about:blank

dwj147258 · 共 164 篇文章

[置顶] 将博客搬至CSDN

我的博客将搬家至CSDN,感谢支持

2020-11-05 17:09 · 评论(0)

[置顶] 优秀文章

SkyWalking源码解析 http://cmsblogs.com/?p=3572 logstash入门和环境搭建 https://www.cnblogs.com/cjsblog/p/9459781.html 使用sleuth实现微服务跟踪,sleuth结合elk和sleuth结合zipkin https://blog.csdn.net/jrn1012/article/details/77837710 前端: http://www.cnblogs.com/landeanfen/ GIt,springcloud,spring boot文章 https://blog.csdn.net/u012…

2017-07-05 14:12 · java基础 · 评论(0)

[置顶] linux服务器堆栈

一、首先查询java进程: ps -ef |grep java 找到需要打堆栈的进程 二、 到服务器的jdk下bin目录下输入: jstack -l 41778 > /opt/11.txt 将41778进程堆栈打印到11.txt 三、查看服务器进程gc情况 jstat -gcutil 41778 2000 2500 查看进程41778的gc情况,打印2500行每隔2秒打印一次 如果打印无此进程,则需要将/tmp目录下的h开头的文件夹全部删除后重启系统即可 查看linux服务器端口使用情况 netstat -ano |grep 2404 查看2404端口使用情况

2017-06-23 16:18 · java基础 · 评论(0)

JAVA NIO AIO

一、了解Unix网络编程5种I/O模型 1.1、阻塞式I/O模型 阻塞I/O(blocking I/O)模型,进程调用recvfrom,其系统调用直到数据报到达且被拷贝到应用进程的缓冲区中或者发生错误才返回。进程从调用recvfrom开始到它返回的整段时间内是被阻塞的。 1.2、非阻塞式I/O模型 当一个应用进程像这样对一个非阻塞描述字循环调用recvfrom时,我们称之为轮询(polling)。应用进程持续轮询内核,以查看某个操作是否就绪。 1.3、I/O多路复用(事件驱动)模型 1.4、信号驱动式I/O(SIGIO) 1.5、异步I/O模型 1.6、I/O模型的比较: 根据上述5种IO模…

2019-08-14 16:56 · java基础 · 评论(0)

Arthas源码解析

Arthas源码解析: 首先是arthas的工程结构: arthas-agent:javaagent包,需要将此包与被监控程序通过javaagent一起启动,也可以通过虚拟机loadagent来植入增强代码 arthas-boot:arthas启动主程序,arthas推荐的启动方式 arthas-client:telnet连接工程 arthas-client:arthas核心包,里面也有主方法可以启动arthas arthas-spy:间谍程序,该包由启动类加载器加载,其他工程包由arthas自定义类加载器加载 一、从arthas-core中的Arthas看起: 1.Arthas.java中…

2019-06-25 14:57 · springboot应用监控 · 评论(0)

Spring Cloud Stream 体系及原理介绍

1.原文地址:https://zhuanlan.zhihu.com/p/61819803 Spring Cloud Stream 在 Spring Cloud 体系内用于构建高度可扩展的基于事件驱动的微服务,其目的是为了简化消息在 Spring Cloud 应用程序中的开发。Spring Cloud Stream (后面以 SCS 代替 Spring Cloud Stream) 本身内容很多,而且它还有很多外部的依赖,想要熟悉 SCS,必须要先了解 Spring Messaging 和 Spring Integration 这两个项目,接下来文章将从以下几点跟大家进行介绍: 什么是 Spri…

2019-05-19 16:00 · spring cloud · 评论(0)

开源的13个优秀学习项目

1. 原文地址::https://mp.weixin.qq.com/s/Kp9cuxpn7T3f8hAGUF0cKQ 开源的13个Spring Boot 优秀学习项目!超53K星,一网打尽! 原创: 徐刘根 Java后端技术 今天 Spring Boot 算是目前 Java 领域最火的技术栈了,也是Java开发人员不得不掌握的技术,今天给大家整理了13个优质 Spring Boot 开源项目给大家参考,希望能够帮助到正在学习 Spring Boot 的小伙伴!小伙伴简历中不知道写什么项目的或者项目没有亮点的,我只能帮你们到这了!下边的项目排名不分先后! 一、mall star 数 12.7k…

2019-05-19 15:56 · java基础 · 评论(0)

elasticsearch doc和segment原理

1.原文地址:https://blog.csdn.net/baichoufei90/article/details/82901270 Elasticsearch学习-Doc与Segment原理 0x00 系列文章目录 Elasticsearch学习-关于倒排索引、DocValues、FieldData和全局序号 Elasticsearch学习-搜索调优 Elasticsearch学习-Doc原理 0x01 摘要 本文主要讲下ES中Doc(文档)和Segment(段)的底层原理。 0x02 Doc概念 2.1 术语介绍 首先我们说几个ES中跟Doc相关的概念,以免后面混淆: Index(索引)…

2019-05-08 14:40 · elasticsearch · 评论(0)

es近实时搜索原理

1. 随着按段(per-segment)搜索的发展, 一个新的文档从索引到可被搜索的延迟显著降低了。新文档在几分钟之内即可被检索,但这样还是不够快。 磁盘在这里成为了瓶颈。 提交(Commiting)一个新的段到磁盘需要一个 fsync 来确保段被物理性地写入磁盘,这样在断电的时候就不会丢失数据。 但是 fsync 操作代价很大; 如果每次索引一个文档都去执行一次的话会造成很大的性能问题。 我们需要的是一个更轻量的方式来使一个文档可被搜索,这意味着 fsync 要从整个过程中被移除。 在Elasticsearch和磁盘之间是文件系统缓存。 像之前描述的一样, 在内存索引缓冲区( 图 19 “…

2019-05-08 09:56 · elasticsearch · 评论(0)

ES内存那点事

1. “该给ES分配多少内存?” “JVM参数如何优化?“ “为何我的Heap占用这么高?” “为何经常有某个field的数据量超出内存限制的异常?“ “为何感觉上没多少数据,也会经常Out Of Memory?” 以上问题,显然没有一个统一的数学公式能够给出答案。 和数据库类似,ES对于内存的消耗,和很多因素相关,诸如数据总量、mapping设置、查询方式、查询频度等等。默认的设置虽开箱即用,但不能适用每一种使用场景。作为ES的开发、运维人员,如果不了解ES对内存使用的一些基本原理,就很难针对特有的应用场景,有效的测试、规划和管理集群,从而踩到各种坑,被各种问题挫败。 要理解ES如何使用内…

2019-05-04 21:00 · elasticsearch · 评论(0)

jstat命令详解

1. 作用 jstat的主要作用就是对Java应用程序的资源和性能进行实时监控的命令行工具,主要包括GC情况和Heap Size资源使用情况。 jstat命令格式 jstat -<option> [-t] [-h<lines>] <vmid> [<interval> [<count>]] 参数解释: option 常见的都是使用-gcutil查看gc情况,其他可选项见下图。 vmid : VM的进程号,即当前运行的java进程号。 interval : 间隔时间,单位为秒或毫秒 count:打印次数,如果缺省则打印无数次。 option选项代表着用户希望查询的虚拟机信息,主要分为3类:类加载…

2019-04-30 10:07 · java基础 · 评论(0)

ES各节点类型及分工

4. ES各种节点的分工 1. 客户端节点 当主节点和数据节点配置都设置为false的时候, 该节点只能处理路由请求,处理搜索,分发索引操作 等,从本质上来说该客户节点表现为智能负载平衡器。独立的客户端节点在一个比较大的集群中是非常有用的,他协调主节点和数据节点,客户端节点加入集群可以得到集群的状态,根据集群的状态可以直接路由请求。 2. 数据节点 数据节点主要是存储索引数据的节点, 主要对文档进行增删改查操作,聚合操作 等。数据节点对cpu,内存,io要求较高, 在优化的时候需要监控数据节点的状态,当资源不够的时候,需要在集群中添加新的节点。 3. 主节点 主资格节点的主要职责是和集群操作…

2019-04-30 09:17 · elasticsearch · 评论(0)

elasticsearch /_cluster/health

1. 返回的基本信息如下: cluster_name: 集群名称 status: 集群状态(绿、黄、红) timed_out: 是否超时 number_of_nodes: 总节点数 number_of_data_nodes: 数据节点数 active_primary_shards: 可用的主分片数量 active_shards: 可用的总分片数量 relocating_shards: 正在迁移的分片数量 initializing_shards: 正在初始化的分片数量 unassigned_shards: 未分配的分片数量 delayed_unassigned_shards: 延迟未分配的分片…

2019-04-30 09:07 · elasticsearch · 评论(0)

优化ElasticSearch写入效率

最近在做日志搜集系统,涉及到Kafka到ES的数据解析写入,但是Kafka的写入效率远远高于ES,造成大量的数据在Kafka中积累,且ES的数据更新非常缓慢,最终造成了在Kibana中查询的时候发现,ES中的数据有接近9个小时的数据延迟,这显然是不可接受的。因此,必须着手优化ES的写入效率。在尽可能不改变已有配置的情况下,写入效率优先可以考虑以下两点。 必须使用bulk方式提交写入数据 一开始我们的解析器是通过单条数据的形式提交的数据,很明显这种方式在大数据量的时候就越来越慢,因此我们必须修改为批量提交的方式。ES的bulk提交有个限制就是一次性提交的数据量不能超过15MB,因此,在考虑一次…

2019-04-29 18:59 · elasticsearch · 评论(0)

亿级 Elasticsearch 性能优化

前言 最近一年使用 Elasticsearch 完成亿级别日志搜索平台「ELK」,亿级别的分布式跟踪系统。在设计这些系统的过程中,底层都是采用 Elasticsearch 来做数据的存储,并且数据量都超过亿级别,甚至达到百亿级别。 所以趁着有空,就花点时间整理一下具体怎么做 Elasticsearch 性能优化,希望能对 Elasticsearch 感兴趣的同学有所帮助。 背景 Elasticsearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于 RESTful web 接口。Elasticsearch 是用 Java 开发的,并作为 Apac…

2019-04-29 18:58 · elasticsearch · 评论(0)