1、Hadoop、Storm、Spark、Facebook、Twitter、阿里巴巴都在使用Java高性能NIO通信框架Netty,本书告诉你Why,通过本书你可以全面、系统地理解Netty 架构设计理念,以及异步NIO 编程。
2、本书作者为资深一线专家,在产品中广泛应用了Netty等NIO框架,具有丰富的多年实践经验,这就使得本书内容带有很强的实践性,让你更全面快速掌握Java高并发异步通信的优选框架Netty的用法。
3、本书第一版出版后受到业界的一致好评,应读者的要求,第2版增加了MessagePack 编解码、服务端创建、客户端创建、高性能之道、可靠性、安全性等内容,内容更精彩。
Netty是什么?使用Netty能够做什么?为什么要从传统的Socket开发切换到NIO进行编程?为什么不直接基于JDK的NIO类库编程而选择Netty?如何全面系统地掌握Netty进行NettyNIO开发、Netty编解码开发、Netty多协议开发?如何通过对Netty源码的学习获得更深入地知识?掌握了Netty后,如何将其应用到实际架构中?Netty工程师的就业前景和可涉足的行业是怎样的?本书都会一一解答。
推荐购买:
《Netty quanwei指南(第2 版)》是异步非阻塞通信领域的经典之作,基于全新版本的Netty 5.0 编写,是国内首本深入介绍Netty 原理和架构的书籍,也是作者多年实战经验的总结和浓缩。内容不仅包含Java NIO入门知识、Netty 的基础功能开发指导、编解码框架定制等,还包括私有协议栈定制和开发、Netty 核心类库源码分析,以及Netty 的架构剖析。
李林峰,Netty中国推广者,现华为技术有限公司平台中间件架构与设计部设计师,公司总裁技术创新奖获得者。长期从事高性能通信软件的架构设计和开发工作,有多年在NIO领域的设计、开发和运维经验,精通NIO编程和Netty、Mina等主流NIO框架。
★林锋让我给这本新书写个推荐,不胜荣幸。我和林锋接触时间不长,已经感受到了他对技术的热爱和不尽探索。这种热爱完全来自于内心的驱动,不掺杂任何杂质,我认为他是我见到的为数不多的技术热爱者。也正是因为这种热爱,促使林锋花费了很多业余时间,完成了这样一本对Netty的专业编程指南。相信读者在阅读此书时,在感叹内容之丰富详实的同时,也会深深感受到林锋对所著技术的热爱。我想这就是我们通过书中文字相遇的初衷吧。当我们的技术能够日益精进,达到专业的水准,生产力会成倍甚至指数级地增长。希望读者能够通过阅读此书获取这种精进的力量。
——IBM中国开发实验室开发总监 黄省江
★Netty的优秀之处在于它是一个高性能、异步事件驱动的NIO框架,目前很多知名的开源框架开始将底层的通信框架切换到Netty,如Hadoop、Storm等,Facebook的后台也即将启用这一优秀框架。希望这本书的面市能够对Netty在国内的发展起到推动作用。
——Facebook资深工程师 覃超
★中国很大的阅读类应用——中国移动手机阅读基地,每天承受着5~7.5亿PV的访问量,为了实现业务的弹性,华为Digital SDP产品承接了对其后台进行微服务重构的工作,一个PV背后的后台原子接口访问达到几十乃至上百次,还要保证90%的页面访问在500ms内响应,在这样的压力下,高效的通信机制尤其重要,林锋基于Netty构建的对等通信虚拟总线很好地承载了这一需求。平均通信时延0.71ms,80%以上的通信时延都保持在1ms以下,其余通信时延都低于3ms,在响应速度这一重要指标上不仅满足了客户的要求,而且还带来了系统可伸缩性和弹性上的巨大提升,林锋在本书中阐释的Netty应用上的经验和技巧绝对值得期待。
——华为Digital SDP首席架构师 王慷
★设计开发基于异步编程模型的高性能服务器,除了理解和熟练应用NIO等这些Java层面的基础知识之外,能够驾驭优秀的异步通信框架也是非常重要的,Netty无疑是Java领域值得学习和研究的异步事件驱动的NIO框架。作者有着多年的NIO开发和运维经验,本书浓缩了作者多年实战经验,推荐给对Netty技术感兴趣、想研究的攻城狮阅读!
——蚂蚁金服基础技术部JVM Architect 李三红
★Netty是一个令人惊讶的项目,在短短几年内成为众多Java高并发异步通信的优选框架。但目前国内资料极少并缺乏系统性,而李兄的这本系统介绍Netty开发和原理的书籍,很完美地填补了这个空白。国内的技术人员对Java NIO和Netty的理解多一些,也就意味着国内整体网络编程技术的进步。本书条理清晰,对技术的阐述循序渐进,是一本难得的Netty学习教材,推荐有志青年仔细学习研究本书,共同把NIO异步通信编程推向一个新高度。
——JBoss应用服务器核心开发组成员 张建锋
13.2.1Netty服务端创建时序图
下面我们对Netty服务端创建的关键步骤和原理进行讲解。
步骤1:创建ServerBootstrap实例。ServerBootstrap是Netty服务端的启动辅助类,它提供了一系列的方法用于设置服务端启动相关的参数。底层通过门面模式对各种能力进行抽象和封装,尽量不需要用户跟过多的底层API打交道,降低用户的开发难度。
我们在创建ServerBootstrap实例时,会惊讶地发现ServerBootstrap只有一个无参的构造函数,作为启动辅助类这让人不可思议,因为它需要与多个其他组件或者类交互。ServerBootstrap构造函数没有参数的根本原因是因为它的参数太多了,而且未来也可能会发生变化,为了解决这个问题,就需要引入Builder模式。《Effective Java》第二版第2条建议遇到多个构造器参数时要考虑用构建器,关于多个参数构造函数的缺点和使用构建器的优点大家可以查阅《Effective Java》,在此不再详述。
步骤2:设置并绑定Reactor线程池。Netty的Reactor线程池是EventLoopGroup,它实际就是EventLoop的数组。EventLoop的职责是处理所有注册到本线程多路复用器Selector上的Channel,Selector的轮询操作由绑定的EventLoop线程run方法驱动,在一个循环体内循环执行。值得说明的是,EventLoop的职责不仅仅是处理网络I/O事件,用户自定义的Task和定时任务Task也统一由EventLoop负责处理,这样线程模型就实现了统一。从调度层面看,也不存在在EventLoop线程中再启动其他类型的线程用于异步执行另外的任务,这样就避免了多线程并发操作和锁竞争,提升了I/O线程的处理和调度性能。
步骤3:设置并绑定服务端Channel。作为NIO服务端,需要创建ServerSocketChannel,Netty对原生的NIO类库进行了封装,对应实现是NioServerSocketChannel。对于用户而言,不需要关心服务端Channel的底层实现细节和工作原理,只需要指定具体使用哪种服务端Channel即可。因此,Netty的ServerBootstrap方法提供了channel方法用于指定服务端Channel的类型。Netty通过工厂类,利用反射创建NioServerSocketChannel对象。由于服务端监听端口往往只需要在系统启动时才会调用,因此反射对性能的影响并不大。相关代码如下。
public ServerBootstrap channel(Class channelClass) {
if (channelClass == null) {
throw new NullPointerException("channelClass");
}
return channelFactory(new ServerBootstrapChannelFactory(channelClass));
}
步骤4:链路建立的时候创建并初始化ChannelPipeline。ChannelPipeline并不是NIO服务端必需的,它本质就是一个负责处理网络事件的职责链,负责管理和执行ChannelHandler。网络事件以事件流的形式在ChannelPipeline中流转,由ChannelPipeline根据ChannelHandler的执行策略调度ChannelHandler的执行。典型的网络事件如下。
(1)链路注册;
(2)链路激活;
(3)链路断开;
(4)接收到请求消息;
(5)请求消息接收并处理完毕;
(6)发送应答消息;
(7)链路发生异常;
(8)发生用户自定义事件。
步骤5:初始化ChannelPipeline完成之后,添加并设置ChannelHandler。ChannelHandler是Netty提供给用户定制和扩展的关键接口。利用ChannelHandler用户可以完成大多数的功能定制,例如消息编解码、心跳、安全认证、TSL/SSL认证、流量控制和流量整形等。Netty同时也提供了大量的系统ChannelHandler供用户使用,比较实用的系统ChannelHandler总结如下。
(1)系统编解码框架——ByteToMessageCodec;
(2)通用基于长度的半包解码器——LengthFieldBasedFrameDecoder;
(3)码流日志打印Handler——LoggingHandler;
(4)SSL安全认证Handler——SslHandler;
(5)链路空闲检测Handler——IdleStateHandler;
(6)流量整形Handler——ChannelTrafficShapingHandler;
(7)Base64编解码——Base64Decoder和Base64Encoder。
创建和添加ChannelHandler的代码示例如下。
.childHandler(new ChannelInitializer() {
@Override
public void initChannel(SocketChannel ch)
throws Exception {
ch.pipeline().addLast(
new EchoServerHandler());
}
});
步骤6:绑定并启动监听端口。在绑定监听端口之前系统会做一系列的初始化和检测工作,完成之后,会启动监听端口,并将ServerSocketChannel注册到Selector上监听客户端连接,相关代码如下。
protected void doBind(SocketAddress localAddress) throws Exception {
javaChannel().socket().bind(localAddress, config.getBacklog());
}
步骤7:Selector轮询。由Reactor线程NioEventLoop负责调度和执行Selector轮询操作,选择准备就绪的Channel集合,相关代码如下。
private void select() throws IOException {
Selector selector = this.selector;
try {
//此处代码省略......
int selectedKeys = selector.select(timeoutMillis);
selectCnt ++;
//此处代码省略......
}
步骤8:当轮询到准备就绪的Channel之后,就由Reactor线程NioEventLoop执行ChannelPipeline的相应方法,最终调度并执行ChannelHandler,接口如图13-2所示。
步骤9:执行Netty系统ChannelHandler和用户添加定制的ChannelHandler。ChannelPipeline根据网络事件的类型,调度并执行ChannelHandler,相关代码如下。
public ChannelHandlerContext fireChannelRead(Object msg) {
DefaultChannelHandlerContext next = findContextInbound(MASK_CHANNEL_READ);
next.invoker.invokeChannelRead(next, msg);
return this;
……
2014 年6 月《Netty 权威指南》第1 版面世之后,很多读者通过邮件等方式向我表达了对本书的喜爱和赞誉。同时,对本书的一些瑕疵和不足也进行了指正,并给出了合理的建议。我对读者反馈的合理建议进行了记录和总结,以期在未来修订版或者第2 版中能够修正这些问题。
大约在2014 年11 月份的时候,编辑与我协商出版《Netty 权威指南(第2 版)》的事宜,考虑到如下几个因素,最终我决定推出第2 版:
◎ 第一版需要修正少部分印刷不太清晰的图片,这会改变后续章节的页码;
◎ 源码分析章节的代码希望重新编排一下,与前面的开发示例保持一致;
◎ 部分章节和内容需要优化调整;
◎ 部分读者对推出第2 版的要求。
第2 版的主要变更如下,删除第1 版中的如下章节:
◎ 第7 章:Java 序列化;
◎ 第12 章:UDP 协议开发;
◎ 第13 章:文件传输;
◎ 第22 章:Netty 行业应用。
新增本书中的如下章节:
◎ 第7 章:MessagePack 编解码;
◎ 第13 章:服务端创建;
◎ 第14 章:客户端创建;
◎ 第22 章:高性能之道;
◎ 第23 章:可靠性;
◎ 第24 章:安全性。
第1 版最初的想法是尽量照顾NIO 编程和Netty 初学者,因此入门和基础功能使用示例占了很大比例,涵盖的范围也很广。但事实上,由于Netty 的功能过于庞杂,一本书很难涵盖Netty 的所有功能点,因此,删除了不太常用的Java 序列化、UDP 协议开发和文件传输。
Netty 行业应用的内容很多读者都很期望,希望能够展开详细讲解一下。我思索再三,忍痛割爱,不仅没有加强本章节,反而删除了它。为什么呢?对于真正想了解行业应用的读者,需要展开详细讲解才能够讲透,剖开Netty 在Spark、Hadoop 等大数据领域的应用不谈,即便是作为分布式服务框架的内部高性能通信组件,例如Dubbo,没有大篇幅也很难讲透,与其一笔概括,泛泛而谈,还不如留给其他作者或者未来抽空单独梳理。
掌握Netty 的基础功能使用比较容易,但是理解Netty 底层的架构以及主要架构特性的设计理念却是件困难的事情,它需要长期的行业积累以及对Netty 底层源码的透彻理解。应广大读者的要求,在第2 版中新增了Netty 的高性能、安全性和可靠性的架构剖析,通过这些章节的学习,读者可以更加清晰地理解Netty 架构设计理念。
尽管我本人已经有7 年的NIO 编程和实战经验,在产品中也广泛应用了Netty 和Mina等NIO 框架。但是,受限于个人能力和水平,本书一定还有纰漏和不妥之处,希望广大读者能够批评指正。读者在阅读本书或者实际工作中如果有Netty 相关的疑问,也可以直接联系我,我会尽量回复。我的联系方式如下:
◎ 邮箱:neu_lilinfeng@sina.com
◎ 新浪微博:Nettying
◎ 微信:Nettying。
《Netty 权威指南》第1 版出版之后,很多读者来信咨询自己实际工作和学习中遇到的Netty 问题和案例,有些案例和问题颇具典型性。我将这些案例进行了总结,在微信公众号“Netty 之家”中定期推送,希望广大读者可以关注。
感谢博文视点的小编丁一琼MM 和幕后的美工,正是你们的辛苦工作才保证了本书能够顺利出版;感谢华为IT PaaS 望岳、莫小君和Digital SDP 集成开发部徐皓等领导对我的信任和支持;感谢我的老婆在我编辑第2 版期间赦免了我做饭和刷碗的义务,我得以抽出时间安心写作。
最后感谢《Netty 权威指南》第1 版的读者,你们的理解、鼓励和支持,使我有足够的勇气和动力继续前行。希望大家携起手来共同推动NIO 编程和Netty 在国内的应用和发展。
李林锋
2015 年1 月27 日于南京
第1版前言
大约在2008 年的时候,我参与设计和开发的一个电信系统在月初出账期,总是发生大量的连接超时和读写超时异常,业务的失败率相比于平时高了很多,报表中的很多指标都差强人意。后来经过排查,发现问题主要出现在下游网元的处理性能上,月初的时候BSS 出账,在出账期间BSS 系统运行缓慢,由于双方采用了同步阻塞式的HTTP+XML 进行通信,导致任何一方处理缓慢都会影响对方的处理性能。按照故障隔离的设计原则,对方处理速度慢或者不回应,不应该影响系统的其他功能模块或者协议栈,但是在同步阻塞I/O 通信模型下,这种故障传播和相互影响是不可避免的,很难通过业务层面解决。
受限于当时Tomcat 和Servlet 的同步阻塞I/O 模型,以及在Java 领域异步HTTP 协议栈的技术积累不足,当时我们并没有办法完全解决这个问题,只能通过调整线程池策略和HTTP 超时时间来从业务层面做规避。
2009 年,由于对技术的热爱,我作为业务骨干被领导派去参加一个重点业务平台的研发工作,与两位资深的架构师(其中一位工作20 年,做华为交换机出身)共同参与。这是我第一次全面接触异步I/O 编程和高性能电信级协议栈的开发,眼界大开——异步高性能内部协议栈、异步HTTP、异步SOAP、异步SMPP……所有的协议栈都是异步非阻塞的。后来的性能测试表明:基于Reactor 模型统一调度的长连接和短连接协议栈,无论是性能、可靠性还是可维护性,都可以“秒杀”传统基于BIO 开发的应用服务器和各种协议栈,这种差异本质上是一种代差。
在我从事异步NIO 编程的2009 年,业界还没有成熟的NIO 框架,那个时候Mina 刚刚开始起步,功能和性能都达不到商用标准。最困难的是,国内Java 领域的异步通信还没有流行,整个业界的积累都非常少。那时资料匮乏,能够交流和探讨的圈内人很少,一旦踩住“地雷”,就需要夜以继日地维护。在随后2 年多的时间里,经历了十多次的在通宵、凌晨被一线的运维人员电话吵醒等种种磨难之后,我们自研的NIO 框架才逐渐稳定和成熟。期间,解决的BUG 总计20~30 个。
从2004 年JDK 1.4 首次提供NIO 1.0 类库到现在,已经过去了整整10 年。JSR 51 的设计初衷就是让Java 能够提供非阻塞、具有弹性伸缩能力的异步I/O 类库,从而结束了Java在高性能服务器领域的不利局面。然而,在相当长的一段时间里,Java 的NIO 编程并没有流行起来,究其原因如下。
1.大多数高性能服务器,被C 和C++语言盘踞,由于它们可以直接使用操作系统的
异步I/O 能力,所以对JDK 的NIO 并不关心;
2.移动互联网尚未兴起,基于Java 的大规模分布式系统极少,很多中小型应用服务
对于异步I/O 的诉求不是很强烈;
3.高性能、高可靠性领域,例如银行、证券、电信等,依然以C++为主导,Java 充
当打杂的角色,NIO 暂时没有用武之地;
4.当时主流的J2EE 服务器,几乎全部基于同步阻塞I/O 构建,例如Servlet、Tomcat
等,由于它们应用广泛,如果这些容器不支持NIO,用户很难具备独立构建异步协议栈的
能力;
5.异步NIO 编程门槛比较高,开发和维护一款基于NIO 的协议栈对很多中小型公司
来说像是一场噩梦;
6.业界NIO 框架不成熟,很难商用;
7.国内研发界对NIO 的陌生和认识不足,没有充分重视。
基于上述几种原因,NIO 编程的推广和发展长期滞后。值得欣慰的是,随着大规模分布式系统、大数据和流式计算框架的兴起,基于Java 来构建这些系统已经成为主流,NIO编程和NIO 框架在此期间得到了大规模的商用。在互联网领域,阿里的分布式服务框架Dubbo、RocketMQ,大数据的基础序列化和通信框架Avro,以及很多开源的软件都已经开始使用Netty 来构建高性能、分布式通信能力,Netty 社区的活跃度也名列前茅。根据目前的信息,Netty 已经在如下几个领域得到了大规模的商业应用。
1.互联网领域;
2.电信领域;
3.大数据领域;
4.银行、证券等金融领域;
5.游戏行业;
6.电力等企业市场。
2014 年春节前,我分享了一篇博文《Netty 5.0 架构剖析和源码解读》,短短1 个月下
载量达到了4000 多。很多网友向我咨询NIO 编程技术、NIO 框架如何选择等问题,也有一些圈内朋友和出版社邀请我写一本关于Netty 的技术书籍。作为最流行、表现最优异的NIO 框架,Netty 深受大家喜爱,但是长期以来除了User Guide 之外,国内鲜有Netty 相关的技术书籍供广大NIO 编程爱好者学习和参考。由于Netty 源码的复杂性和NIO 编程本身的技术门槛限制,对于大多数读者而言,通过自己阅读和分析源码来深入掌握Netty 的设计原理和实现细节是件困难的事情。从2011 年开始我系统性地分析和应用了Netty 和Mina,转瞬间已经过去了3 年多。在这3 年的时间里,我们的系统经受了无数严苛的考验,在这个过程中,我对Netty 和Mina 有了更深刻的体验,也积累了丰富的运维和实战经验。我们都是开源框架Netty 的受益者,为了让更多的朋友和同行能够了解NIO 编程,深入学习和掌握Netty 这个NIO 利器,我打算将我的经验和大家分享,同时也结束国内尚无Netty学习教材的尴尬境地。
致谢
如果说个人能够改变自己命运的话,对于程序员来说,唯有通过不断地学习和实践,努力提升自己的技能,才有可能找到更好的机会,充分发挥和体现自己的价值。我希望本书能够为你的成功助一臂之力。
感谢博文视点的策划编辑丁一琼和幕后的美编,正是你们的辛苦工作才保证了本书能够顺利出版;感谢华为Netty 爱好者和关注本书的领导同事们的支持,你们的理解和鼓励为我提供了足够的勇气;感谢我的家人和老婆的支持,写书占用了我几乎所有的业余时间,没有你们的理解和支持,我很难安心写作。
最后感谢Netty 中国社区的朋友,我的微博粉丝和所有喜欢Netty 的朋友们,你们对技术的热情是鼓励我写书的最重要动力,没有你们,就没有本书。希望大家一如既往地喜欢NIO 编程,喜欢Netty,以及相互交流和分享,共同推动整个国内异步高性能通信领域的技术发展。
李林锋
2014 年5 月11 日于南京紫轩阁
老公买的,天天在看书...希望老公加油,宝宝宝宝宝宝宝宝呗呗
评分还没看,应该不错
评分在家里面没有你我也是个好男人的人和我一样在这里吃饭的我在路上
评分东西很好 物流很快 态度很好
评分可以好不错可以哦学生慢慢来男嗯呢接口
评分很不错 还没开始看
评分好书在满减活动时收藏
评分挺好的,送货速度快,物美价廉
评分据说写的还行学习下
本站所有内容均为互联网搜索引擎提供的公开搜索信息,本站不存储任何数据与内容,任何内容与数据均与本站无关,如有需要请联系相关搜索引擎包括但不限于百度,google,bing,sogou 等
© 2025 book.idnshop.cc All Rights Reserved. 静思书屋 版权所有