Dubbo(概述)

dubbo官网：http://dubbo.io/

dubbo github代码：dubbo github代码
当当版dubbox 代码：当当版dubbox 代码
dubbo源码解析：dubbo源码解析

入门

(+) (#)

背景

(#)

随着互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行，亟需一个治理系统确保架构有条不紊的演进。

• 单一应用架构
  • 当网站流量很小时，只需一个应用，将所有功能都部署在一起，以减少部署节点和成本。
  • 此时，用于简化增删改查工作量的 数据访问框架(ORM) 是关键。
• 垂直应用架构
  • 当访问量逐渐增大，单一应用增加机器带来的加速度越来越小，将应用拆成互不相干的几个应用，以提升效率。
  • 此时，用于加速前端页面开发的 Web框架(MVC) 是关键。
• 分布式服务架构
  • 当垂直应用越来越多，应用之间交互不可避免，将核心业务抽取出来，作为独立的服务，逐渐形成稳定的服务中心，使前端应用能更快速的响应多变的市场需求。
  • 此时，用于提高业务复用及整合的 分布式服务框架(RPC) 是关键。
• 流动计算架构
  • 当服务越来越多，容量的评估，小服务资源的浪费等问题逐渐显现，此时需增加一个调度中心基于访问压力实时管理集群容量，提高集群利用率。
  • 此时，用于提高机器利用率的 资源调度和治理中心(SOA) 是关键。

需求

(#)

在大规模服务化之前，应用可能只是通过RMI或Hessian等工具，简单的暴露和引用远程服务，通过配置服务的URL地址进行调用，通过F5等硬件进行负载均衡。

(1) 当服务越来越多时，服务URL配置管理变得非常困难，F5硬件负载均衡器的单点压力也越来越大。

此时需要一个服务注册中心，动态的注册和发现服务，使服务的位置透明。

并通过在消费方获取服务提供方地址列表，实现软负载均衡和Failover，降低对F5硬件负载均衡器的依赖，也能减少部分成本。

(2) 当进一步发展，服务间依赖关系变得错踪复杂，甚至分不清哪个应用要在哪个应用之前启动，架构师都不能完整的描述应用的架构关系。

这时，需要自动画出应用间的依赖关系图，以帮助架构师理清理关系。

(3) 接着，服务的调用量越来越大，服务的容量问题就暴露出来，这个服务需要多少机器支撑？什么时候该加机器？

为了解决这些问题，第一步，要将服务现在每天的调用量，响应时间，都统计出来，作为容量规划的参考指标。

其次，要可以动态调整权重，在线上，将某台机器的权重一直加大，并在加大的过程中记录响应时间的变化，直到响应时间到达阀值，记录此时的访问量，再以此访问量乘以机器数反推总容量。

以上是Dubbo最基本的几个需求，更多服务治理问题参见：

http://code.alibabatech.com/blog/experience_1402/service-governance-process.html

架构

(#)

节点角色说明：

• Provider: 暴露服务的服务提供方。
• Consumer: 调用远程服务的服务消费方。
• Registry: 服务注册与发现的注册中心。
• Monitor: 统计服务的调用次调和调用时间的监控中心。
• Container: 服务运行容器。

调用关系说明：

• 0. 服务容器负责启动，加载，运行服务提供者。
• 1. 服务提供者在启动时，向注册中心注册自己提供的服务。
• 2. 服务消费者在启动时，向注册中心订阅自己所需的服务。
• 3. 注册中心返回服务提供者地址列表给消费者，如果有变更，注册中心将基于长连接推送变更数据给消费者。
• 4. 服务消费者，从提供者地址列表中，基于软负载均衡算法，选一台提供者进行调用，如果调用失败，再选另一台调用。
• 5. 服务消费者和提供者，在内存中累计调用次数和调用时间，定时每分钟发送一次统计数据到监控中心。

(1) 连通性：

• 注册中心负责服务地址的注册与查找，相当于目录服务，服务提供者和消费者只在启动时与注册中心交互，注册中心不转发请求，压力较小
• 监控中心负责统计各服务调用次数，调用时间等，统计先在内存汇总后每分钟一次发送到监控中心服务器，并以报表展示
• 服务提供者向注册中心注册其提供的服务，并汇报调用时间到监控中心，此时间不包含网络开销
• 服务消费者向注册中心获取服务提供者地址列表，并根据负载算法直接调用提供者，同时汇报调用时间到监控中心，此时间包含网络开销
• 注册中心，服务提供者，服务消费者三者之间均为长连接，监控中心除外
• 注册中心通过长连接感知服务提供者的存在，服务提供者宕机，注册中心将立即推送事件通知消费者
• 注册中心和监控中心全部宕机，不影响已运行的提供者和消费者，消费者在本地缓存了提供者列表
• 注册中心和监控中心都是可选的，服务消费者可以直连服务提供者

(2) 健状性：

• 监控中心宕掉不影响使用，只是丢失部分采样数据
• 数据库宕掉后，注册中心仍能通过缓存提供服务列表查询，但不能注册新服务
• 注册中心对等集群，任意一台宕掉后，将自动切换到另一台
• 注册中心全部宕掉后，服务提供者和服务消费者仍能通过本地缓存通讯
• 服务提供者无状态，任意一台宕掉后，不影响使用
• 服务提供者全部宕掉后，服务消费者应用将无法使用，并无限次重连等待服务提供者恢复

(3) 伸缩性：

• 注册中心为对等集群，可动态增加机器部署实例，所有客户端将自动发现新的注册中心
• 服务提供者无状态，可动态增加机器部署实例，注册中心将推送新的服务提供者信息给消费者

(4) 升级性：

• 当服务集群规模进一步扩大，带动IT治理结构进一步升级，需要实现动态部署，进行流动计算，现有分布式服务架构不会带来阻力：

• Deployer: 自动部署服务的本地代理。
• Repository: 仓库用于存储服务应用发布包。
• Scheduler: 调度中心基于访问压力自动增减服务提供者。
• Admin: 统一管理控制台。

用法

(#)

本地服务：(Spring配置)

远程服务：(Spring配置)

在本地服务的基础上，只需做简单配置，即可完成远程化：

• 将上面的local.xml配置拆分成两份，将服务定义部分放在服务提供方remote-provider.xml，将服务引用部分放在服务消费方remote-consumer.xml。
• 并在提供方增加暴露服务配置<dubbo:service>，在消费方增加引用服务配置<dubbo:reference>。

如下：

快速启动

(+) (#)

Dubbo采用全Spring配置方式，透明化接入应用，对应用没有任何API侵入，只需用Spring加载Dubbo的配置即可，Dubbo基于Spring的Schema扩展进行加载。

如果不想使用Spring配置，而希望通过API的方式进行调用（不推荐），请参见：API配置 (+)

服务提供者

(#)

完整安装步骤，请参见：示例提供者安装 (+)

定义服务接口: (该接口需单独打包，在服务提供方和消费方共享)

在服务提供方实现接口：(对服务消费方隐藏实现)

用Spring配置声明暴露服务：

加载Spring配置：

服务消费者

(#)

完整安装步骤，请参见：示例消费者安装 (+)

通过Spring配置引用远程服务：

加载Spring配置，并调用远程服务：(也可以使用IoC注入)

依赖

(+) (#)

必需依赖

• JDK1.5+

理论上Dubbo可以只依赖JDK，不依赖于任何三方库运行，只需配置使用JDK相关实现策略。

缺省依赖

通过mvn dependency:tree > dep.log命令分析，Dubbo缺省依赖以下三方库：

这里所有依赖都是换照Dubbo缺省配置选的，这些缺省值是基于稳定性和性能考虑的。

• log4j.jar和commons-logging.jar日志输出包。
  • 可以直接去掉，dubbo本身的日志会自动切换为JDK的java.util.logging输出。
  • 但如果其它三方库比如spring.jar间接依赖commons-logging，则不能去掉。
• javassist.jar 字节码生成。
  • 如果<dubbo:provider proxy="jdk" />或<dubbo:consumer proxy="jdk" />，以及<dubbo:application compiler="jdk" />，则不需要。
• spring.jar 配置解析。
  • 如果用ServiceConfig和ReferenceConfig的API调用，则不需要。
• netty.jar 网络传输。
  • 如果<dubbo:protocol server="mina"/>或<dubbo:protocol server="grizzly"/>，则换成mina.jar或grizzly.jar。
  • 如果<protocol name="rmi"/>，则不需要。

可选依赖

以下依赖，在主动配置使用相应实现策略时用到，需自行加入依赖。

• mina: 1.1.7
• grizzly: 2.1.4
• httpclient: 4.1.2
• hessian_lite: 3.2.1-fixed
• xstream: 1.4.1
• fastjson: 1.1.8
• zookeeper: 3.3.3
• jedis: 2.0.0
• xmemcached: 1.3.6
• jfreechart: 1.0.13
• hessian: 4.0.7
• jetty: 6.1.26
• hibernate-validator: 4.2.0.Final
• zkclient: 0.1
• curator: 1.1.10
• cxf: 2.6.1
• thrift: 0.8.0

JEE:

• servlet: 2.5
• bsf: 3.1
• validation-api: 1.0.0.GA
• jcache: 0.4

成熟度

(+) (#)

功能成熟度

(#)

策略成熟度

(#)

配置

(+) (#)

Xml配置

(+) (#)

配置项说明 详细配置项，请参见：配置参考手册 (+)

API使用说明 如果不想使用Spring配置，而希望通过API的方式进行调用，请参见：API配置 (+)

配置使用说明 想知道如何使用配置，请参见：快速启动 (+)

示例：

所有标签者支持自定义参数，用于不同扩展点实现的特殊配置。

如：

或：(2.1.0开始支持)

注意声明：xmlns:p="http://www.springframework.org/schema/p"

Configuration Relation:

• <dubbo:service/> 服务配置，用于暴露一个服务，定义服务的元信息，一个服务可以用多个协议暴露，一个服务也可以注册到多个注册中心。
• <dubbo:reference/> 引用配置，用于创建一个远程服务代理，一个引用可以指向多个注册中心。
• <dubbo:protocol/> 协议配置，用于配置提供服务的协议信息，协议由提供方指定，消费方被动接受。
• <dubbo:application/> 应用配置，用于配置当前应用信息，不管该应用是提供者还是消费者。
• <dubbo:module/> 模块配置，用于配置当前模块信息，可选。
• <dubbo:registry/> 注册中心配置，用于配置连接注册中心相关信息。
• <dubbo:monitor/> 监控中心配置，用于配置连接监控中心相关信息，可选。
• <dubbo:provider/> 提供方的缺省值，当ProtocolConfig和ServiceConfig某属性没有配置时，采用此缺省值，可选。
• <dubbo:consumer/> 消费方缺省配置，当ReferenceConfig某属性没有配置时，采用此缺省值，可选。
• <dubbo:method/> 方法配置，用于ServiceConfig和ReferenceConfig指定方法级的配置信息。
• <dubbo:argument/> 用于指定方法参数配置。

Configuration Override:

• 上图中以timeout为例，显示了配置的查找顺序，其它retries, loadbalance, actives等类似。
  • 方法级优先，接口级次之，全局配置再次之。
  • 如果级别一样，则消费方优先，提供方次之。
• 其中，服务提供方配置，通过URL经由注册中心传递给消费方。
• 建议由服务提供方设置超时，因为一个方法需要执行多长时间，服务提供方更清楚，如果一个消费方同时引用多个服务，就不需要关心每个服务的超时设置。
• 理论上ReferenceConfig的非服务标识配置，在ConsumerConfig，ServiceConfig, ProviderConfig均可以缺省配置。

属性配置

(+) (#)

如果公共配置很简单，没有多注册中心，多协议等情况，或者想多个Spring容器想共享配置，可以使用dubbo.properties作为缺省配置。

Dubbo将自动加载classpath根目录下的dubbo.properties，可以通过JVM启动参数：-Ddubbo.properties.file=xxx.properties 改变缺省配置位置。

如果classpath根目录下存在多个dubbo.properties，比如多个jar包中有dubbo.properties，Dubbo会任意加载，并打印Error日志，后续可能改为抛异常。

映射规则：

• 将XML配置的标签名，加属性名，用点分隔，多个属性拆成多行：
  • 比如：dubbo.application.name=foo等价于<dubbo:application name="foo" />
  • 比如：dubbo.registry.address=10.20.153.10:9090等价于<dubbo:registry address="10.20.153.10:9090" />
• 如果XML有多行同名标签配置，可用id号区分，如果没有id号将对所有同名标签生效：
  • 比如：dubbo.protocol.rmi.port=1234等价于<dubbo:protocol id="rmi" name="rmi" port="1099" /> (协议的id没配时，缺省使用协议名作为id)
  • 比如：dubbo.registry.china.address=10.20.153.10:9090等价于<dubbo:registry id="china" address="10.20.153.10:9090" />

典型配置如：

覆盖策略：

• JVM启动-D参数优先，这样可以使用户在部署和启动时进行参数重写，比如在启动时需改变协议的端口。
• XML次之，如果在XML中有配置，则dubbo.properties中的相应配置项无效。
• Properties最后，相当于缺省值，只有XML没有配置时，dubbo.properties的相应配置项才会生效，通常用于共享公共配置，比如应用名。

注解配置

(+) (#)

2.2.1以上版本支持

服务提供方注解：

服务提供方配置：

服务消费方注解：

服务消费方配置：

也可以使用：(等价于前面的：<dubbo:annotation package="com.foo.bar.service" />)

Spring2.5及以后版本支持component-scan，如果用的是Spring2.0及以前版本，需配置： <!-- Spring2.0支持@Service注解配置，但不支持package属性自动加载bean的实例，需人工定义bean的实例。--> <dubbo:annotation/> <beanid="barService"class="com.foo.BarServiceImpl"/>

API配置

(+) (#)

API使用范围 API仅用于OpenAPI, ESB, Test, Mock等系统集成，普通服务提供方或消费方，请采用配置方式使用Dubbo，请参见：Xml配置 (+)

API属性含义参考 API属性与配置项一对一，各属性含义，请参见：配置参考手册 (+)， 比如：ApplicationConfig.setName("xxx") 对应 <dubbo:application name="xxx" />

(1) 服务提供者：

(2) 服务消费者：

(3) 特殊场景

注：下面只列出不同的地方，其它参见上面的写法

(3.1) 方法级设置：

(3.2) 点对点直连：

示例

(+) (#)

想完整的运行起来，请参见：快速启动 (+)，这里只列出各种场景的配置方式

以下示例全部使用基于Spring的Xml配置 (+)作为参考，如果不想使用Spring，而希望通过API的方式进行调用，请参见：API配置 (+)

启动时检查

(+) (#)

Dubbo缺省会在启动时检查依赖的服务是否可用，不可用时会抛出异常，阻止Spring初始化完成，以便上线时，能及早发现问题，默认check=true。

如果你的Spring容器是懒加载的，或者通过API编程延迟引用服务，请关闭check，否则服务临时不可用时，会抛出异常，拿到null引用，如果check=false，总是会返回引用，当服务恢复时，能自动连上。

可以通过check="false"关闭检查，比如，测试时，有些服务不关心，或者出现了循环依赖，必须有一方先启动。

关闭某个服务的启动时检查：(没有提供者时报错)

关闭所有服务的启动时检查：(没有提供者时报错)

关闭注册中心启动时检查：(注册订阅失败时报错)

也可以用dubbo.properties配置：

也可以用-D参数：

注意区别 dubbo.reference.check=false，强制改变所有reference的check值，就算配置中有声明，也会被覆盖。 dubbo.consumer.check=false，是设置check的缺省值，如果配置中有显式的声明，如：<dubbo:reference check="true"/>，不会受影响。 dubbo.registry.check=false，前面两个都是指订阅成功，但提供者列表是否为空是否报错，如果注册订阅失败时，也允许启动，需使用此选项，将在后台定时重试。

引用缺省是延迟初始化的，只有引用被注入到其它Bean，或被getBean()获取，才会初始化。
如果需要饥饿加载，即没有人引用也立即生成动态代理，可以配置：

集群容错

(+) (#)

在集群调用失败时，Dubbo提供了多种容错方案，缺省为failover重试。

各节点关系：

• 这里的Invoker是Provider的一个可调用Service的抽象，Invoker封装了Provider地址及Service接口信息。
• Directory代表多个Invoker，可以把它看成List<Invoker>，但与List不同的是，它的值可能是动态变化的，比如注册中心推送变更。
• Cluster将Directory中的多个Invoker伪装成一个Invoker，对上层透明，伪装过程包含了容错逻辑，调用失败后，重试另一个。
• Router负责从多个Invoker中按路由规则选出子集，比如读写分离，应用隔离等。
• LoadBalance负责从多个Invoker中选出具体的一个用于本次调用，选的过程包含了负载均衡算法，调用失败后，需要重选。

集群容错模式：

可以自行扩展集群容错策略，参见：集群扩展

Failover Cluster

• 失败自动切换，当出现失败，重试其它服务器。(缺省)
• 通常用于读操作，但重试会带来更长延迟。
• 可通过retries="2"来设置重试次数(不含第一次)。

Failfast Cluster

• 快速失败，只发起一次调用，失败立即报错。
• 通常用于非幂等性的写操作，比如新增记录。

Failsafe Cluster

• 失败安全，出现异常时，直接忽略。
• 通常用于写入审计日志等操作。

Failback Cluster

• 失败自动恢复，后台记录失败请求，定时重发。
• 通常用于消息通知操作。

Forking Cluster

• 并行调用多个服务器，只要一个成功即返回。
• 通常用于实时性要求较高的读操作，但需要浪费更多服务资源。
• 可通过forks="2"来设置最大并行数。

Broadcast Cluster

• 广播调用所有提供者，逐个调用，任意一台报错则报错。(2.1.0开始支持)
• 通常用于通知所有提供者更新缓存或日志等本地资源信息。

重试次数配置如：(failover集群模式生效)

或：

或：

集群模式配置如：

或：

负载均衡

(+) (#)

在集群负载均衡时，Dubbo提供了多种均衡策略，缺省为random随机调用。

可以自行扩展负载均衡策略，参见：负载均衡扩展

Random LoadBalance

• 随机，按权重设置随机概率。
• 在一个截面上碰撞的概率高，但调用量越大分布越均匀，而且按概率使用权重后也比较均匀，有利于动态调整提供者权重。

RoundRobin LoadBalance

• 轮循，按公约后的权重设置轮循比率。
• 存在慢的提供者累积请求问题，比如：第二台机器很慢，但没挂，当请求调到第二台时就卡在那，久而久之，所有请求都卡在调到第二台上。

LeastActive LoadBalance

• 最少活跃调用数，相同活跃数的随机，活跃数指调用前后计数差。
• 使慢的提供者收到更少请求，因为越慢的提供者的调用前后计数差会越大。

ConsistentHash LoadBalance

• 一致性Hash，相同参数的请求总是发到同一提供者。
• 当某一台提供者挂时，原本发往该提供者的请求，基于虚拟节点，平摊到其它提供者，不会引起剧烈变动。
• 算法参见：http://en.wikipedia.org/wiki/Consistent_hashing。
• 缺省只对第一个参数Hash，如果要修改，请配置<dubbo:parameter key="hash.arguments" value="0,1" />
• 缺省用160份虚拟节点，如果要修改，请配置<dubbo:parameter key="hash.nodes" value="320" />

配置如：

或：

或：

或：

线程模型

(+) (#)

事件处理线程说明 如果事件处理的逻辑能迅速完成，并且不会发起新的IO请求，比如只是在内存中记个标识，则直接在IO线程上处理更快，因为减少了线程池调度。 但如果事件处理逻辑较慢，或者需要发起新的IO请求，比如需要查询数据库，则必须派发到线程池，否则IO线程阻塞，将导致不能接收其它请求。 如果用IO线程处理事件，又在事件处理过程中发起新的IO请求，比如在连接事件中发起登录请求，会报“可能引发死锁”异常，但不会真死锁。

• Dispatcher
  • all 所有消息都派发到线程池，包括请求，响应，连接事件，断开事件，心跳等。
  • direct 所有消息都不派发到线程池，全部在IO线程上直接执行。
  • message 只有请求响应消息派发到线程池，其它连接断开事件，心跳等消息，直接在IO线程上执行。
  • execution 只请求消息派发到线程池，不含响应，响应和其它连接断开事件，心跳等消息，直接在IO线程上执行。
  • connection 在IO线程上，将连接断开事件放入队列，有序逐个执行，其它消息派发到线程池。

• ThreadPool
  • fixed 固定大小线程池，启动时建立线程，不关闭，一直持有。(缺省)
  • cached 缓存线程池，空闲一分钟自动删除，需要时重建。
  • limited 可伸缩线程池，但池中的线程数只会增长不会收缩。(为避免收缩时突然来了大流量引起的性能问题)。

配置如：

直连提供者

(+) (#)

在开发及测试环境下，经常需要绕过注册中心，只测试指定服务提供者，这时候可能需要点对点直连，
点对点直联方式，将以服务接口为单位，忽略注册中心的提供者列表，
A接口配置点对点，不影响B接口从注册中心获取列表。

(1) 如果是线上需求需要点对点，可在<dubbo:reference>中配置url指向提供者，将绕过注册中心，多个地址用分号隔开，配置如下：(1.0.6及以上版本支持)

(2) 在JVM启动参数中加入-D参数映射服务地址，如：
(key为服务名，value为服务提供者url，此配置优先级最高，1.0.15及以上版本支持)

注意 为了避免复杂化线上环境，不要在线上使用这个功能，只应在测试阶段使用。

(3) 如果服务比较多，也可以用文件映射，如：
(用-Ddubbo.resolve.file指定映射文件路径，此配置优先级高于<dubbo:reference>中的配置，1.0.15及以上版本支持)
(2.0以上版本自动加载${user.home}/dubbo-resolve.properties文件，不需要配置)

然后在映射文件xxx.properties中加入：
(key为服务名，value为服务提供者url)

注意 为了避免复杂化线上环境，不要在线上使用这个功能，只应在测试阶段使用。

只订阅

(+) (#)

问题 为方便开发测试，经常会在线下共用一个所有服务可用的注册中心，这时，如果一个正在开发中的服务提供者注册，可能会影响消费者不能正常运行。

解决方案 可以让服务提供者开发方，只订阅服务(开发的服务可能依赖其它服务)，而不注册正在开发的服务，通过直连测试正在开发的服务。

禁用注册配置：

或者：