2014年05月10日

Docker之容器连接实现


本文主要分析同一主机上docker容器连接实现的方式。

背景

本文中涉及的源码、测试环境都是基于docker 0.10.0版本系统。

问题提出

  1. 启动一个运行redis-server的docker容器
  2. 启动一个运行redis-cli的docker容器访问容器中的redis-server

父子容器

docker启动命令中允许使用--link参数来连接一个已有容器,这里涉及到容器的父子关系,被连接的容器为子容器,主动连接其他容器的容器为父容器。

服务容器

sudo docker run -d --name redis crosbymichael/redis

启动时使用--name参数为服务容器起一个名字。不会引起iptabels规则配置的改变。

客户容器

sudo docker run -t -i --link redis:db ubuntu bash

--link redis:db表示连接一个名叫redis的容器,为其起个别名为db。

环境变量

HOSTNAME=68ebe22db941
DB_NAME=/suspicious_fermat/db
DB_PORT_6379_TCP_PORT=6379
TERM=xterm
DB_PORT=tcp://172.17.0.2:6379
DB_PORT_6379_TCP=tcp://172.17.0.2:6379
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
PWD=/
DB_PORT_6379_TCP_ADDR=172.17.0.2
DB_PORT_6379_TCP_PROTO=tcp
SHLVL=1
HOME=/
_=/usr/bin/env

可以看到客户容器的环境变量中有一系列的DB开头的变量,这就是由于--link redis:db导致的。可以通过下面的docker源码来了解这些变量是如何来的。

docker/links/links.go

func (l *Link) ToEnv() []string {
    env := []string{}
    alias := strings.ToUpper(l.Alias())

    if p := l.getDefaultPort(); p != nil {
        env = append(env, fmt.Sprintf("%s_PORT=%s://%s:%s", alias, p.Proto(), l.ChildIP, p.Port()))
    }

    // Load exposed ports into the environment
    for _, p := range l.Ports {
        env = append(env, fmt.Sprintf("%s_PORT_%s_%s=%s://%s:%s", alias, p.Port(), strings.ToUpper(p.Proto()), p.Proto(), l.ChildIP, p.Port()))
        env = append(env, fmt.Sprintf("%s_PORT_%s_%s_ADDR=%s", alias, p.Port(), strings.ToUpper(p.Proto()), l.ChildIP))
        env = append(env, fmt.Sprintf("%s_PORT_%s_%s_PORT=%s", alias, p.Port(), strings.ToUpper(p.Proto()), p.Port()))
        env = append(env, fmt.Sprintf("%s_PORT_%s_%s_PROTO=%s", alias, p.Port(), strings.ToUpper(p.Proto()), p.Proto()))
    }

    // Load the linked container's name into the environment
    env = append(env, fmt.Sprintf("%s_NAME=%s", alias, l.Name))

    if l.ChildEnvironment != nil {
        for _, v := range l.ChildEnvironment {
            parts := strings.Split(v, "=")
            if len(parts) != 2 {
                continue
            }
            // Ignore a few variables that are added during docker build (and not really relevant to linked containers)
            if parts[0] == "HOME" || parts[0] == "PATH" {
                continue
            }
            env = append(env, fmt.Sprintf("%s_ENV_%s=%s", alias, parts[0], parts[1]))
        }
    }
    return env
}

可以看到别名会影响到环境变量的命名。

iptables规则

paas@ubuntu:~$ sudo iptables -S
-P INPUT ACCEPT
-P FORWARD ACCEPT
-P OUTPUT ACCEPT
-A FORWARD -s 172.17.0.2/32 -d 172.17.0.3/32 -i docker0 -o docker0 -p tcp -m tcp --sport 6379 -j ACCEPT
-A FORWARD -s 172.17.0.3/32 -d 172.17.0.2/32 -i docker0 -o docker0 -p tcp -m tcp --dport 6379 -j ACCEPT
-A FORWARD -o docker0 -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT
-A FORWARD -i docker0 ! -o docker0 -j ACCEPT
-A FORWARD -i docker0 -o docker0 -j ACCEPT

其中以下规则是由于--link redis:db导致的。

-A FORWARD -s 172.17.0.2/32 -d 172.17.0.3/32 -i docker0 -o docker0 -p tcp -m tcp --sport 6379 -j ACCEPT
-A FORWARD -s 172.17.0.3/32 -d 172.17.0.2/32 -i docker0 -o docker0 -p tcp -m tcp --dport 6379 -j ACCEPT

可以通过下面的docker源码来了解这些规则是如何来的。

docker/runtime/networkdriver/bridge/driver.go

func LinkContainers(job *engine.Job) engine.Status {
    var (
        action       = job.Args[0]
        childIP      = job.Getenv("ChildIP")
        parentIP     = job.Getenv("ParentIP")
        ignoreErrors = job.GetenvBool("IgnoreErrors")
        ports        = job.GetenvList("Ports")
    )
    split := func(p string) (string, string) {
        parts := strings.Split(p, "/")
        return parts[0], parts[1]
    }

    for _, p := range ports {
        port, proto := split(p)
        if output, err := iptables.Raw(action, "FORWARD",
            "-i", bridgeIface, "-o", bridgeIface,
            "-p", proto,
            "-s", parentIP,
            "--dport", port,
            "-d", childIP,
            "-j", "ACCEPT"); !ignoreErrors && err != nil {
            return job.Error(err)
        } else if len(output) != 0 {
            return job.Errorf("Error toggle iptables forward: %s", output)
        }

        if output, err := iptables.Raw(action, "FORWARD",
            "-i", bridgeIface, "-o", bridgeIface,
            "-p", proto,
            "-s", childIP,
            "--sport", port,
            "-d", parentIP,
            "-j", "ACCEPT"); !ignoreErrors && err != nil {
            return job.Error(err)
        } else if len(output) != 0 {
            return job.Errorf("Error toggle iptables forward: %s", output)
        }
    }
    return engine.StatusOK
}

其他

官方文档