使用Dockerfile创建一个JupyterLab镜像

使用Dockerfile创建一个JupyterLab镜像

Dockerfile中的一些常用命令

FROM指令

FROM指令是整个Dockerfile的入口,必须是第一条指令。其代表新制作镜像的基础镜像。基础镜像可以自己制作,也可以从开源的仓库pull,例如dockerhub或是国内阿里云的免费仓库。

Docker中存在一种特殊的情况,就是不以任何基础镜像为基准,此时可以第一句话使用:

1
FROM scratch

来表示以空白镜像为基础,也就是直接将可执行文件复制进镜像。例如swarm、coreos/etcd等。

RUN指令

Dockerfile中最常用的指令之一。用来执行命令行上的命令。RUN的格式分为两种:

第一种:shell格式:RUN<命令>,类似于直接在终端输入命令。例如:

1
RUN echo '<h1>Hello, Docker!</h1>' > /usr/share/tomcat/welcome.html

第二种: exec格式:RUN ["可执行文件", "参数1", "参数2"]RUN既然可以像在命令行那样工作,那么就也可以实现传参来运行指令:

1
2
3
4
5
6
7
8
9
FROM ubuntu:14.04

RUN apt-get update
RUN apt-get install -y gcc libc6-dev make
RUN wget -O redis.tar.gz "http://download.redis.io/releases/redis-3.2.5.tar.gz"
RUN mkdir -p /usr/src/redis
RUN tar -xzf redis.tar.gz -C /usr/src/redis --strip-components=1
RUN make -C /usr/src/redis
RUN make -C /usr/src/redis install

RUN一次就代表Dockerfile中的一层。而docker镜像的构建就是不断去完善每一层需要做的事情。而dockerfile对一个file中层数是有限制的,最大不超过127层( $ 2^7-1 $ )。因此,RUN提供命令的串联功能,也就是允许每一层可包含多种操作,他们会按照书写顺序来依次执行。下面的例子也是在Linux中一条命令执行多条指令的方式。
那么上面的例子可以变为:

1
2
3
4
5
6
7
8
9
10
11
12
13
FROM ubuntu:14.04
RUN buildDeps='gcc libc6-dev make' \
&& apt-get update \
&& apt-get install -y $buildDeps \
&& wget -O redis.tar.gz "http://download.redis.io/releases/redis-3.2.5.tar.gz" \
&& mkdir -p /usr/src/redis \
&& tar -xzf redis.tar.gz -C /usr/src/redis --strip-components=1 \
&& make -C /usr/src/redis \
&& make -C /usr/src/redis install \
&& rm -rf /var/lib/apt/lists/* \
&& rm redis.tar.gz \
&& rm -r /usr/src/redis \
&& apt-get purge -y --auto-remove $buildDeps

换行用 \ ,注释用 # ,平时书写注意缩进来保证文件的可读性。上述例子中的最后一句还进行了无关文件的清理,进一步保证每一层的最优和最小。

注意事项:
镜像的初衷是进行功能的模块化,也是尽可能让每个容器干最少的事情,那么我们在书写dockerfile的时候要注意这个问题,每一层的东西确保是必须的,否则就不要进行安装或是拷贝。

MAINTAINER指令

指定作者,句法:

1
MAINTAINER <name>

LABEL指令

该指令是为镜像添加标签。
句法:

1
LABEL <key>=<value> <key>=<value> <key>=<value> ...

一个Dockerfile种可以有多个LABEL,例如,一般情况下,latest标签一般都会有一个别名。如下:

1
2
3
LABEL multi.label1="value1" \
multi.label2="value2" \
other="value3"

说明:LABEL会继承基础镜像种的LABEL,如遇到key相同,则值覆盖

COPY指令

该指令用于将宿主机文件拷贝至镜像内的指定路径。格式:

1
2
3
COPY <源路径>... <目标路径>
# 或
COPY ["<源路径1>",... "<目标路径>"]

也就是说,原路径可以有多个,而目标路径唯一。注意事项:

  1. 可以使用符合GO规范的通配符,例如:COPY hom* /mydir/
  2. 目的路径可以是镜像内的绝对路径,也可以是相对于当前工作目录的相对路径。
  3. COPY过来的文件权限与原始权限相同。如需更改,请用传统Liunxchmod命令进行修改即可。
  4. 原路径为宿主机上的路径,目标路径为镜像内的路径。

ADD高级复制指令

ADD的本质作用类似于COPY,但是其更复杂:

  1. ADD过来的压缩包可以自动在目标路径下进行解压
    1. 原始路径可以是一个连接,ADD过程会尝试从该链接下载所需的文件到目的路径。
    2. 一般情况下,建议使用COPY而不是ADD,因为COPY过来的文件可以配合使用RUN来进行解压或是其他操作,搭配使用更灵活,且单条语句所负担的功能唯一。

WORKDIR指令

该指令用于指定Dockerfile中该指令下面的操作所在的工作目录。类似于 cd 命令。

CMD 服务启动指令

Docker不是虚拟机而是一个进程,作为进程,当然可以制定启动镜像时的具体参数。说白了就是制定一些你想自动启动的服务。格式:

1
2
3
shell 格式:CMD <命令>
exec 格式:CMD ["可执行文件", "参数1", "参数2"...]
参数列表格式:CMD ["参数1", "参数2"...]。在指定了 ENTRYPOINT 指令后,用 CMD 指定具体的参数。

注意事项:

  1. CMD中的启动参数可以被更新覆盖。例如:

    Dockerfile中若是用CMD指定启动镜像时执行/bin/bash,那么在启动镜像时输入docker run -it ubuntu ./test.sh 则会用./test.sh命令来覆盖/bin/bash命令。

  2. 推荐使用exec格式的CMD书写。这类格式在解析时会被解析为 JSON 数组,因此一定要使用双引号 “,而不要使用单引号。

  3. 如果使用 shell 格式的话,实际的命令会被包装为 sh -c 的参数的形式进行执行。比如:CMD echo /java
    在实际执行中,会将其变更为:

    CMD [ "sh", "-c", "echo /java" ]

ENV设置环境变量

说是环境变量还不说是一个全局变量。在前面定义,后面可以通过 $ 取值进行使用。该处的环境变量最终会设置到系统中共,如果配置了环境变量,将会永久存在于镜像中,如果后期创建实例,登录后,可以使用export等命令查看。格式:

1
2
ENV <key> <value>
ENV <key1>=<value1> <key2>=<value2>...

例如可以指定一些包的版本号,这样更新镜像很方便,或是保存一些密码(该功能慎用,自己玩还是可以的)

ARG 构建参数

语法形式: ARG [=]ARGENV效果类似,都是用来设置环境变量的。唯一 不同的是dockerfile中的ARG编译好后是不会出现在打开的容器内的。

ARGdockerfile中创建一个全局参数,参数可以给定一个默认值,在编译时可以传参对其进行覆盖。如果ARG指令有默认值并且在构建期间没有接收到参数、则使用默认值。一个dockerfile中可以包含多个ARG参数。

1
docker build --build-arg <varname>=<value>

可以使用ARGENV指令来指定RUN指令可用的变量,如果ARGENV同时指定了一个相同名称的变量、则ENV设置的变量会覆盖ARG设置的变量。如下:

1
2
3
4
1 FROM ubuntu
2 ARG CONT_IMG_VER
3 ENV CONT_IMG_VER v1.0.0
4 RUN echo $CONT_IMG_VER

使用 docker build --build-arg CONT_IMG_VER=v2.0.1 . 最终输出v1.0.0 。

一个ARG指令的有效范围在其定义的构建阶段内、如果要在多个阶段中都有效、则必须在每个阶段都使用ARG指令;与ARG不同 ENV设置参数的有效期为整个构建期内。

VOLUME 挂在共享卷

格式为:

1
2
VOLUME ["<路径1>", "<路径2>"...]
VOLUME <路径>

Docker的使用原则除了每个容器干尽量少的事情外,还尽可能要求容器运行时应该尽量保持容器存储层不发生写操作,对于数据库类需要保存动态数据的应用,其数据库文件应该保存于卷(volume)中,也就是将本地磁盘的某一个目录挂载至容器内。同时这样的共享目录可以被多个不同的容器所使用。

除了可以在dockerfile中指定这一参数外,在运行启动容器时也可以附带这一参数来指定共享卷:

1
docker run -it --name container-test -h CONTAINER -v /data debian /bin/bash

上述命令也可以覆盖dockerfile中的目录设定。

USER 指定用户

在书写dockerfile时,某些层的操作若想切换用户名,可以使用该参数指定某些层的用户,并且是存在的用户名。
格式:USER <用户名>

如果以 root 执行的脚本,在执行期间希望改变身份,比如希望以某个已经建立好的用户来运行某个服务进程,不要使用 su 或者 sudo,这些都需要比较麻烦的配置,而且在 TTY 缺失的环境下经常出错。建议使用 gosu

1
2
3
4
5
6
7
8
# 建立 redis 用户,并使用 gosu 换另一个用户执行命令
RUN groupadd -r redis && useradd -r -g redis redis
# 下载 gosu
RUN wget -O /usr/local/bin/gosu "https://github.com/tianon/gosu/releases/download/1.7/gosu-amd64" \
&& chmod +x /usr/local/bin/gosu \
&& gosu nobody true
# 设置 CMD,并以另外的用户执行
CMD [ "exec", "gosu", "redis", "redis-server" ]

EXPOSE暴露端口

句法:

1
EXPOSE <端口1> [<端口2>...]

EXPOSE 指令是声明运行时容器提供服务端口,这只是一个声明,在运行时并不会因为这个声明应用就会开启这个端口的服务。在 Dockerfile 中写入这样的声明有两个好处,一个是帮助镜像使用者理解这个镜像服务的守护端口,以方便配置映射;另一个用处则是在运行时使用随机端口映射时,也就是 docker run -P 时,会自动随机映射 EXPOSE 的端口。

要将 EXPOSE 和在运行时使用 -p <宿主端口>:<容器端口> 区分开来。-p,是映射宿主端口和容器端口,换句话说,就是将容器的对应端口服务公开给外界访问,而 EXPOSE 仅仅是声明容器打算使用什么端口而已,并不会自动在宿主进行端口映射。

构建一个Dockerfile

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
# 改镜像是从Python3.7镜像创建而来的
FROM python:3.7

WORKDIR /root/
ENV NODE_VERSION=v13.7.0
# 创建一些必要的目录
RUN mkdir -p /root/.pip \
&& mkdir -p /root/.nvm \
&& mkdir -p /root/notebook \
&& mkdir -p /root/extensions
# 修改pypi镜像,并且安装jupyter
RUN echo "[global]" > /root/.pip/pip.conf \
&& echo "index-url = http://mirrors.aliyun.com/pypi/simple/" >> /root/.pip/pip.conf \
&& echo "trusted-host = mirrors.aliyun.com" >> /root/.pip/pip.conf \
&& /usr/local/bin/pip install jupyter jupyterlab jupyterlab_code_formatter
# 安装NodeJS,版本为NODE_VERSION配置的版本
RUN wget https://npm.taobao.org/mirrors/node/$NODE_VERSION/node-$NODE_VERSION-linux-x64.tar.gz \
&& tar zxf node-$NODE_VERSION-linux-x64.tar.gz \
&& mv node-v13.7.0-linux-x64 /usr/local/share/node \
&& ln -s /usr/local/share/node/bin/node /usr/bin/ \
&& ln -s /usr/local/share/node/bin/npm /usr/bin/ \
&& ln -s /usr/local/share/node/bin/npx /usr/bin/ \
&& rm -rf /root/node-$NODE_VERSION-linux-x64.tar.gz
# 安装变量查看插件
RUN git clone https://github.com/lckr/jupyterlab-variableInspector /root/extensions/jupyterlab-variableInspector \
&& cd /root/extensions/jupyterlab-variableInspector \
&& npm install --registry=https://registry.npm.taobao.org \
&& npm run build \
&& /usr/local/bin/jupyter labextension install .
# 安装代码自动格式化插件
RUN /usr/local/bin/jupyter labextension install @ryantam626/jupyterlab_code_formatter \
&& /usr/local/bin/jupyter serverextension enable --py jupyterlab_code_formatter

# 暴露出两个Volume,一个是工作路径,一个是配置路径。
VOLUME [ "/root/notebook", '/root/.jupyter' ]

# 默认暴露8888端口
EXPOSE 8888
# 镜像启动后,启动JupyterLab服务。
CMD ["/usr/local/bin/jupyter", "lab"]

构建镜像

1
docker build -t [name[:tag]] [-f PathOfDockerfile] .

评论

Agile Angularjs Animation Application Artificial Intelligence BP Babel Bokeh Book C4.5 CART CD CLI CSS CentOS Cinder Clipboardjs Concept Continuous Delivery DeepLearning Department DevOps Develop Development Directive Distribution Django Document ES5 ES6 Echarts Engine Entropy Filter Front End Gallery Git Gradient descent Hexo Horizon ID3 ID3.5 Icarus JavaScript Javascript KVM LaTeX LeetCode LibreOffice Linux MNIST Machine Learning Matrix MiddleWare Module Native Network Nginx NodeJS OOP OpenSSH OpenStack OpenStackApi Operations Oprations PDF PLA Pipline Probability Python React Relational algebra Restful Route SVD SVM Scalar Sigmoid Team Tempest Tensor TensorFlow Testing Time TimeMachine Tips Vector Vmware Vue Vuex WSGI Web Word Cut aliyun auth babel certbot decision tree docker dockerfile eject git homebrew jupyter jwt keystone lab loader mathematics migrate openstack outline pdf2html pm2 python replace singular value decomposition stylus vue-router vue-ssr webpack 事件 事件代理 事件冒泡 事件捕获 低通滤波器 入门 全局变量 全局对象 全栈 公式 决策树 函数 分类器 剪枝 加速 匹配滤波边缘检测 卷积 卷积核 原型链 双向绑定 反向传播 发布 变量类型 基尼指数 官方示例 对偶形式 对象 平移和查分边缘检测 思维导图 感知机模型 拉格朗日乘子法 推导 提交阶段 数据绑定 最大似然估计 最小二乘估计 最小二乘回归树 最小二乘法 本地 朴素贝叶斯 朴素贝叶斯算法 机器学习 条件概率 梯度下降 梯度方向边缘检测 概念 概率 正则 求导 流程 源码 源码阅读 生命周期 矩阵 神经网络 私有对象 算法 算法实现 线性回归 联合概率 脚手架 识别 调试 贝叶斯 贝叶斯判定准则 边缘检测 边际概率 闭包 间隔 高斯分布 高通滤波器
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×