docker容器下配置jupyter notebook的操作

docker容器下配置jupyter notebook，主要是為了編寫(xiě)python代碼，更具體點(diǎn)是做深度學(xué)習的開(kāi)發(fā)。

jupyter web形式最高效的使用方式就是部署在云上，不管是cpu云服務(wù)器還是gpu的云服務(wù)器，都能快速啟動(dòng)使用。

而docker的出現又方便了很多在部署使用上。

- 安裝 docker

docker分為docker CE和docker EE，一般使用docker CE（社區版本）。

docker可以在Linux（ubuntu、centos）、MacOS、Windows或者樹(shù)莓派上安裝。一般主要在linux下使用，我個(gè)人喜歡ubuntu系統。所以介紹在ubutnu下安裝docker。

首先移除本機上可能存在的舊版本：

$sudo apt-get remove docker docker-engine docker.io

安裝可選內核模塊

減少內核軟件包的安裝體積，從 Ubuntu 14.04 開(kāi)始，一部分內核模塊移到了可選內核模塊包 (linux-image-extra-*)。正常安裝的系統應該會(huì )包含可選內核模塊包，而一些裁剪后的系統可能會(huì )將其精簡(jiǎn)掉。AUFS 內核驅動(dòng)屬于可選內核模塊的一部分，作為推薦的 Docker 存儲層驅動(dòng)，一般建議安裝可選內核模塊包以使用 AUFS。

$sudo apt-get update
$ sudo apt-get install linux-image-extra-$(uname -r) linux-image-extra-virtual

ubuntu 16.04 以上的系統版本上的 docker CE 默認使用 overlay2 存儲層驅動(dòng),無(wú)需手動(dòng)配置。

ssl/' target='_blank'>證書(shū)及密鑰準備

由于 apt 源使用 HTTPS 以確保軟件下載過(guò)程中不被篡改。因此，我們首先需要添加使用 HTTPS 傳輸的軟件包以及 CA 證書(shū)。

$ sudo apt-get update
$ sudo apt-get install apt-transport-https ca-certificates curl software-properties-common

鑒于國內網(wǎng)絡(luò )問(wèn)題，強烈建議使用國內源，官方源請在注釋中查看。

$ curl -fsSL https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
# 官方源
# $ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

最后添加Docker軟件源：

$ sudo add-apt-repository \
 "deb [arch=amd64] https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu \
 $(lsb_release -cs) \
 stable"
# 官方源
# $ sudo add-apt-repository \
# "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
# $(lsb_release -cs) \
# stable"

以上命令會(huì )添加穩定版本的 Docker CE APT 鏡像源，如果需要測試或每日構建版本的 Docker CE 請將 stable 改為 test 或者 nightly。

安裝 Docker CE

$ sudo apt-get update
$ sudo apt-get install docker-ce

啟動(dòng) Docker CE

$ sudo systemctl enable docker
$ sudo systemctl start docker

Ubuntu 14.04 請使用以下命令啟動(dòng)：

$ sudo service docker start

建立 docker 用戶(hù)組

出于安全考慮，一般 Linux 系統上不會(huì )直接使用 root 用戶(hù)。因此，更好地做法是將需要使用 docker 的用戶(hù)加入 docker 用戶(hù)組。

$ sudo groupadd docker
$ sudo usermod -aG docker $USER

測試 Docker 是否安裝正確

$ docker run hello-world

拉取hello-world鏡像進(jìn)行測試，

Unable to find image 'hello-world:latest' locally
latest: Pulling from library/hello-world
d1725b59e92d: Pull complete
Digest: sha256:0add3ace90ecb4adbf7777e9aacf18357296e799f81cabc9fde470971e499788
Status: Downloaded newer image for hello-world:latest

Hello from Docker!
This message shows that your installation appears to be working correctly.

To generate this message, Docker took the following steps:
 1. The Docker client contacted the Docker daemon.
 2. The Docker daemon pulled the "hello-world" image from the Docker Hub.
 (amd64)
 3. The Docker daemon created a new container from that image which runs the
 executable that produces the output you are currently reading.
 4. The Docker daemon streamed that output to the Docker client, which sent it
 to your terminal.

To try something more ambitious, you can run an Ubuntu container with:
 $ docker run -it ubuntu bash

Share images, automate workflows, and more with a free Docker ID:
 https://hub.docker.com/

For more examples and ideas, visit:
 https://docs.docker.com/get-started/

若能正常輸出以上信息，則說(shuō)明安裝成功。

鏡像加速器

國內從 Docker Hub 拉取鏡像有時(shí)會(huì )遇到困難，此時(shí)可以配置鏡像加速器。Docker 官方和國內很多云服務(wù)商都提供了國內加速器服務(wù)如阿里云、七牛云等。

ubuntu 14.04系統：

編輯 /etc/default/docker 在其中的 DOCKER_OPTS 中配置加速器地址：

DOCKER_OPTS="--registry-mirror=https://registry.docker-cn.com"

然后重新啟動(dòng)服務(wù)：

$ sudo service docker restart

ubuntu 16.04+系統：

請在 /etc/docker/daemon.json 中寫(xiě)入如下內容（如果文件不存在請新建該文件）:

{
 "registry-mirrors": [
 "https://registry.docker-cn.com"
 ]
}

之后重新啟動(dòng)服務(wù):

$ sudo systemctl daemon-reload
$ sudo systemctl restart docker

檢查加速器是否生效

命令行執行 docker info，如果從結果中看到了如下內容，說(shuō)明配置成功。

Registry Mirrors:
 https://registry.docker-cn.com/

- 常見(jiàn)docker命令

首先在使用docker命令之前需要區分鏡像和容器的概念。

同一個(gè)鏡像啟動(dòng)多個(gè)Docker容器，這些容器啟動(dòng)后都是活動(dòng)的，彼此還是相互隔離的，在某個(gè)容器上進(jìn)行操作后想保留現有系統環(huán)境的下需要進(jìn)行提交保存。

啟動(dòng)命令：docker run

例如，下面的命令輸出一個(gè) “Hello World”，之后終止容器。

$ docker run ubuntu:18.04 /bin/echo 'Hello world'
Hello world

這跟在本地直接執行 /bin/echo ‘hello world' 幾乎感覺(jué)不出任何區別。

下面的命令則啟動(dòng)一個(gè) bash 終端，允許用戶(hù)進(jìn)行交互。

$ docker run -it ubuntu:16.04 /bin/bash
root@af8bae53bdd3:/#

其中-i 則讓容器的標準輸入保持打開(kāi)，-t 選項讓Docker分配一個(gè)偽終端（pseudo-tty）并綁定到容器的標準輸入。

容器的狀態(tài)主要有：

created：已經(jīng)被創(chuàng )建 （使用 docker ps -a 命令可以列出）但是還沒(méi)有被啟動(dòng) （使用 docker ps 命令還無(wú)法列出）

running：運行中

paused：容器的進(jìn)程被暫停了

restarting：容器的進(jìn)程正在重啟過(guò)程中

exited：上圖中的 stopped 狀態(tài)，表示容器之前運行過(guò)但是現在處于停止狀態(tài)（要區別于 created 狀態(tài)，它是指一個(gè)新創(chuàng )出的尚未運行過(guò)的容器）?？梢酝ㄟ^(guò) start 命令使其重新進(jìn)入 running 狀態(tài)

destroyed：容器被刪除了，再也不存在了

查看當前系統拉取的鏡像：

$docker images

查看當前系統下所有啟動(dòng)(Up狀態(tài))的容器

$docker container ls

或者

$docker ps

查看當前系統下所有容器

$ docker container ls -a

或者

$docker ps -a

終止某個(gè)容器：

$ docker container stop (id or name)

或者通過(guò)exit命令或 Ctrl+d 來(lái)退出終端，來(lái)停止容器。

進(jìn)入容器：

$docker attach (id or name)

或者

$docker exec (id or name)

$docker attach從這個(gè) stdin 中 exit，會(huì )導致容器的停止.

$docker exec從這個(gè) stdin 中 exit，不會(huì )導致容器的停止.

推薦使用$docker exec

刪除容器：$docker container rm (id or name)

清理所有處于終止狀態(tài)的容器$ docker container prune

- 安裝jupyter

首先進(jìn)入容器：

$docker run -i -t ubuntu:16.04 /bin/bash

這個(gè)過(guò)程基本和在ubuntu系統上安裝jupyter的過(guò)程是一樣的，但容器中的ubuntu是個(gè)最簡(jiǎn)環(huán)境，沒(méi)有安裝python-dev包。

#更新apt-get環(huán)境
apt-get update

#安裝python dev包
apt-get install python-dev

#安裝jupyter
pip install jupyter

jupyter 默認只能通過(guò)本地地址訪(fǎng)問(wèn)，要放開(kāi)配置，允許jupyter遠程訪(fǎng)問(wèn)。在放開(kāi)遠程訪(fǎng)問(wèn)時(shí)，需要設置密碼，jupyter的配置文件只支持加密后的密文密碼。

#生成jupyter配置文件，這個(gè)會(huì )生成配置文件.jupyter/jupyter_notebook_config.py
jupyter notebook --generate-config

#使用ipython生成密碼
In [1]: from notebook.auth import passwd
In [2]: passwd()
Enter password: 
Verify password: 
Out[2]: 'sha1:******'

#去配置文件.jupyter/jupyter_notebook_config.py中修改以下參數
c.NotebookApp.ip='*'       #綁定所有地址
c.NotebookApp.password = u'剛才生成的密碼'
c.NotebookApp.open_browser = False   #啟動(dòng)后是否在瀏覽器中自動(dòng)打開(kāi)
c.NotebookApp.port =8888      #指定一個(gè)訪(fǎng)問(wèn)端口，默認8888，注意和映射的docker端口對應

配置完成以后，就可以用 jupyter notebook命令把jupyter啟動(dòng)起來(lái)了，如果在容器中直接使用的root用戶(hù)，啟動(dòng)jupyter的命令為jupyter notebook --allow-root。

最終的命令為：

docker run -it --name jupytertest -p 8888:8888 -v ~/mnt:/mnt jupyter-ubuntu:v1 su root -c 'jupyter notebook --allow-root'

-p為端口映射，-v為路徑掛載映射。

啟動(dòng)成功后使用http://ubuntu-ip:8888訪(fǎng)問(wèn)。

補充：在docker上創(chuàng )建遠程jupyter

在遠程服務(wù)器上的docker容器內使用命令

jupyter notebook --port=8888 --allow-root

即可運行jupyter。

需要注意的一點(diǎn)是，如果當前docker容器的端口是8888的話(huà)，即可省略--port=8888，若當前docker容器的端口不是8888的話(huà)，需在運行jupyter的時(shí)候指定端口和當前docker容器的端口一致。

如果忘了當前docker容器的端口，可在docker外使用命令

docker ps

查看。

運行了jupyter之后，界面上會(huì )輸出一堆類(lèi)似log的東西。如下：

保留當前界面，并且記錄其中的token（用紅線(xiàn)框出部分）。

運行之后在本地的瀏覽器輸入遠程服務(wù)器的ip：運行jupyter的docker容器的端口號。例如：192.168.0.101:8888。

登錄界面如下：

如果不想設置密碼的話(huà)，直接使用token登錄即可。

如果要設置密碼的話(huà)，使用token設置密碼也行。下次進(jìn)入就可以直接使用密碼而不用token了。

以上為個(gè)人經(jīng)驗，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方，望不吝賜教。