DeepLearning 計算機設定 2020Q1版

目次

FrontPage
・Chromebook
・Random
・機械学習
・さくらVPS
・Fedora13
・SuSe10
・Docker
・Ansible
・Java
・Scala
・Python
・Ruby
・Lisp
・Computer
・GIS
・HTML
・Culture
・Link

訪問者

total: 256
today: 4
yesterday: 5
now: 9

更新

最新の10件

人気の10件

MenuBar

これは何？ †

• 2019年末に、Docker / CUDA / Tensorflow の状況が変わった。
• ちょうど、コロナウイルス感染対策のために職場がロックダウンされたので、これを機に再構築する

ハードウェア ＆ OS †

• ハードウェア

  CPU	Core i5 (8Gen) 6Core 3GHz
  MEM	32GB
  SSD	512GB
  HDD	1TB
  GPU	RTX2070 8GB

  • Oh! HT 非搭載の CPU を選んだ一昨年のオレありがとう。泣く泣く無効にしなくて済んだ
  • cf. インテル製CPUに新たな脆弱性、2011年以降の「ほぼすべて」に影響, ASCII, 2019年05月16日, https://ascii.jp/elem/000/001/859/1859272/
• OS は Ubuntu 18.04 LTS Desktop
  • 最新版じゃなくて LTS 版を使う (2023までサポート)
  • 基本 SSH か VSCode Remote 接続でしか使わないんで、GUI いらないんだけど、ネットワーク設定とかしんどいので Server 版じゃなくて Desktop 版を使う
  • CPU も メモリも有り余っているんで GUI を削った派生版じゃなくて、本家版でいいや

Ubuntu インストール †

• インストールメディアの作り方 → Chromebook ISOファイルからインストールメディアの作成

パーティション構成 †

• 普通に Ubuntu Desktop をインストールするんだけど、パーティション構成だけ変えた
  • ディスクパーティション

    SSD	/boot/efi	efi	537MB	537MBの根拠は http://www.rodsbooks.com/efi-bootloaders/principles.html
    SSD	/	ext4	512GB
    HDD		swap	128GB	hibernateのため、最低必要量(メモリ容量の2倍)の2倍を確保
    HDD	/home	ext4	256GB	まぁ余裕見て
    HDD	/var	ext4	547GB	kubernates/dockerのイメージとか、Dataとか

  • 最初は HDD は /opt にして、アプリ側の設定を変更して docker や database の使う領域を設定変更して /opt に変えようと思ったけど、最初から /var を HDD にしときゃいいことに気づく
  • なんか xfs にしたら boot できなかった。GRUB が xfs から boot できないっぽい。

hibernate †

• [参考] Ubuntu 18.04 LTSのハイバネート（休止）設定, 日本に西の端に棲息する研究者見習いの備忘録, 2019-05-01, https://krhb.hatenablog.com/entry/2019/05/01/014012
• 使っていなくても 100Wh くらい電力を食う。でも、ちょくちょく再起動してサービス上げ直すのも面倒。ということで hibernate を使いたい。何かの収益に結びつくんなら常時起動しててもいいんだけど、今のところ趣味の範囲なんでこういう工夫も要ります。
• 必要なライブラリのインストール

  $ sudo apt install pm-utils
  $ sudo apt install molly-guard
  $ sudo apt install uswsusp

• ACPIの設定
  /etc/default/acpi-support で

  - HIBERNATE_MODE=shutdown
  + HIBERNATE_MODE=platform

• 実行コマンド

  $ sudo pm-hibernate

• 2020-03-31 現在、たまに hibernate に失敗する
  • ログインすると「システムプログラムの問題が見つかりました」ダイアログが出る
  • crash dump は、

    /var/crash$ sudo cat susres.2020-03-30_22\:34\:41.394025.crash 
    ProblemType: KernelOops
    Annotation: This occurred during a previous hibernation, and prevented the system from resuming properly.
    Architecture: amd64
    ...
    Package: linux-image-5.3.0-42-generic 5.3.0-42.34~18.04.1
    ...

  • まぁいいか、自分一人が使うんで、そんなに頻繁でなければいいことにしよう

フォルダを英語にする †

$ LANG=C xdg-user-dirs-gtk-update

USB Wifi ドライバ †

• USB Wifi : Wifi Driver for tp-link Archer T3U AC1300 (RTL8812bu)
• OS :

  $ cat /etc/os-release 
  NAME="Ubuntu"
  VERSION="18.04.4 LTS (Bionic Beaver)"
  ID=ubuntu
  ID_LIKE=debian
  PRETTY_NAME="Ubuntu 18.04.4 LTS"
  VERSION_ID="18.04"
  HOME_URL="https://www.ubuntu.com/"
  SUPPORT_URL="https://help.ubuntu.com/"
  BUG_REPORT_URL="https://bugs.launchpad.net/ubuntu/"
  PRIVACY_POLICY_URL="https://www.ubuntu.com/legal/terms-and-policies/privacy-policy"
  VERSION_CODENAME=bionic
  UBUNTU_CODENAME=bionic
  
  $ uname -a 
  Linux GPU1 5.3.0-42-generic #34~18.04.1-Ubuntu SMP Fri Feb 28 13:42:26 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux

• Realtek は、いつもの通り Linux 向けドライバを公開していない。Ubuntu 18.04 にはドライバ未登録。
• Github で奇特な人が作ってくれているのを使わせてもらう
• 2020-03-30 時点では cilynx さんのを使うのが良さそう

  適用可否	ドライバ	Linux Kernel 5	備考
  ○	https://github.com/cilynx/rtl88x2bu	対応
  ☓	https://github.com/RinCat/RTL88x2BU-Linux-Driver.git	対応	kernelエラー
  ☓	https://github.com/jeremyb31/rtl8822bu	未対応

• インストール準備

  $ sudo apt install git make gcc dkms

  あとは配布元の指示に従って make する

OS起動時にWifiに接続 †

• 初期状態では、ログイン後に Wifi 接続
• デバイス調査

  $ iw dev
  phy#0
  	Interface wlx503eaadaff7a
  		ifindex 4
  		wdev 0x1
  		addr **:**:**:**:**:**
  		ssid ap**********
  		type managed
  		txpower 12.00 dBm

• 自動接続設定 /etc/netplan/1-network-manager-all.yaml

  # Let NetworkManager manage all devices on this system
  network:
    version: 2
    renderer: NetworkManager
   
    wifis:
      wlx503eaadaff7a:
        addresses: []
        dhcp4: true
        optional: true
        access-points:
          ap********:
            password: **********
  

• 設定反映

  $ sudo netplan apply

• IPアドレスは、DHCP サーバに MAC アドレスを登録して、特定の IP アドレスを払い出すようにする（計算機側では管理しない)

SSH †

$ sudo apt install openssh-server openssh-client

これでサービス起動の設定までされちゃう。
鍵ペアを作って

$ ssh-keygen -t rsa
$ cd .ssh/
$ ls
id_rsa  id_rsa.pub
$ cat id_rsa.pub >> authorized_keys

秘密鍵を USB メモリでノートパソコン (Chromebook の Linux VM *1) に持っていけば、計算機にモニタをつないでの作業は終わり

/.ssh/config に登録する

Nvidia GPU †

• Ubuntuの「ソフトウェアの更新」の中にある「追加のドライバ」でオープンソースの nouveau ドライバから、nvidia のプロプラエタリドライバに切り替える [#fc3cbc06]
  
• 再起動後に、GPU の稼働状況と、CUDA のバージョンの確認

  $ nvidia-smi 
  Tue Mar 31 16:47:36 2020       
  +-----------------------------------------------------------------------------+
  | NVIDIA-SMI 435.21       Driver Version: 435.21       CUDA Version: 10.1     |
  |-------------------------------+----------------------+----------------------+
  | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
  | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
  |===============================+======================+======================|
  |   0  GeForce RTX 2070    Off  | 00000000:01:00.0 Off |                  N/A |
  | 20%   43C    P8    19W / 175W |    167MiB /  7982MiB |      4%      Default |
  +-------------------------------+----------------------+----------------------+
                                                                                 
  +-----------------------------------------------------------------------------+
  | Processes:                                                       GPU Memory |
  |  GPU       PID   Type   Process name                             Usage      |
  |=============================================================================|
  |    0      1456      G   /usr/lib/xorg/Xorg                            96MiB |
  |    0      1627      G   /usr/bin/gnome-shell                          69MiB |
  +-----------------------------------------------------------------------------+

Docker 19 + Nvidia Container Toolkit †

• 経緯
  • これまでは、Nvidia が Docker に手を入れて GPU と連携できるようにしたものを配布していた (nvidia-docker2)
  • Docker 19 から、Docker 自体が GPU に対応して、GPU ベンダがドライバを用意する方式になった
  • 断片的なニュース記事を読んでもわからなかったけど、Nvidia の中の人がわかりやすい解説記事を書いてくれている
    • NVIDIA Docker って今どうなってるの？ (19.11版), @ksasaki, 2020/02/12, Qiita, https://qiita.com/ksasaki/items/b20a785e1a0f610efa08
• Docker 19 のインストール https://docs.docker.com/install/linux/docker-ce/ubuntu/

  $ sudo apt-get remove docker docker-engine docker.io containerd runc
  $ sudo apt-get update
  $ sudo apt-get install \
     apt-transport-https \
     ca-certificates \
     curl \
     gnupg-agent \
     software-properties-common
  $ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
  $ sudo add-apt-repository \
    "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
    $(lsb_release -cs) \
    stable"
  $ apt-get update
  $ sudo apt-get install docker-ce docker-ce-cli containerd.io
  $ sudo docker run hello-world
  Hello from Docker!
  This message shows that your installation appears to be working correctly.
  $  docker --version
  Docker version 19.03.8, build afacb8b7f0

• nvidia-container-toolkit のインストール https://github.com/NVIDIA/nvidia-docker/tree/master#quickstart

  $ distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
  $ curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
  $ curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
  
  $ sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
  $ sudo systemctl restart docker

• コンテナ上で nvidia-smi コマンドを実行してみる

  $ sudo docker run --gpus all --rm nvidia/cuda nvidia-smi
  Tue Mar 31 09:29:18 2020       
  +-----------------------------------------------------------------------------+
  | NVIDIA-SMI 435.21       Driver Version: 435.21       CUDA Version: 10.1     |
  |-------------------------------+----------------------+----------------------+
  | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
  | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
  |===============================+======================+======================|
  |   0  GeForce RTX 2070    Off  | 00000000:01:00.0 Off |                  N/A |
  | 18%   30C    P8    17W / 175W |    195MiB /  7982MiB |      1%      Default |
  +-------------------------------+----------------------+----------------------+
                                                                                 
  +-----------------------------------------------------------------------------+
  | Processes:                                                       GPU Memory |
  |  GPU       PID   Type   Process name                             Usage      |
  |=============================================================================|
  +-----------------------------------------------------------------------------+

  こいつ動くぞ
  
  • "--gpu" は Docker のオプション

    --gpus all	全部使う
    --gpus 1	1基使う
    --gpus '"device=0,1"'	0番目と1番目を使う

• nvidia-docker2 は docker の勝手拡張なので、docker のバージョンアップで動かなくを避けるために、apt にアップデートを抑止する設定をしていたけど、今回はもういいのかな
• sudo なしの docker 実行

  $ sudo groupadd docker
  $ sudo gpasswd -a $USER docker
  $ sudo systemctl restart docker

  • sudo なしで docker を実行できるユーザ → docker グループに登録すればいい
  • 要ログオフ・ログイン
  • VSCode と Docker を連携させるときに必要な設定のようだ
  • Kuberntes を使うので、直接 Docker Image を起動することはないけど、Image を作るときに必要

microK8s †

• https://microk8s.io/
• Ubuntu 開発元の Canoical が提供する、簡易 Kubernetes。今のところ (2020-03) 実質的に 1 ノードのみに対応。マルチノードに対応作業中
• 公式インストール手順に則ってインストールする
  1. Install the microk8s snap

     $ sudo snap install microk8s --classic --channel=1.18/stable

  2. Check the status

     $ sudo microk8s status --wait-ready
     microk8s is running
     addons:
     cilium: disabled
     dashboard: disabled
     dns: disabled
     fluentd: disabled
     gpu: disabled
     helm: disabled
     helm3: disabled
     ingress: disabled
     istio: disabled
     jaeger: disabled
     knative: disabled
     kubeflow: disabled
     linkerd: disabled
     metallb: disabled
     metrics-server: disabled
     prometheus: disabled
     rbac: disabled
     registry: disabled
     storage: disabled

     ほーほー、一通り揃ってますね。全部 disabled だけど
  3. Turn on standard services

     $ sudo microk8s enable dns dashboard registry

• microk8s コマンドを sudo なしで使えるようにする

  $ sudo usermod -a -G microk8s $USER

• kubectl の alias を作る
  

  /.bash_aliases

  alias kubectl='microk8s kubectl'

  kubectl は microk8s コマンドのオプションで実装されているけど、alias で普通の kubectl のように使える

  $ kubectl get nodes
  NAME   STATUS   ROLES    AGE   VERSION
  gpu1   Ready    <none>   40m   v1.18.0

• 起動・停止

  $ microk8s start
  $ microk8s stop

  OS起動時に自動起動される

microK8s + GPU †

• gpu addon を有効化 (結構時間がかかる)

  $ sudo microk8s.enable gpu
  Enabling NVIDIA GPU
  NVIDIA kernel module detected
  dns is already enabled
  Applying manifest
  daemonset.apps/nvidia-device-plugin-daemonset created
  NVIDIA is enabled

• サンプルの pod を作成する
  hello-gpu.yum

  apiVersion: v1
  kind: Pod
  metadata:
    name: hello-gpu
  spec:
    containers:
      - name: cuda
        image: nvidia/cuda:latest
        tty: true

   

  $ kubectl create -f hello-gpu.yml
  $ kubectl exec -it hello-gpu -- nvidia-smi
  Tue Mar 31 12:58:59 2020       
  +-----------------------------------------------------------------------------+
  | NVIDIA-SMI 435.21       Driver Version: 435.21       CUDA Version: 10.1     |
  |-------------------------------+----------------------+----------------------+
  | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
  | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
  |===============================+======================+======================|
  |   0  GeForce RTX 2070    Off  | 00000000:01:00.0 Off |                  N/A |
  | 18%   28C    P8    17W / 175W |      0MiB /  7982MiB |      0%      Default |
  +-------------------------------+----------------------+----------------------+
                                                                                 
  +-----------------------------------------------------------------------------+
  | Processes:                                                       GPU Memory |
  |  GPU       PID   Type   Process name                             Usage      |
  |=============================================================================|
  |  No running processes found                                                 |
  +-----------------------------------------------------------------------------+

  ふー。ひとまず構築は完了

これをもとに、こんな開発環境を作る †

• Tensorflow/Keras は、SSH/CUDA Pod で動く
• 開発環境はノートパソコン上で動く VSCode で、SSH/CUDA Podにリモート接続する

Deep Learning