Atsulog#010
Atsulogの話はこの記事で一旦終わりです.
全体の構成#
作成したアプリをインターネット上で誰でも使える状態にすることを デプロイ といいます.手元の PC で開発用のサーバーを動かしているだけでは,そのサイトは自分の PC からしか見られません.そこで,いつも電源が入っていてインターネットにつながっているコンピューター(サーバー)にアプリを置き,動かし続けます.
Atsulog は,1 台のサーバーの上で次のように動いています.
flowchart TD
B["Browser"] -->|"HTTP :80 / HTTPS :443"| N
subgraph Server["Server"]
N["nginx"] -->|"127.0.0.1:3000"| A["Next.js server"]
P["PM2"] -.->|"start / restart"| A
A -->|"read / write"| D["data/ (SQLite)"]
end
D -->|"git push (hourly, cron)"| G["GitHub"]
図の中に出てくるものを順に見ていきます.
- nginx(エンジンエックス):Web サーバー のソフトウェアです.Web サーバーとは,ブラウザからの リクエスト(「このページをください」というお願い)を受け取り,ページやファイルを返すソフトウェアのことです.Atsulog では,nginx がリクエストを最初に受け取り,奥にいるアプリへ取り次いでいます.このように外からの窓口になって,中のサーバーへ取り次ぐ役割を リバースプロキシ といいます.
- Next.js のサーバー:Atsulog の本体です.
- PM2:Node.js のアプリを動かし続けるための プロセスマネージャー です.プロセス とは,実行中のプログラムのことです.PM2 は,アプリが落ちたら再起動し,ログを保存し,サーバーを再起動したときにもアプリを自動で立ち上げます.
data/:記事と画像のデータベースを置いているフォルダーです.1 時間ごとに GitHub へ push してバックアップしています.
準備#
サーバー#
Atsulog は記事や画像を SQLite のファイルに書き込みます.そのため,書いたファイルが再起動後も残る サーバーが必要です.
Vercel や Render のように,コードを渡すだけでアプリを公開できるサービスを PaaS(Platform as a Service) といいます.サーバーの管理をサービス側が引き受けてくれるので手軽です.ただし,PaaS の多くは エフェメラルファイルシステム を採用しています.エフェメラル(ephemeral)とは「一時的な」という意味で,アプリが書き込んだファイルは再起動やデプロイのたびに消えてしまいます.
| エフェメラル(PaaS) | 永続ストレージ(VPS) | |
|---|---|---|
| 書き込み | できる(一時的) | できる(永続的) |
| 再起動後 | 消える | 残る |
| 向いている用途 | キャッシュ,ログ | SQLite,アップロードされた画像 |
そこで VPS(Virtual Private Server) を選びました.VPS は,1 台の大きな物理サーバーを 仮想化 という技術で何台分にも分け,その 1 台分を借りるサービスです.借りた側からは普通の Linux のコンピューターに見えるので,OS の設定からソフトウェアの導入まで自由にできます.その代わり,ファイアウォールなどの設定も自分で行う必要があります.
代表的な VPS には,次のようなものがあります.
- さくらの VPS:さくらインターネットのサービス.国内の VPS では古くからある定番
- ConoHa VPS:GMO インターネットグループのサービス.管理画面がわかりやすく,個人の利用者が多い
- Xserver VPS:レンタルサーバーで知られるエックスサーバーのサービス
- Amazon Lightsail:AWS の中で,VPS のように料金と構成が決まったプランで使えるサービス
- DigitalOcean:海外の VPS の定番.仮想サーバーを Droplet と呼ぶ
AWS や Oracle Cloud のような大手の クラウド でも,仮想サーバーを 1 台借りれば,VPS と同じように使えます.
使っているのは Oracle Cloud の Always Free(無料枠)です.Oracle Cloud では,借りた仮想サーバー 1 台を インスタンス と呼びます.
- インスタンス:AMD の Micro インスタンス(
VM.Standard.E2.1.Micro).メモリは 1GB.ざこすぎ. - OS:Ubuntu
- ブート・ボリューム:100GB
ブート・ボリューム は,OS やファイルが入るインスタンスのディスクで,PC でいう SSD にあたります.
メモリ は,プログラムが動いている間にデータを広げておく作業机のようなものです.
ドメイン#
IP アドレス は,ネットワーク上のコンピューターの住所のようなものです.ただし数字の並びなので,人が覚えるのには向いていません.
atsulog.com のような,IP アドレスの代わりに使う覚えやすい名前を ドメイン といいます.ドメインは専用の業者から年単位で借ります.atsulog.com はお名前.com で取得しました.年間約 1,000 円で契約しています.Atsulog の費用はこの契約料のみです.
ブラウザは,ドメインを IP アドレスに変換してからサーバーにつなぎます.この変換を DNS(Domain Name System) といい,変換表を持っているサーバーを ネームサーバー(DNS サーバー)といいます.
ネットワーク#
ファイアウォール#
IP アドレスがわかると,ブラウザはそのアドレスの ポート へリクエストを送ります.ポートは,1 台のコンピューターの中の部屋番号のようなものです.1 台のサーバーではいくつものプログラムが動いているので,どの部屋(ポート)宛てかで届け先のプログラムを見分けます.よく使う番号は決まっていて,HTTP は 80 番,HTTPS は 443 番,SSH は 22 番です.SSH(Secure Shell) は,暗号化された接続でほかのコンピューターにログインし,操作するための仕組みです.
ファイアウォール は,通してよい通信だけを通し,それ以外を止める門番のような仕組みです.Oracle Cloud のインスタンスは,最初は外からの通信がほとんど止められています.ブラウザからのリクエストが nginx に届くまでには次の 3 か所を通るので,それぞれで通り道を開けます.
Browser
→ 1. Internet Gateway ┐ Oracle Cloud
→ 2. Security List ┘ (VCN)
→ 3. iptables ┐ Instance
→ nginx ┘ (Ubuntu)
- インターネット・ゲートウェイ:Oracle Cloud の中に作る自分専用のネットワーク VCN(Virtual Cloud Network) と,インターネットをつなぐ出入口です.作っただけでは使われないので,ルート表(通信の行き先ごとに,どこを通すかを決めた表)に「宛先
0.0.0.0/0(すべての宛先)はこのゲートウェイへ」というルールを追加します. - セキュリティ・リスト:VCN の入口にあるファイアウォールです.受信のルール(イングレス・ルール)に,次の条件を追加します.
- ソース CIDR:
0.0.0.0/0(どこからの通信でも受け付ける) - プロトコル:TCP(Web や SSH が使う通信の方式)
- 宛先ポート:22(SSH),80(HTTP),443(HTTPS)
- ソース CIDR:
- iptables:インスタンスの OS(Ubuntu)の中にあるファイアウォールです.
CIDR(Classless Inter-Domain Routing) は,IP アドレスの範囲を「アドレス/先頭から何ビットを固定するか」で表す書き方です.0.0.0.0/0 は 1 ビットも固定しない,つまりすべてのアドレスを表します.
nginx#
Atsulog では,ブラウザからのリクエストはまず 80 番(HTTP)か 443 番(HTTPS)に届きます.そこで待ち受けているのが nginx です.nginx は届いたリクエストを,設定ファイルに書いた転送先の 3000 番ポートへそのまま渡します.アプリは 1 つだけなので,リクエストの中身を見て振り分けることはせず,すべて同じ転送先へ送ります.3000 番で待ち受けている Next.js のサーバーが,それを受け取ります.
127.0.0.1 は「自分自身」を表す特別なアドレスで,ループバックアドレス と呼ばれます.localhost という名前も普通はこのアドレスを指しますが,IPv6 の ::1 を指すこともあります.Next.js のサーバーを 127.0.0.1 でだけ待ち受けさせると,同じサーバーの中にいる nginx からは届きますが,外のコンピューターからは直接つながりません.つまり,外からのアクセスは必ず nginx を通ることになります.
この取り次ぎは,nginx の設定ファイル /etc/nginx/sites-available/default に書きます.主な部分は次のとおりです(443 番ポートの設定は,Certbot が書き足します).
server {
server_name atsulog.com; # この設定を使うドメイン名
location / {
proxy_pass http://127.0.0.1:3000; # Next.js へ転送する
# 本当の接続元の IP アドレスを Next.js に伝える
proxy_set_header X-Forwarded-For タグ$proxy_add_x_forwarded_for;
# (ほかの proxy_set_header は省略)
}
client_max_body_size 20M; # 受け取れるリクエストの大きさの上限
}
proxy_pass の転送先は,localhost ではなく 127.0.0.1 と書いています.nginx は localhost を IPv4 の 127.0.0.1 と IPv6 の ::1 の両方に解決しますが,アプリは 127.0.0.1 でしか待ち受けていません.localhost と書くと,::1 への接続が失敗するたびに,エラーログに connect() failed が残ってしまいます.
nginx が取り次ぐと,Next.js から見た接続元はいつも 127.0.0.1 になります.そこで nginx は,本当の接続元の IP アドレスを X-Forwarded-For という HTTP ヘッダー(リクエストに付ける追加の情報.手紙の封筒に書く宛名や差出人のようなもの)に書き足して伝えます.ログイン試行の制限は,この値で相手を見分けています.
設定を書き換えたら,次のコマンドで反映します.
sudo nginx -t # 設定の書き方に誤りがないかを確かめる
sudo systemctl restart nginx # 設定を反映する
HTTPS#
HTTPS は,ブラウザとサーバーの間の通信を暗号化した HTTP です.途中で盗み見られたり,書き換えられたりするのを防ぎます.
本番では,ログイン状態を保つ Cookie に Secure 属性を付けているので,HTTPS でなければログインできません.
HTTPS を使うには,証明書 が必要です.証明書は「このサーバーは本物の atsulog.com です」と第三者が保証する,電子的な身分証のようなものです.Atsulog では,Let's Encrypt が無料で発行している証明書を,Certbot というツールで取得しています.
sudo apt install certbot python3-certbot-nginx
sudo certbot --nginx -d atsulog.com
--nginx を付けると,Certbot が nginx の設定に HTTPS(443 番ポート)の設定を書き足します.HTTP で来たアクセスを HTTPS へ転送する設定も追加できます.これを自動で追加するか途中で尋ねるかはバージョンによって違うので,確実に追加したいときは --redirect を付けます.書き足される部分は次のとおりです(Certbot が付ける # managed by Certbot のコメントなどは省略).
server {
# (上の設定に,次の行が足される)
listen 443 ssl;
ssl_certificate /etc/letsencrypt/live/atsulog.com/fullchain.pem;
ssl_certificate_key /etc/letsencrypt/live/atsulog.com/privkey.pem;
}
# HTTP で来たアクセスを HTTPS へ転送する
server {
listen 80;
server_name atsulog.com;
if ($host = atsulog.com) {
return 301 https://$host$request_uri;
}
return 404; # atsulog.com 以外の宛先
}
Let's Encrypt の証明書の有効期限は,今のところ 90 日です(2028 年までに 45 日へ短くなる予定です).apt で入れた Certbot は certbot.timer という自動実行の仕組みを登録し,1 日 2 回,残りが 30 日を切った証明書を更新します.登録されているかは systemctl list-timers certbot.timer で,更新がうまくいくかは sudo certbot renew --dry-run で確かめられます.
なお,443 番ポートはセキュリティ・リストと iptables の両方で開けておく必要があります.
デプロイ#
standalone#
standalone は,Next.js のアプリを動かすのに必要なファイルだけを,1 つのフォルダーにまとめて出力する設定です.できたフォルダーは,それだけでアプリを起動できます.
standalone を使うのは,サーバーのメモリが 1GB しかないからです.アプリは,動かす前に ビルド します.ビルドとは,書いたソースコードを本番で動かせる形に変換し,まとめる作業です.ビルドはたくさんのメモリを使うので,このサーバーで npm run build を実行すると,メモリが足りずに止まってしまいます.そこで,ビルドは手元の PC で行い,できあがったものだけをサーバーへ送ります.
ここで問題になるのが node_modules です.Node.js のアプリは,使うライブラリを node_modules というフォルダーに入れて動きます.ビルドしたアプリを動かすときにもこのフォルダーが必要なので,サーバーに用意しなければなりません.その方法は 2 つありますが,どちらにも難点があります.
node_modulesごと送る:開発用の道具まで含むので,とても重い.手元では 741MB- サーバーで
npm installする:デプロイのたびにライブラリをダウンロードし直すので時間がかかり,メモリの少ないサーバーには負担になる
standalone は,この問題を解決します.ビルドのときにアプリが実際に使うファイルを調べて,node_modules も含めて必要なものだけを .next/standalone に集めます.手元では,.next/standalone は 64MB でした.このフォルダーを送るだけで,サーバーで npm install をしなくても,node server.js でアプリを起動できます.
standalone は,Next.js の設定ファイル next.config.ts で有効にしています.
const nextConfig: NextConfig = {
output: "standalone", // 実行に必要なファイルだけを集めて出力する
// Site data lives on the server; never ship the local copy.
outputFileTracingExcludes: { "*": ["data/**"] }, // ローカルの data/ を同梱しない
// Photos are shrunk on the server, so let full-size uploads in.
experimental: { serverActions: { bodySizeLimit: "10mb" } },
};
outputFileTracingExcludes で data/** を除外しているのは,データベースのファイルが出力に紛れ込むのを防ぐためです.手元の data/ には開発用のデータが入っているので,これが本番のデータを上書きしてしまうと困ります.
ただし,次の 2 つは standalone の出力に含まれません.
public/:共有用の画像など.next/static/:JavaScript や CSS
そこで,ビルド用の スクリプト(コマンドを順番に並べて,まとめて実行できるようにしたファイル)standalone.sh で,次の手順をまとめて行っています.
#!/bin/bash
# どれかのコマンドが失敗したら,その場で止める
# (ビルドに失敗したまま,中途半端なアーカイブを作らないように)
set -e
# 1. 前回のビルド結果を消す
rm -rf .next
rm -f deploy.tar.gz
# 2. ビルドする (next.config.ts の output: "standalone" が必要)
npm run build
# 3. standalone の出力に含まれないファイルをコピーする
cp -r public .next/standalone/
cp -r .next/static .next/standalone/.next/
cp ecosystem.config.cjs .next/standalone/ # PM2 の設定ファイル
# 4. .next/standalone の中身を deploy.tar.gz に圧縮する
# (-C で移動してから圧縮するので,展開すると server.js などが直下に並ぶ)
tar -czf deploy.tar.gz -C .next/standalone .
.tar.gz は,複数のファイルを 1 つに束ねて圧縮した アーカイブ の形式です.手元では,deploy.tar.gz は 23MB でした.
アーカイブには,data/ も,パスワードなどを書いたファイル .env* も入っていません.
できたアーカイブは,SFTP(SSH File Transfer Protocol) でサーバーへ送ります.SFTP は,SSH の接続を使ってファイルをやりとりする仕組みです.
flowchart TD
L["Local PC<br/>standalone.sh"] -->|"SFTP<br/>deploy.tar.gz"| APP
subgraph Server["Server"]
APP["~/app<br/>(server.js, .next, public …)"]
D["~/app/data/ (残す)"]
end
PM2#
nginx の転送先である 3000 番でアプリを待ち受けさせているのは,PM2 の設定ファイル ecosystem.config.cjs です.中身は次のとおりです.startup.sh と restart.sh の両方で使います.
module.exports = {
apps: [
{
name: "atsulog",
script: "server.js", // standalone ビルドのエントリーポイント
cwd: __dirname,
max_memory_restart: "300M", // メモリを 300MB 以上使ったら再起動
env: {
PORT: "3000",
// Only nginx should reach the app
HOSTNAME: "127.0.0.1", // 自分自身からの接続だけを受け付ける
},
},
],
};
name:PM2 の中でのアプリの名前.pm2 logs atsulogのように,コマンドでこの名前を使うscript:起動するファイル.standalone ビルドではserver.jsが入口になるmax_memory_restart:アプリが使うメモリの上限env:アプリに渡す 環境変数
max_memory_restart を設定しているのは,サーバーのメモリが 1GB しかないためです.アプリがメモリを使いすぎてサーバー全体が固まる前に,PM2 がアプリだけを再起動します.
ここでは,待ち受けるポートを PORT で,アドレスを HOSTNAME で指定しています.
HOSTNAME を 127.0.0.1 にしているのは,アプリへ届くリクエストを必ず nginx 経由にするためです.ログイン試行の制限は nginx が付ける X-Forwarded-For で相手を見分けています.nginx を通らないアクセスがあると,正しく数えられなくなってしまいます.
初回#
新しいサーバーでは,次の順に作業します.
deploy.tar.gzとstartup.sh,restart.shを SFTP で/home/ubuntu/appに送るtar -xzf deploy.tar.gzでアーカイブを展開する- 記事のリポジトリを
git cloneでdata/に取ってくる - 環境変数のファイル
.env.productionを作り,SESSION_SECRETとADMIN_PASSWORDを書く bash startup.shを実行する
3 で取ってくるリポジトリには,.db ファイルではなく SQL のダンプだけが入っています..db ファイルは,後で startup.sh がダンプから作ります.
4 の .env.production には,コードに直接書きたくない秘密の値を書きます.
SESSION_SECRET:ログイン状態の JWT に署名するための鍵.openssl rand -base64 32で作ったランダムな文字列を使うADMIN_PASSWORD:管理画面に入るためのパスワード
このファイルは chmod 600 で,持ち主だけが読み書きできるようにしておきます.server.js は起動するときに,同じフォルダーにある .env.production を読み込んで環境変数として使います.
一方,Google Analytics の ID NEXT_PUBLIC_GA_ID は,サーバーではなく手元の .env.local に書きます.Next.js では,名前が NEXT_PUBLIC_ で始まる環境変数はブラウザでも使えるように,ビルドのとき に JavaScript の中へ値が埋め込まれるからです.ビルドは手元の PC で行うので,サーバーで設定してもすでにできあがったファイルには反映されません.
startup.sh#
startup.sh は,サーバーの初期設定からアプリの起動までをまとめて行うスクリプトです.このスクリプトは,何度実行しても同じ結果になるように作ってあります.この性質を 冪等性(べきとうせい)といいます.主な部分は次のとおりです.
# 1. 80 番と 443 番のポートを開ける
for port in 80 443; do
# 同じルールがまだないときだけ,一番上 (-I INPUT 1) に追加する
if ! sudo iptables -C INPUT -p tcp --dport "$port" -j ACCEPT 2>/dev/null; then
sudo iptables -I INPUT 1 -p tcp --dport "$port" -j ACCEPT
fi
done
sudo netfilter-persistent save # 再起動してもルールが消えないよう保存
# 2. nginx を起動し,サーバーの起動時にも立ち上がるようにする
sudo systemctl enable nginx
sudo systemctl restart nginx
# 3. PM2 がサーバーの起動時に立ち上がるよう登録する
sudo env PATH="$PATH:$(dirname "$(command -v node)")" \
"$(command -v pm2)" startup systemd -u "$USER" --hp "$HOME"
# 4. .db がなく .sql だけがあれば,ダンプからデータベースを作る
# (.db がすでにあれば何もしないので,運用中に実行しても記事は消えない)
for name in articles images; do
db="data/$name.db"
dump="data/$name.sql"
if [ ! -f "$db" ] && [ -f "$dump" ]; then
sqlite3 "$db" <"$dump"
fi
done
# 5. アプリを起動し,動いているプロセスの一覧を保存する
pm2 delete atsulog >/dev/null 2>&1 || true
pm2 start ecosystem.config.cjs
pm2 save
# 6. アプリが応答するまで最大 30 秒待つ (省略)
2 回目以降#
アプリを更新するときの流れは次のとおりです.
- 手元で
standalone.shを実行して,新しいdeploy.tar.gzを作る - SFTP でサーバーへ送る
- サーバーで
restart.shを実行する
restart.sh の主な部分は次のとおりです($ARCHIVE は送った deploy.tar.gz のパス).
# 1. 動いているアプリに触る前に,アーカイブが壊れていないか確かめる
tar -tzf "$ARCHIVE" >/dev/null
# 2. アプリのファイルだけを消して展開し直す (data/ と .env* は残る)
rm -rf .next node_modules package.json public server.js ecosystem.config.cjs
tar -xzf "$ARCHIVE"
# 3. PM2 のプロセスを作り直す
# Not `pm2 restart`, which would keep the old environment variables
pm2 delete atsulog >/dev/null 2>&1 || true
pm2 start ecosystem.config.cjs
pm2 save
最初にアーカイブを確かめているのは,壊れたファイルを送ってしまったときに,動いているアプリを消す前に止めるためです.tar -tzf はアーカイブの中身の一覧を表示するだけのコマンドで,ファイルが壊れていればここでエラーになります.
次に古いファイルを消しますが,消すファイルを 1 つずつ名前で指定しています.こうすると,data/ と .env.production は消されずに残ります.
最後に PM2 でアプリを起動し直します.PM2 には pm2 restart という再起動のコマンドもありますが,PM2 は前に起動したときの環境変数を覚えているので,pm2 restart atsulog のように名前で再起動すると古い値がそのまま使われます.そこで,一度プロセスを消してから,設定ファイルを読み込んで起動し直すという確実な方法をとっています.
最後に#
半年ほど前から書いてましたがようやく終わりました.Atsulogは勉強も兼ねてるので,機能全部盛りって感じでなかなか大変でしたが,一旦ここで一区切りとします.また新しい機能を実装したら記事にするかもしれませんが,当分ないと思います.
もう少し機能を選別してコードも減らしたいのですが,それはまた時間のあるときに取り組みます.
もっとしょうもない話題も書きたいんですが,なかなかそこまで手が回らず最近は小難しい話ばかりですいません.映画とか音楽の話もしたいですね.
あと,My Devシリーズはもう少し続きます.ターミナルやエディタも残ってるのでまだ道のりは長いですね.
今後も引き続きよろしくお願いします.