LambdaでRailsを動かしてマイグレーションすれば、コストもかからず、かつ秒で終わるので高速だった。高速化したい・CIにマイグレーション乗せたい・ECS使いたくない・RDSがプライベートサブネットにあって常時起動してる踏み台がないパターン向け

## マイグレーション専用イメージを作る

初期パターンとして、App Runner（またはECS）に乗せる本番イメージに`bootstrap`などを手書きしてLambda対応もさせる案を導入した。しかし[このドキュメント](https://docs.aws.amazon.com/lambda/latest/dg/runtimes-walkthrough.html)のみならず[エラー時のレスポンスを返すパターンを作らないといけなかったり](https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/runtimes-api.html#runtimes-api-next)、やはりフル自作は完成度が低くなりがちになった。最大の問題点は本番イメージを流用するとなるとイメージの更新も関数実行前に都度行うべきになってしまうことで、そうなると＋３０秒くらい余計にかかり時間が倍増するので魅力も落ちる。専用のイメージを作って、[aws_lambda_ric](https://github.com/aws/aws-lambda-ruby-runtime-interface-client)を使う感じにしたい

必要なファイルはDockerfileとdatabase.ymlとapp.rbの３つのみ。database.ymlはデフォではなく環境変数参照に変更したかっただけのため省略する。Dockerfile内でrails newして資材を展開している

### Dockerfile

```Dockerfile
FROM ruby:3.1.1-slim

ENV APP_ROOT /var/task
ENV RAILS_ROOT $APP_ROOT
ENV RAILS_ENV production
ENV RACK_ENV $RAILS_ENV

WORKDIR $APP_ROOT

RUN apt-get update -y && \
 apt-get install -y \
 build-essential \
 default-mysql-client \
 libmariadb-dev \
 curl && \
 gem update --system && \
 gem install rails && \
 rails new . \
 --database=mysql \
 --skip-yarn \
 --skip-git \
 --skip-action-mailer \
 --skip-active-storage \
 --skip-action-cable \
 --skip-sprockets \
 --skip-javascript \
 --skip-turbolinks \
 --skip-test \
 --api && \
 bundle add aws-sdk-kms aws_lambda_ric

COPY database.yml config/
COPY app.rb ./

RUN chmod 644 config/master.key

# Lamdba上で上書きされるが、ローカル開発でマイグレーション役もさせてるので書いてる
CMD [ "bundle", "exec", "rails", "db:migrate" ]
```

### app.rb

```ruby
require_relative 'config/application'
require 'base64'
require 'fileutils'
require 'securerandom'

module App
 class Handler
 def self.process(event:, context:)

 # コンテナが再利用されると以前書き込んだマイグレーションファイルが影響する可能性があるので都度ランダムに
 directory_name = "/tmp/#{SecureRandom.urlsafe_base64(10)}/db"
 FileUtils.mkdir_p "#{directory_name}/migrate"

 # シリアライズされたファイルのデータを受け取って書き込み
 event.each do |path, content|
 File.open("#{directory_name}/#{path}", 'w') { |f| f.write(Base64.decode64(content)) }
 end

 Rails.application.load_tasks

 # Lambdaの環境変数に生パスワードを書きたくなかったので暗号化状態で受け取っており復号化
 if ENV['DATABASE_PASSWORD_ENCRYPTED'].present?
 response = Aws::KMS::Client.new.decrypt ciphertext_blob: Base64.decode64(ENV.fetch('DATABASE_PASSWORD_ENCRYPTED'))
 ENV['DATABASE_PASSWORD'] = response.plaintext
 end

 # /tmp配下しか書き込み不可のため変更する必要あり
 Rails.application.config.paths['db'] = directory_name
 Rails.application.config.paths['db/migrate'] = "#{directory_name}/migrate"

 # コンテナが再利用されるとreenableしないとinvokeが起動してくれない
 Rake::Task['db:migrate'].reenable
 Rake::Task['db:migrate'].invoke
 end
 end
end
```

## Lambda関数のデプロイ

Terraformを使いました。`var.`はてきとうです。

```hcl
module "migration" {
 source = "terraform-aws-modules/lambda/aws"

 function_name = "migrator"
 create_package = false

 image_uri = "${var.repository_url}:latest"
 package_type = "Image"

 timeout = 60

 vpc_subnet_ids = var.private_subnets
 vpc_security_group_ids = [var.default_security_group_id]
 attach_network_policy = true

 image_config_entry_point = ["/usr/local/bundle/bin/aws_lambda_ric"]
 image_config_command = ["app.App::Handler.process"]

 environment_variables = {
 "RAILS_LOG_TO_STDOUT" = "enabled"
 "DATABASE_HOST" = var.this_rds_cluster_endpoint
 "DATABASE_NAME" = var.database_name
 "DATABASE_PASSWORD_ENCRYPTED" = var.database_master_password_encrypted
 }

 attach_policy_statements = true
 policy_statements = [
 {
 effect = "Allow"
 actions = ["kms:Decrypt"]
 resources = [var.kms_key.arn]
 },
 {
 effect = "Allow"
 actions = [
 "ecr:BatchGetImage",
 "ecr:GetDownloadUrlForLayer",
 ]
 resources = [var.ecr_repository_arn]
 },
 ]
}
```

## CircleCIからLambdaを起動する

マイグレーションファイルを収集するスクリプト、amazon/aws-cliはpython2がネイティブで動いたのでpythonでコードを書きました。そしてamazon/aws-cliは使わなかったっていう（後述）

### .circleci/config.yml(一部抜粋)

```yml
jobs:
 migrate:
 docker:
 - image: cimg/python:3.10.4
 environment:
 PAGER: ""
 working_directory: ~/projects/db
 steps:
 - checkout:
 path: ..
 - run:
 name: Install aws-cli
 command: |
 curl -s "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
 unzip -q awscliv2.zip
 sudo ./aws/install
 - run:
 name: Run migration in AWS Lambda
 command: |
 PAYLOAD=$(python payload.py migrate)
 aws lambda invoke --function-name migrator --payload $PAYLOAD result.txt
 cat result.txt
 cat result.txt | grep -v errorMessage > /dev/null
```


### payload.py

```python
import os
import json
import base64
import sys

path = sys.argv[1]
filenames = os.listdir(path)

data = {}
for filename in filenames:
 with open(os.path.join(path, filename), "r") as f:
 data['migrate/' +
 filename] = base64.b64encode(f.read().encode("utf-8")).decode('utf-8')

print(base64.b64encode(json.dumps(data).encode("utf-8")).decode('utf-8'))
```

## 実行結果

19秒でマイグレーションジョブを完了することができました:tada:

- CircleCIの環境構築2秒
- aws-cliインストール2秒
- マイグレーション14秒

おそらくコールドスタートで6秒くらいとマイグレーションで8秒くらいのはず

<img width="587" src="https://user-images.githubusercontent.com/39179585/162106271-e2c45d4e-3239-4366-a63d-49c7ee79e09b.png">

## 直面した問題点たち

- amazon/aws-cliイメージをCIで使って、CLIのインストール時間(2〜4秒)を削りたい 
 →gitやtarなど基本的なライブラリがなくCircleCIの`checkout`ができない。諦める
- [公式Lambda用Rubyイメージ](https://gallery.ecr.aws/lambda/ruby)は2.5と2.7しかない 
 →ruby:slimに手作業でaws_lambda_ricいれた
- マイグレーションファイル群を一括でLambdaコンテナに転送したいが[AWSのSDK](https://docs.aws.amazon.com/sdk-for-ruby/v2/api/Aws/S3/Client.html)に[`aws s3 sync`相当のものがない](https://github.com/aws/aws-sdk-ruby/issues/824)のでファイル一個ずつダウンロードする形になる 
 →S3経由で受け渡しせずLambda実行時の--payload引数にファイル群をシリアライズして渡した。zipやtarを使い１つのファイルとして受け渡せばよいが、利用予定だったamazon/aws-cliではzipもtarも無かったため
- Dockerイメージ内にconfig/master.keyあり 
 →除外して環境変数から与えることもできなくないが、用途としては内包してても問題ないのでとりあえず放置

## References

- https://qiita.com/shifumin/items/f4f4ea68d9963dbe9ca2

LambdaでRailsを動かしてマイグレーションすれば、コストもかからず、かつ秒で終わるので高速だった。高速化したい・CIにマイグレーション乗せたい・ECS使いたくない・RDSがプライベートサブネットにあって常時起動してる踏み台がないパターン向け
<h2 id="マイグレーション専用イメージを作る">マイグレーション専用イメージを作る</h2>
初期パターンとして、App Runner（またはECS）に乗せる本番イメージに<code>bootstrap</code>などを手書きしてLambda対応もさせる案を導入した。しかし<a href="https://docs.aws.amazon.com/lambda/latest/dg/runtimes-walkthrough.html">このドキュメント</a>のみならず<a href="https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/runtimes-api.html#runtimes-api-next">エラー時のレスポンスを返すパターンを作らないといけなかったり</a>、やはりフル自作は完成度が低くなりがちになった。最大の問題点は本番イメージを流用するとなるとイメージの更新も関数実行前に都度行うべきになってしまうことで、そうなると＋３０秒くらい余計にかかり時間が倍増するので魅力も落ちる。専用のイメージを作って、<a href="https://github.com/aws/aws-lambda-ruby-runtime-interface-client">aws_lambda_ric</a>を使う感じにしたい
必要なファイルはDockerfileとdatabase.ymlとapp.rbの３つのみ。database.ymlはデフォではなく環境変数参照に変更したかっただけのため省略する。Dockerfile内でrails newして資材を展開している
<h3 id="dockerfile">Dockerfile</h3>
<pre><code class="hljs language-Dockerfile">FROM ruby:3.1.1-slim

ENV APP_ROOT /var/task
ENV RAILS_ROOT $APP_ROOT
ENV RAILS_ENV production
ENV RACK_ENV $RAILS_ENV

WORKDIR $APP_ROOT

RUN apt-get update -y &amp;&amp; \
 apt-get install -y \
 build-essential \
 default-mysql-client \
 libmariadb-dev \
 curl &amp;&amp; \
 gem update --system &amp;&amp; \
 gem install rails &amp;&amp; \
 rails new . \
 --database=mysql \
 --skip-yarn \
 --skip-git \
 --skip-action-mailer \
 --skip-active-storage \
 --skip-action-cable \
 --skip-sprockets \
 --skip-javascript \
 --skip-turbolinks \
 --skip-test \
 --api &amp;&amp; \
 bundle add aws-sdk-kms aws_lambda_ric

COPY database.yml config/
COPY app.rb ./

RUN chmod 644 config/master.key

# Lamdba上で上書きされるが、ローカル開発でマイグレーション役もさせてるので書いてる
CMD [ &quot;bundle&quot;, &quot;exec&quot;, &quot;rails&quot;, &quot;db:migrate&quot; ]
</code></pre>
<h3 id="apprb">app.rb</h3>
<pre><code class="hljs language-ruby">require_relative &#x27;config/application&#x27;
require &#x27;base64&#x27;
require &#x27;fileutils&#x27;
require &#x27;securerandom&#x27;

module App
 class Handler
 def self.process(event:, context:)

 # コンテナが再利用されると以前書き込んだマイグレーションファイルが影響する可能性があるので都度ランダムに
 directory_name = &quot;/tmp/#{SecureRandom.urlsafe_base64(10)}/db&quot;
 FileUtils.mkdir_p &quot;#{directory_name}/migrate&quot;

 # シリアライズされたファイルのデータを受け取って書き込み
 event.each do |path, content|
 File.open(&quot;#{directory_name}/#{path}&quot;, &#x27;w&#x27;) { |f| f.write(Base64.decode64(content)) }
 end

 Rails.application.load_tasks

 # Lambdaの環境変数に生パスワードを書きたくなかったので暗号化状態で受け取っており復号化
 if ENV[&#x27;DATABASE_PASSWORD_ENCRYPTED&#x27;].present?
 response = Aws::KMS::Client.new.decrypt ciphertext_blob: Base64.decode64(ENV.fetch(&#x27;DATABASE_PASSWORD_ENCRYPTED&#x27;))
 ENV[&#x27;DATABASE_PASSWORD&#x27;] = response.plaintext
 end

 # /tmp配下しか書き込み不可のため変更する必要あり
 Rails.application.config.paths[&#x27;db&#x27;] = directory_name
 Rails.application.config.paths[&#x27;db/migrate&#x27;] = &quot;#{directory_name}/migrate&quot;

 # コンテナが再利用されるとreenableしないとinvokeが起動してくれない
 Rake::Task[&#x27;db:migrate&#x27;].reenable
 Rake::Task[&#x27;db:migrate&#x27;].invoke
 end
 end
end
</code></pre>
<h2 id="lambda関数のデプロイ">Lambda関数のデプロイ</h2>
Terraformを使いました。<code>var.</code>はてきとうです。
<pre><code class="hljs language-hcl">module &quot;migration&quot; {
 source = &quot;terraform-aws-modules/lambda/aws&quot;

 function_name = &quot;migrator&quot;
 create_package = false

 image_uri = &quot;${var.repository_url}:latest&quot;
 package_type = &quot;Image&quot;

 timeout = 60

 vpc_subnet_ids = var.private_subnets
 vpc_security_group_ids = [var.default_security_group_id]
 attach_network_policy = true

 image_config_entry_point = [&quot;/usr/local/bundle/bin/aws_lambda_ric&quot;]
 image_config_command = [&quot;app.App::Handler.process&quot;]

 environment_variables = {
 &quot;RAILS_LOG_TO_STDOUT&quot; = &quot;enabled&quot;
 &quot;DATABASE_HOST&quot; = var.this_rds_cluster_endpoint
 &quot;DATABASE_NAME&quot; = var.database_name
 &quot;DATABASE_PASSWORD_ENCRYPTED&quot; = var.database_master_password_encrypted
 }

 attach_policy_statements = true
 policy_statements = [
 {
 effect = &quot;Allow&quot;
 actions = [&quot;kms:Decrypt&quot;]
 resources = [var.kms_key.arn]
 },
 {
 effect = &quot;Allow&quot;
 actions = [
 &quot;ecr:BatchGetImage&quot;,
 &quot;ecr:GetDownloadUrlForLayer&quot;,
 ]
 resources = [var.ecr_repository_arn]
 },
 ]
}
</code></pre>
<h2 id="circleciからlambdaを起動する">CircleCIからLambdaを起動する</h2>
マイグレーションファイルを収集するスクリプト、amazon/aws-cliはpython2がネイティブで動いたのでpythonでコードを書きました。そしてamazon/aws-cliは使わなかったっていう（後述）
<h3 id="circleciconfigyml一部抜粋">.circleci/config.yml(一部抜粋)</h3>
<pre><code class="hljs language-yml">jobs:
 migrate:
 docker:
 - image: cimg/python:3.10.4
 environment:
 PAGER: &quot;&quot;
 working_directory: ~/projects/db
 steps:
 - checkout:
 path: ..
 - run:
 name: Install aws-cli
 command: |
 curl -s &quot;https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip&quot; -o &quot;awscliv2.zip&quot;
 unzip -q awscliv2.zip
 sudo ./aws/install
 - run:
 name: Run migration in AWS Lambda
 command: |
 PAYLOAD=$(python payload.py migrate)
 aws lambda invoke --function-name migrator --payload $PAYLOAD result.txt
 cat result.txt
 cat result.txt | grep -v errorMessage &gt; /dev/null
</code></pre>
<h3 id="payloadpy">payload.py</h3>
<pre><code class="hljs language-python">import os
import json
import base64
import sys

path = sys.argv[1]
filenames = os.listdir(path)

data = {}
for filename in filenames:
 with open(os.path.join(path, filename), &quot;r&quot;) as f:
 data[&#x27;migrate/&#x27; +
 filename] = base64.b64encode(f.read().encode(&quot;utf-8&quot;)).decode(&#x27;utf-8&#x27;)

print(base64.b64encode(json.dumps(data).encode(&quot;utf-8&quot;)).decode(&#x27;utf-8&#x27;))
</code></pre>
<h2 id="実行結果">実行結果</h2>
19秒でマイグレーションジョブを完了することができました:tada:
<ul>
<li>CircleCIの環境構築2秒</li>
<li>aws-cliインストール2秒</li>
<li>マイグレーション14秒</li>
</ul>
おそらくコールドスタートで6秒くらいとマイグレーションで8秒くらいのはず
<img width="587" src="https://user-images.githubusercontent.com/39179585/162106271-e2c45d4e-3239-4366-a63d-49c7ee79e09b.png">

<h2 id="直面した問題点たち">直面した問題点たち</h2>
<ul>
<li>amazon/aws-cliイメージをCIで使って、CLIのインストール時間(2〜4秒)を削りたい →gitやtarなど基本的なライブラリがなくCircleCIの<code>checkout</code>ができない。諦める</li>
<li><a href="https://gallery.ecr.aws/lambda/ruby">公式Lambda用Rubyイメージ</a>は2.5と2.7しかない →ruby:slimに手作業でaws_lambda_ricいれた</li>
<li>マイグレーションファイル群を一括でLambdaコンテナに転送したいが<a href="https://docs.aws.amazon.com/sdk-for-ruby/v2/api/Aws/S3/Client.html">AWSのSDK</a>に<a href="https://github.com/aws/aws-sdk-ruby/issues/824"><code>aws s3 sync</code>相当のものがない</a>のでファイル一個ずつダウンロードする形になる →S3経由で受け渡しせずLambda実行時の--payload引数にファイル群をシリアライズして渡した。zipやtarを使い１つのファイルとして受け渡せばよいが、利用予定だったamazon/aws-cliではzipもtarも無かったため</li>
<li>Dockerイメージ内にconfig/master.keyあり →除外して環境変数から与えることもできなくないが、用途としては内包してても問題ないのでとりあえず放置</li>
</ul>
<h2 id="references">References</h2>
<ul>
<li><a href="https://qiita.com/shifumin/items/f4f4ea68d9963dbe9ca2">https://qiita.com/shifumin/items/f4f4ea68d9963dbe9ca2</a></li>
</ul>

AWS LambdaでRailsのマイグレーションを秒殺する基盤を作った




Next.jsとRuby on RailsのプロジェクトをDockerを通じて環境依存せず指定した言語バージョンで構築する

## アーキテクチャの指定

ローカルがM1 Macでデプロイ先が非armの時などケースバイケースで

```bash
export DOCKER_DEFAULT_PLATFORM=linux/amd64
```

## Ruby on Rails

```bash
docker run --rm -v $(pwd):/app -w /app ruby:3.1.1 bash -c "gem install rails && rails new my-backend-website"
```

## Next.js

```bash
docker run --rm -v $(pwd):/app -w /app node:17.8.0 npx create-next-app --example blog-starter-typescript my-frontend-website
```


Next.jsとRuby on RailsのプロジェクトをDockerを通じて環境依存せず指定した言語バージョンで構築する
<h2 id="アーキテクチャの指定">アーキテクチャの指定</h2>
ローカルがM1 Macでデプロイ先が非armの時などケースバイケースで
<pre><code class="hljs language-bash">export DOCKER_DEFAULT_PLATFORM=linux/amd64
</code></pre>
<h2 id="ruby-on-rails">Ruby on Rails</h2>
<pre><code class="hljs language-bash">docker run --rm -v $(pwd):/app -w /app ruby:3.1.1 bash -c &quot;gem install rails &amp;&amp; rails new my-backend-website&quot;
</code></pre>
<h2 id="nextjs">Next.js</h2>
<pre><code class="hljs language-bash">docker run --rm -v $(pwd):/app -w /app node:17.8.0 npx create-next-app --example blog-starter-typescript my-frontend-website
</code></pre>

WEBフレームワークをDockerで作るワンライナー

Nextとしてサーバーを建てるのではなく、RailsのViewからscriptタグでJS配信するだけなら、本番イメージ内にインストールする必要ないのでは？と思ったらできた話

## 1. Dockerfileからnodeを取り除く

よくある下記のようなDockerfileではこれだけで数百MBイメージサイズが増える。これを外す

```Dockerfile
RUN apt-get install -y nodejs npm && \
 npm install -g yarn

COPY package.json yarn.lock ./
RUN yarn install
```

## 2. assets:precomplieはCircleCIでやる

こんな感じでorbsをフル活用するとスムーズにDockerfile外でビルドできた。rubyもnodeもキャッシュをよしなにしてくれるのでとても高速

```yml
version: "2.1"

orbs:
 ruby: circleci/ruby@1.4.0
 node: circleci/node@5.0.0

jobs:
 check:
 docker:
 - image: cimg/ruby:3.1-node
 steps:
 - checkout
 - ruby/install-deps
 - node/install-packages:
 check-cache: detect
 pkg-manager: yarn
 - run: bin/rails assets:precompile
```

## 3. manifestをイメージに追加する

S3からの配信を予定しているが、マニフェストファイルだけはイメージに取り込まないと`javascript_pack_tag`などが正常に動作しなかった。

webpackerのものは`public/packs/manifest.json`と固定値だが、アセットパイプライン本体のものは`public/assets/.sprockets-manifest-<< hash >>.json`といった動的なパスになる。

Dockerfileでは`COPY . .`して全追加する際にマニフェストだけは追加しつつJS、CSSは除外するように`.dockerignore`を調整した。

```bash
/public/assets
!public/assets/.sprockets-manifest-*.json
/public/packs
!public/packs/manifest*
```

なおCI上でこのままAWS CLIを使ってS3に丸ごとアップロードすれば、Rails内に`asset_sync`, `fog-aws`を追加する必要もない。

最後にCDN配信なので、asset_syncを使わない場合は`config.asset_host = ENV['CDN_HOST']`といった具合にホストを指定して無事に配信ができた。

Nextとしてサーバーを建てるのではなく、RailsのViewからscriptタグでJS配信するだけなら、本番イメージ内にインストールする必要ないのでは？と思ったらできた話
<h2 id="1-dockerfileからnodeを取り除く">1. Dockerfileからnodeを取り除く</h2>
よくある下記のようなDockerfileではこれだけで数百MBイメージサイズが増える。これを外す
<pre><code class="hljs language-Dockerfile">RUN apt-get install -y nodejs npm &amp;&amp; \
 npm install -g yarn

COPY package.json yarn.lock ./
RUN yarn install
</code></pre>
<h2 id="2-assetsprecomplieはcircleciでやる">2. assets:precomplieはCircleCIでやる</h2>
こんな感じでorbsをフル活用するとスムーズにDockerfile外でビルドできた。rubyもnodeもキャッシュをよしなにしてくれるのでとても高速
<pre><code class="hljs language-yml">version: &quot;2.1&quot;

orbs:
 ruby: circleci/ruby@1.4.0
 node: circleci/node@5.0.0

jobs:
 check:
 docker:
 - image: cimg/ruby:3.1-node
 steps:
 - checkout
 - ruby/install-deps
 - node/install-packages:
 check-cache: detect
 pkg-manager: yarn
 - run: bin/rails assets:precompile
</code></pre>
<h2 id="3-manifestをイメージに追加する">3. manifestをイメージに追加する</h2>
S3からの配信を予定しているが、マニフェストファイルだけはイメージに取り込まないと<code>javascript_pack_tag</code>などが正常に動作しなかった。
webpackerのものは<code>public/packs/manifest.json</code>と固定値だが、アセットパイプライン本体のものは<code>public/assets/.sprockets-manifest-&lt;&lt; hash &gt;&gt;.json</code>といった動的なパスになる。
Dockerfileでは<code>COPY . .</code>して全追加する際にマニフェストだけは追加しつつJS、CSSは除外するように<code>.dockerignore</code>を調整した。
<pre><code class="hljs language-bash">/public/assets
!public/assets/.sprockets-manifest-*.json
/public/packs
!public/packs/manifest*
</code></pre>
なおCI上でこのままAWS CLIを使ってS3に丸ごとアップロードすれば、Rails内に<code>asset_sync</code>, <code>fog-aws</code>を追加する必要もない。
最後にCDN配信なので、asset_syncを使わない場合は<code>config.asset_host = ENV[&#39;CDN_HOST&#39;]</code>といった具合にホストを指定して無事に配信ができた。

UMIHICO BLOG.

#Ruby on Rails

AWS LambdaでRailsのマイグレーションを秒殺する基盤を作った

WEBフレームワークをDockerで作るワンライナー

React on Railsで本番イメージをNodeレスにした